知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-25
(45)【発行日】2024-05-08
(54)【発明の名称】携帯端末、ナビゲーション方法、及び、コンピュータプログラム
(51)【国際特許分類】
G01C 21/26 20060101AFI20240426BHJP
G01C 21/36 20060101ALI20240426BHJP
G08G 1/005 20060101ALI20240426BHJP
【ＦＩ】
G01C21/26 P
G01C21/36
G08G1/005
【請求項の数】
8
(21)【出願番号】P 2020044544
(22)【出願日】2020-03-13
(65)【公開番号】P2021144010
(43)【公開日】2021-09-24
【審査請求日】2023-03-09
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】堆朱 健太
(72)【発明者】
【氏名】三好 健吾
(72)【発明者】
【氏名】上杉 明夫
(72)【発明者】
【氏名】中西 幸司
(72)【発明者】
【氏名】前田 崇雅
【審査官】小林 勝広
(56)【参考文献】
【文献】特開２００６－１９４６６５（ＪＰ，Ａ）
【文献】国際公開第２０１９／２３４９３６（ＷＯ，Ａ１）
【文献】特開２０１４－２０９７１３（ＪＰ，Ａ）
【文献】特開２００８－１５７６８０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｃ ２１／００－２１／３６、２３／００－２５／００
Ｇ０５Ｄ １／００－ １／８７
Ｇ０６Ｔ ７／００－ ７／９０
Ｇ０６Ｖ １０／００－２０／９０、３０／４１８、４０／１６、４０／２０
Ｇ０８Ｇ １／００－９９／００
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
撮像装置を備える携帯端末であって、前記撮像装置に撮像された撮像映像を取得する映像取得部と、
所定の位置に設置された設置物が撮像された前記撮像映像に基づいて、ナビゲーション開始時における前記撮像装置の基準の方位及び位置を特定する基準特定部と、
前記設置物の位置から目的地までの、所定の通過地点を示す複数のノードによって構成されたルートを特定するルート特定部と、
前記撮像映像から抽出した特徴点の時間経過に伴う動きに基づいて、前記撮像装置の方位変化量及び移動量を検出する動き検出部と、
前記撮像装置の基準の方位及び位置を特定した後に前記動き検出部によって検出された前記撮像装置の方位変化量及び移動量に基づいて、前記撮像装置の現在の方位及び位置を特定する位置特定部と、
特定された前記撮像装置の現在の方位及び位置に基づいて、前記現在の位置から、前記複数のノードのうちの１つである目標ノードが示す位置へ向かうナビゲーション画像を生成し、前記現在の位置から前記目標ノードが示す位置へ向かう目標方位と前記現在の方位との間のずれが所定の閾値未満の場合、前記ナビゲーション画像の表示位置がディスプレイの略中央となるよう調整し、生成した前記ナビゲーション画像を現在の前記撮像映像に重畳して表示するナビゲーション表示部と、を備える、
携帯端末。
【請求項2】
前記ナビゲーション表示部は、前記現在の位置から前記目標ノードが示す位置へ向かう目標方位と前記現在の方位との間のずれが所定の閾値以上である場合、前記ルートから外れていることを示す注意情報を表示し、前記ナビゲーション画像を非表示とする、請求項１に記載の携帯端末。
【請求項3】
前記ナビゲーション表示部は、前記注意情報を表示中に、前記目標方位と前記現在の方位との間のずれが前記閾値未満となった場合、前記注意情報を非表示とし、前記ナビゲーション画像を再表示する、請求項２に記載の携帯端末。
【請求項4】
撮像装置を備える携帯端末であって、
前記撮像装置に撮像された撮像映像を取得する映像取得部と、
所定の位置に設置された設置物が撮像された前記撮像映像に基づいて、ナビゲーション開始時における前記撮像装置の基準の方位及び位置を特定する基準特定部と、
前記設置物の位置から目的地までの、所定の通過地点を示す複数のノードによって構成されたルートを特定するルート特定部と、
前記撮像映像から抽出した特徴点の時間経過に伴う動きに基づいて、前記撮像装置の方位変化量及び移動量を検出する動き検出部と、
前記撮像装置の基準の方位及び位置を特定した後に前記動き検出部によって検出された前記撮像装置の方位変化量及び移動量に基づいて、前記撮像装置の現在の方位及び位置を特定する位置特定部と、
特定された前記撮像装置の現在の方位及び位置に基づいて、前記現在の位置から、前記複数のノードのうちの１つである目標ノードが示す位置へ向かうナビゲーション画像を生成し、生成した前記ナビゲーション画像を現在の前記撮像映像に重畳して表示し、
前記現在の位置から前記目標ノードが示す位置へ向かう目標方位と前記現在の方位との間のずれが所定の閾値以上である場合、前記ルートから外れていることを示す注意情報を表示し、前記ナビゲーション画像を非表示とし、
前記注意情報を表示中に、前記目標方位と前記現在の方位との間のずれが前記閾値以上である状態が所定時間以上継続した場合、前記目的地までのナビゲーションを終了するナビゲーション表示部と、を備える、
携帯端末。
【請求項5】
撮像装置を備える携帯端末によって実行されるナビゲーション方法であって、前記撮像装置に撮像された撮像映像を取得し、
所定の位置に設置された設置物が撮像された前記撮像映像に基づいて、ナビゲーション開始時における前記撮像装置の基準の方位及び位置を特定し、
前記設置物の位置から目的地までの、所定の通過地点を示す複数のノードによって構成されたルートを特定し、
前記撮像映像から抽出した特徴点の時間経過に伴う動きに基づいて、前記撮像装置の方位変化量及び移動量を検出し、
前記撮像装置の基準の方位及び位置を特定した後に、検出された前記撮像装置の方位変化量及び移動量に基づいて、前記撮像装置の現在の方位及び位置を特定し、
特定された前記撮像装置の現在の方位及び位置に基づいて、前記現在の位置から、前記複数のノードのうちの１つである目標ノードが示す位置へ向かうナビゲーション画像を生成し、前記現在の位置から前記目標ノードが示す位置へ向かう目標方位と前記現在の方位との間のずれが所定の閾値未満の場合、前記ナビゲーション画像の表示位置がディスプレイの略中央となるよう調整し、生成した前記ナビゲーション画像を現在の前記撮像映像に重畳して表示する、
ナビゲーション方法。
【請求項6】
撮像装置を備える携帯端末によって実行されるナビゲーション方法であって、
前記撮像装置に撮像された撮像映像を取得し、
所定の位置に設置された設置物が撮像された前記撮像映像に基づいて、ナビゲーション開始時における前記撮像装置の基準の方位及び位置を特定し、
前記設置物の位置から目的地までの、所定の通過地点を示す複数のノードによって構成されたルートを特定し、
前記撮像映像から抽出した特徴点の時間経過に伴う動きに基づいて、前記撮像装置の方位変化量及び移動量を検出し、
前記撮像装置の基準の方位及び位置を特定した後に、検出された前記撮像装置の方位変化量及び移動量に基づいて、前記撮像装置の現在の方位及び位置を特定し、
特定された前記撮像装置の現在の方位及び位置に基づいて、前記現在の位置から、前記複数のノードのうちの１つである目標ノードが示す位置へ向かうナビゲーション画像を生成し、生成した前記ナビゲーション画像を現在の前記撮像映像に重畳して表示し、
前記現在の位置から前記目標ノードが示す位置へ向かう目標方位と前記現在の方位との間のずれが所定の閾値以上である場合、前記ルートから外れていることを示す注意情報を表示し、前記ナビゲーション画像を非表示とし、
前記注意情報を表示中に、前記目標方位と前記現在の方位との間のずれが前記閾値以上である状態が所定時間以上継続した場合、前記目的地までのナビゲーションを終了する、
ナビゲーション方法。
【請求項7】
撮像装置を備える携帯端末によって実行されるコンピュータプログラムであって、前記撮像装置に撮像された撮像映像を取得し、
所定の位置に設置された設置物が撮像された前記撮像映像に基づいて、ナビゲーション開始時における前記撮像装置の基準の方位及び位置を特定し、
前記設置物の位置から目的地までの、所定の通過地点を示す複数のノードによって構成されたルートを特定し、
前記撮像映像から抽出した特徴点の時間経過に伴う動きに基づいて、前記撮像装置の方位変化量及び移動量を検出し、
前記撮像装置の基準の方位及び位置を特定した後に、検出された前記撮像装置の方位変化量及び移動量に基づいて、前記撮像装置の現在の方位及び位置を特定し、
特定された前記撮像装置の現在の方位及び位置に基づいて、前記現在の位置から、前記複数のノードのうちの１つである目標ノードが示す位置へ向かうナビゲーション画像を生成し、前記現在の位置から前記目標ノードが示す位置へ向かう目標方位と前記現在の方位との間のずれが所定の閾値未満の場合、前記ナビゲーション画像の表示位置がディスプレイの略中央となるよう調整し、生成した前記ナビゲーション画像を現在の前記撮像映像に重畳して表示する、
処理を前記携帯端末に実行させる、コンピュータプログラム。
【請求項8】
撮像装置を備える携帯端末によって実行されるコンピュータプログラムであって、
前記撮像装置に撮像された撮像映像を取得し、
所定の位置に設置された設置物が撮像された前記撮像映像に基づいて、ナビゲーション開始時における前記撮像装置の基準の方位及び位置を特定し、
前記設置物の位置から目的地までの、所定の通過地点を示す複数のノードによって構成されたルートを特定し、
前記撮像映像から抽出した特徴点の時間経過に伴う動きに基づいて、前記撮像装置の方位変化量及び移動量を検出し、
前記撮像装置の基準の方位及び位置を特定した後に、検出された前記撮像装置の方位変化量及び移動量に基づいて、前記撮像装置の現在の方位及び位置を特定し、
特定された前記撮像装置の現在の方位及び位置に基づいて、前記現在の位置から、前記複数のノードのうちの１つである目標ノードが示す位置へ向かうナビゲーション画像を生成し、生成した前記ナビゲーション画像を現在の前記撮像映像に重畳して表示し、
前記現在の位置から前記目標ノードが示す位置へ向かう目標方位と前記現在の方位との間のずれが所定の閾値以上である場合、前記ルートから外れていることを示す注意情報を表示し、前記ナビゲーション画像を非表示とし、
前記注意情報を表示中に、前記目標方位と前記現在の方位との間のずれが前記閾値以上である状態が所定時間以上継続した場合、前記目的地までのナビゲーションを終了する、
処理を前記携帯端末に実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、携帯端末、ナビゲーション方法、及び、コンピュータプログラムに関する。
【背景技術】
【0002】
特許文献１には、カメラ及びカメラの撮像画像を表示するための表示器を備えた、ナビゲーション機能付きの携帯端末が開示される。当該携帯端末は、当該携帯端末の現在位置を検出するための第１検出手段と、カメラの向きを検出するための第２検出手段と、目的地を設定するための設定手段と、設定手段によって設定された目的地と、第１検出手段によって検出された現在位置とに基づいて、現在位置から目的地までの経路に関する情報をサーバから取得する取得手段と、取得手段によって取得した経路に関する情報ならびに第２検出手段によって検出されたカメラの向きに基づいて、カメラの撮像画像上での進むべき方向を算出する算出手段と、カメラの撮像画像に算出手段によって算出された進むべき方向を示す指標を付加して表示器に表示させる手段と、を備える。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００６－１９４６６５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に開示される携帯端末は、ＧＰＳ衛星に代表される測位衛星からの測位信号を用いて当該携帯端末の現在位置を測位するため、百貨店内、ショッピングモール内、駅構内、地下街といった測位信号の受信が困難な場所では、現在位置を測定できず、ナビゲーションが困難である。
【0005】
本開示の目的は、測位衛星からの測位信号の受信が困難な場所でのナビゲーションを可能とする技術を提供することにある。
【課題を解決するための手段】
【0006】
本開示に係る撮像装置を備える携帯端末は、前記撮像装置に撮像された撮像映像を取得する映像取得部と、所定の位置に設置された設置物が撮像された前記撮像映像に基づいて、ナビゲーション開始時における前記撮像装置の基準の方位及び位置を特定する基準特定部と、前記設置物の位置から目的地までの、所定の通過地点を示す複数のノードによって構成されたルートを特定するルート特定部と、前記撮像映像から抽出した特徴点の時間経過に伴う動きに基づいて、前記撮像装置の方位変化量及び移動量を検出する動き検出部と、前記撮像装置の基準の方位及び位置を特定した後に前記動き検出部によって検出された前記撮像装置の方位変化量及び移動量に基づいて、前記撮像装置の現在の方位及び位置を特定する位置特定部と、特定された前記撮像装置の現在の方位及び位置に基づいて、前記現在の位置から、前記複数のノードのうちの１つである目標ノードが示す位置へ向かうナビゲーション画像を生成し、前記現在の位置から前記目標ノードが示す位置へ向かう目標方位と前記現在の方位との間のずれが所定の閾値未満の場合、前記ナビゲーション画像の表示位置がディスプレイの略中央となるよう調整し、生成した前記ナビゲーション画像を現在の前記撮像映像に重畳して表示するナビゲーション表示部と、を備える。
また、本開示に係る撮像装置を備える携帯端末は、前記撮像装置に撮像された撮像映像を取得する映像取得部と、所定の位置に設置された設置物が撮像された前記撮像映像に基づいて、ナビゲーション開始時における前記撮像装置の基準の方位及び位置を特定する基準特定部と、前記設置物の位置から目的地までの、所定の通過地点を示す複数のノードによって構成されたルートを特定するルート特定部と、前記撮像映像から抽出した特徴点の時間経過に伴う動きに基づいて、前記撮像装置の方位変化量及び移動量を検出する動き検出部と、前記撮像装置の基準の方位及び位置を特定した後に前記動き検出部によって検出された前記撮像装置の方位変化量及び移動量に基づいて、前記撮像装置の現在の方位及び位置を特定する位置特定部と、特定された前記撮像装置の現在の方位及び位置に基づいて、前記現在の位置から、前記複数のノードのうちの１つである目標ノードが示す位置へ向かうナビゲーション画像を生成し、生成した前記ナビゲーション画像を現在の前記撮像映像に重畳して表示し、前記現在の位置から前記目標ノードが示す位置へ向かう目標方位と前記現在の方位との間のずれが所定の閾値以上である場合、前記ルートから外れていることを示す注意情報を表示し、前記ナビゲーション画像を非表示とし、前記注意情報を表示中に、前記目標方位と前記現在の方位との間のずれが前記閾値以上である状態が所定時間以上継続した場合、前記目的地までのナビゲーションを終了するナビゲーション表示部と、を備える。
また、本開示に係る撮像装置を備える携帯端末は、前記撮像装置に撮像された撮像映像を取得する映像取得部と、所定の位置に設置された設置物が撮像された前記撮像映像に基づいて、ナビゲーション開始時における前記撮像装置の基準の方位及び位置を特定する基準特定部と、前記設置物の位置から目的地までの、所定の通過地点を示す複数のノードによって構成されたルートを特定するルート特定部と、前記撮像映像から抽出した特徴点の時間経過に伴う動きに基づいて、前記撮像装置の方位変化量及び移動量を検出する動き検出部と、前記撮像装置の基準の方位及び位置を特定した後に前記動き検出部によって検出された前記撮像装置の方位変化量及び移動量に基づいて、前記撮像装置の現在の方位及び位置を特定する位置特定部と、特定された前記撮像装置の現在の方位及び位置に基づいて、前記現在の位置から、前記複数のノードのうちの１つである目標ノードが示す位置へ向かうナビゲーション画像を生成し、生成した前記ナビゲーション画像を現在の前記撮像映像に重畳して表示し、前記現在の位置から前記目標ノードが示す位置へ向かう目標方位と前記現在の方位との間のずれが所定の閾値以上である場合、前記ルートから外れていることを示す注意情報を表示し、前記ナビゲーション画像を非表示とし、前記注意情報を表示中に、前記目標方位と前記現在の方位との間のずれが前記閾値以上である状態が所定時間以上継続した場合、前記目的地までのナビゲーションを終了するナビゲーション表示部と、を備える。
【0007】
本開示に係る撮像装置を備える携帯端末によって実行されるナビゲーション方法は、撮像装置を備える携帯端末が、前記撮像装置に撮像された撮像映像を取得し、所定の位置に設置された設置物が撮像された前記撮像映像に基づいて、ナビゲーション開始時における前記撮像装置の基準の方位及び位置を特定し、前記設置物の位置から目的地までの、所定の通過地点を示す複数のノードによって構成されたルートを特定し、前記撮像映像から抽出した特徴点の時間経過に伴う動きに基づいて、前記撮像装置の方位変化量及び移動量を検出し、前記撮像装置の基準の方位及び位置を特定した後に、検出された前記撮像装置の方位変化量及び移動量に基づいて、前記撮像装置の現在の方位及び位置を特定し、特定された前記撮像装置の現在の方位及び位置に基づいて、前記現在の位置から、前記複数のノードのうちの１つである目標ノードが示す位置へ向かう前記ルートを示すナビゲーション画像を生成し、前記現在の位置から前記目標ノードが示す位置へ向かう目標方位と前記現在の方位との間のずれが所定の閾値未満の場合、前記ナビゲーション画像の表示位置がディスプレイの略中央となるよう調整し、生成した前記ナビゲーション画像を現在の前記撮像映像に重畳して表示する。
また、本開示に係る撮像装置を備える携帯端末によって実行されるナビゲーション方法は、前記撮像装置に撮像された撮像映像を取得し、所定の位置に設置された設置物が撮像された前記撮像映像に基づいて、ナビゲーション開始時における前記撮像装置の基準の方位及び位置を特定し、前記設置物の位置から目的地までの、所定の通過地点を示す複数のノードによって構成されたルートを特定し、前記撮像映像から抽出した特徴点の時間経過に伴う動きに基づいて、前記撮像装置の方位変化量及び移動量を検出し、前記撮像装置の基準の方位及び位置を特定した後に、検出された前記撮像装置の方位変化量及び移動量に基づいて、前記撮像装置の現在の方位及び位置を特定し、特定された前記撮像装置の現在の方位及び位置に基づいて、前記現在の位置から、前記複数のノードのうちの１つである目標ノードが示す位置へ向かうナビゲーション画像を生成し、生成した前記ナビゲーション画像を現在の前記撮像映像に重畳して表示し、前記現在の位置から前記目標ノードが示す位置へ向かう目標方位と前記現在の方位との間のずれが所定の閾値以上である場合、前記ルートから外れていることを示す注意情報を表示し、前記ナビゲーション画像を非表示とし、前記注意情報を表示中に、前記目標方位と前記現在の方位との間のずれが前記閾値以上である状態が所定時間以上継続した場合、前記目的地までのナビゲーションを終了する。
また、本開示に係る撮像装置を備える携帯端末によって実行されるナビゲーション方法は、前記撮像装置に撮像された撮像映像を取得し、所定の位置に設置された設置物が撮像された前記撮像映像に基づいて、ナビゲーション開始時における前記撮像装置の基準の方位及び位置を特定し、前記設置物の位置から目的地までの、所定の通過地点を示す複数のノードによって構成されたルートを特定し、前記撮像映像から抽出した特徴点の時間経過に伴う動きに基づいて、前記撮像装置の方位変化量及び移動量を検出し、前記撮像装置の基準の方位及び位置を特定した後に、検出された前記撮像装置の方位変化量及び移動量に基づいて、前記撮像装置の現在の方位及び位置を特定し、特定された前記撮像装置の現在の方位及び位置に基づいて、前記現在の位置から、前記複数のノードのうちの１つである目標ノードが示す位置へ向かうナビゲーション画像を生成し、生成した前記ナビゲーション画像を現在の前記撮像映像に重畳して表示し、前記現在の位置から前記目標ノードが示す位置へ向かう目標方位と前記現在の方位との間のずれが所定の閾値以上である場合、前記ルートから外れていることを示す注意情報を表示し、前記ナビゲーション画像を非表示とし、前記注意情報を表示中に、前記目標方位と前記現在の方位との間のずれが前記閾値以上である状態が所定時間以上継続した場合、前記目的地までのナビゲーションを終了する。
【0008】
本開示に係る撮像装置を備える携帯端末によって実行されるコンピュータプログラムは、前記撮像装置に撮像された撮像映像を取得し、所定の位置に設置された設置物が撮像された前記撮像映像に基づいて、ナビゲーション開始時における前記撮像装置の基準の方位及び位置を特定し、前記設置物の位置から目的地までの、所定の通過地点を示す複数のノードによって構成されたルートを特定し、前記撮像映像から抽出した特徴点の時間経過に伴う動きに基づいて、前記撮像装置の方位変化量及び移動量を検出し、前記撮像装置の基準の方位及び位置を特定した後に、検出された前記撮像装置の方位変化量及び移動量に基づいて、前記撮像装置の現在の方位及び位置を特定し、特定された前記撮像装置の現在の方位及び位置に基づいて、前記現在の位置から、前記複数のノードのうちの１つである目標ノードが示す位置へ向かう前記ルートを示すナビゲーション画像を生成し、前記現在の位置から前記目標ノードが示す位置へ向かう目標方位と前記現在の方位との間のずれが所定の閾値未満の場合、前記ナビゲーション画像の表示位置がディスプレイの略中央となるよう調整し、生成した前記ナビゲーション画像を現在の前記撮像映像に重畳して表示する、処理を前記携帯端末に実行させる。
また、本開示に係る撮像装置を備える携帯端末によって実行されるコンピュータプログラムは、前記撮像装置に撮像された撮像映像を取得し、所定の位置に設置された設置物が撮像された前記撮像映像に基づいて、ナビゲーション開始時における前記撮像装置の基準の方位及び位置を特定し、前記設置物の位置から目的地までの、所定の通過地点を示す複数のノードによって構成されたルートを特定し、前記撮像映像から抽出した特徴点の時間経過に伴う動きに基づいて、前記撮像装置の方位変化量及び移動量を検出し、前記撮像装置の基準の方位及び位置を特定した後に、検出された前記撮像装置の方位変化量及び移動量に基づいて、前記撮像装置の現在の方位及び位置を特定し、特定された前記撮像装置の現在の方位及び位置に基づいて、前記現在の位置から、前記複数のノードのうちの１つである目標ノードが示す位置へ向かうナビゲーション画像を生成し、生成した前記ナビゲーション画像を現在の前記撮像映像に重畳して表示し、前記現在の位置から前記目標ノードが示す位置へ向かう目標方位と前記現在の方位との間のずれが所定の閾値以上である場合、前記ルートから外れていることを示す注意情報を表示し、前記ナビゲーション画像を非表示とし、前記注意情報を表示中に、前記目標方位と前記現在の方位との間のずれが前記閾値以上である状態が所定時間以上継続した場合、前記目的地までのナビゲーションを終了する、処理を前記携帯端末に実行させる。
また、本開示に係る撮像装置を備える携帯端末によって実行されるコンピュータプログラムは、前記撮像装置に撮像された撮像映像を取得し、所定の位置に設置された設置物が撮像された前記撮像映像に基づいて、ナビゲーション開始時における前記撮像装置の基準の方位及び位置を特定し、前記設置物の位置から目的地までの、所定の通過地点を示す複数のノードによって構成されたルートを特定し、前記撮像映像から抽出した特徴点の時間経過に伴う動きに基づいて、前記撮像装置の方位変化量及び移動量を検出し、前記撮像装置の基準の方位及び位置を特定した後に、検出された前記撮像装置の方位変化量及び移動量に基づいて、前記撮像装置の現在の方位及び位置を特定し、特定された前記撮像装置の現在の方位及び位置に基づいて、前記現在の位置から、前記複数のノードのうちの１つである目標ノードが示す位置へ向かうナビゲーション画像を生成し、生成した前記ナビゲーション画像を現在の前記撮像映像に重畳して表示し、前記現在の位置から前記目標ノードが示す位置へ向かう目標方位と前記現在の方位との間のずれが所定の閾値以上である場合、前記ルートから外れていることを示す注意情報を表示し、前記ナビゲーション画像を非表示とし、前記注意情報を表示中に、前記目標方位と前記現在の方位との間のずれが前記閾値以上である状態が所定時間以上継続した場合、前記目的地までのナビゲーションを終了する、処理を前記携帯端末に実行させる。
【0009】
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0010】
本開示によれば、測位衛星からの信号の受信が困難な場所においてもナビゲーションが可能となる。
【図面の簡単な説明】
【0011】
【図1】実施の形態１に係るＡＲ（Augmented Reality）ナビゲーションの概要を説明するための図
【図2】実施の形態１に係る携帯端末の構成例を示す図
【図3】カメラで電子看板のマークを撮影する例を示す図
【図4】ＡＲナビゲーションの表示例を示す図
【図5】ＡＲナビゲーションの開始時の処理の一例を示すフローチャート
【図6】ＡＲナビゲーション処理の一例を示すフローチャート
【図7】ナビゲーション表示部のさらなる機能を説明するための図
【図8】目標ノードの更新方法の一例を説明するための図
【図9】実施の形態２に係る携帯端末の構成及びナビゲーション開始時におけるマーク検出処理の例を示す図
【図11】実施の形態２に係る携帯端末の構成例及びユーザの移動に伴うナビゲーション画像の再生成処理の例を示す図
【図12】実施の形態２に係る携帯端末の構成例及びユーザがルートを外れた場合の処理の例を示す図
【図13】実施の形態２に係る携帯端末の構成例及びユーザがルートを外れた場合に注意情報を表示する処理の例を示す図
【図14】実施の形態２に係る携帯端末の構成例及びルートを外れたユーザがルートに復帰した場合の処理の例を示す図
【図15】本開示に係る携帯端末の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図
【発明を実施するための形態】
【0012】
以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。
【0013】
【0014】
百貨店内、ショッピングモール内、駅構内、地下街といった、測位衛星から送信される測位信号の受信が困難な場所では、携帯端末１００は、現在位置を測位できないため、ユーザ２を目的地までナビゲーションことは難しい。本実施の形態は、このように測位衛星から送信される測位信号の受信が困難な場所においても、ユーザ２を目的地までナビゲーションできる携帯端末１００について説明する。
【0015】
実施の形態１では、百貨店内、ショッピングモール内、駅構内、地下街等において、所定の場所に、ＬｉｎｋＲａｙ（登録商標）に代表される光信号１２の送信が可能な電子看板１０を設置する。例えば、光信号１２の送信が可能な電子看板１０は、ＬＥＤ（Light Emitting Diode）の光源の明滅を変調させることにより、所定の情報（以下「光信号情報」という）を送信できる。
【0016】
カメラ９０を備えた携帯端末１００を所持するユーザ２は、カメラ９０を電子看板１０に向ける。携帯端末１００は、カメラ９０を通じて、電子看板１０から光信号情報を受信する。光信号情報には、その電子看板１０のＩＤ（Identification）が含まれる。
【0017】
携帯端末１００は、移動体通信網（例えばＬＴＥ、４Ｇ、５Ｇ）又はＷｉＦｉ（登録商標）といった無線の通信ネットワークを通じて、所定のサーバ２０にＩＤを送信する。そして、携帯端末１００は、サーバ２０から、ＩＤが示す電子看板１０の場所を出発地として、所定の目的地に到達するためのルート３０を示すルート情報２０２Ｃ（図２参照）を受信する。これにより、携帯端末１００は、測位衛星からの測位信号を受信せずに、出発地を特定できる。なお、所定の目的地の例は、駅の改札口、乗り換え先の駅、バス乗り場、地下街の出入り口、電子看板１０の広告に表示された店舗等である。
【0018】
携帯端末１００は、受信したルート情報２０２Ｃに基づき、出発地から目的地までのＡＲナビゲーションを実行する。ＡＲナビゲーションでは、携帯端末１００は、カメラ９０の撮像素子に撮像された映像（以下「撮像映像」という）２０１（図２参照）に対して、ルート情報２０２Ｃを可視化したナビゲーション画像２０５（図２、図４参照）を重畳して、ディスプレイに表示する。
【0019】
ＡＲナビゲーションでは、実際の風景の撮像映像２０１に合わせてナビゲーション画像２０５が重畳表示されるので、ユーザ２は、２次元地図に表示されたルートを見る場合よりも迷わずに目的地まで到着できる。以下、詳細に説明する。
【0020】
＜携帯端末の構成＞
図２は、本実施の形態に係る携帯端末１００の構成例を示す図である。図３は、カメラ９０で電子看板１０のマーク１１を撮影する例を示す図である。図４は、ＡＲナビゲーションの表示例を示す図である。次に、図２～図４を参照して、携帯端末１００の構成について説明する。
図２は、本実施の形態に係る携帯端末１００の構成例を示す図である。図３は、カメラ９０で電子看板１０のマーク１１を撮影する例を示す図である。図４は、ＡＲナビゲーションの表示例を示す図である。次に、図２～図４を参照して、携帯端末１００の構成について説明する。
【0021】
図２に示すように、携帯端末１００は、制御部１１０及び記憶部２００を備える。制御部１１０は、図１５に示すＣＰＵ１００３（及びＧＰＵ１００４）によって実現される。記憶部２００は、図１５に示すＲＡＭ１００６及び記憶装置１００７によって実現される。制御部１１０は、記憶部２００に対して情報を書き込んだり、記憶部２００から情報を読み出したりできる。
【0022】
制御部１１０は、映像取得部１１１、光信号受信部１１２、情報取得部１１３、目的地リスト表示部１１４、基準特定部１１５、ルート特定部１１６、動き検出部１１７、位置特定部１１８、及び、ナビゲーション表示部１１９を含む。
【0023】
映像取得部１１１は、撮像装置１０１０（図１５参照）の一例であるカメラ９０から、当該カメラ９０の撮像素子によって撮像された撮像映像２０１を取得し、記憶部２００に書き込む。
【0024】
光信号受信部１１２は、ＬｉｎｋＲａｙに代表される光信号１２を受信する。例えば、光信号受信部１１２は、電子看板１０を撮像した撮像映像２０１から光信号１２を検出し、光信号１２から光信号情報を抽出する。光信号情報には、少なくともＩＤが含まれる。
【0025】
情報取得部１１３は、サーバ２０に対してＩＤを送信し、当該サーバ２０からＩＤに対応する電子看板情報２０２Ａ、目的地リスト情報２０２Ｂ及びルート情報２０２Ｃを受信する。電子看板情報２０２Ａは、電子看板１０の方位及び位置に関する情報を含む。なお、「方位」は、「向き」、「方向」又は「方角」といった他の用語に読み替えられてもよい。また、「位置」は、「場所」、「座標」又は「経度及び緯度」といった他の用語に読み替えられてもよい。目的地リスト情報２０２Ｂは、電子看板１０の位置を出発地とする、少なくとも１つの目的地に関する情報を含む。例えば、目的地リスト情報２０２Ｂは、目的地の名称、目的地の位置、出発地から目的地までの距離を示す情報を含む。ルート情報２０２Ｃは、出発地から各目的地までのルートを示す情報を含む。
【0026】
目的地リスト表示部１１４は、目的地リスト情報２０２Ｂに基づいて、目的地のリストを表示する。ユーザ２は、表示された目的地のリストの中から、所望の１つの目的地を選択できる。
【0027】
基準特定部１１５は、撮像映像２０１に含まれる方形のマーク１１の歪み及び／又はサイズに基づいて、ナビゲーション開始時におけるカメラ９０の基準となる方位（以下「基準方位」という）及び位置（以下「基準位置」という）を特定する。そして、基準特定部１１５は、その特定したカメラ９０の基準方位及び基準位置を示す情報２０３を、記憶部２００に書き込む。
【0028】
基準特定部１１５は、電子看板１０の表示面（床面に対して垂直な面）に対してカメラ９０の光軸が垂直となるカメラ９０の向きに基づいて、基準方位を特定してよい。例えば、基準特定部１１５は、図３に示すように、撮像映像２０１内の方形のマーク１１の歪みが最小となったときのカメラ９０の向きを、基準方位とする。ここで、電子看板１０の表示面の方位は電子看板情報２０２Ａによって判明しているため、基準特定部１１５は、この方法によって基準方位を特定できる。例えば、電子看板１０の表示面の方位が「南」である場合、基準特定部１１５は、基準方位を、電子看板１０の表示面に対向する「北」と特定できる。なお、基準方位の取得は、方形のマーク１１の歪み等から、計算によって推定してもよい。カメラ９０の視野角やレンズ歪みのパラメータは既知であるため、本来方形であるはずのマーク１１の見え方と、これらのパラメータとを用いた演算により、カメラ９０とマーク１１の相対的な角度を算出することができる。したがって、現在のカメラ９０の方位を、算出した角度で補正することで基準方位を得ることができる。また、マーク１１の形状は必ずしも方形である必要はない。ただし、マーク１１の形状の歪みは基準方位の特定に使用するため、撮影角度によって見え方が異なる形状にするとよい。
【0029】
また、例えば、図３に示すように、基準特定部１１５は、撮像映像２０１内の方形のマーク１１が所定の枠１２１に合致したときのカメラ９０の位置を、基準位置とする。ここで、電子看板１０の位置は電子看板情報２０２Ａによって判明しているため、基準特定部１１５は、この方法によって基準位置を特定できる。例えば、電子看板１０の位置から南に１ｍ離れた位置にて、撮像映像２０１内の方形のマーク１１が所定の枠１２１に合致することが予め判明している場合、基準特定部１１５は、基準位置を、電子看板１０の位置から南に１ｍ離れた位置と特定できる。
【0030】
ルート特定部１１６は、ルート情報２０２Ｃに基づいて、出発地からユーザ２に選択された目的地までのルートを特定する。ルートは、出発地、目的地及び通過地点を示す複数のノードと、２つのノード間を結ぶエッジとによって構成されてよい。また、ルート特定部１１６は、ユーザ２の移動に伴って、ルート上の中間の目標地点である目標ノードを随時更新してよい。なお、目標ノードの更新の詳細については後述する（図８参照）。
【0031】
動き検出部１１７は、撮像映像２０１から特徴点２１１を抽出する公知技術を用いて、図４に示すように、現在（最新）の撮像映像２０１の中から複数の特徴点２１１を抽出する。そして、動き検出部１１７は、その抽出した特徴点２１１の時間経過に伴う動きに基づいて、カメラ９０の方位変化量及び移動量を検出する。例えば、特徴点２１１が左方向に動いた場合、動き検出部１１７は、その動いた方位変化量の分、カメラ９０の方位が右に向いたことを検出する。例えば、特徴点２１１が下方向に動いた場合、動き検出部１１７は、その動いた移動量の分、カメラ９０が前方に移動したことを検出する。なお、携帯端末１００が６軸センサを備える場合、当該６軸センサの測定値を用いて、カメラ９０の方位変化量を算出してもよい。
【0032】
位置特定部１１８は、動き検出部１１７によって特定されたカメラ９０の方位変化量及び移動量に基づいて、カメラ９０の現在（最新）の方位（以下「現在方位」という）及び位置（以下「現在位置」という）を特定する。そして、位置特定部１１８は、その特定したカメラ９０の現在方位及び現在位置を示す情報２０４を、記憶部２００に書き込む。
【0033】
例えば、位置特定部１１８は、カメラ９０の基準方位及び基準位置を特定した時刻をｔ０とした場合、時刻ｔ０からΔｔ時間経過後のカメラ９０の方位変化量及び移動量に基づいて、時刻ｔ１（＝ｔ０＋Δｔ）におけるカメラ９０の現在方向及び現在位置を特定する。同様に、位置特定部１１８は、時刻ｔ１からΔｔ時間経過後のカメラ９０の方位変化量及び移動量に基づいて、時刻ｔ２（＝ｔ１＋Δｔ）におけるカメラ９０の現在方向及び現在位置を特定する。位置特定部１１８は、これを繰り返すことにより、基準方位及び基準位置を起点とした、カメラ９０の現在方位及び現在位置を特定できる。これにより、携帯端末１００は、測位衛星からの測位信号の受信が困難な場所においても、カメラ９０の現在方位及び現在位置を特定できる。
【0034】
ナビゲーション表示部１１９は、カメラ９０の現在方位及び現在位置に基づいて、ルートを示すナビゲーション画像２０５を生成する。そして、ナビゲーション表示部１１９は、生成したナビゲーション画像２０５を現在の撮像映像２０１に重畳して、図４に示すようなＡＲナビゲーションの画像を生成及び表示する。
【0035】
例えば、ナビゲーション表示部１１９は、図４に示すように、撮像映像２０１から所定の画像解析技術を用いて床面を検出し、その検出した床面から所定の高さにナビゲーション画像２０５が存在して見えるように、ＡＲナビゲーションの画像を生成及び表示してよい。このとき、ナビゲーション表示部１１９は、６軸センサの測定値を用いて、床面（平面）に対するカメラ９０の傾きを検出してもよい。なお、ナビゲーション表示部１１９のさらなる機能については後述する（図７参照）。
【0036】
＜ＡＲナビゲーションの動作＞
図５は、ＡＲナビゲーション開始時の処理の一例を示すフローチャートである。
図５は、ＡＲナビゲーション開始時の処理の一例を示すフローチャートである。
【0037】
ユーザ２は、携帯端末１００のカメラ９０を電子看板１０に向ける（Ｓ１０１）。
【0038】
光信号受信部１１２は、カメラ９０を向けた電子看板１０から光信号１２を受信し、その光信号１２から、ＩＤを含む光信号情報を抽出する（Ｓ１０２）。
【0039】
情報取得部１１３は、受信した光信号情報に含まれるＩＤをサーバ２０へ送信し、サーバ２０からＩＤに対応する電子看板情報２０２Ａ、目的地リスト情報２０２Ｂ、及び、ルート情報２０２Ｃを受信する（Ｓ１０３）。
【0040】
目的地リスト表示部１１４は、目的地リスト情報２０２Ｂに含まれる目的地のリストを、ディスプレイに表示する（Ｓ１０４）。
【0041】
ユーザ２は、出力装置１００２（図１５参照）の一例であるディスプレイに表示された目的地のリストの中から、入力装置１００１（図１５参照）の一例であるタッチパネルを介して、１つの目的地を選択する（Ｓ１０５）。
【0042】
ユーザ２は、図３に示すように、電子看板１０に表示されたマーク１１にカメラ９０を向け、撮像映像２０１内のマーク１１が枠１２１の中にちょうど収まるように、カメラ９０を前後上下にゆっくりと動かす（Ｓ１０６）。
【0043】
基準特定部１１５は、撮像映像２０１内のマーク１１の歪み及びサイズに基づいて、カメラ９０の基準方位及び基準位置を特定する（Ｓ１０７）。
【0044】
ルート特定部１１６は、ルート情報２０２Ｃに基づいて、出発地から、Ｓ１０５にて選択された目的地までのルートを特定する（Ｓ１０８）。
【0045】
携帯端末１００は、ＡＲナビゲーション処理を開始する（Ｓ１０９）。なお、ＡＲナビゲーション処理の詳細については後述する（図６参照）。
【0046】
以上の処理により、ナビゲーション開始時におけるカメラ９０の基準方位及び基準位置を特定でき、ＡＲナビゲーション処理を開始できる。
【0047】
【0048】
映像取得部１１１は、カメラ９０から、現在の撮像映像２０１を取得する（Ｓ２０１）。
【0049】
動き検出部１１７は、前回の撮像映像２０１から現在の撮像映像２０１までの間の特徴点２１１の動きを検出し、カメラ９０の方位変化量及び移動量を検出する（Ｓ２０２）。
【0050】
位置特定部１１８は、前回のカメラ９０の方位及び位置と、Ｓ２０２で検出されたカメラ９０の方位変化量及び移動量とに基づいて、現在のカメラ９０の方位（現在方位）及び位置（現在位置）を特定する（Ｓ２０３）。
【0051】
ナビゲーション表示部１１９は、カメラ９０の現在方向及び現在位置に基づいてナビゲーション画像２０５を生成する、そして、ナビゲーション表示部１１９は、その生成したナビゲーション画像２０５を現在の撮像映像２０１に重畳して、ＡＲナビゲーションの画像を生成及び表示する（Ｓ２０４）。
【0052】
位置特定部１１８は、カメラ９０の現在位置が目的地付近であるか否かを判定する（Ｓ２０５）。例えば、カメラ９０の現在位置と目的地との間の距離が所定の閾値未満であるか否かを判定する。
【0053】
カメラ９０の現在位置が目的地付近でないと判定した場合（Ｓ２０５：ＮＯ）、携帯端末１００は、Ｓ２０１の処理に戻る。カメラ９０の現在位置が目的地付近であると判定した場合（Ｓ２０５：ＹＥＳ）、携帯端末１００は、目的地付近に到着した旨をユーザ２に通知し、ＡＲナビゲーション処理を終了する。
【0054】
以上の処理により、携帯端末１００は、測位衛星から送信される測位信号の受信が困難な場所であっても、ＡＲナビゲーションによって、ユーザ２を、電子看板１０が位置する出発地から、ユーザ２が選択した目的地までナビゲーションすることができる。
【0055】
なお、ルート途中の電子看板１０に表示されたマーク１１により、カメラ９０の基準方位及び基準位置を補正できてもよい。例えば、ユーザ２が、ＡＲナビゲーションに従って移動中に、ルート途中の電子看板１０に表示されたマーク１１にカメラ９０を向け、Ｓ１０６と同様の動作を行ったとする。この場合、基準特定部１１５は、Ｓ１０７と同様の処理により、当該ルート途中の電子看板１０に表示されたマーク１１に基づいて、カメラ９０の基準方位及び基準位置を特定し直してよい。これにより、移動の途中で蓄積され得るカメラ９０の現在方位及び現在位置の誤差を補正できる。
【0056】
＜ナビゲーション表示部の機能＞
図７は、ナビゲーション表示部１１９のさらなる機能を説明するための図である。
図７は、ナビゲーション表示部１１９のさらなる機能を説明するための図である。
【0057】
道路を走行することが前提の車両とは異なり、歩行移動するユーザ２は、最初に表示したナビゲーション画像２０５が示すルートに沿って歩き続けるとは限らない。例えば、ユーザ２は、歩行移動の途中で、人を避けたり、人の流れに乗るために進路を左右にずらしたり、ナビゲーション画像２０５が示すルートを少しショートカットしたりする場合がある。このような場合、最初に表示したナビゲーション画像２０５のままでは、当該ナビゲーション画像２０５がディスプレイから外れて見えなくなってしまうおそれがある。また、例えば、特定されたルートが道路中央を通るものであるにもかかわらず歩道が端にしかない場合や、誤差の蓄積など、他の要因でナビゲーション画像２０５が示すルートがディスプレイから外れてしまうこともある。更に、ナビゲーション画像２０５が表示されているか否かにかかわらず、位置や方向の精度の限界から、ユーザ２の実際の進行方向に対して、ナビゲーション画像２０５の表示位置または方向がずれてしまうおそれもある。この場合、ナビゲーション画像２０５の指示通りにユーザ２が移動することができないことがある。また、携帯端末１００が認識しているルートとユーザ２が実際に進行しているルートとが本来は一致しているはずであるにもかかわらず誤差等によりずれている場合、ナビゲーション画像２０５のとおりにユーザが移動すると、かえってずれが大きくなってしまうおそれもある。そこで、ナビゲーション表示部１１９は、ユーザ２の移動に合わせてナビゲーション画像２０５の表示を適宜調整する機能を有する。以下、詳細に説明する。
【0058】
例えば、ナビゲーション画像２０５に沿って進路Ｍ０を進んでいたユーザ２が、進路Ｍ０から少しずれた進路Ｍ１に進んだ場合、ナビゲーション画像２０５の表示を変更しなければ、ナビゲーション画像２０５は、ディスプレイの左端に寄って見えなくなってしまう。そこで、ナビゲーション表示部１１９は、目標ノードＮへのルートが示す目標方位Ｖ１とカメラ９０の現在方位Ｕ１とがほぼ同じ（例えばＶ１とＵ１の成す角度θ０が所定の閾値未満）であって、カメラ９０の位置が所定距離以上移動した場合に、カメラ９０の現在位置から目標ノードＮへ向かうナビゲーション画像２０５Ａを再生成する。これにより、ユーザ２が元の進路Ｍ０から少しずれた進路Ｍ１に進んだ場合であっても、それに合わせて、ナビゲーション画像２０５Ａがディスプレイの中央付近に再表示される。よって、ユーザ２が、元の進路Ｍ０から少しすれた進路Ｍ１に進んだ場合であっても、ナビゲーション画像２０５がディスプレイから外れて見えなくなってしまうことを防止できる。ここで、目標方位Ｖ１と現在方位Ｕ１の差は、システムが正しいと認識しているルートとユーザ２の進行方向の差に対応する。そのため、これらの方位がほぼ同じ状態で所定距離以上移動していることは、ユーザ２が概ねナビゲーション画像２０５が示すルートに沿って継続的に移動していることを示している。このような状況でナビゲーション画像２０５がディスプレイから外れる要因は上述したとおり様々なものが考えられるが、いずれの場合であっても、ユーザ２の移動方向が誤っていると厳格に判断してしまうと、正しい方位に移動しているつもりのユーザ２を混乱させてしまう。そこで、本実施の形態では、ナビゲーション画像２０５Ａをディスプレイの中央付近に再表示することにより、ユーザの認識と表示されるナビゲーション画像２０５Ａを見かけ上一致させることで、このような混乱の発生を抑制している。また、表示位置の修正は、ディスプレイの中央付近に急に調整してもよいし、緩やかに調整してもよい。
【0059】
また、所定距離以上の移動があったか否かの判断を省略し、目標ノードＮへのルートが示す目標方位Ｖ１とカメラ９０の現在方位Ｕ１とがほぼ同じであるなら、随時ナビゲーション画像２０５Ａを再表示してもよい。この場合、携帯端末１００が認識している方向とユーザ２の実際の進行方向が略一致しているためである。また、所定距離以上の移動がなくともナビゲーション画像２０５Ａを再表示する処理と、所定距離以上の移動を行った場合にナビゲーション画像２０５Ａを再表示する処理とを併用してもよい。この場合、所定距離以上の移動がなくともナビゲーション画像２０５Ａを再表示する処理は、例えばＶ１とＵ１の成す角度θ０が小さい角度の場合に実行し、所定距離以上の移動があった場合にナビゲーション画像２０５Ａを再表示する処理はθ０が大きい角度の場合に実行してよい。これにより、システムの誤差に起因すると思われるずれは随時補正され、ユーザ２の進行方向自体が誤っている恐れのある大きめのずれは一定の検証期間を経てから補正することができる。
【0060】
また、ナビゲーション画像２０５Ａを再生成する場合、ナビゲーション画像２０５Ａの表示位置のみを修正するのではなく、ルートそのものを補正してよい。この場合、例えば、目標ノードＮのみならず全てのノードを移動または回転させてよい。これにより、携帯端末１００が認識しているルートそのものを修正するため、今後の移動においても誤差が発生しにくくなる。ただし、この補正を行うと、ユーザ２が誤ったルートを移動している場合であっても、常に正解のルートを歩いていると認識されてしまうおそれがあるため、当初のルートと比べて位置または方向があまりにも大きく変わるようであればルート補正を行わず、ユーザ２の移動が誤りであると判定するなどとしてもよい。なお、ノードを移動または回転させる場合にも、その調整を急に行っても良いし、緩やかに行ってもよい。また、ノードの調整自体は即座に反映するもののナビゲーション画像２０５Ａの表示は緩やかに調整してよい。このようにすることで、携帯端末１００が内部で認識しているルートをユーザ２の実際の移動に素早く合わせるとともに、急なナビゲーション画像２０５Ａの移動によってユーザを驚かせてしまう可能性を低減することができる。
【0061】
また、上記の場合に、ナビゲーション画像２０５Ａの表示位置またはルートを構成するノードの修正は、目標ノードＮへのルートが示す目標方位Ｖ１とカメラ９０の現在方位Ｕ１とのずれが所定の閾値を超える場合には行わないものとしてもよい。これにより、ユーザ２がルートを逆行しているなど明らかな誤りが発生している場合にまで修正が発生してしまう可能性を低減することができる。
【0062】
また、ナビゲーション画像２０５Ａの表示位置またはルートを構成するノードの修正は、曲がり角まで所定の距離以下の場合には実施を抑制するなどとしてもよい。曲がり角、クランク、コの字状等のルートでは、ユーザ２は、移動をショートカットしたり大回りしたりしやすいためナビゲーション画像２０５Ａの通りに進む可能性が低く、ナビゲーション画像２０５Ａまたはルートを構成するノードの修正が過剰に発生してしまい、その結果、かえって不都合な修正結果になってしまうおそれがあるためである。
【0063】
また、ナビゲーション画像２０５Ａの表示位置またはルートを構成するノードの修正は、目標ノードＮとは関係なく、３次元空間内での距離が一番近い点を基準として補正してもよい。ただし、近いエッジが複数ある場合はエッジの向きと移動の向きの一致度も加味して選択してよい。このようにすることで螺旋階段のような３次元的な移動を行う場合のずれにも対応することができる。
【0064】
また、ナビゲーション表示部１１９は、カメラ９０の視野角内に目標ノードＮが含まれておらず、かつ、目標方位Ｖ１とカメラ９０の現在方位Ｕ１が大きく異なる（例えばＶ１とＵ１の成す角度θ０が所定の閾値以上の）状態でカメラ９０の位置が所定距離以上移動したことを検知した場合、ナビゲーション画像２０５を非表示とし、ルートから外れていることをユーザ２に注意喚起する情報（以下「注意情報」という）をディスプレイに表示してよい。これにより、ユーザ２が元の進路Ｍ０から大きく異なる進路Ｍ２に進んだ場合に、ナビゲーション表示部１１９は、注意情報を表示できると共に、不要なナビゲーション画像２０５の生成処理を省略できる。
【0065】
なお、ナビゲーション表示部１１９は、注意情報の表示と共に、あるいは、注意情報の表示に代えて、注意喚起する音声を出力したり、注意喚起する振動パターンを出力したりしてもよい。
【0066】
また、ナビゲーション表示部１１９は、注意情報を表示中の状態が所定時間以上継続した場合、ＡＲナビゲーションを終了してもよい。ＡＲナビゲーションの継続が困難であると共に、携帯端末１００の処理負荷及びバッテリー消費を抑制するためである。
【0067】
また、ナビゲーション表示部１１９は、注意情報を表示中の状態において、カメラ９０の視野角内に目標ノードＮが含まれ、かつ、目標方位Ｖ１とカメラ９０の現在方位Ｕ１がほぼ同じ（例えばＶ１とＵ１の成す角度θ０が所定の閾値未満）となったことを検知した場合、注意情報を非表示とし、カメラ９０の現在位置から目標ノードＮへ向かうナビゲーション画像２０５Ｂを再生成及び再表示してよい。これにより、ユーザ２が元の進路Ｍ０から大きく異なる進路Ｍ２に進んだ後、元の進路Ｍ０から少しずれた進路Ｍ３に進んだ場合に、ナビゲーション表示部１１９は、ナビゲーション画像２０５を再表示できる。また、視野角内に目標ノードＮが入った場合のみならず、目標ノード近傍に存在するものとして記録されている設備（看板やポスター）または地形（坂道や曲がり角など）が視野に入った場合に、ユーザ２がルートの近傍に戻ったと判断して、ナビゲーション画像２０５を再生成及び再表示してよい。
【0068】
また、ナビゲーション表示部１１９は、基準となる地点（例えばルートの出発地又は目的地の位置、ＡＲ空間の原点）のＡＲ空間座標と、ある時刻におけるカメラ９０の位置のＡＲ空間座標とに基づいて、ある時刻におけるカメラ９０の位置の経度及び緯度を算出してよい。そして、ナビゲーション表示部１１９は、その算出したある時刻におけるカメラ９０の位置の経度及び緯度をログ情報（図示せず）に書き込んでもよい。これにより、ログ情報には、各時刻におけるカメラ９０の位置を示す経度及び緯度が記録される。つまり、ログ情報には、カメラ９０の移動経路が記録される。ログ情報は、ファイルとして出力されてもよいし、サーバ２０にアップロードされてもよい。このログを用いることで、基準地点において携帯端末１００が認識しているカメラ９０の経度および緯度を記録することができるので、記録しておいた経度および緯度を同じ基準地点で再利用することができる。これにより、基準地点と携帯端末１００とで認識している位置にずれがある場合に、そのずれを補正することができる。なお、このずれは携帯端末１００の性質に起因する場合もあれば、基準地点の性質に起因する場合もある。前者の例としては、カメラ９０の撮像画像の歪み等が原因であり、後者の例としては、基準地点自体が移動可能な電子看板で実現されている場合などが考えられる。そこで、ログとして携帯端末の種類あるいはＩＤを併せて記録し、ログを解析することによって、ずれの生じやすい機種あるいは看板等を特定することも可能となる。
【0069】
＜目標ノードの更新方法＞
図８は、目標ノードの更新方法の一例を説明するための図である。
図８は、目標ノードの更新方法の一例を説明するための図である。
【0070】
ルートは、複数のノードと、隣接するノード間を結ぶエッジとによって構成される。例えば、出発地のノードからＮ番目のノードを最初の目標ノードＮとする。最初の目標ノードＮは、一定の条件を満たすノードであってよい。例えば、出発地のノードから予め定められた順番のノードを、最初の目標ノードＮとしてもよい。あるいは、出発地から所定距離以上離れたノードのうち、出発地に最も近いノードを最初の目標ノードＮとしてもよい。
【0071】
ここで、ノードＮ－１と目標ノードＮとを結ぶエッジＥ１と、カメラ９０の現在位置と目標ノードＮとを結ぶ線Ｆ１とが成す角度をθ１とする。ノードＮ－１と目標ノードＮとを結ぶＥ１と、目標ノードＮとノードＮ＋１とを結ぶエッジＥ２とが成す角度をθ２とする。
【0072】
ルート特定部１１６は、θ１＞（θ２／２）となったときに、ノードＮ＋１を次の目標ノードとしてよい。ルート特定部１１６は、目的地に到着するまでこれを繰り返してよい。これにより、カメラ９０の現在位置が、目標ノードＮに十分近づいたとき、あるいは、目標ノードＮを通過したときに、目標ノードが先のノードに更新される。よって、いずれの位置においても、ナビゲーション表示部１１９は、先の目標ノードに向かう適切なナビゲーション画像２０５を生成できる。
【0073】
＜変形例＞
上述では、電子看板１０から送信された光信号１２をカメラ９０で受信し、ＩＤを取得する例を説明した。しかし、携帯端末１００は、他の方法でＩＤを取得してもよい。例えば、電子看板１０に代えて、２次元コードが印刷されたポスターが所定の場所に設置されてもよい。そして、携帯端末１００は、カメラ９０で２次元コードを読み取り、その２次元コードからＩＤを取得してもよい。この場合、ポスターに所定のマーク１１が印刷されてよい。また、光信号１２を用いる場合であっても、その信号の発信源は電子看板の形態である必要はなく、例えば、照明器具などであってもよい。また、この光信号１２を発する照明器具をバックライトとしマーク１１を印刷したカバーあるいはポスターで覆った看板であってもよい。すなわち、本開示において基準位置および基準方位を特定するために撮影する対象は、任意の設置物でよい。また、位置を照明器具から取得し、方位は電子看板から取得するなど、それぞれの情報を別々の設置物を用いて取得してもよい。
上述では、電子看板１０から送信された光信号１２をカメラ９０で受信し、ＩＤを取得する例を説明した。しかし、携帯端末１００は、他の方法でＩＤを取得してもよい。例えば、電子看板１０に代えて、２次元コードが印刷されたポスターが所定の場所に設置されてもよい。そして、携帯端末１００は、カメラ９０で２次元コードを読み取り、その２次元コードからＩＤを取得してもよい。この場合、ポスターに所定のマーク１１が印刷されてよい。また、光信号１２を用いる場合であっても、その信号の発信源は電子看板の形態である必要はなく、例えば、照明器具などであってもよい。また、この光信号１２を発する照明器具をバックライトとしマーク１１を印刷したカバーあるいはポスターで覆った看板であってもよい。すなわち、本開示において基準位置および基準方位を特定するために撮影する対象は、任意の設置物でよい。また、位置を照明器具から取得し、方位は電子看板から取得するなど、それぞれの情報を別々の設置物を用いて取得してもよい。
【0074】
また、上述では、電子看板１０から送信する情報はＩＤであり、他の情報はＩＤを用いてサーバ２０から取得していたが、電子看板１０自体に情報を規則しておき、無線通信等によって全ての情報または一部の情報を携帯端末１００へ送信してもよい。
【0075】
また、上述では、屋内向けのナビゲーションを目的としたシステムとして本開示の説明を行ったが、屋外のナビゲーションに用いても構わない。また、屋外と屋内の両方を移動するルートなどに本開示を応用する場合、ＧＰＳ等の屋外で取得可能な情報を用いて計算した位置および方位を用いて、現在位置を修正してもよい。
【0076】
上述では、携帯端末１００は、電子看板１０からのＩＤを受信してから、そのＩＤを用いてサーバ２０から目的地リスト情報、ルート情報を含む情報を取得していたが、これに限られるものではない。ＩＤを受信した際にサーバ２０から目的地リスト情報を取得し、目的地選択時にサーバ２０から当該目的地に対応するルート情報を取得するというように取得のタイミングを分割させてもよい。このようにすることで、不要なルート情報を取得する必要がなくなるので通信量を低減することができる。また、あらかじめ携帯端末１００に目的地が設定された状態でＩＤを受信した場合は、目的地リスト情報の取得を省略して、設定されている目的地に対応するルート情報を取得するようにしてもよい。このようにすることで不要な目的地リスト情報を取得する必要がなくなるので通信量を低減することができる。
【0077】
（実施の形態２）
実施の形態２では、実施の形態１で説明した内容を実現する携帯端末１００の構成の変形例について説明する。
実施の形態２では、実施の形態１で説明した内容を実現する携帯端末１００の構成の変形例について説明する。
【0078】
図９は、実施の形態２に係る携帯端末の構成及びナビゲーション開始時におけるマーク検出処理の例を示す図である。
【0079】
【0080】
図１１は、実施の形態２に係る携帯端末の構成例及びユーザ２の移動に伴うナビゲーション画像の再生成処理の例を示す図である。
【0081】
図１２は、実施の形態２に係る携帯端末の構成例及びユーザ２がルートを外れた場合の処理の例を示す図である。
【0082】
図１３は、実施の形態２に係る携帯端末の構成例及びユーザ２がルートを外れた場合に注意情報を表示する処理の例を示す図である。
【0083】
図１４は、実施の形態２に係る携帯端末の構成例及びルートを外れたユーザ２がルートに復帰した場合の処理の例を示す図である。
【0084】
【0085】
＜ハードウェア構成＞
以上、本開示に係る実施形態について図面を参照して詳述した。なお、上述した携帯端末１００の機能は、コンピュータプログラムにより実現され得る。
以上、本開示に係る実施形態について図面を参照して詳述した。なお、上述した携帯端末１００の機能は、コンピュータプログラムにより実現され得る。
【0086】
図１５は、携帯端末１００の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。
【0087】
このコンピュータ１０００は、入力装置１００１、出力装置１００２、ＣＰＵ（Central Processing Unit）１００３、ＧＰＵ（Graphics Processing Unit）１００４、ＲＯＭ（Read Only Memory）１００５、ＲＡＭ（Random Access Memory）１００６、記憶装置１００７、読取装置１００８、送受信装置１００９、撮像装置１０１０を備え、各装置１００１～１０１０は、双方向通信可能なバス１０１１に接続される。
【0088】
入力装置１００１の例は、キーボード、マウス又はタッチパッドである。出力装置１００２の例は、ディスプレイ又はスピーカーである。ＣＰＵ１００３は、プロセッサ、コントローラ、集積回路、ＰＬＤ（programmable logic device）とった他の用語に読み替えられてもよい。記憶装置１００７の例は、ＳＳＤ（Solid State Drive）又はフラッシュメモリである。読取装置１００８は、例えば、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る。送受信装置１００９は、通信ネットワークを介して無線にて通信を行う。撮像装置１０１０は、撮像素子を備え、撮像映像（動画及び静止画）を生成する。生成された撮像映像は記憶装置１００７に記憶される。
【0089】
読取装置１００８は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１００７に記憶させる。あるいは、送受信装置１００９が、通信ネットワークに接続されたサーバと通信を行い、サーバからダウンロードした上記各装置の機能を実現するためのプログラム又はアプリケーションを記憶装置１００７に記憶させる。そして、ＣＰＵ１００３が、記憶装置１００７に記憶されたプログラムをＲＡＭ１００６にコピーし、そのプログラムに含まれる命令をＲＡＭ１００６から順次読み出して実行することにより、上記各装置の機能が実現される。
【0090】
上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【0091】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【0092】
（本開示のまとめ）
本開示に係る撮像装置（９０）を備える携帯端末（１００）は、撮像装置に撮像された撮像映像（２０１）を取得する映像取得部（１１１）と、所定の位置に設置された設置物（１０）が撮像された撮像映像に基づいて、ナビゲーション開始時における撮像装置の基準の方位及び位置を特定する基準特定部（１１５）と、設置物の位置から目的地までのルートを特定するルート特定部（１１６）と、撮像映像から抽出した特徴点（２１１）の時間経過に伴う動きに基づいて、撮像装置の方位変化量及び移動量を検出する動き検出部（１１７）と、撮像装置の基準の方位及び位置を特定した後に動き検出部によって検出された撮像装置の方位変化量及び移動量に基づいて、撮像装置の現在の方位及び位置を特定する位置特定部（１１８）と、特定された撮像装置の現在の方位及び位置に基づいてルートを示すナビゲーション画像（２０５）を生成し、生成したナビゲーション画像を現在の撮像映像に重畳して表示するナビゲーション表示部（１１９）と、を備える。
本開示に係る撮像装置（９０）を備える携帯端末（１００）は、撮像装置に撮像された撮像映像（２０１）を取得する映像取得部（１１１）と、所定の位置に設置された設置物（１０）が撮像された撮像映像に基づいて、ナビゲーション開始時における撮像装置の基準の方位及び位置を特定する基準特定部（１１５）と、設置物の位置から目的地までのルートを特定するルート特定部（１１６）と、撮像映像から抽出した特徴点（２１１）の時間経過に伴う動きに基づいて、撮像装置の方位変化量及び移動量を検出する動き検出部（１１７）と、撮像装置の基準の方位及び位置を特定した後に動き検出部によって検出された撮像装置の方位変化量及び移動量に基づいて、撮像装置の現在の方位及び位置を特定する位置特定部（１１８）と、特定された撮像装置の現在の方位及び位置に基づいてルートを示すナビゲーション画像（２０５）を生成し、生成したナビゲーション画像を現在の撮像映像に重畳して表示するナビゲーション表示部（１１９）と、を備える。
【0093】
この構成によれば、携帯端末は、測位信号を受信することなく、ナビゲーション開始時における撮像装置（携帯端末）の位置（基準位置）を特定できると共に、電子コンパスを使用することなく、ナビゲーション開始時における撮像装置の方位（基準方位）を特定できる。そして、その後の動き検出によって、測位信号を受信することなく、かつ、電子コンパスを使用することなく、撮像装置の現在の位置（現在位置）及び方位（現在方位）を特定できる。加えて、ナビゲーション画像を撮像装置の現在位置及び現在方位に基づいて生成し、生成したナビゲーション画像を現在の撮像映像に重畳して表示できる。よって、測位信号の受信が困難な場所においても、ＡＲナビゲーションを実現できる。
【0094】
また、上記ルートは、所定の通過地点を示す複数のノードによって構成されてよい。そして、ナビゲーション表示部は、現在の位置から、複数のノードのうちの１つである目標ノードが示す位置へ向かうナビゲーション画像を生成してよい。また、ナビゲーション表示部は、現在の位置から目標ノードが示す位置へ向かう目標方位と現在の方位との間のずれが所定の閾値未満の場合、ナビゲーション画像の表示位置がディスプレイの略中央となるよう調整してよい。
【0095】
この構成によれば、ナビゲーション表示部は、撮像装置の現在の位置の変化に応じて、ナビゲーション画像を再生成するので、例えば、ユーザ（２）がルートから少しずれた場合に、ナビゲーション画像が携帯端末のディスプレイから外れて見えなくなってしまうことを防止できる。
【0096】
また、ナビゲーション表示部は、現在の位置から目標ノードが示す位置へ向かう目標方位と現在の方位との間のずれが所定の閾値以上である場合、ルートから外れていることを示す注意情報を表示し、ナビゲーション画像を非表示としてよい。
【0097】
この構成によれば、撮像装置の方位が本来のルートの方位から大きくずれた場合、注意情報を表示して、ユーザに対してルートから大きくずれていることを通知できる。
【0098】
また、ナビゲーション表示部は、注意情報を表示中に、目標方位と現在の方位との間のずれが閾値未満となった場合、注意情報を非表示とし、ナビゲーション画像を再表示してよい。
【0099】
この構成によれば、本来のルートの方位から大きくずれていた撮像装置が本来のルートの方位に戻った場合に、ナビゲーションを再開できる。
【0100】
また、ナビゲーション表示部は、注意情報を表示中に、目標方位と現在の方位との間のずれが閾値以上である状態が所定時間以上継続した場合、目的地までのナビゲーションを終了してよい。
【0101】
この構成によれば、撮像装置の方位が本来のルートの方位から大きくずれ、その状態がしばらく継続した場合、ナビゲーションを終了できる。
【0102】
以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0103】
本開示の技術は、携帯端末を用いたナビゲーションに利用可能である。
【符号の説明】
【0104】
２ ユーザ
１０ 電子看板
１１ マーク
１２ 光信号
２０ サーバ
３０ ルート
９０ カメラ
１００ 携帯端末
１１０ 制御部
１１１ 映像取得部
１１２ 光信号受信部
１１３ 情報取得部
１１４ 目的地リスト表示部
１１５ 基準特定部
１１６ ルート特定部
１１７ 動き検出部
１１８ 位置特定部
１１９ ナビゲーション表示部
１２１ 枠
２００ 記憶部
２０１ 撮像映像
２０２Ａ 電子看板情報
２０２Ｂ 目的地リスト情報
２０２Ｃ ルート情報
２０３ カメラの基準方位及び基準位置を示す情報
２０４ カメラの現在方位及び現在位置を示す情報
２０５、２０５Ａ、２０５Ｂ ナビゲーション画像
２１１ 特徴点
１０００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ ＧＰＵ
１００５ ＲＯＭ
１００６ ＲＡＭ
１００７ 記憶装置
１００８ 読取装置
１００９ 送受信装置
１０１０ 撮像装置
１０１１ バス
１０ 電子看板
１１ マーク
１２ 光信号
２０ サーバ
３０ ルート
９０ カメラ
１００ 携帯端末
１１０ 制御部
１１１ 映像取得部
１１２ 光信号受信部
１１３ 情報取得部
１１４ 目的地リスト表示部
１１５ 基準特定部
１１６ ルート特定部
１１７ 動き検出部
１１８ 位置特定部
１１９ ナビゲーション表示部
１２１ 枠
２００ 記憶部
２０１ 撮像映像
２０２Ａ 電子看板情報
２０２Ｂ 目的地リスト情報
２０２Ｃ ルート情報
２０３ カメラの基準方位及び基準位置を示す情報
２０４ カメラの現在方位及び現在位置を示す情報
２０５、２０５Ａ、２０５Ｂ ナビゲーション画像
２１１ 特徴点
１０００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ ＧＰＵ
１００５ ＲＯＭ
１００６ ＲＡＭ
１００７ 記憶装置
１００８ 読取装置
１００９ 送受信装置
１０１０ 撮像装置
１０１１ バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】