(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-04
(45)【発行日】2024-01-15
(54)【発明の名称】位置および向き認識システム、携帯端末、及び位置および向き認識方法
(51)【国際特許分類】
G01B 11/00 20060101AFI20240105BHJP
G01B 11/26 20060101ALI20240105BHJP
G01C 21/28 20060101ALI20240105BHJP
G01C 21/26 20060101ALI20240105BHJP
【FI】
G01B11/00 H
G01B11/26 H
G01C21/28
G01C21/26 P
(21)【出願番号】P 2022037091
(22)【出願日】2022-03-10
(62)【分割の表示】P 2020523971の分割
【原出願日】2018-06-08
【審査請求日】2022-04-11
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】橋本 康宣
(72)【発明者】
【氏名】小野 裕明
【審査官】梶田 真也
(56)【参考文献】
【文献】特開2015-158461(JP,A)
【文献】特開2016-211973(JP,A)
【文献】特開2017-181374(JP,A)
【文献】特開2006-099188(JP,A)
【文献】特開2005-107964(JP,A)
【文献】特開平10-221074(JP,A)
【文献】特許第6211157(JP,B1)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00 - 11/30
G01C 1/00 - 1/14
G01C 5/00 - 15/14
G01C 21/00 - 21/36
G01C 23/00 - 25/00
(57)【特許請求の範囲】
【請求項1】
カメラと前記カメラで取得した画像を処理する処理部とを備える携帯端末を用いた位置および向き認識システムであって、
座標系が定義された空間には、複数の標識点と前記複数の標識点の前記空間内での位置情報を
、画像解析により取得可能な態様
の標識板が設置されており、
前記標識板の面である標識面に、前記位置情報および方位情報を撮影可能かつ撮影した画像を解析することにより前記位置情報および前記方位情報を取得可能な態様で表示する位置方位情報表示領域を備え、
前記携帯端末は、前記カメラで前記標識板を撮影して標識板画像を取得し、
前記処理部にて、前記標識板画像中の前記位置方位情報表示領域を解析して、前記複数の標識点の前記空間内での位置情報を取得し、
さらに、前記処理部にて、前記標識板画像中の前記複数の標識点の相対的位置関係の歪みから、前記携帯端末の前記空間内における位置および向きを計算すること、
を特徴とする位置および向き認識システム。
【請求項2】
請求項1記載の位置および向き認識システムであって、
前記携帯端末はさらにディスプレイを備え、
前記携帯端末の前記空間内における位置および向きに基づいて、前記携帯端末は、前記空間内の物体に位置を合わせて、AR画像を前記ディスプレイに表示すること、
を特徴とする位置および向き認識システム。
【請求項3】
カメラと前記カメラで取得した画像を処理する処理部とを備える携帯端末であって、
座標系が定義された空間には、複数の標識点と前記複数の標識点の前記空間内での位置情報を
、画像解析により取得可能な態様
の標識板が設置されており、
前記標識板の面である標識面に、前記位置情報および方位情報を撮影可能かつ撮影した画像を解析することにより前記位置情報および前記方位情報を取得可能な態様で表示する位置方位情報表示領域を備え、
前記携帯端末は、前記カメラで前記標識板を撮影して標識板画像を取得し、
前記処理部にて、前記標識板画像中の前記位置方位情報表示領域を解析して、前記複数の標識点の前記空間内での位置情報を取得し、
さらに、前記処理部にて、前記標識板画像中の前記複数の標識点の相対的位置関係の歪みから、前記携帯端末の前記空間内における位置および向きを計算すること、
を特徴とする携帯端末。
【請求項4】
カメラと前記カメラで取得した画像を処理する処理部とを備える携帯端末を用いた位置および向き認識方法であって、
座標系が定義された空間には、複数の標識点と前記複数の標識点の前記空間内での位置情報を
、画像解析により取得可能な態様
の標識板が設置されており、
前記標識板の面である標識面に、前記位置情報および方位情報を撮影可能かつ撮影した画像を解析することにより前記位置情報および前記方位情報を取得可能な態様で表示する位置方位情報表示領域を備え、
前記携帯端末が、前記カメラで前記標識板を撮影して標識板画像を取得するステップと、
前記処理部にて、前記標識板画像中の前記位置方位情報表示領域を解析して、前記複数の標識点の前記空間内での位置情報を取得するステップと、
前記処理部にて、前記標識板画像中の前記複数の標識点の相対的位置関係の歪みから、
前記携帯端末の前記空間内における位置および向きを計算するステップと、を含む、
ことを特徴とする位置および向き認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、位置および方位情報推定技術に関し、特に、人工衛星等からの電波が届かない場所等における位置および方位情報推定技術に関する。
【背景技術】
【0002】
人工衛星等からの電波が届かない場所等においても、現在位置情報や方位情報を取得(推定)する技術がある。例えば、特許文献1には、「複数の建造物に緯度・経度情報を設置するための複数の位置情報表示装置と、位置情報表示装置に記載された緯度・経度情報を読み取る位置情報読み取り装置とを備え、現在位置に最も近い位置情報表示装置から位置情報読み取り装置を用いて緯度・経度情報を読み取ることにより現在位置情報を取得する。緯度・経度情報を設置した付近に設置する方位情報表示装置を備え、現在位置に最も近い方位情報表示装置から方位情報を読み取ることにより方位情報を取得する(要約抜粋)」技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に開示の技術で得られるのは、予め設置された位置情報表示板の位置情報に過ぎず、位置情報表示板のない場所の位置情報は得られない。すなわち、利用者の現在位置情報は得られない。例えば、大規模な地下街やショッピングセンタ内で、現在位置や方位を把握して店舗等の目的地を探す場合等、誤差が発生しやすい。
【0005】
本発明は、上記事情に鑑みてなされたもので、人工衛星等からの電波が届かない場所においても、簡易な構成で精度よく、利用者の現在位置および方位を推定する技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、カメラと前記カメラで取得した画像を処理する処理部とを備える携帯端末を用いた位置および向き認識システムであって、座標系が定義された空間には、複数の標識点と前記複数の標識点の前記空間内での位置情報を、画像解析により取得可能な態様の標識板が設置されており、前記標識板の面である標識面に、前記位置情報および方位情報を撮影可能かつ撮影した画像を解析することにより前記位置情報および前記方位情報を取得可能な態様で表示する位置方位情報表示領域を備え、前記携帯端末は、前記カメラで前記標識板を撮影して標識板画像を取得し、前記処理部にて、前記標識板画像中の前記位置方位情報表示領域を解析して、前記複数の標識点の前記空間内での位置情報を取得し、さらに、前記処理部にて、前記標識板画像中の前記複数の標識点の相対的位置関係の歪みから、前記携帯端末の前記空間内における位置および向きを計算すること、を特徴とする。
【0007】
また、本発明は、カメラと前記カメラで取得した画像を処理する処理部とを備える携帯端末であって、座標系が定義された空間には、複数の標識点と前記複数の標識点の前記空間内での位置情報を、画像解析により取得可能な態様の標識板が設置されており、前記標識板の面である標識面に、前記位置情報および方位情報を撮影可能かつ撮影した画像を解析することにより前記位置情報および前記方位情報を取得可能な態様で表示する位置方位情報表示領域を備え、前記携帯端末は、前記カメラで前記標識板を撮影して標識板画像を取得し、前記処理部にて、前記標識板画像中の前記位置方位情報表示領域を解析して、前記複数の標識点の前記空間内での位置情報を取得し、さらに、前記処理部にて、前記標識板画像中の前記複数の標識点の相対的位置関係の歪みから、前記携帯端末の前記空間内における位置および向きを計算すること、を特徴とする。
【0008】
さらに、本発明は、カメラと前記カメラで取得した画像を処理する処理部とを備える携帯端末を用いた位置および向き認識方法であって、座標系が定義された空間には、複数の標識点と前記複数の標識点の前記空間内での位置情報を、画像解析により取得可能な態様の標識板が設置されており、前記標識板の面である標識面に、前記位置情報および方位情報を撮影可能かつ撮影した画像を解析することにより前記位置情報および前記方位情報を取得可能な態様で表示する位置方位情報表示領域を備え、前記携帯端末が、前記カメラで前記標識板を撮影して標識板画像を取得するステップと、前記処理部にて、前記標識板画像中の前記位置方位情報表示領域を解析して、前記複数の標識点の前記空間内での位置情報を取得するステップと、前記処理部にて、前記標識板画像中の前記複数の標識点の相対的位置関係の歪みから、前記携帯端末の前記空間内における位置および向きを計算するステップと、を含む、ことを特徴とする。
【発明の効果】
【0009】
人工衛星等からの電波が届かない場所においても、簡易な構成で精度よく、利用者の現在位置および方位を推定できる。また、上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0010】
【
図1】第一の実施形態の処理の概要を説明するための説明図である。
【
図2】第一の実施形態の標識板の一例を説明するための説明図である。
【
図3】(a)は、第一の実施形態の携帯端末のハードウェア構成図であり、(b)は、第一の実施形態の携帯端末の端末位置推定部の機能ブロック図である。
【
図4】(a)は、第一の実施形態の端末位置推定時の様子を説明するための説明図であり、(b)は、一般的な三角測量による位置算出手法を説明するための説明図である。
【
図5】(a)~(d)は、それぞれ、第一の実施形態の携帯端末と標識面とが成す角度の算出手法を説明するための説明図である。
【
図6】第一の実施形態の位置における端末位置推定手法を説明するための説明図である。
【
図7】第一の実施形態の端末位置推定処理のフローチャートである。
【
図8】(a)および(b)は、第一の実施形態の標識板の変形例を説明するための説明図である。
【
図9】(a)および(b)は、第一の実施形態の変形例の端末位置推定手法を説明するための説明図である。
【
図10】第一の実施形態の変形例の端末位置推定手法を説明するための説明図である。
【
図11】(a)および(b)は、第一の実施形態の変形例により提供するサービスおよび表示画面例を説明するための説明図である。
【
図12】第二の実施形態の標識板の一例を説明するための説明図である。
【
図13】(a)~(c)は、第二の実施形態の端末位置推定手法を説明するための説明図である。
【
図14】(a)および(b)は、第二の実施形態の端末位置推定手法を説明するための説明図である。
【
図15】(a)~(c)は、第二の実施形態の端末位置推定手法を説明するための説明図である。
【
図16】(a)および(b)は、第二の実施形態の端末位置推定手法を説明するための説明図である。
【
図17】(a)および(b)は、目標地点の3次元的位置を表示する場合の説明図である。
【
図18】第三の実施形態の標識点の一例を説明するための説明図である。
【
図19】(a)~(c)は、第三の実施形態の端末位置推定手法を説明するための説明図である。
【
図20】(a)および(b)は、第三の実施形態の端末位置推定手法を説明するための説明図である。
【
図21】(a)~(c)は、第三の実施形態の変形例の端末位置推定手法を説明するための説明図である。
【
図22】(a)~(d)は、第三の実施形態の変形例の標識点と追加標識点との位置関係の一例をそれぞれ説明するための説明図である。
【
図23】(a)および(b)は、第三の実施形態の変形例の端末位置推定手法を説明するための説明図である。
【
図24】(a)および(b)は、第三の実施形態の変形例の端末位置推定手法を説明するための説明図である。
【
図25】第三の実施形態の変形例の端末位置推定手法を説明するための説明図である。
【
図26】(a)~(c)は、第三の実施形態の変形例の端末位置推定手法を説明するための説明図である。
【
図27】第三の実施形態の変形例の端末位置推定手法を説明するための説明図である。
【
図28】(a)および(b)は、第三の実施形態の変形例の端末位置推定手法を説明するための説明図である。
【
図29】(a)および(b)は、第三の実施形態の変形例の端末位置推定手法を説明するための説明図である。
【
図30】(a)および(b)は、第三の実施形態の応用例の推定位置データを説明するための説明図である。
【
図31】第三の実施形態の応用例の端末位置推定処理のフローチャートである。
【
図32】第三の実施形態の応用例の推定位置履歴を説明するための説明図である。
【
図33】第三の実施形態の応用例の端末位置推定処理のフローチャートである。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら本発明の実施形態について説明する。以下、本明細書において、同一機能を有するものは、特に断らない限り、同一の符号を付し、繰り返しの説明は省略する。
【0012】
<<第一の実施形態>>
本実施形態では、位置情報が既知のランドマークであって、カメラから離れた位置のランドマークをカメラで撮影し、画像処理により、カメラの位置を算出(推定)する。
【0013】
以下、本実施形態では、位置情報が既知のランドマークを、予め、柱や壁等の物体の表面に添付または設置された標識板とする。標識板には、当該標識板の位置情報および標識板面の方位情報が登録されているものとする。本実施形態では、標識板は、カメラ位置と標識板中心とを結ぶ線分と標識板面とが成す角度が把握可能な形状を有するものとする。
【0014】
本実施形態では、2枚の標識板を撮影し、各標識板の位置情報と、各標識板面とカメラ位置と標識板中心とを結ぶ線分がなす角度と、各標識板面の方位情報とから、カメラの位置の位置情報を算出する。
【0015】
図1は、本実施形態の処理の概要を説明するための図である。本図に示すように、所有者910は、撮影機能(カメラ)を備えた携帯型情報処理装置(以下、携帯端末と呼ぶ。)100を保持し、標識板200を撮影する。
【0016】
なお、携帯端末100は、予め設定されたアクセスポイント(AP)970およびネットワーク940を介して、または、携帯電話会社の基地局950を介して、サーバ960に接続可能とする。
【0017】
[標識板]
標識板200の詳細を、
図2を用いて説明する。本図に示すように、本実施形態の標識板200は、例えば、一辺がLSの正方形形状を有する。
【0018】
また、標識板200は、
図2に示すように、位置情報および方位情報(以下、両者をまとめて位置方位情報と呼ぶ。)が撮影可能な態様、かつ、撮影された画像を解析することにより読取可能な態様で表示される位置方位情報表示領域201を有する。あるいは、QRコード(登録商標)に位置方位情報が記載されていてもよい。本図の例では、標識板200の標識面上に、位置方位情報が記載される。
【0019】
位置情報は、例えば、標識板200の中心点の緯度、経度である。方位情報は、例えば、標識板200の標識面上の水平方向の矢印202(以下、方位矢印202と呼ぶ。)が、予め定めた基準方向と成す角度で示される。ここでは、この方位矢印202向きが、北方向と成す角度が登録されるものとする。
【0020】
位置方位情報表示領域201の記載内容は、所有者910が目視で確認できる。携帯端末100のカメラにより、標識板200を撮影し、画像処理により取得してもよい。
【0021】
なお、位置方位情報は、標識板200上に明示されていなくてもよい。例えば、QRコード(登録商標)などに情報取得先のURLが記載され、カメラで撮影することにより、サーバ等から、標識板200の位置方位情報を取得するよう構成されていてもよい。
【0022】
[携帯装置の構成]
次に、携帯端末100の構成を説明する。携帯端末100は、撮影機能と、情報処理機能とを有する情報処理装置である。例えば、携帯電話、スマートフォン、タブレット端末、ウォッチやヘッドマウントディスプレイなどのウェアラブル端末、フィーチャーフォン、または、その他の携帯用デジタル機器等である。さらに、ドローン等の自律型機器でもよい。
【0023】
図3(a)は、本実施形態の携帯端末100の、ハードウェア構成図である。本図に示すように、携帯端末100は、CPU(Central Processing Unit)101と、記憶装置110と、撮影装置120と、ユーザインタフェース(I/F)130と、センサ装置140と、通信装置150と、拡張I/F160と、を備える。各装置は、バス102を介してCPU101に接続される。
【0024】
CPU101は、携帯端末100全体を制御するマイクロプロセッサユニットである。バス102はCPU101と携帯端末100の各装置との間でデータ送受信を行うためのデータ通信路である。
【0025】
記憶装置110は、ROM(Read Only Memory)111と、RAM(Random Access Memory)112と、ストレージ113とを備える。
【0026】
ROM111は、オペレーティングシステムなどの基本動作プログラムやその他の動作プログラムが格納されるメモリである。ROM111として、例えば、EEPROM(Electrically Erasable and Programmable Read Only Memory)やフラッシュROMのような書き換え可能なROMが用いられる。
【0027】
ストレージ113は、携帯端末100の動作プログラムや動作設定値、本実施形態の各機能を実現するために必要な各種のプログラムや各種のデータを記憶する。
【0028】
ストレージ113は、携帯端末100に外部からの電源が非供給状態であっても記憶している情報を保持する。ストレージ113には、例えば、フラッシュROMやSSD(Solid State Drive)、HDD(Hard Disk Drive)等のデバイスが用いられる。
【0029】
RAM112は、基本動作プログラムやその他の動作プログラム実行時のワークエリアである。
【0030】
ROM111及びRAM112は、CPU101と一体構成であっても良い。また、また、ROM111は、
図3(a)に示すような独立構成とはせず、ストレージ113内の一部記憶領域を使用するようにしても良い。すなわち、ストレージ113の一部領域により、ROM111の機能の全部又は一部を代替しても良い。
【0031】
なお、ROM111やストレージ113に記憶された各動作プログラムは、例えば、ネットワーク上の各配信サーバからのダウンロード処理により更新及び機能拡張することができる。
【0032】
撮影装置120は、カメラ121と、画像プロセッサ122と、画像メモリ123と、を備える。
【0033】
カメラ121は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等の画像センサを用いてレンズから入力した光を電気信号に変換することにより、周囲や対象物を画像データとして取得する。
【0034】
画像プロセッサ122は、カメラ121で取得した画像データに対し、必要に応じてフォーマット変換、メニューやその他のOSD(On-Screen Display)信号の重畳処理等を行う。画像プロセッサ122は図示を省略したビデオRAMを備え、ビデオRAMに入力された画像データに基づいて後述するディスプレイ131を駆動する。画像プロセッサ122は、例えば、撮影された画像や映像の圧縮・伸長を行うコーデック部、画像や映像の画質改善等を行う画質改善処理部、撮影画像からその角度補正や回転補正、或いはQRコード等の情報認識し、その補正等を行う画像処理部等の機能を実現する。
【0035】
画像メモリ123は、カメラ121が取得した画像データまたは画像プロセッサ122で処理後の画像データを一時的に記憶する。
【0036】
ユーザI/F130は、例えば、ディスプレイ131を備える。ディスプレイ131は、例えば、液晶パネル等の表示デバイスであり、表示部として携帯端末100の各部による処理結果を表示する。また、操作指示の入力を受け付ける受付部として機能する操作器が重ねて配置されたタッチパネル機能を備えていてもよい。
【0037】
なお、操作器の機能は、後述する拡張I/F160を介して接続されるキーボード、マウス等で実現されてもよい。
【0038】
センサ装置140は、携帯端末100の状態を検出するためのセンサ群である。本実施形態では、例えば、GPS(Global Positioning System)受信器141と、3軸ジャイロセンサ142と、3軸加速度センサ143と、を備える。その他、測距センサ、地磁気センサ、照度センサ、近接センサ、生体情報センサ、気圧センサ等を備えていてもよい。
【0039】
これらのセンサ群により、携帯端末100の位置、傾き、方角、動き等が検出される。なお、現在位置が、GPS電波を取得可能な位置である場合は、位置情報は、GPS受信器141により取得する。
【0040】
通信装置150は、携帯端末100と外部装置との間の通信を行う。本実施形態では、例えば、LAN(Local Area Network)通信器151と、電話網通信器152と、近距離通信器153と、を備える。
【0041】
LAN通信器151はWi-Fi(登録商標)等による無線接続によりアクセスポイント(AP)装置を介してネットワークに接続され、ネットワーク上の他の装置とデータの送受信を行う。
【0042】
電話網通信器152は移動体電話通信網の基地局との無線通信により、通話及びデータの送受信を行う。
【0043】
近距離通信器153は、例えば、USB(Universal Serial Bus)等の有線接続手段により、携帯端末100の近傍の他の装置とデータの送受信を行う。また、近距離通信器を備える他の装置と無線通信によりデータの送受信を行う。近距離通信器153は、例えば、近距離無線通信(NFC(Near Field Communication))のI/Fであり、数センチからおよそ10センチメートル程度の極短距離で、NFCチップを搭載した機器間の双方向通信を実現してもよい。例えば、携帯端末100に搭載される電子マネーなどの非接触ICチップを利用したサービスに対応する。また、近距離通信器153は、無線通信器を備える他の装置と無線通信によりデータの送受信を行ってもよい。例えば、Bluetooth(登録商標)等により、数mから数十m程度の距離の情報機器間で、電波を使い簡易な情報のやりとりを実現する。
【0044】
LAN通信器151と、電話網通信器152と、近距離通信器153とは、それぞれ、符号回路や復号回路、アンテナ等を備える。また、通信装置150は、赤外線通信を実現する通信器や、その他の通信器を更に備えていても良い。
【0045】
拡張I/F160は、携帯端末100の機能を拡張するためのインタフェース群である。本実施形態では、映像/音声I/F、操作機器I/F、メモリI/F等を備える。映像/音声I/Fは、外部映像/音声出力機器からの映像信号/音声信号の入力、外部映像/音声入力機器への映像信号/音声信号の出力、等を行う。キーボード等の外部操作機器は、操作機器I/Fを介して接続される。メモリI/Fは、メモリカードやその他のメモリ媒体を接続してデータの送受信を行う。
【0046】
なお、
図3(a)に示す携帯端末100の構成例は、本実施形態に必須の構成に主眼をおいたものである。携帯端末100には、これらの構成に、デジタル放送受信機能や電子マネー決済機能等、図示していない構成が更に加えられていても良い。
【0047】
次に、携帯端末100の機能を説明する。ここでは、本実施形態の、携帯端末100の現在の位置情報を算出する端末位置推定機能(端末位置推定部)に関連する構成に主眼をおいて説明する。
図3(b)に示すように、本実施形態の携帯端末100は、端末位置推定部170として、画像取得部171と、計算部172と、表示制御部173と、データ記憶部174と、を備える。
【0048】
画像取得部171は、撮影装置120を制御し、画像を取得する。本実施形態では、さらに、取得した画像に対し、画像圧縮伸長処理、画像改善等の処理を施す。本実施形態では、標識板200の画像を取得する。より具体的には、異なる2か所の標識板200をそれぞれ取得する。
【0049】
計算部172は、画像取得部171が取得した画像を解析し、携帯端末100の現在位置を算出する。
【0050】
計算部172は、例えば、各種補正機能や文字認識技術を使って標識板200の内容を解析したり、撮影された標識板200の形状から、標識板200の方向や角度を特定し、データ化したりする。
【0051】
表示制御部173は、ディスプレイ131への表示を制御する。
【0052】
データ記憶部174は、処理に必要なデータ、処理途中および処理結果、生成されるデータを格納する。
【0053】
なお、標識板200において、位置方位情報がQRコードで登録されている場合、QRコード解析部175をさらに備えていてもよい。QRコード解析部175は、撮影装置120で撮影されたQRコードに対し、その内容を解析する。なお、解析結果は、表示制御部173によりディスプレイ131に表示させてもよい。
【0054】
なお、データ記憶部174を除く、端末位置推定部170の各部は、CPU101が、ストレージ113またはROM111に格納されたプログラムを、RAM112に展開して実行することにより、実現される。但し、前記ソフトウェアは全てがソフトウェアではなくても良く、例えば高速化するために一部をハードウェア化されていても良い。データ記憶部174は、記憶装置110に構築される。
【0055】
[端末位置推定]
次に、本実施形態の端末位置推定部170による端末位置推定処理を説明する。ここでは、画像取得部171が取得した異なる2か所の標識板200の情報を解析し、計算部172が、所有者910の現在位置を算出(端末位置推定)する手法を、
図4(a)~
図6を用いて説明する。本実施形態では、現在位置として算出されるのは、所有者910が保持する携帯端末100の位置である。以下、本実施形態では、算出される現在位置を、端末位置と呼ぶ。
【0056】
ここでは、
図4(a)に示すように、所有者910が、自身が保持する携帯端末100のカメラ121を用いて、標識板211および212を撮影する場合を例にあげて説明する。携帯端末100は、撮影結果を解析し、端末位置を算出する。
【0057】
以下、標識板211の中心位置を点A、標識板212の中心位置を点B、端末位置を点Cとする。本実施形態では、点A、点B,点Cは、同一水平面上にあるものとする。なお、同一水平面上にない場合は、端末位置の推定値に誤差が生じる。しかしながら、誤差が許容される範囲で、本方式を使用することができる。以下、この平面をx、y平面とし、点Aの座標を(xa、ya)、点Bの座標を(xb、yb)、点Cの座標を(xc、yc)とする。本実施形態では、標識板211および標識板212を撮影することにより、点Cと標識板211の標識面とのなす角度α1と、点Cと標識板212の標識面とのなす角度β1とを計測し、点Cの座標を求めるものである。なお、点A,点Bの座標は、実際には、緯度経度で表されているが、上述のx、y平面上の座標に変換して計算を行う。
【0058】
ここでは、端末位置Cは、三角測量により算出される。三角測量は、ある基線の両端にある既知の点から測定したい点への角度をそれぞれ測定することによって、測量したい点の位置を算出する三角法および幾何学を用いた測量法である。
【0059】
三角測量による測量したい点の位置の算出手法を簡単に説明する。ここで、三角測量による位置算出手法を、
図4(b)を用いて、簡単に説明する。本図に示すように、三角測量では、位置を求めたい点Cと、位置のわかっている2点(点Aおよび点B)とで形成される三角形において、線分CAと線分ABの成す角度および線分BCと線分ABの成す角度α、βをそれぞれ計測することにより、点Cの位置を算出する。
【0060】
図4(b)では、点Aと点Bとを結ぶ方向をx軸方向とする座標系で考える。ここでは、線分ABの長さをL、点Cと線分ABの距離をd、線分CAと線分ABの成す角度および線分BCと線分ABの成す角度である両端角を、それぞれα、βとする。
【0061】
点Aの座標をA(xa,ya)とすると、点Bの座標は、B(xa+L、ya)である。そして、点Cの座標(xc、yc)は、以下の式で表される。
xc=xa+d/tanα ・・・(1)
yc=ya-d ・・・(2)
ここで、d、Lは、以下の式で算出される。
d=L/(1/tanα+1/tanβ) ・・・(3)
=L・sinα・sinβ/sin(α+β) ・・・(4)
【0062】
このdを点Cの座標に代入することにより、点Cの座標xc、ycは、それぞれ、Lとαとβとを用いて、表される。
【0063】
なお、本実施形態では、上述のように、画像取得部171は、異なる2か所の標識板211および212の画像(標識画像)221および222を、それぞれ、取得する。
【0064】
計算部172は、画像取得部171が取得した標識画像221および222を解析し、標識板211および212の位置情報および両端角情報を算出する。なお、両端角情報は、標識板211の中心点、標識板212の中心点および端末位置を頂点とする三角形の、標識板211、212を結ぶ辺の両端角、すなわち、上述の角度α、βに相当する角度である。
【0065】
以下、本実施形態では、標識板200と携帯端末100とを含む水平面上で、標識板200の標識面と水平面の交線と、携帯端末100と各標識面の中心点とを結ぶ線とが成す角度を、単に、標識面と携帯端末100との成す角度と呼ぶ。
【0066】
標識板211および212の位置情報は、標識画像221、222から、位置方位情報を読み取ることにより、取得する。
【0067】
例えば、位置方位情報が、文字、数字で記載されている場合、OCR(Optical Character Recognition)機能によりコード化することにより、取得する。また、位置方位情報が、QRコード等で記載されている場合、QRコードを読み取ることにより、位置方位情報を取得する。
【0068】
角度α1、β1は、標識画像221、222のサイズと、位置方位情報の方位情報とを用いて算出する。具体的には、標識画像221の縦辺の長さと横辺の長さとの比と、方位情報とを用いる。
【0069】
ここでは、
図5(a)に示すように、標識板200を、一辺の長さがLS0の正方形とする。
図5(b)に示すように、標識板200と携帯端末100とを含む水平面上で、標識板200の標識面と、携帯端末100との成す角度がα1の場合、
図5(d)に示すように、携帯端末100で撮影した標識画像221の縦辺LS1と横辺LS2との比は、sinα1となる。なお、標識面と携帯端末100との成す角度α1が90°の場合は、
図5(c)に示すように、sin(90°)=1となる。
【0070】
例えば、
図6に示すように、携帯端末100と標識板211の標識面とのなす角度がα1、また、携帯端末100と標識板212の標識面とのなす角度がβ1とする。
【0071】
ここで、標識板211上の方位を示す矢印の方向(標識面上の矢印が北と成す角度)として、α2が登録され、標識板212の方位を示す矢印の方向として、β2が登録されているものとする。
【0072】
さらに、標識板211から標識板212に向かう方向が東西方向となす角度をγ2とする。なお、γ2は、標識板211および標識板212の緯度経度情報から算出される。すなわち、以下の式により算出される。
L=√{(xaーxb)2+(ya-yb)2} ・・・(5)
tan(γ2)=(yb-ya)/(xb-xa) ・・・(6)
【0073】
この場合、
図6に示すように、α、α1、α2、γ2の間には、以下の関係がある。
α1+α+(90度-α2)+γ2=180度・・・(7)
よって、
α=90度-α1+α2-γ2・・・(8)
また、β、β1、β2、γ2の間には、以下の関係がある。
β1+β+(90度-γ2-β2)=180度・・・(9)
よって、
β=90度-β1+β2+γ2・・・(10)
【0074】
このように、点Aの位置情報(xa、ya)と方位情報α2と、点Bの位置情報(xb,yb)と方位情報β2と、標識板211の標識面と携帯端末100の成す角度α1および標識板212の標識面と携帯端末100の成す角度β1とがわかれば、点Aと点Bとの距離Lと、線分CAと線分ABとが成す角度αと、線分CBと線分ABとが成す角度βと、を算出できる。よって、点Cの位置情報(xc,yc)を得ることができる。
【0075】
次に、本実施形態の画像取得部171および計算部172による端末位置推定処理の流れを説明する。
図7は、本実施形態の端末位置推定処理の処理フローである。本処理は、所有者910からの指示により開始される。例えば、携帯端末100が、複数のモードを備える場合、本実施形態の端末位置推定処理を実行するモードへの移行指示を受け付けたことを契機に開始されてもよい。
【0076】
なお、所有者910は、2つの異なる標識板211、212を撮影可能な位置にいることを確認し、本処理を開始する。
【0077】
画像取得部171は、所有者910からの指示に従って、第一の標識板211の標識画像221を取得する(ステップS1101)。
【0078】
計算部172は、標識画像221を解析し、第一の標識板211の位置方位情報を取得する(ステップS1102)。ここでは、標識画像221上の位置方位情報表示領域201に対応する領域を画像処理し、第一の標識板211の中心位置の位置情報と、方位矢印202の向きとを取得する。
【0079】
また、計算部172は、標識画像221を解析し、標識面と携帯端末100の成す角度α1を算出する(ステップS1103)。
【0080】
次に、画像取得部171は、所有者910からの指示に従って、第二の標識板212の標識画像222を取得する(ステップS1104)。
【0081】
計算部172は、標識画像222を解析し、第二の標識板212の位置方位情報を取得する(ステップS1105)。ここでは、標識画像222上の位置方位情報表示領域201に対応する領域を画像処理し、第二の標識板212の中心位置の位置情報と、方位矢印202の向きとを取得する。
【0082】
また、計算部172は、標識画像222を解析し、標識面と携帯端末100の成す角度β1を算出する(ステップS1106)。
【0083】
計算部172は、第一の標識板の位置方位情報および角度と、第二の標識板の位置方位情報および角度とを用いて、上記手法で、携帯端末100の現在位置である端末位置を算出する(ステップS1107)。
【0084】
計算部172は、算出結果をデータ記憶部174に格納するとともに、表示制御部173は、算出結果をディスプレイ131に表示させ(ステップS1108)、処理を終了する。
【0085】
以上説明したように、本実施形態では、携帯端末100から離れた、位置の異なる2つの標識点であって、位置情報が既知の標識点を含む画像である標識画像を取得し、取得した標識画像を解析し、携帯端末100の位置である端末位置Cと2つの標識点とで形成される第一の三角形の面方位と第一の三角形の内角とを算出し、当該面方位と当該内角とを用いて端末位置Cを算出する。このとき、本実施形態では、標識画像として、端末位置Cと中心点とが同一水平面上にある2枚の異なる標識板200を撮影する。そして、各標識板200の中心点を、2つの標識点とする。標識板200は、それぞれ、その中心点の位置情報と基準方向に対する標識面の向きとを、標識画像を解析することにより読取可能な位置方位情報表示領域201を標識板200の面である標識面に備える。また、標識画像の歪みからカメラ121と中心点とを結ぶ線分が、標識面の法線と成す角度を計測可能な形状を有する。本実施形態では、計算部は、標識画像から、第一の三角形の内角のうち、2つの標識点を結ぶ線分の両端角を算出する。そして、三角測量法により、端末位置Cを算出する。
【0086】
このように、本実施形態によれば、2つの標識板200を撮影するだけで、携帯端末100は、自身の位置を算出できる。従って、本実施形態よれば、地下街や大規模ショッピングセンタ内等、GPS機能が使えない場合でも正確な位置を取得することが可能になる。
【0087】
また、標識板200に、位置情報とは別に広告等の情報にアクセス可能ないわゆるQRコードが記載されていてもよい。この場合、携帯端末100は、位置情報を推定するために画像を取得する際、このQRコードも読み取ることができる。これにより、そのQRコードに基づいて取得可能な情報を表示することもできる。
【0088】
一般的なQRコードの容量は数字で最大7,089文字、漢字・かなで最大1,817文字と、十分な情報量を提供することが出来る。従って、この構成であれば、端末位置Xの推定と同時に、地下街や大規模ショッピングセンタ内の店の名前、位置(経度・緯度・高さ)や、詳細地図上に表示させること、店の扱っている製品、イベント等の情報を提供することができる。さらに、近傍の標識板位置情報を記載してもよい。
【0089】
<第一の実施形態の変形例1>
上記実施形態では、標識板200が正方形である場合を例にあげて説明した、しかし、標識板200正方形であるのは、端末位置が標識面と成す角度の算出を簡略化するためである。
【0090】
しかしながら、標識板200は、標識板200の撮影画像の歪みから、標識板200を撮影したカメラ121を備える携帯端末100の位置と標識板200の中央とを結ぶ線が、標識板200の面である標識面の法線と成す角度を計測可能な角度測定構成を有していればよい。
【0091】
例えば、標識板200の形状は、撮影した標識画像を用いてカメラの位置が標識面と成す角度が算出可能な形状であればよい。例えば、長辺と短辺との比が既知の長方形、円形、長軸と短軸との比が既知の楕円形等であってもよい。
【0092】
例えば、標識板200aが円形の場合の例を
図8(a)に示す。例えば、円形の場合、その円の直径をfとする。同一水平面上で、斜めからこの標識板200を見た場合、高さ方向(縦)の長さはfであるが、水平方向(横)の長さはfより短くなる。この縦横比は、標識板200と携帯端末100との成す角度によって変わる。
【0093】
例えば、
図5(b)に示すように、角度α1の方向から標識板200を撮影した場合、以下の式が成立する。
sinα1=f1/f ・・・(11)
なお、f1は、縦の長さがfの場合の、横の長さである。
【0094】
従って、この場合、計算部172は、取得した標識画像を解析し、上記式に従って、角度α1を算出する。
【0095】
また、標識板200自体の形状は問わず、例えば、
図8(b)に示すように、仮想的な矩形の4つの頂点に、基準点(図で十字で示しているマークの存在する点)213を示してもよい。この場合、4つの基準点213に関し、各基準点213間の縦方向の長さと横方向の長さとの比は、既知とする。
【0096】
また、標識板200自体の形状が上記特性を有していなくてもよい。例えば、標識板200の標識面上に、上記特性を有する形状のマークを備えていればよい。マークは、例えば、矩形枠、円形枠等である。
【0097】
<第一の実施形態の変形例2>
また、端末位置を算出する際、測距センサやカメラ121が備える焦点距離算出機能を用いてもよい。この場合の算出手法を、
図9、
図10を用いて説明する。なお、カメラ121が備える焦点距離算出機能を用いる場合は、カメラ121が焦点距離を算出可能な範囲に限定される。
【0098】
まず、算出の原理を説明する。ここでは、上記
図4(b)と同様に、3点、A,B,Cを頂点とする三角形ABCにおいて、点Aと点Bとの位置と、辺ACの長さ(距離)LBと、辺BCの長さ(距離)LAと、が既知である場合に、点Cの位置を算出するものとして説明する。本実施形態では、距離LBと距離LAとは、測距センサまたはカメラ121の焦点距離算出機能により取得する。
【0099】
ここで、三角形ABCの内角のうち、辺CAと辺ABとが成す角をα、辺CBと辺ABとが成す角をβとする。この場合、点Cの座標(xc、yc)は、以下の式で表される。
xc=xa+LBcosα ・・・(12)
yc=√{(LB2-(LBcosα)2)} ・・・(13)
ここで、cosαは、余弦定理より、以下のように算出できる。
cosα=(LB2+L2-LA2)/2・LB・L ・・・(14)
【0100】
ここで、2つの標識板211および212の面が一直線上にない場合を、
図9(b)に示す。この場合、点Cにおけるカメラ121により取得した画像から、上記実施形態の手法で、標識面との角度α1、β1を算出する。そして、上記式(8)、式(10)により、内角αおよびβを算出する。これにより、点Cの位置情報を算出する。
【0101】
測距センサやカメラ121が備える焦点距離を算出する機能を利用する場合、1つの標識板200を撮影し、端末位置を算出してもよい。この場合の算出手法を、
図10を用いて説明する。
【0102】
上記実施形態同様、撮影画像から得た、標識面と携帯端末100とが成す角度をα1、方位がα2とする。ここで、
図10に示すように、携帯端末100と標識面中心点を結ぶ線分と東西方向とが成す角度α3とすると、点Cの座標(xc、yc)は、以下の式で表される。
xc=xa+LBcosα3 ・・・(15)
yc=ya-LBsinα3 ・・・(16)
なお、α1、α2およびα3との間には、
α1+α3+(90度-α2)=180度 ・・・(17)
よって、
α3=90度-α1+α2 ・・・(18)
【0103】
<第一の実施形態の変形例3>
また、上述では標識板200は、個別に作成された板状のものとして記載されているが、これに限ることは無く、例えば店内の広告の一部にプリントしても良い。これにより、広告が変わるたびに標識板200を一新し、QRコードに新しい情報を入れることも可能となる。
【0104】
また、標識板200を設置する位置は常に同じ場所である必要は無く、場所を移動しても良い。移動する毎に、移動後の位置方位情報を付与する。
【0105】
上述では各標識板200は何処に設置されているか予め分からない場合を想定して説明しているが、これに限ることは無く、例えば地下街や大規模ショッピングセンタの入り口や、各階段やエレベータ、エスカレータの付近や人通りの多い所に予め各標識板200の有る場所を表示させても良い。または、Webサイトにその情報を登録しても良い。或いは各店の入り口や、各商品コーナー等、顧客が比較的見やすく、確認しやすいところには必ず設置させても良い。
【0106】
<第一の実施形態の変形例4>
なお、上記実施形態では、算出した端末位置をディスプレイ131に表示させているが、計算部172による算出結果の処理は、これに限定されない。例えば、携帯端末100の現在位置を必要とする他のアプリケーションに出力してもよい。
【0107】
例えば、大規模ショッピングセンタやホームセンタにおいて、顧客を所望の店舗の位置まで誘導するといったアプリケーションである。
【0108】
アプリケーションは、例えば、携帯端末100の、ROM111またはストレージ113に格納される。ユーザからの指示に従って、CPU101がRAMにロードして実行することにより、実現される。以下、このアプリケーションにより実行される機能を、ナビゲーション部(ナビ部)176と呼ぶ。
【0109】
この手法を、
図11(a)および
図11(b)を用いて説明する。各店舗の店舗情報は、予め登録され、サーバ960等に保管されているものとする。店舗情報は、店舗の名称、店舗の説明、店舗の位置情報を含む。位置情報は、緯度経度で登録されものとする。
【0110】
ナビ部176は、ネットワーク940を介して店舗情報が登録されているサーバ960にアクセスし、店舗情報を取得する。そして、予め定めた表示形態でディスプレイ131に表示させる。
【0111】
そして、ユーザが所望の店舗を選択すると、現在位置から当該店舗の位置までのナビゲーション情報を計算し、表示させる。なお、現在位置には、上記手法で算出された端末位置を用いる。
【0112】
例えば、
図11(a)の例では、ナビ部176は、ディスプレイ131に、地図上に店舗を、その位置情報に応じて配置して表示させる。また、携帯端末100の現在位置も表示させる。地図情報は携帯端末100が、例えば、データ記憶部174に予め保持するか、あるいは、サーバ960から取得する。
【0113】
図11(a)において、携帯端末100の所有者910の現在位置は、エリアA21の東隅である。また、所有者が選択した店舗は、A13のエリアにあるものとする。ナビ部176は、この地図上で、ルートを表示させる。
【0114】
なお、このとき、
図11(b)に示すように、現在位置から所望の店舗までのナビゲーション情報を、文章でディスプレイ131に表示させてもよい。本例では、例えば、「目的の店舗は北1ブロック、東2ブロック進んだところにあります。」等の情報を表示させても良い。
【0115】
また、本変形例によれば、携帯端末100がどちらの方向を向いているかが分かる。携帯端末100の現在位置および向きの情報と目的の店舗の位置情報とを用いて、「前方に進んで下さい」、「後方に戻って下さい」等、所有者910がその時に向いている方向を基準としたナビゲーション指示を行ってもよい。
【0116】
さらに、店舗毎に、詳細な商品情報を備え、店舗内に入ったら、商品の位置を表示させるよう構成してもよい。商品情報は、商品名、商品説明、商品の配置位置を含む。そして、商品名の一覧を示し、ユーザが所望の商品を選択した場合、店舗内で、当該商品までのナビゲーションを同様に行うよう構成してもよい。
【0117】
ナビ部176は、表示情報を、例えば、通信装置150を介して、アクセスポイント970及びネットワーク940を介してサーバ960から取得する。
【0118】
<第一の実施形態の変形例5>
なお、携帯端末100の位置情報を算出する基となる位置情報は、緯度経度に限定されない。例えば、各ショッピングセンタ等の独自の座標系の座標値であってもよい。この場合、上記商品の位置情報も同じ座標系の座標値で登録される。
【0119】
また、ショッピングセンタのインフォメーションセンタ等に、店舗毎のQRコードを示し、携帯端末100で、そのQRコードを読み取ることにより、当該店舗までのナビゲーションを行うよう構成してもよい。
【0120】
また、各店舗の入り口等に、取り扱い商品のQRコードを示し、同様にナビゲーションを行ってもよい。
【0121】
目的の場所へ移動する間にも所有者910の位置は刻々と変化するが、それに関して常に上述の位置測定するのは煩わしい。従って、その間の移動に関しては、例えば、3軸加速度センサ143と、3軸ジャイロセンサ142と、時計機能とにより移動距離と方向を検出し、補正した値を地図情報に示してもよい。
【0122】
さらに、内部センサによる位置推定の誤差が大きくなったと判断できる場合は、近くの標識板200の位置を示して所有者910に位置測定を促すか、携帯端末100が自動的に位置測定を行うようにしてもよい。例えば、前回の位置測定地点からの移動距離が大きくなった場合や、地図上で通路でないところを移動しているように見える場合等、内部センサによる位置推定の誤差が大きくなったと判断する。
【0123】
<<第二の実施形態>>
次に、本発明の第二の実施形態を説明する。第一の実施形態では、標識板200に、標識画像における、水平面方向とそれに直交する方向との標識形状の歪みの比から、2つの標識板200の中心点を結ぶ線分の長さと、その両端角とを算出し、端末位置を算出している。
【0124】
本実施形態では、標識板200上に円形を描画し、撮影画像上でのその円形形状の歪み度合いから、端末位置推定に必要な情報を取得する。なお、本実施形態では、第一の実施形態とは異なり、標識板200と、携帯端末100とは、同一水平面上になくてもよい。また、画像を取得する標識板200も1枚でよい。
【0125】
また、本実施形態と第三の実施形態とでは、第一の実施形態と異なり、位置情報は高さを含めた3次元量である。そして、位置が既知である同一直線上にない2つの線分と、それぞれの線分と端末位置から形成される少なくとも2つの三角形を考え、それらの三角形の各角度、各辺の長さを算出することにより3次元的に端末位置を推定する。2つの三角形は端末位置を共有するため、それぞれの三角形形状の算出により、三角形の面方位が決定され、端末位置の算出が可能となる。
【0126】
以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。
【0127】
[標識板]
端末位置の算出手法の説明に先立ち、まず、本実施形態の標識板230について説明する。本実施形態の標識板230は、
図12に示すように、円形形状を有する標識円231と、方位線232と、位置方位情報表示領域233と、を備える。
【0128】
位置方位情報表示領域233には、この標識板230を撮影して端末位置情報を算出するために必要な情報(位置方位情報)が記録される。例えば、標識円231の中心の位置情報と、標識円231の直径と、方位線方向と、面法線方向とが記載される。
【0129】
中心の位置情報は、例えば、緯度、経度、高さが登録される。方位線方向は、方位線232の3次元的方向であり、例えば、単位ベクトルの成分で示される。面法線方向は、標識板230の標識面の法線の3次元的方向であり、例えば、面法線ベクトルの成分で示される。
【0130】
なお、方位線232には、その向きを把握し易いよう、例えば、矢印、三角形等が付されていてもよい。
【0131】
[携帯端末]
本実施形態の携帯端末100のハードウェア構成、機能ブロックは、第一の実施形態と基本的に同様の構成を有する。ただし、計算部172による計算手法が異なる。
【0132】
[位置算出手法]
次に、計算部172が、標識板230を撮影し、携帯端末100の現在位置を算出する手法を説明する。
【0133】
以下、本実施形態では、点Iと点Jとの間の実空間での距離をLIJと表記する。また、一直線にない点I、点Jおよび点Kにおいて、線分IJと線分JKとが成す角度を角IJKと呼ぶ。また、この角IJKを、点Jから線分IKを見込む見込み角、または、点Jから点IK間を見込む見込み角、とも呼ぶ。また、2つのベクトルVAおよびVBについて、ベクトル積を[VA、VB]、スカラー積を(VA、VB)と表す。
【0134】
標識板230の標識円231上の、端末位置の算出に用いる点を標識点と呼ぶ。この標識点の座標は、標識板230に記載された位置方位情報から算出することが可能である。また、端末位置から2つの標識点間を見込む見込み角は、カメラ121の焦点距離と、2つの標識点を視野に納めた画像から得られる標識点間の画像センサ上の長さとから幾何学的に算出できる。なお、焦点距離は、カメラ121のレンズと画像センサとの位置関係から特定される。そして、2つの標識点と端末位置とにより形成される三角形における、未知である辺の長さと内角の値とを、標識点の座標値と端末位置から2つの標識点間を見込む見込み角の測定値とから算出し、端末位置を算出する。
【0135】
さらに、測距センサが測定誤差を考慮した上で使用できる場合は、測距センサの出力も利用してもよい。
【0136】
図13(a)に、柱等、単独の標識板230が設置されている場所から離れた位置に居る所有者910が、携帯端末100を使って撮影している状態を示す。
【0137】
携帯端末100(所有者910)の位置(端末位置)をX(点X)とする。また、所有者910は、標識板230の面に対して、斜めの位置(標識面の法線方向とは異なる方向)から単独の標識板230を撮影するものとする。この場合、携帯端末100のディスプレイ131には、標識板230の標識円231は、
図13(b)に示す標識円231の画像(標識円画像231i)のように楕円形状で表示される。
【0138】
なお、ここで、携帯端末100と標識板230が同一水平面上にあると限定しないので、携帯端末100と標識板230とは高さ方向の角度を持ちうる。従って、標識円画像231iの楕円の長軸234iは、画像上の方位線(方位線画像232i)と異なってもよい前提で計算を行う。
【0139】
図13(c)は
図13(b)のディスプレイ131に表示された標識円画像231iのみを抽出したものである。なお、以降の説明図では、図を簡略化するため、標識円231および方位線232に対応する画像以外は省略する。
【0140】
標識円画像231iの中心点をOiとする。また、点Aiと点Biとは、それぞれ、方位線画像232iと標識円画像231iとの交点、点Ciと点Diとは、それぞれ、長軸234iと標識円画像231iの楕円との交点、Ei、Fiは、それぞれ、短軸と標識円画像231iの楕円との交点とする。
【0141】
なお、計算部172は、撮影された標識円画像231iを解析することにより、画像上で各点Ai~点Fiを求め、画像上の長軸、短軸の長さを算出する。
【0142】
次に、上述の画像上の長軸、短軸の長さの比を使用して、画像上の短軸方向に画像を伸長し、標識円231に重なるように変換した図が
図14(a)である。
図14(a)は、実際の標識円231、方位線232に、画像伸長によって位置が変換された点Ai、点Bi、点Ci、点Di、点Ei、点Fiを、それぞれA、B、C、D、E、Fと記す。ここで、角AOCをη
ACと記す。
【0143】
ここで、各線分AB、CD、EFの長さは標識円231の直径で既知であり、線分ABは、方位線232であるため、その3次元的方向は既知である。また、標識板230の面法線方向も既知である。これらを用いて、線分CDの3次元的方向、短軸EFの3次元的方向、標識点として使用する軸端点(C,D,E,F)の空間座標を得る。この他、標識円231の中心点Oも標識点として使用するが、位置方位情報からOの空間座標は既知である。
【0144】
端末位置Xを算出するために2つ以上の三角形を考える。まず、
図14(b)に示すように、端末位置Xと点Cおよび点Oとを頂点とする三角形XOCを考える(第一の三角形;三角形XODでもよい)。標識円画像231iにおいて線分CD(第一の直径)が画像上の長軸方向になることから、端末位置Xは、線分CDに直交するいずれかの位置236に存在する。
【0145】
すなわち、線分CDは、端末位置である点Xと標識円231の中心点Oとを結ぶ直線(XO)と直交する。このため、三角形XOCは、
図15(a)に示すように、直角三角形である。また、点Oと点Cとの距離L
OCは、標識円231の半径R(直径の1/2)である。直径は、撮影画像上の位置方位情報表示領域233に対応する領域を解析することにより取得される。従って、点Xと点Oとの距離L
OXは、以下の式で算出できる。なお、角CXOを、θ
Cとする。θ
Cはカメラ121の撮影画像から測定する。
L
OX=R・cotθ
C ・・・(19)
【0146】
次に、三角形XOCが標識面となす角度を算出するために、線分CDと同一直線上に載らない2つの標識点と端末位置Xとで形成される三角形(第二の三角形)を考える。ここでは、第二の直径として線分EFを採用し、
図15(b)に示す三角形XOEおよび三角形XOFを考える。
【0147】
図15(b)に示すように、角EXOをθ
E,角FXOをθ
F,角EOXをλ
E,角FOXをλ
F,角OEXをξ
E,角OFXをξ
F,とする。
正弦定理により、次式が成り立つ。
L
OX/sinξ
E=L
OE/sinθ
E ・・・(20)
L
OX/sinξ
F=L
OF/sinθ
F ・・・(21)
【0148】
ここで、LOE=LOFであるが、ここではLOE=LOFという関係を使わずそのままの表記で説明する。また、表記の簡略化のために、以下の式で表されるκEおよびκFを用いる。
κE=LOE/sinθE ・・・(22)
κF=LOF/sinθF ・・・(23)
【0149】
LOE、LOFは、標識円231の半径Rであり、既知である。また、上記のθE、θFは、カメラ121の焦点距離と、EFに対応する画像センサ上の長さとから、幾何学的に算出できる。なお、焦点距離は、カメラ121内のレンズと画像センサとの位置関係から特定される。従って、κE、κFは、これらを用いて算出できる。
【0150】
κE、κFを用いると、端末位置Xと標識板230との距離LOXは、次式で表される。
LOX=κEsinξE=κFsinξF ・・・(24)
【0151】
ここで、求めたいのはλEであるため、上記関係式を、λEを使って書き直すと、以下の式で表される。
ξE=180度-λE-θE ・・・(25)
ξF=λE-θF ・・・(26)
よって、距離LOXは、以下の式で表される。
LOX=κEsin(λE+θE)=κFsin(λE-θF) ・・・(27)
【0152】
上記式を展開して整理すると、加法定理により、次式で表される。
sinλE(κFcosθF-κEcosθE)=cosλE(κEsinθE+κFsinθF) ・・・(28)
【0153】
ここで、sinλE、および、(κEsinθE+κFsinθF)は正であるので、cosλEと(κFcosθF-κEcosθE)との符号は一致する。
上式の両辺の二乗を取ると、以下の式で表される。
cos2λE{(κEsinθE+κFsinθF)2+(κFcosθF-κEcosθE)2}=(κFcosθF-κEcosθE)2 ・・・(29)
なお、ここでは、sin2λE+cos2λE=1という関係を用いた。
【0154】
cosλEと(κFcosθF-κEcosθE)との符号関係に注意すると、cosλEは、以下のように算出される。
cosλE=(κFcosθF-κEcosθE)/{(κEsinθE+κFsinθF)2+(κFcosθF-κEcosθE)2}1/2 ・・・(30)
同様に、sinλEは、以下のように算出される。
sinλE=(κEsinθE+κFsinθF)/{(κEsinθE+κFsinθF)2+(κFcosθF-κEcosθE)2}1/2 ・・・(31)
【0155】
κE,κFの表記を戻すと、下記となる。
cosλE=(LOFcotθF-LOEcotθE)/{(LOE+LOF)2+(LOFcotθF-LOEcotθE)2}1/2 ・・・(32)
sinλE=(LOE+LOF)/{(LOE+LOF)2+(LOFcotθF-LOEcotθE)2}1/2 ・・・(33)
【0156】
よって、LOXは、以下の式で表される。
LOX=κEsinξE
=(LOE/sinθE)sin(λE+θE)
=(LOE/sinθE)(sinλEcosθE+cosλEsinθE)
=LOELOF(cotθE+cotθF)/{(LOE+LOF)2+(LOFcotθF-LOEcotθE)2}1/2 ・・・(34)
以下の計算で使用しないので、詳細は示さないが、残りの辺のLEXとLFXも正弦定理から求まる。すなわち、上述の方法により、E、O、F,Xで形成される三角形の全ての角と辺を算出することができる。
【0157】
ここで、LOE=LOF=Rの関係を用いて上記式を書き直すと、以下の通りである。
cosλE=(cotθF-cotθE)/{4+(cotθF-cotθE)2}1/2 ・・・(35)
sinλE=2/{4+(cotθF-cotθE)2}1/2 ・・・(36)
従って、LOXは、以下の式で求められる。
LOX=R(cotθE+cotθF)/{4+(cotθF-cotθE)2}1/2 ・・・(37)
【0158】
以上、
図15(b)のように、点間距離が既知の同一直線上の3点と、端末位置Xから3点のうちの2点間を見込む見込み角2つの測定から、端末位置Xと前記3点から形成される三角形の未知の角と辺の長さとを算出することができる。すなわち、端末位置Xは、
図15(c)に示すように、線分CDから距離L
OXの位置236のうち、角EOXがλ
Eの位置として特定される。
【0159】
なお、距離LOXに関しては上述したように、標識円画像231iの長軸に相当する点Cと点Dとを用いて、上記式(19)のとおり、LOX=RcotθCとして算出できる。距離LOXの算出には、どちらの手法を用いてもよいし、両者の平均値を使用してもよい。
【0160】
次に、端末位置Xを算出する。ここでは、
図16(a)に示す円弧ACの中心角AOCをη
ACについて、点Aから点Cまで反時計回りの方向を正とする。
【0161】
図16(b)に、後述する各単位ベクトルの方向を示す。
図16(b)において、実空間における点Oから点Aに向かう方向の単位ベクトルをV
Aとし、実空間における標識板230の面法線ベクトル(単位ベクトル)をV
Sとし、V
Aに対し、Oを中心に時計回りに標識面内で90度回転させたベクトルをV
Tとする。
【0162】
VTはVAとVSのベクトル積として求まるので、位置方位情報を用い、以下の式で計算できる。
VT=[VA,VS] ・・・(38)
ここで、ベクトルVTと線分OEとのなす角は、ηACに等しい。
【0163】
点Oから、点Xへ向かう方向の単位ベクトルをVXとする。VXは長軸CDに直交する。このため、VXの標識面への射影は、線分EF上である。また、VXと線分OEのなす角はλEであるため、VXは、下記の式で算出される。
VX=cosλEcosηACVT+cosλEsinηACVA+sinλEVS ・・・(39)
【0164】
標識板230の中心点Oの実空間での位置座標をPO,端末位置Xの実空間での位置座標をPXとすると、PXは、次式で算出される。
PX=PO+LOXVX ・・・(40)
【0165】
以上、説明したように、本実施形態では、中心点の位置情報、面の方位情報が既知で、かつ、標識板230の上に記載された標識円231と、標識円231の中心を通る弦である方位線232と、を備える標識板230を撮影し、撮影画像を解析することにより、標識円231上の所定の直径と円周とが交差する所定の2点と、2点を結ぶ基線と携帯端末100と所定の2点とをそれぞれ結ぶ2つの両端角とを求め、端末位置を算出する。そして、標識板230は、撮影画像を解析することにより、上記2点の位置情報と、端末位置および上記2点を含む面の方向を算出できる構成を有する。
【0166】
このように、本実施形態によれば、第一の実施形態同様、標識板230を撮影することで、端末位置を算出することができる。従って、本実施形態によれば、第一の実施形態同様、GPS機能が使えない場合であっても、簡易な構成で、精度よく、携帯端末100の所有者910の現在位置および方位を算出できる。
【0167】
さらに、本実施形態によれば、端末位置Xは、高さも含めた3次元の位置として求まる。また、端末位置Xから標識板230への方位は、実空間の方向ベクトルとして求まる。従って、携帯端末100の筐体が、実空間でどの方向に向いているかも分かる。これにより、携帯端末100の内部座標系の3次元方向を含めた精密な校正ができるので、高さも含めた位置誘導も可能となる。また、実画像に重畳させて、目標地点の3次元的位置を示す画像を表示することも可能となる。
【0168】
例えば、商品が納められている棚の場所において、商品位置を棚の画像に重畳させてAR(Augmented Reality)画像として表示するようにしてもよい。
図17(a)に例を示す。携帯端末100のディスプレイ131に、携帯端末100が撮影する商品棚の実写映像301を表示すると共に、目的の商品の場所を示すAR画像300を重畳表示する。商品の高さも含めた詳細な所在情報は、インターネット経由で店舗から取得してよい。また、商品棚の実写映像301は、予め撮影したものを店舗から入手してもよい。この場合、携帯端末100の向いている方位から、所有者910が見ている店舗内の部分を推定してその映像を表示してもよい。
【0169】
また、ナビ画面は、目標とする商品の近傍に到着するまでは、
図11(a)のように平面図上で所有者910の位置を示す表示とし、目標とする商品の近傍に到着した時点で、自動的に商品棚の実写映像を表示するモードに切り替え、商品棚と目標とする商品の映像を表示するようにしてもよい。その際、携帯端末100のカメラ121の視野内に目標とする商品の画像が入っていない場合は、携帯端末100をどちらの向きに向ければよいか、という指示を表示してもよい(
図17(b))。目標とする商品の近傍かどうかは、商品が見える位置であり、商品から予め定められた距離以内に所有者910が居る、という条件を満たすかどうかで判断してよい。
【0170】
さらにまた、位置誘導の目標は、商品に限らず、目的とする場所に到達するための途中のドア等、経路を示すものであってもよい。
【0171】
特に、本実施形態によれば、1つの標識板230を撮影するだけで、現在位置および方位を算出できる。また、携帯端末100が、標識板230と同じ水平面上にない場合であっても、端末位置を算出できる。第一の実施形態に比べ、より、簡易な構成で端末位置を算出できる。また、標識板230据付の自由度が増し、例えば天井や床面でも構わないので、携帯端末100の所有者910にとっても、標識板230を見通せる範囲が広がり、端末位置を算出できる可能性が広がる。
【0172】
<<第三の実施形態>>
次に、本発明の第三の実施形態を説明する。本実施形態では、標識の形状は利用せず、それぞれ3次元的な位置が既知の、複数の標識点を用い、携帯端末100の位置(端末位置)を算出する。
【0173】
以下、本実施形態の携帯端末100の構成は、基本的に第一の実施形態と同様である。以下、第一の実施形態と異なる構成に主眼をおいて説明する。また、距離、角度等の表記については、第二の実施形態と同様とする。
【0174】
上述のように、本実施形態では、端末位置を算出するため、標識の形状は利用せず、標識点の3次元的な位置情報を用いる。ここでは、4つの標識点を用いて端末位置を算出するものとする。また、4つの標識点は、同一の平面上にあるものとする。まず、4つの標識点が、1つの標識板に表記されている例を説明する。
【0175】
[標識点]
本実施形態の標識点の一例を
図18に示す。本図に示すように、本実施形態では、1つの標識板240上に、4つの標識点241が配置される。本実施形態では、標識板240上の仮想的な四角形の各頂点に4点が配置されるものとする。すなわち、3点以上が同一直線上に配置されないものとする。以下、各標識点241をそれぞれ、点A,点B,点C、点Dと呼ぶ。
【0176】
また、四角形の4つの頂点上にそれぞれ標識点241がある場合、対角線の交点242を点Oとする。点Oは標識板240上に表示されていてもよいし、画像処理上の内部データとして処理してもよい。
【0177】
本実施形態の標識板240は、位置情報表示領域243を備える。位置情報表示領域243には、各標識点241それぞれの、位置座標が記載される。位置座標は、例えば、各標識点241の緯度経度高さとする。なお、交点242(点O)の位置座標は、各標識点241の位置座標から算出可能であるが、位置情報表示領域243に記載されていてもよい。
【0178】
本実施形態では、画像取得部171は、4つの標識点241と、各標識点241の位置情報とを、画像として取得する。
【0179】
そして、計算部172は、画像取得部171が取得した画像を解析し、携帯端末100の端末位置Xの位置情報を現在位置として算出する。
【0180】
以下、本実施形態の計算部172による現在位置の算出手法の一例を説明する。ここでは、
図18に示すように、4つの標識点241は、点Aと点Cとを結ぶ線分と、点Bと点Dとを結ぶ線分とが点Oで交差する位置関係にあるものとする。
【0181】
端末位置Xの推定のために、ここでは、
図19(a)および
図19(b)に示すように、標識点241からなる線分として、AO、OCのグループと、BO、ODのグループとを考える。グループ間では線分は一直線上に載らない。これらの線分と端末位置Xとで形成される三角形の角と辺の長さを算出する。ここでは、点Oも含め、各標識点241間の距離L
OA、L
OC,L
OB、L
ODは、位置情報を用いて算出できる。また、角AXO(θ
A)、角CXO(θ
C)、角BXO(θ
B)、および角DXO(θ
D)は、それぞれ、
図15(b)を用いて説明したように、カメラ121の焦点距離と、対応する画像センサ上の長さとから、撮影画像を用いて幾何学的に算出できる。
【0182】
以下、
図19(a)および
図19(b)に示すように、角XAOをξ
A、角XCOをξ
C、角XOAをλ
A、角XOCをλ
C、角XBOをξ
B、角XDOをξ
D、角XOBをλ
B、角XODをλ
Dと、それぞれ、表す。
【0183】
図15(b)を用いて説明した第二の実施形態の変形例と同じ計算にて、λ
A,λ
B,L
OXは、それぞれ、以下の式により算出できる。
cosλ
A=(L
OCcotθ
C-L
OAcotθ
A)/{(L
OA+L
OC)
2+(L
OCcotθ
C-L
OAcotθ
A)
2}
1/2 ・・・(41)
sinλ
A=(L
OA+L
OC)/{(L
OA+L
OC)
2+(L
OCcotθ
C-L
OAcotθ
A)
2}
1/2 ・・・(42)
cosλ
B=(L
ODcotθ
D-L
OBcotθ
B)/{(L
OB+L
OD)
2+(L
ODcotθ
D-L
OBcotθ
B)
2}
1/2 ・・・(43)
sinλ
B=(L
OB+L
OD)/{(L
OB+L
OD)
2+(L
ODcotθ
D-L
OBcotθ
B)
2}
1/2 ・・・(44)
L
OX=L
OAL
OC(cotθ
A+cotθ
C)/{(L
OA+L
OC)
2+(L
OCcotθ
C-L
OAcotθ
A)
2}
1/2 ・・・(45)
L
OX=L
OBL
OD(cotθ
B+cotθ
D)/{(L
OB+L
OD)
2+(L
ODcotθ
D-L
OBcotθ
B)
2}
1/2 ・・・(46)
【0184】
図19(c)に示すように、λ
A,λ
B,L
OXが定まると、端末位置Xは一意に定まる。
【0185】
なお、本実施形態においても、距離LOXは、上述通り三角形AXCまたは三角形BXDの何れかのみを用いて算出できる。第二の実施形態の変形例と同様、どちらかの値を用いることでもよい。例えば、計算部172は、端末位置Xから、線分ACを見込む見込み角(θA+θC)と、線分BDを見込む見込み角(θB+θD)とを算出し、両者を比較し、大きい方を用いて、距離LOXを求めてもよい。あるいは、両者の平均値を使用してもよい。
【0186】
次に、端末位置Xを求める。本実施形態では、
図20(a)に示すように、交点Oから点Aに向かう方向の単位ベクトルをV
Aとし、交点Oから点Bに向かう方向の単位ベクトルをV
Bとする。いずれも標識点の位置座標から計算可能である。また、交点Oから標識面に垂直で、標識を見る側に向かう単位ベクトルをV
Sとし、点Bから点Aに反時計回りで計った角BOAをη
BAとする。V
Sは、以下の式で求まる。
V
S=[V
B,V
A]/sinη
BA ・・・(47)
【0187】
さらに、交点Oから点Xに向かう単位ベクトルをV
Xとし、さらに、
図20(b)に示すように、V
Xが標識板240の標識面となす角(V
XとV
Sとの成す角度の余角)をλ
X(≦90度)とする。ここで、ベクトル三重積の公式を適用すると、V
X,V
B,V
Aの間の関係は、次式で表される。
[V
X,[V
B,V
A]]=(V
X,V
A)V
B-(V
X,V
B)V
A ・・・(48)
上記式の両辺の二乗(内積として)をとる。このとき、V
B,V
Aは、上記式(47)より、V
Sを用いて表すことができる。すなわち、V
X,V
B,V
Aの間の関係は、以下の式で表される。
[V
X,[V
B,V
A]]=[V
X,V
S]sinη
BA ・・・(49)
上記式の両辺の二乗(内積として)をとると、左辺および右辺は、それぞれ、以下の式で表される。
(左辺)
2=sin
2η
BA([V
X,V
s],[V
X,V
s])
=sin
2η
BAsin
2(90度-λ
X)
=sin
2η
BAcos
2λ
X ・・・(50)
(右辺)
2=((cosλ
AV
B-cosλ
BV
A),(cosλ
AV
B-cosλ
BV
A))
=cos
2λ
A+cos
2λ
B-2cosλ
Acosλ
Bcosη
BA ・・・(51)
よって、上式より、cosλ
Xは、以下の式で算出できる。
cosλ
X=(cos
2λ
A+cos
2λ
B-2cosλ
Acosλ
Bcosη
BA)
1/2/|sinη
BA| ・・・(52)
【0188】
ここで、cosλX=0の場合は、λX=90度、すなわち、VX=VSである。
【0189】
次に、cosλX≠0(λX<90度)の場合を考える。
【0190】
まず、
図20(b)に示すように、端末位置Xから標識面へ下した垂線の標識面との交点をHとし、点Oから点Hに向かう方向の単位ベクトルをV
Hとする。ここで、次のベクトル積[V
X,V
S]の方向の単位ベクトルをV
Tとすると、V
Tは、以下の式で表される。
V
T=[V
X,V
S]/cosλ
X
=[V
X,[V
B,V
A]]/(cosλ
Xsinη
BA)
={(V
X,V
A)V
B-(V
X,V
B)V
A}/(cosλ
Xsinη
BA)
=(cosλ
AV
B-cosλ
BV
A)/(cosλ
Xsinη
BA) ・・・(53)
V
Tは標識面に平行で、V
TとV
Hは直交し、V
Tを反時計回りに90度回転させるとV
Hに等しくなる。従って、V
Hは下記のように求まる。
V
H=[V
S,V
T]
=[V
S,(cosλ
AV
B-cosλ
BV
A)]/(cosλ
Xsinη
BA)
=[[V
B,V
A],(cosλ
AV
B-cosλ
BV
A)]/(cosλ
Xsin
2η
BA)
={cosλ
A[[V
B,V
A],V
B]-cosλ
B[[V
B,V
A],V
A]}/(cosλ
Xsin
2η
BA)
={cosλ
A(V
A-cosη
BAV
B)-cosλ
B(cosη
BAV
A-V
B)}/(cosλ
Xsin
2η
BA)
={(cosλ
A-cosλ
Bcosη
BA)V
A+(cosλ
B-cosλ
Acosη
BA)V
B}/(cosλ
Xsin
2η
BA) ・・・(54)
【0191】
以上より、交点Oの位置座標をPO(標識情報から求まる)、端末位置Xの位置座標をPXとすると、PXは下記のように求まる。
PX=PO+LOXsinλXVS+LOXcosλXVH
=PO+(LOX/sin2ηBA)×{sgn(sinηBA)(sin2ηBA-cos2λA-cos2λB+2cosλAcosλBcosηBA)1/2[VB,VA]+(cosλA-cosλBcosηBA)VA+(cosλB-cosλAcosηBA)VB} ・・・(55)
ここで、sgn(sinηBA)は、以下の通りである。
sgn(sinηBA)=+1 if sinηBA>0 ・・・(56)
sgn(sinηBA)=-1 if sinηBA<0 ・・・(57)
【0192】
cosλX=0の時、すなわち、VXが標識面と直交する時は、PX=PO+LOXVSである。cosλA=cosλB=0であるので、その時、上式は、以下の通りである。
PX=PO+LOX[VB,VA]/sinηBA=PO+LOXVS ・・・(58)
なお、上記式では、cosλX=0の場合も含まれる。
【0193】
以上のように、本実施形態では、同一の平面上にある4つの標識点241を撮影し、画像解析により、携帯端末100の端末位置を算出する。例えば、画像解析により、4つの標識点241のうちの2つの標識点(点A、点C)を結ぶ線分と、端末位置(点X)と2つの標識点A,Cそれぞれとを結ぶ線分とが成す角度(角XAC,角XCA)と、点X,A,Cを含む平面の方向とを算出する。本実施形態の携帯端末100は、これらを用いて端末位置を推定する。
【0194】
すなわち、本実施形態によれば、4つの異なる標識点を撮影することで、端末位置を算出できる。従って、本実施形態によれば、上記各実施形態同様、GPS機能が使えない場合であっても、簡易な構成で、精度よく、携帯端末100の所有者910の現在位置および方位を算出できる。
【0195】
特に、本実施形態によれば、4つの標識点241を備える1つの標識板240を撮影するだけで、現在位置および方位を算出できる。このとき、端末位置Xは、高さも含めた3次元の位置として求まる。また、端末位置Xから標識板240への方位は、実空間の方向ベクトルとして求まる。従って、携帯端末100の筐体が、実空間でどの方向に向いているかも分かる。これにより、高さも含めた位置誘導も可能となる。
【0196】
すなわち、本実施形態によれば、携帯端末100が、標識板240と同じ水平面上にない場合であっても、現在位置を算出できる。このため、標識板240添付の自由度が増すとともに、携帯端末100の所有者910にとっても、算出できる可能性が広がる。
【0197】
<第三の実施形態の変形例1>
なお、本実施形態では、位置情報は、標識板240上に配置されていなくてもよい。仮想的な同一平面上であって、4点の標識点241と同時に撮影され、その情報を取得可能な位置に記載されていればよい。離れた位置に各標識点241が配置される場合、標識点毎にその点の位置座標が記載されていてもよい。
【0198】
本変形例も含めて以下の変形例では、全ての標識点241が1つの画像内に納まらない場合がありうる。その場合の端末位置から2つの標識点間を見込む見込み角の測定は、3軸ジャイロセンサ142の出力を利用する。
【0199】
例えば、標識点Aが画像aで撮影され、標識点Bが画像bで撮影されたとする。それぞれの画像において、端末位置から、画像中心と画像内の標識点Aとの間、画像中心と画像内の標識点Bとの間をそれぞれ見込む見込み角は、は、カメラ121の焦点距離と、標識点間の画像センサ上の長さとから幾何学的に算出できる。また、各画像の中心方向の、内部座標系での空間方位は、3軸ジャイロセンサ142の出力から計算される。従って、内部座標系の空間方位における標識点A,Bの方位が計算でき、端末位置から2つの標識点A,B間を見込む見込み角が算出できる。ここで、この見込み角を計算する上では、画像aと画像bとの中心方向の差は相対的に分かればよいので、3軸ジャイロセンサ142の出力から計算される内部座標系の方位は、実際の空間の方位からずれていても構わない。
【0200】
また、本実施形態においても、位置情報として、標識板240にURL等の位置情報取得先を記載し、このQRコードを介して、管理サーバから各標識点241の位置座標を取得するよう構成してもよい。
【0201】
また、位置座標は、緯度経度高さでなくてもよい。標識板240が設置されている建物、領域独自の座標系に基づく位置座標であってもよい。例えば、標識板240がショッピングセンタに配置されている場合、当該ショッピングセンタのフロアマップ等と関連づけられていてもよい。
【0202】
<第三の実施形態の変形例2>
また、各標識点241は、四角形の頂点でなくてもよい。標識板240上で、少なくとも1点が、他の2つ以上の標識点241を結ぶ直線上になければよい。
【0203】
このうち、一直線上にある3つの標識点241と、その直線上にない1点の標識点241を持つ標識板240の場合の、計算部172による現在位置の算出手法を、
図21(a)~
図21(c)を用いて説明する。
【0204】
本変形例では、
図21(a)に示すとおり、点A、点O、点Cは一直線上にあり、点Bのみ、線分AC上にはない。各標識点241の座標は、位置情報表示領域243に記載される。なお、標識点241の配置以外の構成は、本実施形態と同様である。
【0205】
図21(b)は、端末位置Xと、点Aと、点Cとを結んだ三角形AXCである。上記実施形態同様、角AXOをθ
A、角CXOをθ
C、角XAOをξ
A、角XCOをξ
C、角XOAをλ
A、角XOCをλ
C、と、それぞれ、表す。この三角形AXCは、
図19(a)の三角形AXCと同じ構成である。従って、上記同様の計算にて、L
OXとλ
Eが求まる。
【0206】
図21(c)は、端末位置Xと、点Oと、点Bとを結んだ三角形BXOである。上記実施形態同様、角BXOをθ
B、角XBOをξ
B、角XOBをλ
B、と、それぞれ、表す。
【0207】
LOBの値は位置情報から算出される。また、θBは、カメラ121による測定で求まる。そして、LOXは、三角形AXCの性質から計算により求まる。従って、次式の正弦定理により、ξBが求まり、λBも求まる。
LOB/sinθB=LOX/sinξB ・・・(59)
【0208】
以降は
図20(a)を用いた説明と同様の計算により、端末位置Xが求まる。
【0209】
以上説明したように、本変形例によれば、同一平面にあり、少なくとも1点が同一直線上にない4点の標識点241の位置情報(位置座標)が与えられれば、携帯端末100により、端末位置Xから各標識点間を見込む見込み角を測定することにより、携帯端末100の端末位置Xを算出できる。その他、上記実施形態と同様の効果が得られる。
【0210】
<第三の実施形態の変形例3>
(4つの標識点が同一平面上にない場合)
また、4つの標識点241は、同一平面上になくてもよい。4つの標識点241が全て一直線上に配置されない限り、端末位置Xは算出可能である。以下、この場合の計算部172による端末位置Xの算出手法について説明する。
【0211】
まず、4つの標識点A、B、C、Dを2つずつ標識点の組に分け、それぞれの2つの標識点を通る2本の直線を考える。ここでは、点Aおよび点Bの組と点Cおよび点Dの組に分類する。なお、分類にあたっては、
図22(a)に示すように、点Aおよび点Bを通る直線ABおよび点Cおよび点Dを通る直線CDが平行にならないように選択する。
【0212】
なお、
図22(a)は、端末位置Xの方向から各標識点241を見た図である。また、
図22(b)、
図22(c)、
図22(d)は、端末位置Xと、線分CDで決定する平面の法線方向から各標識点241を見た図である。
【0213】
携帯端末100から見て、同一方向(あるいは反対方向)になる2つの直線上の点(見かけ上の交点と呼ぶ)を新たな追加標識点O、U(以下、単に点O、点Uとも呼ぶ。)とする。なお、「反対方向」とは、
図22(c)に示すように、2つの直線で携帯端末100が挟まれる場合である。点Oは直線AB上の点で、点Uは直線CD上の点である。ここでは、点Oが点Uより端末により近い、とする。なお、
図22(d)に示すように、点Oおよび点Uは、必ずしも、点Aと点Bとの間、点Cと点Dとの間とは限らない。
【0214】
ここで、端末位置Xと、直線ABとで決定する平面で考える。この平面上には、点Oおよび点Uも存在する。
【0215】
この平面上の、標識点A,B,Uと携帯端末100の端末位置Xとの関係の一例を、
図23(a)に示す。線分ABと線分UXとの交点がOである。各頂点の角度は、図示の通り、それぞれ、角UAOをη
A、角UBOをη
B、角AUOをζ
A、角OUBをζ
B、角XAOをξ
A、角XBOをξ
B、角AOXをλ
A、角BOXをλ
B、角AXOをθ
A、角BXOをθ
B、と表す。
【0216】
三角形XOAと三角形XOBに関する正弦定理から次の式が成り立つ。
LOX=LOAsinξA/sinθA=LOBsinξB/sinθB ・・・(60)
また、三角形UOAと三角形UOBに関する正弦定理から次式が成り立つ。
LOU=LOAsinηA/sinζA=LOBsinηB/sinζB ・・・(61)
上記2式から、次の関係式が成り立つ。
sinξAsinζA/sinθAsinηA=sinξBsinζB/sinθBsinηB ・・・(62)
この関係式を変形すると、次式となる。
cotλA(cotηA+cotηB-cotθA-cotθB)=cotθBcotηB-cotθAcotηA ・・・(63)
【0217】
標識点Uの位置を定めれば、η
Aとη
Bが定まり、上式よりλ
Aが求まる。よって、
図23(a)に示す各三角形の内角および辺の長さが求まり、端末位置Xが載る三角形XABの面の向きも決まるので、端末位置Xが求まる。
【0218】
ただし、ここで、λAが定まらない例外的なケースがある。それは、各内角が、以下の式で示す関係を満たす場合である。
cotηA+cotηB-cotθA-cotθB=0 ・・・(64)
このとき、以下の関係も成り立つ。
cotθBcotηB-cotθAcotηA=0 ・・・(65)
上記2式を連立させ、変形すると、次式となる。
cotηA=cotθB ・・・(66)
cotηB=cotθA ・・・(67)
すなわち、ηA、ηB、θA、θBは、それぞれ、三角形の内角であるため、以下の関係が成り立つ。
ηA=θB ・・・(68)
ηB=θA ・・・(69)
【0219】
円周角の定理を考えると、点A、点B、点U、点Xが同一円周上に載っていることを意味する。一方、点Xは、この円周上の任意の位置で、上式が成立する。従って、λAが定まらない。この場合は、携帯端末100を別の場所に移動させて測定をやり直す。すなわち、計算部172は、移動および再撮影を促すメッセージを出力する。
【0220】
例外的なケースを除き、標識点Uが定まれば、端末位置Xが求まる。標識点Uは、直線CD上にある。よって、直線CD上の各点を仮に標識点Uとして端末位置Xを算出する場合、端末位置Xの候補点は、空間の所定の曲線(第一曲線)上に載る。
【0221】
図23(b)に示すように、同様な計算を標識点C、D、O、Uを用いて行う。この結果、λ
Cは、次式で求まる。
cotλ
C(cotη
C+cotη
D+cotθ
C+cotθ
D)=cotθ
Dcotη
D-cotθ
Ccotη
C ・・・(70)
【0222】
同様に、直線AB上の各点を仮に点Oとして端末位置Xを計算すると、空間に端末位置Xの候補点が載る、第一曲線とは異なる曲線(第二曲線)が定まる。端末位置Xは、第一曲線と第二曲線との交点である。
【0223】
図24(a)に示すように、三角形ABUにおいて、点Uから辺ABへ垂線を下ろし、垂線の足をWとする。cotη
A、cotη
Bを点間距離で表して整理すると、式(63)は下記のように表される。
cotλ
A(L
AB-L
UW(cotθ
A+cotθ
B))=L
BWcotθ
B-L
AWcotθ
A ・・・(71)
【0224】
次に、
図24(b)に示すように、三角形CDOにおいて、点Oから辺CDへ垂線を下ろし、垂線の足をQとすると、式(70)は、下記のように表される。
cotλ
C(L
CD+L
OQ(cotθ
C+cotθ
D))=L
DQcotθ
D-L
CQcotθ
C ・・・(72)
【0225】
例えば、
図18に示すように、標識点A、B、C、Dが同一平面にある場合は、式(71)および式(72)においては、点U,O,W,Qが同一点になる極限であり、式(41)から式(44)の表記と矛盾しない。
【0226】
ここで、線分AO、線分OX,線分CU,線分UXの長さ(距離)は、以下の通り算出される。
LAO=LAW-LUWcotλA ・・・(73)
LOX=(LAW-LUWcotλA)(cotθA+cotλA)sinλA ・・・(74)
LCU=LCQ+LOQcotλC ・・・(75)
LUX=(LCQ+LOQcotλC)(cotθC+cotλC)sinλC ・・・(76)
【0227】
点Uを定めると点Wが定まり、式(71)、式(73)、式(74)を持いて端末位置Xの座標が定まる。一方、点Oを定めると点Qが定まり、式(72)、式(75)、式(76)を用いて端末位置Xの座標が定まる。両方で算出された端末位置Xが同じ座標となるよう点U,点Oを探索する。
【0228】
以上のように、外部座標系での座標値が分かっている4つの標識点241であって、同一平面上になく、かつ、少なくとも1点が同一直線上にない標識点241が与えられると、端末位置Xから標識点241と交点の間を見込む見込み角を測定し、方向の異なる標識点241間を結ぶ直線と、標識点241と端末位置Xとを結ぶ直線の角度と、さらに標識点241から端末位置Xまでの距離を求めて、外部座標系での端末位置Xの座標値を求めることができる。なお、交点は、標識点241間を結ぶ2つの直線の端末位置Xから見た見かけ上の交点(点O,点U)のいずれかである。また、端末位置Xから2つ以上の標識点241へ向かう外部座標系での方向が分かるので、携帯端末100の内部座標系の、外部座標系における向きも把握できる。
【0229】
端末位置Xから2つの標識点241間を見込む見込み角の測定は、1枚の写真内に2つの標識点241が収まる場合は、写真の解析で行うことができる。また、3軸ジャイロセンサ142等の携帯端末100の方位(空間内での端末の向き)を推定するセンサ(以後、方位センサと呼ぶ)がなくても、端末位置Xの推定と、端末の方位(外部座標系での向き)の推定と、ができる。そのため、カメラ121は全立体角の撮影ができることが望ましい。
【0230】
方位センサが端末に搭載されている場合は、携帯端末100の姿勢を変えながら複数枚の写真を撮影し、携帯端末100の内部座標系から見た各標識点の方位から、端末位置Xから2つの標識点241間を見込む見込み角を測定することができる。そして、この場合、内部座標系における各標識点241方向の相対的な関係しか使わないので、内部座標系と外部座標系との方位の関係も正確に求めることができ、内部座標系の方位の校正に利用することもできる。
【0231】
<第三の実施形態の変形例4>
また、方位センサである3軸ジャイロセンサ142の出力も加味すれば、標識点241は、4点に限定されない。全点が一直線上にない限り、3点以上であればよい。3点以上の標識点241の位置座標があれば、標識点241が含まれる面の方位を計算することは可能である。また、後述するように、内部座標系の方位が正しければ、2点以上であってもよい。
【0232】
(3つの標識点が与えられる場合)
以下、3点の標識点241が与えられた場合の、計算部172による端末位置Xの算出手法を説明する。なお、本変形例では、携帯端末100の方位センサである3軸ジャイロセンサ142の出力を用いる。以下、この手法を説明する。
【0233】
まず、3つの標識点241と、互いに非平行な射影面410と射影面420とを設定する。なお、射影面410と射影面420とは、非平行であればよく、直交している必要はない。
図25に3つの標識点A,B,Cと射影面410、射影面420との例を示す。
【0234】
各標識点241の座標を射影面410と射影面420とにそれぞれ射影する。ここでは、各点の射影面410への射影点を、それぞれ、点A’,B’,C’とする。また、射影面420への射影点を、それぞれ、点A”、B”,C”とする。端末位置Xも各射影面に射影し、射影点を、それぞれ、X’、X”とする。
【0235】
実空間での端末位置Xから標識点間を見込む見込み角(角度)から、各射影点X’から各射影点A’,B’,C’間を見込む見込角(角度)を計算する。射影方向は内部座標系で分かっているので、射影面410内での角度も計算できる。
【0236】
射影面410に射影した標識点と端末位置Xとの図を
図26(a)~
図26(c)に示す。なお、射影面420に関しても、基本的に同様であるため、ここでは、射影面410に射影した場合を例にあげて説明する。
【0237】
それぞれ、
図23(a)、
図23(b)、
図21(b)と同様の位置関係であるため、同様にして、端末位置Xから標識点241間を見込む見込み角の測定値から、射影面410内での端末位置X’が求まる。
【0238】
図27に示すように、標識点C’から直線A’B’へ下ろした垂線の足をW’とする。なお、標識点C’が直線A’B’を挟んで端末位置X’よりも遠い位置にある場合(
図26(a))は、L
C’W’>0,η
A’>0,η
B’>0とする。標識点C’が直線A’B’を挟んで端末位置X’よりも近い位置にある場合(
図26(b))は、L
C’W’<0,η
A’<0,η
B’<0とする。標識点C’が直線A’B’上にある場合(
図26(c))は、L
C’W’=0とする。これにより、表式を下記に統一できる。
cotλ
A’(L
A’B’-L
C’W’(cotθ
A’+cotθ
B’))=L
B’W’cotθ
B’-L
A’W’cotθ
A’ ・・・(77)
L
A’O’=L
A’W’-L
C’W’cotλ
A’ ・・・(78)
L
O’X’=(L
A’W’-L
C’W’cotλ
A’)(cotθ
A’+cotλ
A’)sinλ
A’ ・・・(79)
なお、
図26(c)の場合は、点W’と点O’は一致する。
【0239】
ただし、射影面410内において、標識点A’B’C’と端末位置X’とが一直線上に並ぶ場合や、同一円周上に載る場合は、端末位置X’を求めることができない。この場合は、射影面を再設定する、または、移動して再測定を行う。
【0240】
これにより、射影面410および射影面420に射影した端末位置X’、X”が求まる。そして、端末位置X’とX”とから射影方向に伸ばした直線の交点として、実空間での端末位置Xを求めることができる。
【0241】
さらに、携帯端末100の向いている方向も測定から推定できるので、内部座標系の方向修正も可能である。その際、修正後の内部座標系を使用して、同じ手順で端末位置Xを求め直してもよい。この手順を、端末位置Xおよび内部座標系の方向が必要とする精度になるまで繰り返すことも可能である。
【0242】
(2つの標識点が与えられる場合)
なお、さらに、方位センサである3軸ジャイロセンサ142の出力から、携帯端末100の内部座標系による方位が得られる場合、2つの標識点241の情報のみから端末位置Xを算出できる。
【0243】
例えば、
図28(a)に示すように、2つの標識点241(点Aおよび点B)が与えられている場合、端末位置Xは、点A、点Bを通る円周244を、直線ABを軸として回転させた曲面上である。なお、角AXB(θ
AB)は、取得画像から算出可能である。
【0244】
端末位置Xから各標識点241への方向(VA
(o),VB
(o))が分かれば、その曲面上の端末位置X(o)を特定することができる。
【0245】
なお、2つの標識点241しか与えられない場合は、標識点方位(θAB)の測定だけからは、携帯端末100の内部座標系の方向の修正はできない。しかし、別の方法で、端末位置Xの推定値X(d)が得られる場合、推定値X(d)と、上記手法で特定した端末位置X(o)との重み付け平均値を新たな携帯端末100の端末位置Xとし、その端末位置Xから計算した標識点の方向(VA)に合うように、内部座標系の方向を修正する。
【0246】
(1つの標識点が与えられる場合)
ここで、1つの標識点241が与えられる場合の内部座標系の方向の修正手法を説明する。この場合は、
図28(b)に示すように、標識点Aを通る直線L上に端末位置X
(o)が載っていることしか分からない。なお、V
A
(o)は、内部座標系で測定した携帯端末100の端末位置Xから見た標識点241の方向である。
【0247】
別の方法で推定した端末位置X(d)から、直線Lに下ろした垂線の足をX(o)とする。さらに、端末位置X(d)と端末位置X(o)の重み付平均値を新たな端末位置Xとし、その端末位置から計算した標識点の方向(VA)に合うように、内部座標系の方向を修正する。
【0248】
<第三の実施形態の変形例5>
(標識点の測定が複数の地点で行われる場合)
また、上記実施形態では、所有者910は、1か所で複数の標識点241を撮影し、端末位置Xを計算している。しかしながら、これに限定されない。所有者910は、異なる位置で取得した複数の標識点241を用いて、端末位置Xを計算してもよい。
【0249】
例えば、携帯端末100の所有者910は、1か所で、端末位置推定に必要な複数の標識点241を撮影できない場合がある。本変形例は、このような場合を想定したものである。
【0250】
本変形例では、
図29(a)に示すように、携帯端末100の所有者910は、1か所で複数の標識点241を撮影できない場合、移動して、端末位置推定に必要な数の標識点241(
図29(a)では、点241a、点241b、点241c、点241d)を撮影する。このとき、移動量は、携帯端末100の内部機能で算出する。
【0251】
本変形例の計算部172は、各標識点241の位置情報を、同一箇所で標識点241を撮影したように移動量(3次元のベクトル量)を用いて補正する。すなわち、異なる位置で取得した標識点241の位置情報を、現在位置を基準とした位置情報に補正する。そして、端末位置Xを、補正後の標識点241の位置情報を用いて算出する。
【0252】
以下、異なる複数個所で取得した標識点241を用いて端末位置Xを推定する手法を、
図29(b)を用いて説明する。
【0253】
地点Sの、携帯端末100の内部座標系での表現をQSとする。地点Sで標識点Aの方向を測定し、地点Tで標識点Bの方向を測定したとする。地点Sから見た地点Tまでの移動ベクトルDSTは、下記の式で表される。
DST=QT-QS ・・・(80)
【0254】
移動ベクトルDSTで示される移動量を打ち消す分だけ、標識点A(座標値PA)を変更した(移動させた)とする。変更後の標識点A’(座標値PA’)を地点Tからみた方向は、地点Sからみた標識点Aの方向に等しい。従って、以下の式が成り立つ。
PA’=PA+DST ・・・(81)
VTA’=VSA ・・・(82)
ここで、記号VIJは、内部座標系での地点Iからみた地点Jへの単位ベクトルである。
【0255】
このように、地点T以外で測定した標識点241(点A)を仮想的に移動させた点A’を新たな標識点241とする。移動量は、測定点間の移動量を打ち消す量とする。そして、新たな標識点241(点A’)を地点Tで測定したものとし、地点Tで測定した他の標識点241(点B)とを用いて、上記手法で端末位置Xを推定する。
【0256】
端末位置Xの推定では、上述のように、各標識点241間の方向および見込み角を求める。本変形例においても、標識点241間の方向および見込み角の測定は、携帯端末100の内部座標系での標識点方向のおよび見込み角として測定できる。
【0257】
また、測定地点間の移動ベクトルは、内部センサにより測定する。例えば3軸加速度センサ143の2回積分値として移動ベクトルを求める。
【0258】
<応用例1>
なお、本変形例の応用として、携帯端末100の所有者910が、移動しながら、端末位置を推定するために必要な標識点を取得し、新たな標識点を取得する毎に、最新の複数の標識点を用いて、現在位置を更新する手法を説明する。
【0259】
本応用例では、計算部172は、現在の端末位置Xを推定する毎に、推定した端末位置Xを、推定した日時に対応づけて推定位置データとして管理する。推定位置データは、例えば、データ記憶部174に記憶される。
【0260】
推定位置データ180の一例を、
図30(a)に示す。本図に示すように、推定位置データ180は、各推定位置を一意に特定する識別情報である地点No.181に対応づけて、当該位置の推定に使用した標識点を測定した日時(日付/時刻)182と、推定した端末位置(地点座標)183と、測定した時点における端末の速度184と、その時点で撮影した標識点241の座標(標識座標)185と、その標識点241の携帯端末100からの方向(標識方向)186と、が登録される。
【0261】
次に、本応用例の手法で、携帯端末100の現在位置を算出する端末位置推定処理の流れを、説明する。
図31は、本応用例の端末位置推定処理の処理フローである。以下、本例では、4つの標識点241を用いて、現在位置を算出するものとする。また、最初に少なくとも4点の標識点241の位置座標(標識座標)を取得し、端末位置(端末座標)を算出するものとする。
【0262】
また、最初に計算部172が算出した端末位置は、算出時刻に対応づけて、推定位置データ180に登録されているものとする。このとき、算出に用いた各標識点241の位置情報(標識座標)、携帯端末100の内部座標系における標識方向も併せて登録する。
【0263】
所有者910が携帯端末100を持ち、所定の距離だけ移動し、新たな標識点241を見つけた場合、所有者910は、携帯端末100のユーザI/F130を介して、位置推定処理を行うよう指示するとともに、新たな標識点241にカメラ121を向ける。
【0264】
端末位置推定部170は、所有者910からの指示を受け付けると、画像取得部171に、新たな標識点241の画像を取得させる(ステップS3101)。
【0265】
画像取得部171が新たな標識点241の画像を取得すると、計算部172は、画像を解析し、新たな標識点241の位置情報(標識座標)を取得するとともに、内部座標系における、新たな標識点241の向き(標識方向)を、取得する(ステップS3102)。
【0266】
計算部172は、さらに、推定位置データ180を参照し、直前のレコードの日時を抽出し、当該日時から現在時刻までの、携帯端末100の平均速度を、速度として算出する(ステップS3103)。なお、速度は、3軸加速度センサ143の出力から所定の時間間隔で計算し、記録されているものとする。
【0267】
計算部172は、取得した標識座標と標識方向と、算出した速度とを、新たな地点データとして、新たな地点No.に対応づけて、推定位置データ180に登録する(ステップS3104)。
【0268】
次に、計算部172は、最新の4つの標識点241を用いて、端末位置Xを算出する。このとき、本例では、新たな標識点241以外は、携帯端末100が異なる地点にいた状態で取得したものである。従って、まず、上記手法で、移動ベクトルを算出する。そして、移動ベクトル分標識方向を変換することにより、現在位置から測定したと仮定した標識座標を得る(ステップS3105)。
【0269】
そして、得られた標識方向および標識座標で推定位置データ180を更新する(ステップS3106)。例えば、
図30(a)の例では、地点No.1で取得したP
B1、P
C1、P
D1とP
E2とを用いて現在位置を算出する。従って、P
B1、P
C1、P
D1を、移動量に応じて現在位置X
2を基準とした座標値に変換し、P
B2、P
C2、P
D2を得る。なお、このとき、標識方向は、端末位置、標識座標共に変更するので、それぞれ、V
1B、V
1C、V
1Dから変わらない。
【0270】
計算部172は、変換後の最新の4つの標識点(標識座標PB2、PC2、PD2、PE2)を用いて、現在位置X2の、推定位置座標を算出する(ステップS3107)。そして、算出結果を、推定位置データ180に格納し(ステップS3108)、処理を終了する。
【0271】
現在位置X
2の推定後の、推定位置データ180を、
図30(b)に示す。新たな推定位置の計算に使用したレコードを書き換える。また、書き換える前の情報を履歴として残しておいてもよい。
【0272】
次に、所有者910が移動し、新たな標識点241(複数でも可)を撮影し、現在位置推定の指示を行った場合、携帯端末100の計算部172は、当該標識点241を、地点No.3のレコードを作成して登録する。そして、4標識点にするために補う直前の数レコード(
図30(b)の例では、標識座標がP
C2、P
D2、P
E2の標識点のレコードから選ぶ)を、移動量分変換する。そして、変換後の座標位置、方向、新たな標識点241の位置方位情報を用い、撮影地点の端末位置X
3を算出する。
【0273】
<応用例2>
さらに、本変形例では、所有者910が、画像を撮影する毎に、撮影した画像内の標識点241の有無を判別し、標識点241がある場合、過去に取得した標識点と合わせて、端末位置Xを算出するが、端末位置Xの算出に使用する標識点の数が4つに限定されない。さらに、同一の標識点であっても、異なる端末位置から測定した場合は、異なる標識点データとして扱ってもよい。以下、この場合の処理について説明する。
【0274】
この場合、例えば、推定位置、標識点241のデータは、取得した状態で、データ記憶部174に保持する。この場合の、推定位置履歴190の一例を、
図32に示す。本図に示すように、推定位置履歴190は、推定位置データ180と略同様の項目のデータを保持する。
【0275】
すなわち、各測定データを一意に特定する識別情報であるデータNo.191に対応づけて、当該位置の推定に使用した標識点を測定した日時(日付/時刻)192と、推定した端末位置(地点座標)193と、推定した時点における端末の速度194と、その時点で撮影した標識点241の座標(標識座標)195と、その標識点241の携帯端末100からの方向(標識方向)196と、が登録される。
【0276】
次に、この推定位置履歴190を用いて、過去に測定した標識点を用いた、端末位置の推定処理の流れを説明する。
図33は、本例の、端末位置推定処理の処理フローである。ここでは、画像取得部171が、新たな画像を取得したことを契機に処理を開始する。なお、動画を撮影している場合は、一定時間毎に処理を開始してもよい。
【0277】
まず、計算部172は、取得した画像を解析し、標識点241を検出したか否かを判別する(ステップS4101)。なお、移動速度が一定値以下の場合は、静止していると見做して、連続して撮影した複数枚の画像データを用いてもよい。検出したか否かは、例えば、画像解析により、所定の位置情報が抽出できたか否かにより判断する。
【0278】
検出できなかった場合(ステップS4101;No)は、そのまま処理を終了する。
【0279】
一方、1以上の標識点241が検出された場合(ステップS4101;Yes)、まず、計算部172は、内部センサに基づき、端末位置X0
(d)を推定する(ステップS4102)。
【0280】
ここでは、現在位置において、地点No.1の端末位置X
1の座標(地点座標)193および携帯端末100の速度194に、携帯端末100の加速度の積分値を加算する。加速度の積分値は、内部センサである3軸加速度センサ143による加速度測定値から重力加速度を減算することにより得る。具体的には、端末位置の座標X
0
(d)と端末の速度S
0
(d)は、次式で推定する。
【数83】
【数84】
ここで、a(u)は、3軸加速度センサで測定した加速度で、g
1は、重力加速度に補正用の加速度を加えたものであり、いずれも、内部座標系を基準とした量である。また、tは地点No.1の測定を行った時刻からの経過時間を表す。
【0281】
次に、計算部172は、検出した標識点241の数M(Mは1以上の整数)を特定する(ステップS4103)。具体的には、計算部172は、端末位置X0
(d)において取得した画像を解析し、当該画像内の標識点の数を検出する。計算部172は、検出した標識点241と、過去に測定した標識点241の情報と合わせて新たな端末位置の推定値X0
(o)を求める。
【0282】
次に、計算部172は、端末位置の推定値X0
(o)を算出するにあたり、新たな標識点を含め、用いる標識点の数N(Nは1以上の整数)を用いるかを決定する(ステップS4104)。
【0283】
具体的には、以下のように決定する。
(ケース1):今回の画像から新しく取得した標識点241も含め、新しい順に選んだ4つの標識点241の集合において、各標識点241の位置の現在地点からの距離を得る。そして、得られた距離の最大値とdmax4と予め定めた値d4とを比較する。dmax4が値d4より小さい場合は、その4つの標識点241を使用する。
(ケース2):ケース1を満たさない場合、新しい順に選んだ3つの標識点241の集合における前記距離の最大値dmax3と予め定められた値d3とを比較する。dmax3が値d3より小さい場合は、その3つの標識点241を使用する。
(ケース3):ケース2も満たさない場合、新しい順に選んだ2つの標識点の前記距離の最大値dmax2と予め定められた値d2とを比較する。dmax2が値d2より小さい場合は、その2つの測定点を使用する。
(ケース4):ケース3も満たさない場合、最も新しい標識点241のみを使用する。
距離の限界値としては、例えば、以下の関係を設定する。しかしながら、これに限定されない。
d4<d3<d2 ・・・(85)
【0284】
使用する標識点数Nが決定したら、上述した標識点数Nに応じた方法により、端末位置の推定値X0
(o)を求める(ステップS4105)。
【0285】
新たに測定した標識点241の座標をPn、この時点での内部座標系を基準にした新たな標識点方向ベクトルをVn
(o)とする(新しい端末位置で測定した標識点241が複数ある場合は、それぞれの標識点241の方向も含む)。また、上述の方法において、端末位置を計算できない場合において、端末位置を移動して、新らたな測定を行う他、より古い測定点のデータを使用することにより、条件を満たす場合は、その測定点を代わりに用いてもよい。
【0286】
次に、ケースnの場合の重みづけ係数をKnとした場合に、それぞれのケースに応じて、新しい端末位置X0を次式で計算する(ステップS4106)。
X0=(1-Kn)X0
(d)+KnX0
(o) ・・・(86)
ここで、各重み係数は、例えば、以下の関係を有するものとする。
1≧K4>K3>K2>K1>0 ・・・(87)
ただし、重み係数の関係は、これに限定されない。
【0287】
次に、内部座標系の方向を更新する(ステップS4107)。ここでは、外部座標値での新たな端末位置座標X0と、同じく外部座標値での新たな標識点座標Pnから、端末位置から見た新たな標識点241の方向ベクトルVnを計算する。そして、現内部座標系基準で測定した各標識点241の方向ベクトルVn
(o)とVnとの差から、内部座標系で測定した方向ベクトルがTnに等しくなるように回転させた内部座標系を新たな目標内部座標系として設定する。
【0288】
この時、新たな標識点241が複数ある場合は、全ての新たな標識点241において方向ベクトルVnの計算値と測定値を完全に一致させることができない場合がある。その場合は、例えば、方向の誤差の和が最小になるように新たな目標内部座標系を設定する。新しい内部座標系として目標内部座標系を採用してもよいが、重み係数を使用して目標内部座標系にするための回転角を小さくしてもよい。
【0289】
現内部座標系から目標内部座標系に変換するために、例えば直交する3軸での回転を行うが、それぞれの回転角をケースnに対して重み係数K’n倍してもよい。ここで、重み係数は、例えば、以下の関係を有するものとする。
1≧K‘4>K’3>K‘2>K’1>0 ・・・(88)
ただし、重み係数の関係は、これに限定されない。
【0290】
最後に、内部センサによる位置推定のためのパラメータの更新を行う(ステップS4108)。このとき、地点X0における速度の新たな推定値は次式で求める。
S0=S0
(d)-(X0
(d)-X0)/Δt ・・・(89)
ここで、Δtは、No.1の地点の測定時刻から、新たな測定を行った時刻までの経過時間である。
【0291】
さらに、加速度の積分から求めた位置推定に誤差が出る原因は、加速度の測定値に第一の原因があると推測できる。よって、加速度測定値の補正を、重力加速度の修正により行う。修正は、まず内部座標系の補正前において、次式で行う。
g0=g1-(S0-S0
(d))/Δt ・・・(90)
ここで、g0が補正後の重力加速度である。さらに、新たな内部座標系での表現にg0を変更する。
【0292】
以上で値の更新ができたので、推定位置履歴190を書き換える。具体的には、以下の手順で書きかえる。
【0293】
まず、過去データをNo.(k)のデータをNo.(k+N)にコピーする。次にNo.(1)からNo.(N)までのデータとして、「日付/時刻」として測定した日付と時刻、「地点座標」としてX0、「速度」としてS0、「標識座標」としてPn、「標識方向」としてVnを書き込む。さらに、次のステップでの(83)式で使用するg1の値として、補正後のg0を設定し、処理を終了する。
【0294】
なお、以降も、携帯端末100を用い、画像を取得する毎に、上記処理を繰り返す。
【0295】
以上により、移動しながら、新たな標識点を測定して逐次外部座標系での端末の位置を推定し、内部座標系の方向を外部座標系の方向に合わせるように補正を行うことができる。
【0296】
<第三の実施形態の変形例6>
なお、本実施形態では、端末位置の推定に、予め標識板等に標識点241として添付したものを用いているが、これに限定されない。例えば、ランドマークの代表点、天井の隅等、建造物の特徴点を用いてもよい。この場合、計算部172は、これらの代表点または特徴点の位置座標を、サーバ960より取得して位置計算を行ってもよい。
【0297】
<第三の実施形態の変形例7>
また、本実施形態では、標識点241の近傍に配置された位置情報あるいは、QRコード等から標識点241の位置座標を取得しているが、これに限定されない。例えば、標識点241から位置情報(座標値)を送信可能な構成としてもよい。
【0298】
この場合、例えば、標識点241は、光等の直進性のよい信号を発するものであってもよい。なお、標識点241から発信する電磁波は、直進性がよく、方向を計測できる受信装置があるものであれば電波でもよい。標識点241は、ビーコン信号として、その標識点241の座標情報を送り続ける。これにより、コンパクトな標識点241が構成できる。さらにまた、ビーコン信号に標識点241の識別信号を載せてもよい。その場合、識別信号を使用して、サーバ960から標識点241の位置情報を取得してもよい。
【0299】
また、移動体にビーコン信号を出力する標識点241を搭載してもよい。この場合、標識点241を搭載する移動体または、標識点241自体が、自らの位置を他の標識点241からの信号で計算できる構成を備える。これにより、標識点241が自動的に自位置の設定ができ、また、移動にも対応できる。
【0300】
さらに、携帯端末100自身がビーコンによる標識点241になっても構わない。端末が近接している場合に、端末相互で精密な相対位置の把握が可能となる。例えば、ドローンが密集して飛行する場合など、衝突回避に有効である。
【0301】
<変形例>
上記各実施形態および変形例では、携帯端末100内で、現在位置を推定(算出)している。しかし、これに限定されない。携帯端末100で画像を取得し、アクセスポイント970およびネットワーク940を介して、サーバ960に送信し、サーバ960において、送信元の携帯端末100の現在位置を算出してもよい。この場合、算出結果を、送信元の携帯端末100へ返信する。
【0302】
なお、本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0303】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ部や、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
【0304】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0305】
100:携帯端末、101:CPU、102:バス、110:記憶装置、111:ROM、112:RAM、113:ストレージ、120:撮影装置、121:カメラ、122:画像プロセッサ、123:画像メモリ、130:ユーザI/F、131:ディスプレイ、140:センサ装置、141:GPS受信器、142:3軸ジャイロセンサ、143:3軸加速度センサ、150:通信装置、151:LAN通信器、152:電話網通信器、153:近距離通信器、160:拡張I/F、170:端末位置推定部、171:画像取得部、172:計算部、173:表示制御部、174:データ記憶部、175:QRコード解析部、176:ナビ部、180:推定位置データ、184:速度、190:推定位置履歴、194:速度、
200:標識板、200a:標識板、201:位置方位情報表示領域、202:方位矢印、211:標識板、212:標識板、213:基準点、221:標識画像、222:標識画像、230:標識板、231:標識円、231i:標識円画像、232:方位線、232i:方位線画像、233:位置方位情報表示領域、234i:長軸、240:標識板、241:標識点、242:交点、243:位置情報表示領域、244:円周、
410:射影面、420:射影面、910:所有者、940:ネットワーク、950:基地局、960:サーバ、970:アクセスポイント