特許第6440539号(P6440539)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱電機株式会社の特許一覧
特許6440539設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法
<>
  • 特許6440539-設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法 図000002
  • 特許6440539-設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法 図000003
  • 特許6440539-設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法 図000004
  • 特許6440539-設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法 図000005
  • 特許6440539-設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法 図000006
  • 特許6440539-設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法 図000007
  • 特許6440539-設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法 図000008
  • 特許6440539-設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法 図000009
  • 特許6440539-設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法 図000010
  • 特許6440539-設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法 図000011
  • 特許6440539-設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法 図000012
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6440539
(24)【登録日】2018年11月30日
(45)【発行日】2018年12月19日
(54)【発明の名称】設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法
(51)【国際特許分類】
   G01C 21/26 20060101AFI20181210BHJP
   G06T 19/00 20110101ALI20181210BHJP
【FI】
   G01C21/26 P
   G06T19/00 600
【請求項の数】8
【全頁数】13
(21)【出願番号】特願2015-50219(P2015-50219)
(22)【出願日】2015年3月13日
(65)【公開番号】特開2016-170060(P2016-170060A)
(43)【公開日】2016年9月23日
【審査請求日】2017年12月22日
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100073759
【弁理士】
【氏名又は名称】大岩 増雄
(74)【代理人】
【識別番号】100088199
【弁理士】
【氏名又は名称】竹中 岑生
(74)【代理人】
【識別番号】100094916
【弁理士】
【氏名又は名称】村上 啓吾
(74)【代理人】
【識別番号】100127672
【弁理士】
【氏名又は名称】吉澤 憲治
(72)【発明者】
【氏名】田正司 昌則
(72)【発明者】
【氏名】川田 卓嗣
(72)【発明者】
【氏名】川浦 健央
【審査官】 東 勝之
(56)【参考文献】
【文献】 特開2012−127896(JP,A)
【文献】 特開2014−153967(JP,A)
【文献】 特開2013−141049(JP,A)
【文献】 特開2013−182523(JP,A)
【文献】 米国特許出願公開第2011/0153215(US,A1)
【文献】 国際公開第2014/176054(WO,A1)
【文献】 特開2013−024686(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 21/00 − 21/36
G08G 1/00 − 1/16
G06T 19/00
(57)【特許請求の範囲】
【請求項1】
設備情報を記憶した設備情報データベースと、
MMS(Moble Mapping System)で計測された所定範囲の3次元座標データを記憶した3次元座標データベースとを有するサーバ、
およびこのサーバからの情報を用いて、設備の実画像上に上記設備情報の3次元画像を重畳表示するモバイル端末を備え、
上記モバイル端末は、
上記モバイル端末周辺の実画像を撮影するカメラと、
上記カメラによって撮影された現在の実画像をオルソ補正したものと、上記サーバから取得した上記3次元座標データとについて、それぞれ特徴点を抽出し、この抽出した特徴点同士をマッチングすることにより上記モバイル端末の自己位置を推定する自己位置推定部と、
加速度および角速度を含む各種センサ情報に基づき、上記モバイル端末の移動量を推定する移動量推定部と、
上記推定された移動量により更新された自己位置に基づき、上記カメラによって撮影された上記設備の実画像上に、上記サーバから取得した当該設備情報の3次元画像を重畳表示するAR表示部とを有することを特徴とする設備情報表示システム。
【請求項2】
上記移動量推定部は、上記各種センサ情報に基づく移動量の推定と並行して、上記カメラによって撮影された現在の実画像と、直前に撮影された実画像との差分から、上記モバイル端末の移動量を推定することを特徴とする請求項1記載の設備情報表示システム。
【請求項3】
上記モバイル端末は、上記AR表示部により表示された設備情報の3次元画像の位置を手動で補正するAR操作部を有することを特徴とする請求項1または請求項2記載の設備情報表示システム。
【請求項4】
上記サーバは、所定範囲に亘って事前に撮影された実画像をオルソ補正したオルソ画像を記憶したオルソ画像データベースを有し、
上記自己位置推定部は、上記3次元座標データに基づく自己位置の推定に加えて、上記オルソ画像データベースに記憶されたオルソ画像と、現在の実画像をオルソ補正したものとの特徴点のマッチングを行い、上記モバイル端末の自己位置を推定することを特徴とする請求項1から請求項3のいずれか一項記載の設備情報表示システム。
【請求項5】
設備情報を記憶した設備情報データベースと、
MMSで計測された所定範囲の3次元座標データを記憶した3次元座標データベースと、
モバイル端末の位置を推定する位置推定部とを有するサーバ、
およびこのサーバからの情報を用いて、設備の実画像上に当該設備情報の3次元画像を重畳表示するモバイル端末を備え、
上記サーバの位置推定部は、上記モバイル端末のカメラによって撮影された現在の実画像の特徴点を上記モバイル端末から取得するとともに、この取得した現在の実画像の特徴点と上記3次元座標データの特徴点をマッチングすることにより、上記モバイル端末の位置を推定し、
上記モバイル端末は、
上記モバイル端末周辺の実画像を撮影するカメラと、
上記カメラによって撮影された現在の実画像をオルソ補正したのち特徴点を抽出するとともに、上記サーバから上記モバイル端末の自己位置を取得する自己位置推定部と、
加速度および角速度を含む各種センサ情報に基づき、上記モバイル端末の移動量を推定する移動量推定部と、
上記推定された移動量により更新された自己位置に基づき、上記カメラによって撮影された上記設備の実画像上に、上記サーバから取得した当該設備情報の3次元画像を重畳表示するAR表示部とを有することを特徴とする設備情報表示システム。
【請求項6】
周辺の実画像を撮影するカメラ、
GPS装置から取得したモバイル端末の概略位置の周辺の3次元座標データをサーバから取得し、この取得した3次元座標データと、上記カメラによって撮影された現在の実画像をオルソ補正したものとについて、それぞれ特徴点を抽出し、この抽出した特徴点同士をマッチングすることにより自己位置を推定する自己位置推定部、
加速度および角速度を含む各種センサ情報に基づき、移動量を推定する移動量推定部、
および上記推定された移動量により更新された自己位置に基づき、上記カメラによって撮影された設備の実画像上に、上記サーバから別途取得した当該設備情報の3次元画像を重畳表示するAR表示部を備えたことを特徴とするモバイル端末。
【請求項7】
MMSで計測された所定範囲の3次元座標データを記憶した3次元座標データベース、
およびモバイル端末のカメラによって撮影された現在の実画像をオルソ補正したものの特徴点を上記モバイル端末から取得するとともに、この取得した現在の実画像の特徴点と上記3次元座標データの特徴点をマッチングすることにより、上記モバイル端末の位置を推定する位置推定部を備えたことを特徴とするサーバ。
【請求項8】
モバイル端末のGPS装置から上記モバイル端末の概略位置を取得する第一のステップ、
上記モバイル端末の概略位置の周辺の3次元座標データをサーバから取得する第二のステップ、
上記モバイル端末の自己位置推定部が、上記モバイル端末のカメラによって撮影された実画像をオルソ補正したものと、第二のステップにより取得された3次元座標データとについて、それぞれ特徴点を抽出し、この抽出した特徴点同士をマッチングすることにより、上記モバイル端末の自己位置を推定する第三のステップ、
上記モバイル端末の移動量推定部が、加速度および角速度を含む各種センサ情報に基づき、上記モバイル端末の移動量を推定し、上記自己位置を更新する第四のステップ、
および上記モバイル端末のAR表示部が、上記更新された自己位置に基づき、上記カメラによって撮影された設備の実画像上に、上記サーバから取得した当該設備情報の3次元画像を重畳表示する第五のステップを含むことを特徴とする設備情報表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、モバイル端末での拡張現実による表示を用いて、プラント設備や公共施設における設備・装置の維持管理を行う設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法に関するものである。
【背景技術】
【0002】
拡張現実AR(Augmented Reality)の技術を用いて、現実空間の動画像上に仮想画像をずれなく重畳表示するためには、自己位置と画角を高精度に推定する必要があるが、GPS単独では最大10メートル程度の誤差があり、必要な自己位置精度を確保できない。
このため、移動体に搭載したカメラの実画像から抽出した特徴部(特徴情報)と、付近で撮影された複数の実画像の中から抽出した特徴部(特徴情報)とをマッチングする手法が開示されている。(たとえば、特許文献1)
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2012−127896号公報(第6〜10頁、第1図)
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の自己位置推定方式は、以上のように構成されているので、近辺で撮影された実画像は特徴点を抽出するために十分な光量のもとで撮影したものでなければならず、特徴点抽出に適さない画像を用いた場合に、特徴点不足や誤った特徴点抽出を行い、自己位置を正しく推定できない問題点があった。
【0005】
この発明は、上述のような課題を解決するためになされたものであり、モバイル端末での拡張現実を用いて、現実空間の映像に設備情報を重畳表示するための自己位置の推定を高精度に行う設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法を得ることを目的とする。
【課題を解決するための手段】
【0006】
この発明に係わる設備情報表示システムにおいては、設備情報を記憶した設備情報データベースと、MMS(Moble Mapping System)で計測された所定範囲の3次元座標データを記憶した3次元座標データベースとを有するサーバ、およびこのサーバからの情報を用いて、設備の実画像上に設備情報の3次元画像を重畳表示するモバイル端末を備え、モバイル端末は、モバイル端末周辺の実画像を撮影するカメラと、カメラによって撮影された現在の実画像をオルソ補正したものと、サーバから取得した3次元座標データとについて、それぞれ特徴点を抽出し、この抽出した特徴点同士をマッチングすることによりモバイル端末の自己位置を推定する自己位置推定部と、加速度および角速度を含む各種センサ情報に基づき、モバイル端末の移動量を推定する移動量推定部と、推定された移動量により更新された自己位置に基づき、カメラによって撮影された設備の実画像上に、サーバから取得した当該設備情報の3次元画像を重畳表示するAR表示部とを有するものである。
【発明の効果】
【0007】
この発明によれば、設備情報を記憶した設備情報データベースと、MMSで計測された所定範囲の3次元座標データを記憶した3次元座標データベースとを有するサーバ、およびこのサーバからの情報を用いて、設備の実画像上に設備情報の3次元画像を重畳表示するモバイル端末を備え、モバイル端末は、モバイル端末周辺の実画像を撮影するカメラと、カメラによって撮影された現在の実画像をオルソ補正したものと、サーバから取得した3次元座標データとについて、それぞれ特徴点を抽出し、この抽出した特徴点同士をマッチングすることによりモバイル端末の自己位置を推定する自己位置推定部と、加速度および角速度を含む各種センサ情報に基づき、モバイル端末の移動量を推定する移動量推定部と、推定された移動量により更新された自己位置に基づき、カメラによって撮影された設備の実画像上に、サーバから取得した当該設備情報の3次元画像を重畳表示するAR表示部とを有するので、重畳表示のための自己位置の推定に当たり、MMSで取得した3次元座標データから特徴点を抽出するため、処理がし易く、かつ抽出精度が上がり、高精度に自己位置を推定することができる。
【図面の簡単な説明】
【0008】
図1】この発明の実施の形態1による設備情報表示システムを示すブロック図である。
図2】この発明の実施の形態1による設備情報表示システムの初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示すフローチャートである。
図3】この発明の実施の形態1による設備情報表示システムの特徴点マッチングを示すイメージ図である。
図4】この発明の実施の形態2による設備情報表示システムを示すブロック図である。
図5】この発明の実施の形態2による設備情報表示システムの初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示すフローチャートである。
図6】この発明の実施の形態3による設備情報表示システムを示すブロック図である。
図7】この発明の実施の形態3による設備情報表示システムの初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示すフローチャートである。
図8】この発明の実施の形態4による設備情報表示システムを示すブロック図である。
図9】この発明の実施の形態4による設備情報表示システムの初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示すフローチャートである。
図10】この発明の実施の形態5による設備情報表示システムを示すブロック図である。
図11】この発明の実施の形態5による設備情報表示システムの初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示すフローチャートである。
【発明を実施するための形態】
【0009】
実施の形態1.
以下、この発明の実施の形態1を図に基づいて説明する。
図1は、この発明の実施の形態1による設備情報表示システムを示すブロック図である。
図1において、設備情報表示システムは、モバイル端末100とサーバ200により構成される。
モバイル端末100は、次のように構成されている。
ジャイロ(角速度)センサ110は、モバイル端末100の姿勢変化を計測する。加速度センサ120は、モバイル端末100の加速度を計測する。電子コンパス130は、モバイル端末100の方位を計測する。カメラ140は、モバイル端末100の周辺の実画像(動画像)を撮影する。GPS150は、誤差10メートル程度の精度のモバイル端末100の位置情報を取得する。
AR表示部160は、拡張現実の技術を用いて、カメラ140により撮影された設備の動画像上に設備情報の3次元画像(コンピュータグラフィックス画像データ)を重畳表示する。自己位置情報170は、モバイル端末100の現在の自己位置・姿勢情報を保持する。移動量推定部180は、各種センサからの情報をもとにモバイル端末100の移動量を推定する。自己位置推定部190は、GPS150の情報、カメラ140の静止画像および後述する3次元地図情報を用いて、モバイル端末100の現在位置を推定する初期位置合わせを行う。
【0010】
この初期位置合わせの結果の現在の位置情報、姿勢情報は、自己位置情報170に保持され、この現在の位置情報、姿勢情報は、移動量推定部180の移動量に基づき、更新されるようになっている。
更新された自己位置情報170の現在の位置情報、姿勢情報は、AR表示部160における重畳表示に用いられる。すなわち、重畳表示に当たっては、どの画角で、どの範囲の映像かの情報が必要で、モバイル端末100側からの見え方も考慮して実行される。
【0011】
サーバ200は、次のように構成されている。
設備情報DB(データベース)210は、AR表示対象の設備情報を保持する。
3次元地図情報DB220(3次元座標データベース)は、MMS(Moble Mapping System)で計測された、対象設備の周辺を含む所定範囲の(x、y、z)座標値を有する3次元座標データ(3次元点群データ)である3次元地図情報を保持する。
設備情報送信部230は、モバイル端末100からの要求に応じて、設備情報を返す。3次元地図情報送信部240は、モバイル端末100からの要求に応じて、3次元地図情報を返す。
【0012】
図3は、この発明の実施の形態1による設備情報表示システムの特徴点マッチングを示すイメージ図である。
図3(a)はモバイル端末100の撮影した実画像(静止画像)を示す図、図3(b)は図3(a)をオルソ補正したオルソ画像を示す図、図3(c)はオルソ画像から特徴点を抽出したときのイメージ図、図3(d)は3次元地図情報DB220に記憶された3次元座標データのイメージ図、図3(e)は3次元座標データから特徴点を抽出したときのイメージ図である。
【0013】
次に、動作について図2を用いて説明する。
図2は、初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示している。
モバイル端末100の自己位置推定部190は、GPS150から現在の概略位置を取得する(ST1001、第一のステップ)。
自己位置推定部190は、現在の概略位置を中心に半径20メートルの領域を含む3次元地図情報の要求を、サーバ200の3次元地図情報送信部240に送信する(ST1002)。
3次元地図情報送信部240は、要求された領域の3次元地図情報を3次元地図情報DB220から抽出してモバイル端末100に送信する(ST1003、第二のステップ)。
この3次元地図情報は、3次元座標データであり、細かいメッシュ、高精度であるから、特徴点の抽出精度が上がり、マッチングの成功率が上がる。
【0014】
モバイル端末100の自己位置推定部190は、カメラ140から現在の実画像(静止画像)を取得する(ST1004)。
自己位置推定部190は、現在の実画像(静止画像)に対してオルソ補正(中心投影の歪んだ形状の画像を、正射投影によりその歪みを補正すること)を行った上で、特徴点を抽出する(ST1005)。
自己位置推定部190は、ST1003で取得した3次元地図情報の特徴点を抽出し、この抽出した特徴点と、ST1005で抽出した特徴点のマッチングを行い、モバイル端末100の自己位置を推定する(ST1006、第三のステップ)。
自己位置推定部190は、初期位置合わせを終了する(ST1007)。
【0015】
次いで、移動量推定部180は、ジャイロセンサ110および電子コンパス130から5ミリ秒周期でモバイル端末100の角速度および方位を取得する(ST1008)。
移動量推定部180は、加速度センサ120から5ミリ秒周期で加速度を取得する(ST1009)。
移動量推定部180は、角速度、方位、加速度の変化量から移動速度を算出し、移動量を推定して、自己位置情報170に格納されたモバイル端末100の現在の位置情報、姿勢情報を更新する(ST1010、第四のステップ)。
以降の動作は、ST1008〜ST1010を5ミリ秒周期で繰り返す。
更新された自己位置情報170の現在の位置情報、姿勢情報を基にして、AR表示部160は、カメラ140により撮影された設備の動画像上に、設備情報の3次元画像を重畳表示する(第五のステップ)。
【0016】
実施の形態1によれば、MMSで取得した3次元座標データから特徴点を抽出するので、処理がし易く、かつ抽出精度が上がり、従来手法のような付近の実画像から特徴点を抽出する方式に比べ、高精度に自己位置を推定できるという効果がある。
【0017】
実施の形態2.
図4は、この発明の実施の形態2による設備情報表示システムを示すブロック図である。
図4において、100〜170、190、200〜240は図1におけるものと同一のものである。図4では、モバイル端末100に、各種センサからの情報に加えて、カメラ140の静止画像の差分をもとに、移動量を推定する移動量推定部181を設けている。
【0018】
実施の形態2は、実施の形態1に対し、モーションステレオによる移動量の推定を追加したものである。
【0019】
以下、実施の形態2の動作について図5を用いて説明する。
図5は、初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示している。
図5において、初期位置合わせの流れは、実施の形態1のST1001〜ST1007と同様である。
また、移動量推定のうち、角速度、加速度、方位の情報をもとに自己位置情報170を更新する流れは、実施の形態1のST1008〜ST1010と同様である。
【0020】
ST1007の後、移動量推定部181は、500ミリ秒周期で、カメラ140から現在の実画像(静止画像)を取得する(ST1100)。
次いで、移動量推定部181は、前回取得した実画像(静止画像)と現在の実画像(静止画像)から画像特徴ペアを生成し、5点比較モーション推定で移動量を推定した結果をもとに、自己位置情報170の現在の位置情報、姿勢情報を更新する(ST1101)。
以降の動作は、ST1008〜ST1010を5ミリ秒周期、ST1100〜ST1101を500ミリ秒周期で繰り返す。
【0021】
実施の形態2によれば、モーションステレオによる移動量の推定を行うことにより、加速度センサ、ジャイロセンサ、電子コンパスの精度への依存度を下げ、一定の精度での移動量推定を可能にするという効果がある。
【0022】
実施の形態3.
図6は、この発明の実施の形態3による設備情報表示システムを示すブロック図である。
図6において、100〜170、181、190、200〜240は図4におけるものと同一のものである。図6では、モバイル端末100に、AR表示位置のずれをモバイル端末使用者が手動で補正できるAR操作部161を設け、実画像(静止画像)や3次元座標データに特徴がないときなどで、ずれの大きい場合に対処するようにしている。
【0023】
実施の形態3は、実施の形態2に対し、AR表示位置のずれをモバイル端末使用者が手動で補正できるAR操作部161を設けたものである。
【0024】
以下、実施の形態3の動作について図7を用いて説明する。
図7は、初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示している。
図7において、初期位置合わせのうち、周辺の3次元地図情報と現在の実画像(静止画像)の特徴点マッチングで自己位置を推定するまでの流れは、実施の形態1のST1001〜ST1006と同様である。
また、ST1008〜ST1010、ST1100〜ST1101は図5における処理と同じ処理である。
【0025】
モバイル端末100のAR表示部160は、自己位置推定結果をもとに設備の3D図形(3次元画像)を実画像(動画像)上に重畳表示する(ST1200)。
モバイル端末100のAR操作部161は、モバイル端末使用者に設備の3D図形の表示位置調整を促す。例えば、表示対象の設備にマンホールが含まれる場合、マンホールの3D図形の表示位置を実画像(動画像)上のマンホールの位置と一致するように位置調整を促す。このとき、3D図形は、前後・左右・高さ方向の移動に加え、回転も可能なユーザインタフェースを提供する(ST1201)。
AR操作部161は、モバイル端末使用者による表示位置調整の結果をもとに自己位置情報170の自己位置・姿勢情報を更新する(ST1202)。
AR操作部161は、初期位置合わせを終了する(ST1203)。
以降の動作は、実施の形態2と同様、ST1008〜ST1010を5ミリ秒周期、ST1100〜ST1101を500ミリ秒周期で繰り返す。
【0026】
実施の形態3によれば、モバイル端末の使用者が表示上のずれをもとに補正が可能なため、初期位置を高精度に補正できるという効果がある。
【0027】
実施の形態4.
図8は、この発明の実施の形態4による設備情報表示システムを示すブロック図である。
図8において、100〜160、161、170、181、200〜240は図6におけるものと同一のものである。図8では、モバイル端末100に、オルソ画像との比較による自己位置推定を可能とする自己位置推定部191を設けている。また、サーバ200に、MMSであらかじめ計測された実画像(静止画像)をオルソ補正して記憶したオルソ画像DB221と、このオルソ画像DB221に記憶されたオルソ画像をモバイル端末100からの要求に応じて送信するオルソ画像送信部241とを設けている。
MMSの計測では、レーザ照射による3次元座標データの取得とともに、カメラによる実画像(動画像)の撮影が行われる。
【0028】
実施の形態4は、実施の形態3に対し、モバイル端末100にオルソ画像との比較による自己位置推定を可能とする自己位置推定部191を設け、サーバ200にオルソ画像DB221とオルソ画像送信部241を設けたものである。
【0029】
以下、実施の形態4の動作について図9を用いて説明する。
図9は、初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示している。
図9において、初期位置合わせの流れのうち、周辺の3次元地図情報と現在の実画像(静止画像)の特徴点マッチングで自己位置推定するまでの流れは、実施の形態1のST1001〜ST1006と同様である。
また、ST1008〜ST1010、ST1100〜ST1101は図5における処理と同じ処理である。
【0030】
ST1006の処理に次いで、モバイル端末100の自己位置推定部191は、現在の自己位置を中心に半径20メートルの領域を含むオルソ画像の要求を、サーバ200のオルソ画像送信部241に対して送信する(ST1300)。
オルソ画像送信部241は、要求されたオルソ画像をオルソ画像DB221から取り出して、モバイル端末100に送信する(ST1301)。
【0031】
モバイル端末100の自己位置推定部191は、カメラ140から現在の実画像(静止画像)を取得する(ST1302)。
自己位置推定部191は、現在の実画像(静止画像)に対してオルソ補正を行い、特徴点を抽出する(ST1303)。
自己位置推定部191は、ST1301で取得したオルソ画像の特徴点と、ST1303で抽出した特徴点のマッチングを行い、自己位置を推定する(ST1304)。
以降の動作は、実施の形態3と同様に、ST1200〜ST1203を行って初期位置合わせを終了し、ST1008〜ST1010を5ミリ秒周期、ST1100〜ST1101を500ミリ秒周期で繰り返す。
【0032】
実施の形態4によれば、MMSで取得した3次元点群データに加えてオルソ画像との特徴点マッチングを実施するため、河川敷のような3次元点群データ上では特徴の少ない環境でも、オルソ画像で特徴点として抽出可能な道路上の白線やマンホールなどがあれば特徴点マッチングが可能となり、自己位置推定に失敗するケースを軽減する効果がある。
【0033】
実施の形態5.
図10は、この発明の実施の形態5による設備情報表示システムを示すブロック図である。
図10において、100〜160、161、170、181、200〜240は図6におけるものと同一のものである。図10では、モバイル端末100に、現在の概略位置と実画像(静止画像)の特徴点情報を取得する自己位置推定部192を設け、サーバ200に、指定された特徴点と3次元地図情報の特徴点マッチングを行い、モバイル端末100の位置推定を行う位置推定部250を設けている。
【0034】
実施の形態5は、実施の形態3に対し、自己位置を推定する機能をサーバ200に移したものである。
【0035】
以下、実施の形態5の動作について図11を用いて説明する。
図11は、初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示している。
図11において、ST1008〜ST1010、ST1100〜ST1101、ST1200〜ST1203は図7における処理と同じ処理である。
図11で、モバイル端末100の自己位置推定部192は、GPS150から現在の概略位置を取得する(ST1400)。
自己位置推定部192は、カメラ140から現在の実画像(静止画像)を取得する(ST1401)。
自己位置推定部192は、現在の実画像(静止画像)に対してオルソ補正を行い、特徴点を抽出する(ST1402)。
自己位置推定部192は、現在の概略位置と特徴点情報をサーバ200の位置推定部250に送信する(ST1403)。
【0036】
位置推定部250は、指定された特徴点と3次元地図情報の特徴点マッチングを行い、位置推定を行う(ST1404)。
位置推定部250は、位置推定結果をモバイル端末100に送信する(ST1405)。
モバイル端末100の自己位置推定部192は、受信した位置推定結果で自己位置情報170を更新する(ST1406)。
以降の動作は、実施の形態3と同様、ST1200〜ST1203を行って初期位置合わせを終了し、ST1008〜ST1010を5ミリ秒周期、ST1100〜ST1101を500ミリ秒周期で繰り返す。
【0037】
実施の形態5によれば、演算負荷の高い特徴点マッチングを演算処理能力の高いサーバで行うため、自己位置推定時間を短縮するという効果がある。
【0038】
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。
【符号の説明】
【0039】
100 モバイル端末、110 ジャイロセンサ、120 加速度センサ、
130 電子コンパス、140 カメラ、150 GPS、160 AR表示部、
161 AR操作部、170 自己位置情報、180 移動量推定部、
181 移動量推定部、190 自己位置推定部、191 自己位置推定部、
192 自己位置推定部、200 サーバ、210 設備情報DB、
220 3次元地図情報DB、221 オルソ画像DB、230 設備情報送信部、
240 3次元地図情報送信部、241 オルソ画像送信部、250 位置推定部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11