特開 2022-77976 画像ベースの測位方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022077976

(43)【公開日】2022-05-24

(54)【発明の名称】画像ベースの測位方法及びシステム

(51)【国際特許分類】

   G06T 17/05 20110101AFI20220517BHJP

   G01C 11/06 20060101ALI20220517BHJP

   G09B 29/00 20060101ALI20220517BHJP

【ＦＩ】

G06T17/05

G01C11/06

G09B29/00 Z

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021178860

(22)【出願日】2021-11-01

(31)【優先権主張番号】10-2020-0150674

(32)【優先日】2020-11-12

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】319012978

【氏名又は名称】ネイバーラボス コーポレーション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】キム ドクファ

(72)【発明者】

【氏名】イ ドンファン

(72)【発明者】

【氏名】キム ウヨン

(72)【発明者】

【氏名】イ テジェ

【テーマコード（参考）】

2C032

5B050

【Ｆターム（参考）】

2C032HB11

5B050AA10

5B050BA09

5B050BA17

5B050DA04

5B050EA05

5B050EA09

5B050EA19

5B050EA27

5B050FA02

(57)【要約】

【課題】 画像ベースの測位に活用できるマップの生成方法、並びにそれを用いた画像ベースの測位方法及びシステムを提供する。
【解決手段】 本発明による画像ベースの測位方法は、第１視点を基準に算出された第１マップデータを用いて第１特徴点マップを生成するステップと、前記第１視点とは異なる第２視点を基準に算出された第２マップデータから第２特徴点マップを生成するステップと、前記第１特徴点マップのポイントと前記第２特徴点マップのポイントの位置差を補正し、前記第１特徴点マップと前記第２特徴点マップを統合した測位用マップデータを構築するステップと、前記測位用マップデータを用いて画像ベースの測位を行うステップとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１視点を基準に算出された第１マップデータを用いて第１特徴点マップを生成するステップと、
前記第１視点とは異なる第２視点を基準に算出された第２マップデータから第２特徴点マップを生成するステップと、
前記第１特徴点マップのポイントと前記第２特徴点マップのポイントの位置差を補正し、前記第１特徴点マップと前記第２特徴点マップを統合した測位用マップデータを構築するステップと、
前記測位用マップデータを用いて画像ベースの測位を行うステップとを含むことを特徴とする画像ベースの測位方法。

【請求項2】

前記第１視点は、道路視点及び空中視点のいずれか一方であり、前記第２視点は、前記道路視点及び前記空中視点の他方であることを特徴とする請求項１に記載の画像ベースの測位方法。

【請求項3】

前記第１特徴点マップを生成するステップは、
前記道路視点で撮影したストリートビュー画像のそれぞれから特定の条件を満たすオブジェクトの特徴点を検出するステップと、
前記特徴点間のマッチングに基づいて、前記ストリートビュー画像に関連する３次元ポイントを生成するステップと、
前記３次元ポイント及び前記ストリートビュー画像のポーズを補正し、前記第１特徴点マップに備えられるデータを生成するステップとを含むことを特徴とする請求項２に記載の画像ベースの測位方法。

【請求項4】

前記ストリートビュー画像は、複数の画像にクロッピングされ、
前記特徴点の検出は、前記クロッピングされた複数の画像に対して行われることを特徴とする請求項３に記載の画像ベースの測位方法。

【請求項5】

前記第２特徴点マップを生成するステップは、
仮想カメラのポーズ及び３次元モデルデータを用いて、前記仮想カメラで見る室外空間の画像をレンダリングするステップと、
前記レンダリングされた画像及び前記仮想カメラのポーズを用いて、前記第２特徴点マップに備えられるデータを生成するステップとを含み、
前記３次元モデルデータは、前記空中視点で前記室外空間を撮影した画像に基づいて生成されることを特徴とする請求項２に記載の画像ベースの測位方法。

【請求項6】

前記第２特徴点マップに備えられるデータを生成するステップにおいて、
前記レンダリングされた画像を用いて、前記室外空間に位置するオブジェクトの特徴点を抽出し、前記レンダリングされたデプスマップを用いて、前記特徴点の３次元座標を抽出することを特徴とする請求項５に記載の画像ベースの測位方法。

【請求項7】

前記測位用マップデータを構築するステップは、
前記第１特徴点マップの画像と前記第２特徴点マップの画像間で特徴点の対応情報を算出するステップと、
前記対応情報を用いて、前記第１特徴点マップのポイントと前記第２特徴点マップのポイントに対応するカメラポーズの変化を推定するステップとを含むことを特徴とする請求項１に記載の画像ベースの測位方法。

【請求項8】

前記第１特徴点マップの画像は、道路視点で撮影したストリートビュー画像を備え、
前記第２特徴点マップの画像は、室外空間の３次元モデルデータを用いて前記道路視点でレンダリングされた画像を備えることを特徴とする請求項７に記載の画像ベースの測位方法。

【請求項9】

前記ストリートビュー画像は、複数の画像タイルを備え、前記複数の画像タイルは、前記レンダリングされた画像に整合することを特徴とする請求項８に記載の画像ベースの測位方法。

【請求項10】

前記第１特徴点マップの画像と前記第２特徴点マップの画像との特徴点間のエラー最適化により、前記第１特徴点マップ及び前記第２特徴点マップのいずれか一方に対応するカメラポーズが他方を基準に補正されることを特徴とする請求項７乃至９のいずれか１項に記載の画像ベースの測位方法。

【請求項11】

前記第１特徴点マップと前記第２特徴点マップとをスキャンマッチングし、前記第１特徴点マップ及び前記第２特徴点マップのいずれか一方を他方に整合することを特徴とする請求項１乃至１０のいずれか１項に記載の画像ベースの測位方法。

【請求項12】

前記第２特徴点マップは、メッシュ情報を備え、
前記第１特徴点マップの３次元ポイントと前記第２特徴点マップのメッシュ情報とを比較して前記第１特徴点マップと前記第２特徴点マップとを整合することを特徴とする請求項１１に記載の画像ベースの測位方法。

【請求項13】

前記画像ベースの測位を行うステップは、
入力画像を受信し、特徴点を抽出するステップと、
前記測位用マップデータから前記入力画像の前記特徴点に類似したデータを備える基準画像を抽出し、前記基準画像を用いてポーズを推定するステップとを含むことを特徴とする請求項１乃至１２のいずれか１項に記載の画像ベースの測位方法。

【請求項14】

画像ベースの測位用マップデータを保存するデータベースと、
モバイル機器又は自律走行機器で実行され、前記測位用マップデータ及び前記モバイル機器又は前記自律走行機器で撮影した画像を用いて、画像ベースの測位を行う駆動部とを含み、
前記測位用マップデータは、第１特徴点マップ及び第２特徴点マップを備え、
前記第１特徴点マップは、第１視点を基準に算出された第１マップデータを用いて生成され、
前記第２特徴点マップは、前記第１視点とは異なる第２視点を基準に算出された第２マップデータから生成され、
前記第１特徴点マップと前記第２特徴点マップとは、前記第１特徴点マップ及び前記第２特徴点マップのカメラポーズの違いを用いて整合することを特徴とする画像ベースの測位システム。

【請求項15】

電子機器で１つ以上のプロセスにより実行され、コンピュータ可読媒体に格納可能なプログラムであって、
前記プログラムは、
第１視点を基準に算出された第１マップデータを用いて第１特徴点マップを生成するステップと、前記第１視点とは異なる第２視点を基準に算出された第２マップデータから第２特徴点マップを生成するステップと、前記第１特徴点マップのポイントと前記第２特徴点マップのポイントの位置差を補正し、前記第１特徴点マップと前記第２特徴点マップを統合した測位用マップデータを構築するステップと、前記測位用マップデータを用いて画像ベースの測位を行うステップとを実行させるコマンドを含むことを特徴とするコンピュータ可読媒体に格納可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像ベースの測位に活用できるマップの生成方法、並びにそれを用いた画像ベースの測位方法及びシステムに関する。

【背景技術】

【0002】

測位技術は、ＧＰＳベース、慣性センサベース、画像ベース、ＳＬＡＭ（Simultaneous Localization and Mapping）、ＶＬＣ（Visible Light Communication）などの様々な方式のシステムが互いに密接な関係を有して発展してきている。

【0003】

このような測位技術のうち、画像ベースの測位（Visual Localization）は、撮影した写真を用いて位置を検出する技術であり、ＧＰＳと比較すると、誤差が少なく、ユーザが見る方向までも正確に測定できるという利点がある。このような画像ベースの測位のためには、撮影した写真と比較して位置を特定するためのマップを構築しなければならない。

【0004】

一方、近年、オンライン地図作成技術が非常に高度化し、多くのＩＴ企業が室外空間の地図情報とそれを用いたサービスを提供している。

【0005】

一例として、車両が車道を移動しながら撮影画像を取得し、その後ユーザが電子地図上の特定の地点のストリートビュー画像（ロードビュー画像）を要求すると、撮影された画像を提供する、ストリートビュー機能が常用化されている。また、他の例として、飛行機やドローンなどが空中で撮影した航空写真を用いて３次元地図を生成する方法が活発に開発されている。

【0006】

このような航空写真ベースの３次元モデルデータは画像情報を有し、ストリートビュー画像は画像をベースとするので、画像ベースの測位用マップを構築するためのデータとして活用することができる。よって、画像ベースの測位用マップを生成するために、ストリートビュー画像と航空写真ベースの３次元モデルデータを用いる方法が考慮される。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、ストリートビュー画像と航空写真ベースの３次元モデルデータを活用して画像ベースの測位用マップを生成する方法及びシステムを提供する。

【0008】

より具体的には、本発明は、ストリートビュー画像と３次元モデルデータを共に用いて道路や歩道で画像ベースの測位に活用できる３次元特徴点マップを生成する方法を提供する。

【0009】

また、本発明は、特徴点マップを活用して１つの画像だけで３次元位置及びポーズを推定する画像ベースの測位を実現する。

【課題を解決するための手段】

【0010】

上記課題を解決するために、本発明による画像ベースの測位方法及びシステムにおいては、カメラポーズの違いを用いて異なる視点のデータから生成された第１特徴点マップと第２特徴点マップとを整合して測位用マップデータを生成する。

【0011】

具体的には、画像ベースの測位方法は、第１視点を基準に算出された第１マップデータを用いて第１特徴点マップを生成するステップと、前記第１視点とは異なる第２視点を基準に算出された第２マップデータから第２特徴点マップを生成するステップと、前記第１特徴点マップのポイントと前記第２特徴点マップのポイントの位置差を補正し、前記第１特徴点マップと前記第２特徴点マップを統合した測位用マップデータを構築するステップと、前記測位用マップデータを用いて画像ベースの測位を行うステップとを含む。

【0012】

本発明の一実施形態において、前記第１視点は、道路視点及び空中視点のいずれか一方であり、前記第２視点は、前記道路視点及び前記空中視点の他方であってもよい。

【0013】

前記第１特徴点マップを生成するステップは、前記道路視点で撮影したストリートビュー画像のそれぞれから特定の条件を満たすオブジェクトの特徴点を検出するステップと、前記特徴点間のマッチングに基づいて、前記ストリートビュー画像に関連する３次元ポイントを生成するステップと、前記３次元ポイント及び前記ストリートビュー画像のポーズを補正し、前記第１特徴点マップに備えられるデータを生成するステップとを含む。

【0014】

前記ストリートビュー画像は、複数の画像にクロッピング（cropping）され、前記特徴点の検出は、前記クロッピングされた複数の画像に対して行われるようにしてもよい。

【0015】

前記第２特徴点マップを生成するステップは、仮想カメラのポーズ及び３次元モデルデータを用いて、前記仮想カメラで見る室外空間の画像をレンダリング（rendering）するステップと、前記レンダリングされた画像及び前記仮想カメラのポーズを用いて、前記第２特徴点マップに備えられるデータを生成するステップとを含み、前記３次元モデルデータは、前記空中視点で前記室外空間を撮影した画像に基づいて生成されるようにしてもよい。

【0016】

前記第２特徴点マップに備えられるデータを生成するステップにおいては、前記レンダリングされた画像を用いて、前記室外空間に位置するオブジェクトの特徴点を抽出し、前記レンダリングされたデプスマップ（depthmap）を用いて、前記特徴点の３次元座標を抽出するようにしてもよい。

【0017】

本発明の他の実施形態において、前記測位用マップデータを構築するステップは、前記第１特徴点マップの画像と前記第２特徴点マップの画像間で特徴点の対応情報（correspondence）を算出するステップと、前記対応情報を用いて、前記第１特徴点マップのポイントと前記第２特徴点マップのポイントに対応するカメラポーズの変化を推定するステップとを含む。

【0018】

前記第１特徴点マップの画像は、道路視点で撮影したストリートビュー画像を備え、前記第２特徴点マップの画像は、室外空間の３次元モデルデータを用いて前記道路視点でレンダリングされた画像を備えるようにしてもよい。前記ストリートビュー画像は、複数の画像タイルを備え、前記複数の画像タイルは、前記レンダリングされた画像に整合するようにしてもよい。前記第１特徴点マップの画像と前記第２特徴点マップの画像との特徴点間のエラー最適化により、前記第１特徴点マップ及び前記第２特徴点マップのいずれか一方に対応するカメラポーズが他方を基準に補正されるようにしてもよい。

【0019】

本発明のさらに他の実施形態において、前記第１特徴点マップと前記第２特徴点マップとをスキャンマッチングし、前記第１特徴点マップ及び前記第２特徴点マップのいずれか一方を他方に整合するようにしてもよい。前記第２特徴点マップは、メッシュ情報を備え、前記第１特徴点マップの３次元ポイントと前記第２特徴点マップのメッシュ情報とを比較して前記第１特徴点マップと前記第２特徴点マップとを整合するようにしてもよい。

【0020】

本発明のさらに他の実施形態において、前記画像ベースの測位を行うステップは、入力画像を受信し、特徴点を抽出するステップと、前記測位用マップデータから前記入力画像の特徴点に類似したデータを備える基準画像を抽出し、前記基準画像を用いてポーズを推定するステップとを含む。

【0021】

また、本発明は、画像ベースの測位用マップデータを保存するデータベースと、モバイル機器又は自律走行機器で実行され、前記測位用マップデータ及び前記モバイル機器又は前記自律走行機器で撮影した画像を用いて、画像ベースの測位を行う駆動部とを含み、前記測位用マップデータは、第１特徴点マップ及び第２特徴点マップを備え、前記第１特徴点マップは、第１視点を基準に算出された第１マップデータを用いて生成され、前記第２特徴点マップは、前記第１視点とは異なる第２視点を基準に算出された第２マップデータから生成され、前記第１特徴点マップと前記第２特徴点マップとは、前記第１特徴点マップ及び前記第２特徴点マップのカメラポーズの違いを用いて整合することを特徴とする画像ベースの測位システムを開示する。

【発明の効果】

【0022】

本発明による画像ベースの測位方法及びシステムは、異なる視点のデータを用いてマップデータを生成してデータの弱点を補うので、歩道視点の画像を用いた画像ベースの測位を可能にする。

【0023】

また、異なる視点のデータから生成された第１特徴点マップと第２特徴点マップとを整合して測位用マップデータを構築するので、異なる特徴点マップの利点を生かすことができる。特に、ストリートビューベースの画像には、歩道で撮影した画像がなく、車両視点の画像のみあるという問題があり、航空写真ベースの３次元モデルは、仮想の画像を用い、低層建物のテクスチャが崩れるという問題があるので、ストリートビューベースの画像及び航空写真ベースの３次元モデルを用いて互いを補う。

【0024】

より具体的には、整合したストリートビュー画像ベースの３次元ポイントと航空写真ベースのモデルから得られた３次元ポイントからマップデータを取得し、（１）実際に撮影したストリートビュー画像を活用することから、ローカル、グローバルフィーチャマッチングが正確になるので、正確な位置測位が可能になり、（２）航空写真を用いて様々な視点（ＶＬを行うビュー：歩徒、横断歩道など）で画像をレンダリングできるので、より安定したサービスが可能になる。

【0025】

さらに、本発明は、既に構築されたデータである３次元モデルデータを用いてマップを生成するので、室外環境に対する事前スキャンプロセスのないマップの生成を実現する。よって、時間及びコストの効率性が向上する。

【0026】

さらに、本発明は、歩道視点で再建した３次元地図を活用して測位を行うので、１つの画像だけで３次元位置及びポーズを推定できるという利点がある。

【図面の簡単な説明】

【0027】

【図1】本発明による画像ベースの測位を行う動作を説明するための概念図である。

【図2】図１の画像ベースの測位を実現するシステムの一例を示す図である。

【図3】本発明による画像ベースの測位を行うためのプロセスを示すフローチャートである。

【図4】図３のプロセスにより構築されたマップデータを説明するための概念図である。

【図5】航空写真ベースの３次元モデル及びストリートビュー画像ベースの特徴点マップの一例を示す図である。

【図6a】図５のデータの座標が整合していない例を示す概念図である。

【図6b】図５のデータの座標が整合している例を示す概念図である。

【図7】図３の第１特徴点マップと第２特徴点マップとを整合する一実施形態を示す概念図である。

【図8】図３の第１特徴点マップと第２特徴点マップとを整合する他の実施形態を示す概念図である。

【図9】図４のデータを用いて歩道で画像ベースの測位を行う一例を示す概念図である。

【図10】画像ベースの測位のデータ構造を示すブロック図である。

【図11】図１０においてグローバルディスクリプタ（Global descriptor）を用いて画像の類似度を判別する概念を示す概念図である。

【図12a】本発明による第１特徴点マップの生成方法を示すフローチャートである。

【図12b】図１２ａのフローチャートの一実施形態を示す詳細フローチャートである。

【図13】図１２ｂの第１ステップを説明するための概念図である。

【図14a】図１２ｂの第２ステップを説明するための概念図である。

【図14b】図１２ｂの第２ステップを説明するための概念図である。

【図15a】図１２ｂの第３ステップを説明するための概念図である。

【図15b】図１２ｂの第３ステップを説明するための概念図である。

【図16a】図１２ｂの第４ステップを説明するための概念図である。

【図16b】図１２ｂの第４ステップを説明するための概念図である。

【図17a】図１２ｂの第５ステップを説明するための概念図である。

【図17b】図１２ｂの第５ステップを説明するための概念図である。

【図18a】本発明による第２特徴点マップの生成方法を示すフローチャートである。

【図18b】図１８ａのフローチャートの一実施形態を示す詳細フローチャートである。

【図19】図１８ｂの格子座標を生成する方法を説明するための概念図である。

【図20】レンダリングを行うカメラポーズを示す概念図である。

【図21】図１８ｂのプロセスにより構築されたデータセットを示す概念図である。

【図22】図１８ｂのプロセスによりレンダリングされた画像の一例を示す概念図である。

【図23】図１８ｂにおける特徴点と３次元座標を抽出する方法を示す概念図である。

【発明を実施するための形態】

【0028】

以下、添付図面を参照して本明細書に開示される実施形態について詳細に説明するが、図面番号に関係なく同一又は類似の構成要素には同一又は類似の符号を付し、その説明は省略する。以下の説明で用いる構成要素の接尾辞である「モジュール」及び「部」は、明細書の作成を容易にするために付与又は混用されるものであり、それ自体が有意性や有用性を有するものではない。また、本明細書に開示される実施形態について説明するにあたって、関連する公知技術についての具体的な説明が本明細書に開示される実施形態の要旨を不明にする恐れがあると判断される場合は、その詳細な説明を省略する。なお、添付図面は本明細書に開示される実施形態を容易に理解できるようにするためのものにすぎず、添付図面により本明細書に開示される技術的思想が限定されるものではなく、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物又は代替物が本発明に含まれるものと理解されるべきである。

【0029】

第１、第２などのように序数を含む用語は様々な構成要素を説明するために用いられるが、上記構成要素は上記用語により限定されるものではない。上記用語は１つの構成要素を他の構成要素と区別する目的でのみ用いられる。

【0030】

ある構成要素が他の構成要素に「連結」又は「接続」されていると言及された場合は、他の構成要素に直接連結又は接続されていてもよく、中間にさらに他の構成要素が存在してもよいものと解すべきである。それに対して、ある構成要素が他の構成要素に「直接連結」又は「直接接続」されていると言及された場合は、中間にさらに他の構成要素が存在しないものと解すべきである。

【0031】

単数の表現には、特に断らない限り複数の表現が含まれる。

【0032】

本明細書において、「含む」や「有する」などの用語は、明細書に記載された特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせが存在することを指定しようとするもので、１つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせの存在や付加可能性を予め排除するものではないと理解すべきである。

【0033】

本発明は、画像ベースの測位に活用できるマップの生成方法、並びにそれを用いた画像ベースの測位方法及びシステムに関し、具体的には、ストリートビュー画像と航空画像ベースの３次元モデルデータとを組み合わせて航空、海洋、道路、歩道などで画像ベースの測位を行うシステムを提供するものである。

【0034】

オンラインで提供されるストリートビュー機能は、電子地図上の特定のスポットでユーザが選択した方向の画像（又は写真やイメージ）を表示する機能である。ここで、スポットは、ストリートビュー写真を撮影した位置であり、所定の距離、例えば１０ｍ間隔で存在するようにしてもよい。

【0035】

このようなストリートビュー機能に用いられるストリートビュー画像は、複数のカメラで複数方向の写真を撮影してそれらの写真を連結したパノラマ写真であり、ユーザは一地点で３６０度全方位の写真を見ることができる。より具体的には、本発明で例示するストリートビュー画像は、３６０度の球パノラマ（spherical panoramic）画像であってもよい。

【0036】

このように、ストリートビュー画像はパノラマ写真であるので、該当スポットで方向を調整して３６０度パノラマ写真を見て該当空間に関する実際の情報を得ることができる。

【0037】

一方、前記ストリートビュー画像は、道路視点で撮影した画像であってもよい。例えば、車両が車道を移動しながら撮影画像を取得してパノラマ写真を生成し、よって、前記ストリートビュー画像は道路、より具体的には車道で見た画像であり、本発明においてはそれを道路視点で撮影した画像という。

【0038】

ただし、本発明は、必ずしもこれに限定されるものではなく、前記ストリートビュー画像は、他の視点や他の方法で撮影した画像であってもよい。

【0039】

本発明において、航空画像は、航空写真、航空ビデオ画像、航空イメージなどを含む意味で用いられる。これらのうち、航空写真（Aerial Photo）とは、航空機、飛行船、気球、ドローンなどに搭載されたカメラで撮影した写真をいい、地形図の作成及び判読による環境及び資源解析、形状解析などに主に用いられる。

【0040】

この場合、前記航空写真の多視点画像を処理することにより、撮影した地域を３次元モデルデータとして構築する。前記３次元モデルデータは、３次元レンダリング画像、オルソ画像（Orthophotograph）、数値表層モデル（DSM: Digital Surface Model）、数値標高モデル（DEM: Digital Elevation Model）などの情報を含む。

【0041】

レンダリング又は画像合成（image synthesis）とは、コンピュータプログラムを用いてモデル又はそれらを集めたシーンであるシーンファイル（scene file）から画像を生成する過程をいう。３次元レンダリングとは、３次元コンピュータグラフィックスで作成したモデルに色と質感を与えて撮影機のアングルで構図をとって光で陰影処理をすることにより、最終結果の画像を生成する過程を意味する。ここで、最終結果の画像は、前記３次元レンダリング画像であり得る。

【0042】

オルソ画像とは、写真撮影当時のカメラ姿勢及び地形起伏により生じた対象体の変位を除去した画像をいい、地表面の高低により発生する写真の歪みを補正して同一縮尺の地図のようにした画像であり得る。

【0043】

数値表層モデルとは、地表面上の自然的形状である地貌と人工的形状である地物を両方とも含むモデルをいい、数値標高モデルとは、地表面の高度値を数値として保存して地形の形状を示すモデルをいう。ただし、本発明で例示する３次元モデルデータは、１つのデータセットに限定されるものではない。例えば、３次元レンダリング画像と数値標高モデルとは、異なるデータセットからそれぞれ取得されるようにしてもよい。

【0044】

本発明においては、前記ストリートビュー画像を用いて、画像ベースの測位のためのいずれか１つの特徴点マップを生成し、前記３次元モデルデータを用いて、前記画像ベースの測位のための他の１つの特徴点マップを生成する。

【0045】

前記特徴点マップは、３次元の特徴点に関するデータを有するマップであり、フィーチャマップ、ロードマップ又は３次元特徴点マップともいう。本例においては、道路や歩道などの道で画像ベースの測位に活用されるマップを例示する。ただし、道路や歩道は、画像ベースの測位を行う地点の例示にすぎず、本発明の特徴点マップは、空中での画像ベースの測位にも活用することができる。以下、説明の便宜上、歩道での画像ベースの測位を例に本発明を説明する。

【0046】

一方、前記歩道とは、車両などが通る道路に併設された歩行者道を意味する。前記歩道は、車道の両側に設置され、人と車両の両方該当地域を通行できるようにすると共に、それぞれの経路を区分する。前記歩道は、狭い意味で、車道の横に設置された舗装された道を特定する言葉として用いられるが、本発明においては、これに限定されるものではない。すなわち、前記歩道は、人が通る道を通称する意味で用いられる。

【0047】

前記航空、海洋、道路、歩道などでの画像ベースの測位とは、前記航空、海洋、道路、歩道などでＧＰＳを用いるのではなく、周辺を撮影した写真を用いて自身の正確な位置を把握する測位を意味する。ここで、前記歩道での画像ベースの測位とは、徒歩で移動するユーザが周辺を撮影し、撮影した画像からユーザの位置を把握することを意味する。

【0048】

本発明において、前記ストリートビュー画像及び前記３次元モデルデータを用いて行う前記画像ベースの測位は、モバイル機器や自律走行機器で行うことができる。

【0049】

前記モバイル機器とは、手に持ったり身につけて持ち運べる移動端末機を意味し、前記自律走行機器とは、自ら移動可能に構成されるモバイル装置を意味する。

【0050】

例えば、前記移動端末機には、携帯電話、スマートフォン（smart phone）、ノートパソコン（laptop computer）、デジタル放送端末、ＰＤＡ（Personal Digital Assistants）、ＰＭＰ（Portable Multimedia Player）、ナビゲーション、スレートＰＣ（slate PC）、タブレットＰＣ（tablet PC）、ウルトラブック（ultrabook）、ウェアラブルデバイス（例えば、スマートウォッチ（smartwatch）、スマートグラス（smart glass）、ＨＭＤ（Head Mounted Display））などが含まれる。また、前記自律走行機器には、自律走行車、ドローン、ロボットなどが含まれ、前記ロボットには、掃除ロボット、案内ロボット、配達ロボットなど、移動しながら位置ベースのサービスを提供するロボットなどがある。

【0051】

なお、本発明の実施形態においては、歩道で位置を取得するか、徒歩で移動しながら位置を取得する新たな方式の測位方法及びシステムについて、前記モバイル機器や前記自律走行機器の位置を基準に説明するが、本発明は、必ずしもこれに限定されるものではない。前記モバイル機器や前記自律走行機器は、ユーザの位置を測定する１つの手段であり、他の機器を本発明に適用することもできる。

【0052】

このように、本発明による画像ベースの測位に活用できるマップの生成方法、並びにそれを用いた画像ベースの測位方法及びシステムは、ユーザに現在の位置情報を提供し、そのために、ストリートビュー画像を用いて生成したマップ及び航空画像を用いて生成したマップを用いる。以下、まず、画像ベースの測位及びそれを実現するシステムについて、その後、その画像ベースの測位に用いられるマップを生成する方法について、図面を参照してより詳細に説明する。

【0053】

図１は、本発明による画像ベースの測位を行う動作を説明するための概念図であり、図２は、図１の画像ベースの測位を実現するシステムの一例を示す図である。

【0054】

図１を参照すると、室外空間に自律走行機器としてロボットＲが位置する。ロボットＲは、配達ロボットや案内ロボットなどのサービスロボットであり得る。ただし、ロボットＲが走行する空間の種類には制限がなく、ロボットＲは、必要に応じて室内空間及び室外空間の少なくとも一方を走行することができる。本例において、ロボットＲは、与えられたサービス提供などのタスクを実行するために、人々が徒歩で移動する歩道１１を走行するとする。

【0055】

ロボットＲを用いて様々なサービスを提供するためには、ロボットＲが正確かつ迅速に自身の位置を確認することが非常に重要である。よって、ロボットＲは、歩道１１を走行しながら迅速に画像ベースの測位を行うことができる。

【0056】

このような画像ベースの測位の例として、ロボットＲは、道路１２を挟んで一側の歩道１１で他側の歩道を見ながら画像を撮影し、撮影した画像を３次元マップと比較して自身の位置を検出する。この場合、歩道１１で見た画像を取得して３次元マップを生成することには多くの努力と時間が必要である。

【0057】

本発明においては、既に構築されたデータであるストリートビュー画像及び３次元モデルデータを用いて画像ベースの測位用マップデータを生成し、それにより室外環境に対する事前スキャンプロセスのないマップの生成を実現する。

【0058】

また、歩道１１での画像ベースの測位は、図２に示す画像ベースの測位システム１００により実現することができる。

【0059】

画像ベースの測位システム１００は、自律走行機器１１０及びコントロールサーバ１２０を備えてもよい。ただし、前述したように、本実施形態においては、自律走行機器１１０としてロボットＲを例示するが、モバイル機器で代替してもよい。

【0060】

自律走行機器１１０は、無線通信部１１１、駆動部１１２及び制御部１１３の少なくとも１つを備える。

【0061】

無線通信部１１１は、自律走行機器１１０とコントロールサーバ１２０間、自律走行機器１１０と他の自律走行機器間、自律走行機器１１０とモバイル機器間、自律走行機器１１０と通信ネットワーク間の無線通信を行う。このような無線通信を行うために、無線通信部１１１は、無線インターネットモジュール、近距離通信モジュール、位置情報モジュールなどを備える。

【0062】

駆動部１１２は、制御部１１３の制御下で、自律走行機器１１０やモバイル機器で実行されるようにしてもよい。駆動部１１２は、測位用マップデータ及び自律走行機器１１０やモバイル機器で撮影した画像を用いて画像ベースの測位を行う。このように画像ベースの測位を行うために、駆動部１１２は、イメージセンサなどを備えてもよい。

【0063】

前記測位用マップデータは、道路１２の周辺に位置する歩道視点の画像ベースの測位に活用できるマップデータであり、画像ベースの測位用に作成された特徴点マップであってもよい。

【0064】

一方、制御部１１３は、無線通信を制御し、画像を撮影し、駆動部１１２を制御する動作と共に、通常、自律走行機器１１０やモバイル機器の全般的な動作を制御する。

【0065】

この場合、前記測位用マップデータは、コントロールサーバ１２０から自律走行機器１１０に提供されるか、自律走行機器１１０の要求に応じてコントロールサーバ１２０で測位に用いられる。コントロールサーバ１２０は、無線通信部１２１、データベース１２２、演算部１２３及び制御部１２４の少なくとも１つを備える。

【0066】

無線通信部１２１は、制御部１２４の制御下で、自律走行機器１１０と無線通信を行う。また、制御部１２４は、演算部１２３及びデータベース１２２と連携し、測位用マップデータを生成、保存及び更新する一連のプロセスを制御する。

【0067】

データベース１２２には、前記測位用マップデータが保存され、前記測位用マップデータには、座標情報、ポイントクラウド情報、画像情報、ポーズ情報などが備えられる。

【0068】

演算部１２３は、前記測位用マップデータを最初に生成するか、生成した測位用マップデータを更新する機能を実行する。他の例として、演算部１２３が自律走行機器１１０の駆動部１１２の機能を代わりに行うようにしてもよい。例えば、自律走行機器１１０で撮影した画像を用いて、画像ベースの測位のためのデータ処理や演算などを行って自律走行機器１１０の位置を算出するようにしてもよい。

【0069】

本発明において、前記測位用マップデータは、ストリートビュー画像と航空画像をベースとして生成した３次元モデルデータを共に用いてマップを構築することにより実現することができる。

【0070】

以下、このような測位用マップデータを構築し、画像ベースの測位を行う方法について、図面を参照してより詳細に説明する。

【0071】

図３は、本発明による画像ベースの測位を行うためのプロセスを示すフローチャートであり、図４は、図３のプロセスにより構築されたマップデータを説明するための概念図であり、図５は、航空写真ベースの３次元モデル及びストリートビュー画像ベースの特徴点マップの一例を示す図である。また、図６ａ及び図６ｂは、図５のデータの座標が整合していない例及び整合している例を示す概念図である。

【0072】

図３に示すように、本発明による画像ベースの測位方法は、第１特徴点マップを生成するステップ（Ｓ１１０）、第２特徴点マップを生成するステップ（Ｓ１２０）、第１特徴点マップと第２特徴点マップを統合した測位用マップデータを構築するステップ（Ｓ１３０）、及び画像ベースの測位を行うステップ（Ｓ１４０）を含んでもよい。

【0073】

前記第１特徴点マップを生成するステップ（Ｓ１１０）は、第１視点を基準に算出された第１マップデータを用いて第１特徴点マップを生成するステップであってもよい。前記第２特徴点マップを生成するステップ（Ｓ１２０）は、前記第１視点とは異なる第２視点を基準に算出された第２マップデータから第２特徴点マップを生成するステップであってもよい。この場合、前記第１特徴点マップを生成するステップ（Ｓ１１０）と前記第２特徴点マップを生成するステップ（Ｓ１２０）とは、時系列的なステップではなく、同時に行ってもよく、その順序を変更してもよい。

【0074】

ここで、前記第１視点は、道路視点及び空中視点のいずれか一方であり、前記第２視点は、前記道路視点及び前記空中視点の他方であってもよい。よって、前記第１マップデータは、ストリートビュー画像及び３次元モデルデータのいずれか一方であり、前記第２マップデータは、ストリートビュー画像及び３次元モデルデータの他方であってもよい。また、前記第１特徴点マップは、前記ストリートビュー画像をベースとして生成した特徴点マップ及び前記３次元モデルデータをベースとして生成した特徴点マップのいずれか一方であり、前記第２特徴点マップは、前記ストリートビュー画像をベースとして生成した特徴点マップ及び前記３次元モデルデータをベースとして生成した特徴点マップの他方であってもよい。

【0075】

以下、本明細書においては、説明の便宜上、前記第１視点が道路視点であり、前記第２視点が空中視点である場合を例示するが、その逆の場合であってもよい。よって、前記第１特徴点マップを生成するステップ（Ｓ１１０）は、道路視点で撮影したストリートビュー画像をベースとして前記第１特徴点マップを生成するステップであってもよい。また、前記第２特徴点マップを生成するステップ（Ｓ１２０）は、空中で室外空間を撮影した画像に基づく３次元モデルデータから前記第２特徴点マップを生成するステップであってもよい。

【0076】

さらに、前記第２特徴点マップは、空中視点の３次元モデルデータを用いて特徴点マップを生成するので、視点の変更が可能である。前記第２特徴点マップは、仮想の３次元マップであるので、歩道視点の位置及び方向を用いて画像をレンダリングすることにより歩道視点のマップを生成することも可能である。

【0077】

前記第１特徴点マップ及び前記第２特徴点マップにおいては、ストリートビュー画像から生成した３次元ポイントと航空写真ベースの３次元モデルから構築した３次元ポイントとの座標系が一致しないという問題がある。ＧＰＳ、ＩＭＵセンサの誤差により、異なる方式で生成した２つの３次元ポイント間にはポーズの違いが存在するということである。よって、図６ａに示すように、前記第１特徴点マップの３次元ポイントと前記第２特徴点マップの航空写真とは、センサの誤差などにより、同一地域であってもずれるようになる。ここで、前記第１特徴点マップでは、ポイントが集まってマップのデータが形成され（図５の（ａ）に示す）、前記第２特徴点マップは、航空写真（図５の（ｂ）に示す）をベースとして形成されるようにしてもよい。

【0078】

上記問題を解決するために、本発明において、前記第１特徴点マップと前記第２特徴点マップを統合した測位用マップデータを構築するステップ（Ｓ１３０）は、前記第１特徴点マップのポイントと前記第２特徴点マップのポイントとにおけるカメラポーズの違いを用いて、前記第１特徴点マップと前記第２特徴点マップを統合した測位用マップデータを構築するステップであってもよい。

【0079】

より具体的には、前記第１特徴点マップと前記第２特徴点マップを統合して測位用マップデータを構築し、歩道での画像ベースの測位に活用する。前記第１特徴点マップと前記第２特徴点マップとの統合のために、図４に示すように、第２特徴点マップ１４０を第１特徴点マップ１３０に整合し、統合した測位用マップデータ１５０を構築するようにしてもよい。

【0080】

このような整合により、図６ｂに示すように、前記第２特徴点マップの航空写真と前記第１特徴点マップの３次元ポイントとが一致するようになる。

【0081】

その後、前記画像ベースの測位を行うステップ（Ｓ１４０）においては、前記測位用マップデータを用いて歩道で画像ベースの測位を行う。

【0082】

一方、本明細書においては、説明の便宜上、まず、データを整合する方法と測位を行うステップについて説明し、前記第１特徴点マップを生成するステップ（Ｓ１１０）の詳細については図１２ａ～図１７ｂを参照して後述し、前記第２特徴点マップを生成するステップ（Ｓ１２０）の詳細については図１８ａ～図２３を参照して後述する。

【0083】

前記データの整合には様々な方法を用いることができ、本発明においては、ローカルフィーチャマッチング（Local Feature Matching）やスキャンマッチング（Scan-Matching）により、前記第１特徴点マップのデータと前記第２特徴点マップのデータとを一致させる。

【0084】

ローカルフィーチャマッチング（Local Feature Matching）
図７は、図３の第１特徴点マップと第２特徴点マップとを整合する一実施形態を示す概念図であり、より具体的にはローカルフィーチャマッチングの概念を示す。

【0085】

ローカルフィーチャマッチングを行うために、前記測位用マップデータを構築するステップにおいては、まず、前記第１特徴点マップの画像１３１と前記第２特徴点マップの画像１４１間で特徴点の対応情報を算出する。

【0086】

例えば、航空写真ベースの３次元モデルにおいてレンダリングされた画像をベースとして２次元画像の特徴点を抽出し、ストリートビュー画像から特徴点を抽出し、それら特徴点の対応情報を算出する。

【0087】

前記特徴点は、画像において特徴となる地点であって、画像の重要な情報を含む地点である。このような地点として、前記特徴点は、例えば建物の角などである。

【0088】

ここで、前記第１特徴点マップの画像１３１は、道路視点で撮影したストリートビュー画像を備え、前記第２特徴点マップの画像１４１は、室外空間の３次元モデルデータを用いて前記道路視点でレンダリングされた画像を備えるようにしてもよい。例えば、図７に示すように、前記第１特徴点マップの画像１３１として、ストリートビュー画像から特徴点が抽出され、前記第２特徴点マップの画像１４１として、レンダリングされた画像に対して特徴点が抽出される。

【0089】

この場合、前記特徴点抽出技法は、特定例に限定されるものではなく、本発明に適用できる様々な技法が考慮される。よって、本明細書においては、それについて特に制限はない。

【0090】

ここで、前記ストリートビュー画像は、複数の画像タイルを備えるタイルマップ（Tile Map）から取得してもよい。前記タイルマップは、地図画像タイルを提供し、一般地図、衛星地図、地形図のような地図タイプと大衆交通、自転車道、リアルタイム交通情報などの詳細情報とを含む地図を、画像タイルとして備えるようにしてもよい。

【0091】

本例において、前記ストリートビュー画像は、複数の画像タイルを備え、前記複数の画像タイルは、前記レンダリングされた画像に整合する。そのために、前記第１特徴点マップの画像における特徴点の抽出は前記画像タイルで行われ、前記画像タイルの特徴点と前記レンダリングされた画像の特徴点とで対応情報が算出される。

【0092】

次に、前記対応情報を用いて、前記カメラポーズの違いを推定するステップが行われる。その例として、算出した対応情報を用いて、例えばＰｎＰソルバー（perspective-n-point solver）により１つの画像タイルと３次元モデルとのポーズの違いを推定する。

【0093】

前記ＰｎＰソルバーは、ＰｎＰアルゴリズムを用いてカメラポーズ（例えば、カメラの位置、角度、方向）を推定する技法である。

【0094】

より具体的には、前記第１特徴点マップの画像と前記第２特徴点マップの画像との特徴点間のエラー最適化により、前記第１特徴点マップ及び前記第２特徴点マップのいずれか一方に対応するカメラポーズが他方を基準に補正される。本例においては、ストリートビュー画像の画像タイルを３次元モデルのレンダリングされた画像に合わせる方式で、前記画像タイルのカメラポーズに対してエラー最適化が行われる。例えば、前記３次元モデルのレンダリングされた画像に基づいて、前記ストリートビュー画像の画像タイルのカメラポーズなどの情報が更新される。

【0095】

上記過程により、前記第１特徴点マップと前記第２特徴点マップとの同一座標でカメラポーズなどの情報が一致するようになる。このような情報の一致は、前記第１特徴点マップ及び前記第２特徴点マップのデータを生成する前にカメラポーズなどの情報を補正するか、又は前記第１特徴点マップ及び前記第２特徴点マップのデータを生成した後に情報を補正する方法により実現することができる。

【0096】

一方、前記第１特徴点マップと前記第２特徴点マップとを整合する方法には、様々な形態を適用することができる。その例として、本発明においては、スキャンマッチング（Scan-Matching）により、前記第１特徴点マップと前記第２特徴点マップとを整合するようにしてもよい。

【0097】

スキャンマッチング（Scan-Matching）
図８は、図３の第１特徴点マップと第２特徴点マップとを整合する他の実施形態を示す概念図であり、より具体的にはスキャンマッチングの概念を示す。

【0098】

図８の（ａ）のようにスキャンマッチングを行う前には、第１特徴点マップのデータと第２特徴点マップのデータとが一致しないが、スキャンマッチングでデータを整合すると、図８の（ｂ）のように一致するデータとなる。

【0099】

この場合、前記第１特徴点マップと前記第２特徴点マップとをスキャンマッチングし、前記第１特徴点マップ及び前記第２特徴点マップのいずれか一方を他方に整合する。

【0100】

その例として、ＩＣＰ（Iterative Closest Point）アルゴリズムを用いて、前記第１特徴点マップの３次元ポイントと前記第２特徴点マップの３次元モデルとを比較して整合するようにしてもよい。この場合、同図に示すように、前記ＩＣＰアルゴリズムを用いてポイントとポイント間の距離やポイントとライン間の距離を最適化する方法が用いられてもよい。また、この場合、他のＩＣＰアルゴリズムを用いて、例えばポイントと面（メッシュ）間の距離を用いるＩＣＰ方法などが適用されてもよい。

【0101】

他の方法として、前記３次元モデルは、メッシュを備え、前記第２特徴点マップは、メッシュ情報を備え、前記第１特徴点マップの３次元ポイントと前記第２特徴点マップのメッシュ情報とを比較して前記第１特徴点マップと前記第２特徴点マップとを整合する方法が用いられてもよい。

【0102】

前記第１特徴点マップは、ポイントの情報を有し、前記第２特徴点マップは、航空データの３次元メッシュを有し、前記ポイントと前記メッシュとの距離を最小限に抑える方法により、前記整合を行うようにしてもよい。この場合、前記メッシュに基づいて前記ポイントの情報を更新すると、前記カメラポーズなどの情報が補正される。

【0103】

このように、データの整合により、第１特徴点マップと第２特徴点マップを統合した測位用マップデータが構築されると、前記画像ベースの測位を行うステップ（Ｓ１４０）において、前記測位用マップデータを用いて歩道で画像ベースの測位が行われる。

【0104】

図９は、図４のデータを用いて歩道で画像ベースの測位を行う一例を示す概念図であり、図１０は、画像ベースの測位のデータ構造を示すブロック図であり、図１１は、図１０においてグローバルディスクリプタを用いて画像の類似度を判別する概念を示す概念図である。

【0105】

前述した測位用マップデータを活用して、１つの画像だけで徒歩で移動するユーザの３次元位置及びポーズを推定することができる。例えば、ユーザは、モバイル機器を用いて自身の位置を確認したり、自身の位置をベースとするサービスの提供を受けることができる。

【0106】

この場合、前記画像ベースの測位を行うステップは、入力画像を受信し、特徴点を抽出するステップと、前記測位用マップデータから前記入力画像の特徴点に類似したデータを備える基準画像を抽出し、前記基準画像を用いてポーズを推定するステップとを含んでもよい。

【0107】

図９を参照すると、前記位置ベースのサービスの一例として、ユーザのモバイル機器で画像ベースの測位サービスを実現することができる。

【0108】

ユーザは、徒歩移動中に特定の地点で自身の位置を確認するために、スマートフォン１９１で前記画像ベースの測位サービスに関連するアプリケーションを実行し、周辺の街頭を撮影する。前記アプリケーションは、撮影した入力画像１９２の特徴点１９３と測位用マップデータの特徴点１９４とを比較し、前記モバイル機器の３次元位置及びポーズを推定する。

【0109】

このようなプロセスを行うために、図１０に示すように、画像ベースの測位システムは、統合された測位用マップデータ１５０、ＶＬサーバ１７０及びディープフィーチャ提供サーバ（deep feature serving server）１６０を備えてもよい。以下、画像ベースの測位プロセスについてより詳細に説明する。

【0110】

図１０及び図１１に示すように、まず、入力画像がクエリとして入力されると、ＶＬサーバ１７０及びディープフィーチャ提供サーバ１６０は、ＧＰＳ情報及びグローバルディスクリプタを用いて、統合された測位用マップデータから入力画像に類似した基準画像データを抽出する。このとき、ＶＬサーバ１７０がディープフィーチャ提供サーバ１６０に画像を送信し、ディープフィーチャ提供サーバ１６０がグローバルディスクリプタ、ローカルディスクリプタ及びローカル特徴点を抽出するようにしてもよい。ＶＬサーバ１７０は、抽出したグローバルディスクリプタ及びＧＰＳ情報を用いて、統合された測位用マップデータから入力画像に類似した基準画像データを抽出する。

【0111】

前記グローバルディスクリプタは、活用する１枚の画像を記述する１ｘＮの実数ベクトル（float-vector）であってもよい。前記グローバルディスクリプタを用いて、例えばコサイン類似度（cosine similarity）などにより画像間の類似度を判別することができる。

【0112】

次に、ローカルフィーチャマッチングにより、位置とカメラポーズを推定する。例えば、抽出した前記ローカルディスクリプタ及び前記ローカル特徴点を用いて、入力画像と類似した基準画像間のローカルフィーチャマッチングを行い、得られた連関関係を用いてカメラの位置及びポーズを推定するようにしてもよい。前記ローカルフィーチャマッチングは、２次元情報と３次元情報とのマッチングであり得る。

【0113】

例えば、図９に示すように、第１特徴点マップの情報がモバイル機器で撮影したクエリ画像とより類似している場合、前記測位用マップデータにおいてストリートビューをベースとして生成した第１特徴点マップの３次元データの特徴点と前記モバイル機器で撮影した２次元画像の特徴点とがマッチングされる。

【0114】

より具体的には、ディープフィーチャ提供サーバ１６０において、ローカル特徴点を抽出し、２Ｄ－３Ｄマッチングにおいて、ローカルフィーチャディスクリプタ（Local feature descriptor）を用いて、２次元画像の特徴点にマッチングされる第１特徴点マップの３次元値を検出する。その後、ＰｎＰソルバーにおいて、前記３次元値と前記２次元入力画像のピクセル値に基づいて演算（solving）を行い、カメラポーズを推定する。

【0115】

前記ＰｎＰソルバーの演算は、ローカルフィーチャマッチングにより、入力画像の２次元ピクセル座標とマップ上の３次元ポイント間の対応情報を取得し、複数対の２次元－３次元情報により、入力画像のポーズを計算する。複数の特徴点が検出され、それら特徴点に３次元情報が連結されるので、複数の２次元－３次元情報を取得することができ、それにより入力画像のポーズを計算する。

【0116】

この場合、リプロジェクションエラー（re-projection error）が最小限に抑えられるように繰り返し演算し、前記ポーズが推定されるようにしてもよい。前記リプロジェクションエラーは、マップ上の３次元ポイントが入力画像にプロジェクションされたときの前記入力画像の２次元特徴点間のピクセルエラーと定義される。

【0117】

前述したように、本発明においては、入力画像に類似した画像間のマッチングにより算出された３次元位置及び推定されたポーズを用いて、前記モバイル機器の正確な位置を測位することができる。この場合、前記モバイル機器では前記位置をベースとする様々なサービスを実行することができる。

【0118】

以下、前記第１特徴点マップを生成するステップ（Ｓ１１０）と、前記第２特徴点マップを生成するステップ（Ｓ１２０）についてより詳細に説明する。

【0119】

図１２ａは、本発明による第１特徴点マップの生成方法を示すフローチャートであり、図１２ｂは、図１２ａのフローチャートの一実施形態を示す詳細フローチャートである。

【0120】

図１２ａに示すように、前記第１特徴点マップを生成するステップは、特徴点検出ステップ（Ｓ２１０）、ポイント生成ステップ（Ｓ２２０）及び特徴点マップ生成ステップ（Ｓ２３０）を含んでもよい。

【0121】

まず、前記特徴点検出ステップ（Ｓ２１０）において、道路視点で撮影したストリートビュー画像から特徴点を検出する。

【0122】

例えば、前記ストリートビュー画像のそれぞれからオブジェクトの特徴点を検出するようにしてもよい。前記オブジェクトは、道路、木、人、車両、空、建物などを含み、前記ストリートビュー画像内の全ての客体の少なくとも１つであり得る。

【0123】

そのために、図１２ｂに示すように、前記特徴点検出ステップ（Ｓ２１０）は、第１ステップ（Ｓ２１１）、第２ステップ（Ｓ２１２）及び前記第３ステップ（Ｓ２１３）からなる。

【0124】

前記第１ステップ（Ｓ２１１）は、画像をクロッピングするステップであり、ストリートビュー画像を複数の画像にクロッピングする。

【0125】

前記クロッピングとは、既に撮影した画像の一部を切り出すことを意味する。具体的には、前記クロッピングとは、トリミングと同様の意味であり、画像の不要な部分を切り出すか、又は写真を分割して所定の基準で複数の画像に切ることを意味する。

【0126】

前記第２ステップ（Ｓ２１２）は、特徴点をフィルタリングするステップであり、より具体的には、特徴点をマッチングする前に画像内で不要なオブジェクトを設定するステップであってもよい。前記第３ステップ（Ｓ２１３）は、特徴点をマッチングするステップであり、前記不要なオブジェクトを除く他のオブジェクトにおいて特徴点をマッチングするステップであってもよい。

【0127】

ただし、本発明において、不要なオブジェクトを除いて特徴点をマッチングするとは、必ずしも全ての特徴点を除去することを意味するものではない。ここで、前記特徴点のフィルタリングは、不要なオブジェクトに対応する特徴点の数を最小限にするという意味で解釈されるべきである。また、前記第２ステップ（Ｓ２１２）と前記第３ステップ（Ｓ２１３）とは、必ずしも時系列的に行われるステップではない。例えば、前記第２ステップ（Ｓ２１２）と前記第３ステップ（Ｓ２１３）とは、同時に行ってもよく、その順序を変更してもよい。

【0128】

このように、前記特徴点検出ステップ（Ｓ２１０）においては、ストリートビュー画像をクロッピングし、フィルタリングと共にクロッピングされた画像間の特徴点がマッチングされる。

【0129】

次に、前記ポイント生成ステップ（Ｓ２２０）において、特徴点マップを生成するためのポイントを生成する。より具体的には、前記ポイント生成ステップ（Ｓ２２０）は、第４ステップ（Ｓ２２１）及び第５ステップ（Ｓ２２２）を含んでもよい。

【0130】

前記第４ステップ（Ｓ２２１）は、前記特徴点間のマッチングに基づいて、前記ストリートビュー画像に関連する３次元ポイントを生成するステップであってもよい。生成された３次元ポイントに対しては、前記第５ステップ（Ｓ２２２）のポイント最適化が行われ、それにより特徴点マップが生成（Ｓ２３０）される。ここで、前記第５ステップ（Ｓ２２２）は、前記特徴点マップを生成するために、最適化を行って前記３次元ポイントを補正するステップであってもよい。

【0131】

前述したように、本発明による画像ベースの第１特徴点マップの生成方法は、第１ステップ～第５ステップを含む。ただし、本発明は、必ずしもこれに限定されるものではなく、例えば、第１特徴点マップの生成方法のステップの一部が省略されてもよい。その例として、前記画像をクロッピングする第１ステップ（Ｓ２１１）を省略して前記第１特徴点マップを生成するようにしてもよい。

【0132】

以下、第１特徴点マップの生成方法の各ステップについて、例を挙げてより詳細に説明する。

【0133】

図１３は、図１２ｂの第１ステップを説明するための概念図であり、図１４ａ及び図１４ｂは、図１２ｂの第２ステップを説明するための概念図であり、図１５ａ及び図１５ｂは、図１２ｂの第３ステップを説明するための概念図であり、図１６ａ及び図１６ｂは、図１２ｂの第４ステップを説明するための概念図であり、図１７ａ及び図１７ｂは、図１２ｂの第５ステップを説明するための概念図である。

【0134】

まず、図１３を参照して、ストリートビュー画像をクロッピングするステップについて説明する。

【0135】

前記第１ステップ（Ｓ２１１）においては、ストリートビュー画像２３０をベースとして画像をクロッピングして少なくとも１つの画像に分割する。前記画像の分割には、ストリートビュー画像２３０の１つの画像を切り出すか、複数の画像に分割することが含まれる。

【0136】

例えば、ストリートビュー画像２３０は、球パノラマ画像を備え、前記球パノラマ画像は、複数の画像２４１、２４２にクロッピングされるようにしてもよい。

【0137】

前記球パノラマ画像は、３６０度の画像であり、それを特定の角度で見た複数枚の画像へのクロッピングが行われる。例えば、北を基準に複数の方向に分けて前記クロッピングを行ってもよい。

【0138】

ストリートビュー画像２３０をクロッピングするので、ストリートビュー画像２３０とはサイズが異なる複数の画像２４１、２４２が生成される。この場合、前記クロッピングされた複数の画像２４１、２４２は、縦方向の方が横方向より長い画像であってもよい。例えば、ストリートビュー画像２３０は、スマートフォンのディスプレイのように、縦方向に長い画像にクロッピングされてもよい。前記スマートフォンで画像を撮影して画像ベースの測位に活用するために、前記クロッピングされた複数の画像２４１、２４２は、撮影した画像に類似した形態を有するようにしてもよい。このように、前記クロッピングされた複数の画像２４１、２４２は、縦方向に長く形成され、前記スマートフォンで撮影した画像と対照する情報として活用される。

【0139】

また、前記クロッピングされた複数の画像２４１、２４２には、同一のオブジェクトの異なる視点のグラフィックオブジェクトが含まれてもよい。すなわち、前記クロッピングされた複数の画像２４１、２４２において、前記グラフィックオブジェクトは、一部重なるか、異なる角度で見る形状を有するようにしてもよい。

【0140】

一方、前記クロッピングにより、ストリートビュー画像２３０において、特定の領域が前記複数の画像から除かれてもよい。その例として、同図に示すように、ストリートビュー画像２３０には、街頭を撮影する車両の一部が含まれ得る。当該領域は、特徴点マップの生成に不要な領域であり、前記クロッピングを用いて除いてもよい。

【0141】

次に、前記特徴点を検出するステップは、前記クロッピングされた複数の画像に対して行われるようにしてもよい。このとき、前記特徴点をフィルタリングする第２ステップ（Ｓ２１２）が先に行われるようにしてもよい。

【0142】

図１４ａに示すように、第２ステップ（Ｓ２１２）においては、前記ストリートビュー画像内で前記オブジェクトを意味単位で分割し、前記オブジェクトの少なくとも一部に対応する特徴点をフィルタリングする。前記特徴点のフィルタリングは、前記ストリートビュー画像を必要な領域と不要な領域に分割し、前記不要な領域に対応する特徴点を除去する方式で行われるようにしてもよい。その例として、セマンティックセグメンテーション（Semantic segmentation）ベースのマッチングフィルタリングにより不要な特徴点を除去するようにしてもよい。

【0143】

図１４ｂを参照すると、第１画像２４３と第２画像２４４間で、木２５３と車両２５４により多くの特徴点が生成されることが分かる。このように、画像内の道路、木、人、車両領域で不要なマッチングが発生すると、画像ベースの測位の性能及びマッピングの正確度が低下する。これを防止するために、クロッピングされた画像２５０のピクセルに対して所定数のクラスに分類し、全てのピクセルに対してラベルの予測を行う。このような全てのピクセルのラベルの予測により分割が行われるようにしてもよい。

【0144】

クロッピングされた画像２５０内の建物２５１は、必要な領域の第１クラスとしてラベルされ、道路２５２、木２５３、車両２５４、人２５５は、不要な領域の第２クラスとしてラベルされるようにしてもよい。

【0145】

つまり、クロッピングされた画像２５０内で、道路、木、人、車両などのように動的に動くか季節によって変わるオブジェクトに対して、セマンティックセグメンテーションフィルタリングにより特徴点を除去することができる。

【0146】

このようなセマンティックセグメンテーションフィルタリングにより、その後の特徴点のマッチングをより正確に行うことができる。図１５ａは、第２ステップ（Ｓ２１２）のフィルタリングを行いながら、第３ステップ（Ｓ２１３）の特徴点のマッチングを行った結果を示す。同図を参照すると、第１画像２４３と第２画像２４４において木２５３及び車両２５４の特徴点が除去され、より正確な特徴点のマッチングが行われることが分かる。

【0147】

この場合、第３ステップ（Ｓ２１３）においては、特定の範囲にある複数枚のクロッピングされた画像間で特徴点のマッチングを行う。例えば、ストリートビュー画像のＧＰＳ情報を用いて半径を設定し、設定した半径内に収集されてクロッピングされた画像を集めて特徴点のマッチングを行う。より具体的には、図１５ｂのように画像内に特定の建物が映る範囲を例示すると、建物の一側端が映った画像と建物の大部分が映った画像間で特徴点のマッチングが行われる。

【0148】

また、前記特徴点のマッチングは、前記ストリートビュー画像の少なくとも１対の画像間のホモグラフィ（homography）を算出し、前記ホモグラフィを用いて設定した特定の範囲で行うようにしてもよい。このように、本発明においては、２つの画像間の特徴点全体を比較する推定マッチング（Putative Matching）を行うのではなく、ホモグラフィを用いて設定した特定の範囲で密度の高い特徴点のマッチングを行う。

【0149】

図１５ｂの（ａ）は、推定マッチングの結果を示すものであり、図１５ｂの（ｂ）は、ホモグラフィによるガイドマッチング（Guided Matching）の結果を示すものである。同図を参照すると、マッチングを行う際に２つの画像間のホモグラフィを算出して用いることによって、より密度の高い特徴点のマッチングが行われることが分かる。

【0150】

具体的には、まず、２つの画像全体の特徴点を１対１でマッチングする推定マッチングにより、２つの画像間のホモグラフィのトランスフォーム（transform）を算出する。その後、所定の範囲のピクセル内で特徴点をマッチングする。より具体的には、前記トランスフォームを用いて対応するピクセルを検出して半径を設定し、半径内の特徴点同士のみをマッチングする。その例として、ポイントを基準にして第１画像内のあるピクセルに対する第２画像における位置を検出し、前記位置を基準に１０～２０ピクセルの半径内で前記ホモグラフィを用いて特徴点のマッチングを行う。

【0151】

その後、画像全体にわたって位置を移動しながら特徴点のマッチングを行う。このようなガイドマッチングによれば、より密度の高い特徴点のマッチングを行うことができる。

【0152】

次に、前記第４ステップ（Ｓ２２１）においては、マッチングの結果を用いて３次元ポイントを生成する。

【0153】

前記３次元ポイントは、前記ストリートビュー画像の取得時点のＧＰＳ位置情報及び車両の角度を用いて、実際のスケールと同じポイントとして生成される。その例として、トライアンギュレーション（triangulation）技法により前記ポイントを生成してもよい。

【0154】

図１６ａを参照すると、ＧＰＳ位置情報及び車両の角度を用いて１枚の画像に対してポーズを算出する。ここで、車両の角度は、ＩＭＵ（Inertial Measurement Unit,慣性計測装置）情報から取得してもよい。その後、ポーズを用いて２つの画像２６１、２６３間で得られる同一の特徴点に対する３次元ポイントＰを算出する。

【0155】

例えば、第１画像２６１及び第２画像２６３において、エピポーラ幾何学（Epipolar Geometry）を考慮すると、人が目で見る３次元ポイントＰと、第１中心点Ｏ１で撮影した第１画像２６１と、第１画像２６１に投影されたポイントＰ１と、第２中心点Ｏ２で撮影した第２画像２６３と、第２画像２６３に投影されたポイントＰ２間には、図１６ａのような関係が成立する。

【0156】

第１中心点Ｏ１と第２中心点Ｏ２をつなげたラインと画像２６１、２６３が交わる地点にエピポール（epipole）ｅ１、ｅ２が形成され、エピポールライン２６２上にエピポールｅ１、ｅ２と投影されたポイントＰ１、Ｐ２が位置する。このような関係を用いると、２つの画像から３次元ポイントＰを生成することができ、絶対的なＧＰＳ位置に前記３次元ポイントが配置される。

【0157】

この場合、前記３次元ポイントは、前記ストリートビュー画像間のマッチングされた特徴点とマッチングに失敗した特徴点に対して異なる方法で生成される。前記マッチングされた特徴点は、前述したトライアンギュレーション技法により３次元ポイントを生成し、前記マッチングに失敗した特徴点は、デプスコンプリーション（Depth completion）技法により３次元ポイントを生成する。

【0158】

例えば、図１６ｂのように、カラー画像及びスパースデプス（sparse depth）画像を用いてデンス（dense）なデプス画像を推定する。具体的には、トライアンギュレーション技法で生成された３次元ポイントを画像にプロジェクションし、プロジェクションされた画像とＲＧＢカラー画像をニューラルネットワークに入力すると、学習によりスパースデプス画像が出力される。

【0159】

その後、カラー画像及びスパースデプス画像を用いてデンスなデプス画像を推定し、前記推定されたデプス画像を用いて前記マッチングに失敗した特徴点に対応する３次元ポイントを抽出する。

【0160】

上記方法により３次元ポイントが生成されると、前記第５ステップ（Ｓ２２２）で前記３次元ポイントの最適化が行われ、最適化された３次元ポイントを用いて特徴点マップを生成するステップ（Ｓ２３０）が行われる。ここで、前記特徴点マップを生成するステップにおいては、ノード及びエッジを用いたグラフ構成により前記ストリートビュー画像のポーズと前記３次元ポイントの位置を補正し、前記特徴点マップを生成するようにしてもよい。

【0161】

前記３次元ポイントの最適化のために、前記ノードは、前記ストリートビュー画像のポーズと前記３次元ポイントの位置に設定され、前記エッジは、前記ノードに関連する複数のエラーに設定されるようにしてもよい。

【0162】

より具体的には、不正確なＧＰＳ情報やＩＭＵの誤差により、３次元ポイントが誤って再建されることがある。特に、道路を走行する車両で見る画像から取得される前記ストリートビュー画像の特性情報は、不正確な情報であり得る。その例として、前記特性情報は、前記ストリートビュー画像の取得時点のＧＰＳ位置情報及び車両の角度情報を含み、前記ＧＰＳ位置情報及び前記車両の角度情報は、エラーがあり得る。

【0163】

よって、グラフ（Graph）ベースの最適化により、ストリートビュー画像のポーズ及び再建された３次元ポイントを補正し、特徴点マップを生成する。

【0164】

例えば、図１７ａに示すように、前記ノードは、クロッピングされたストリートビュー画像のポーズノード２７１と、ＧＰＳ及びＩＭＵポーズノード２７２とを備えてもよい。この場合、前記エッジは、信頼度を高く設定したクロッピングされたストリートビュー画像間のビトウィーンポーズ（between pose）エラー２８１と、信頼度を低く設定したストリートビュー画像の取得時に得られたＧＰＳ及びＩＭＵのプライアポーズ（prior pose）エラー２８２とを含んでもよい。

【0165】

また、前記エッジは、トライアンギュレーションにより再建した３次元ポイント２７３と、ストリートビュー画像間のプロジェクションエラー２８３とをさらに含んでもよい。ここで、プロジェクションエラー２８３とは、３次元ポイントをクロッピングされた画像平面にプロジェクションさせて得られたピクセル座標と各クロッピングされた画像において対応する特徴点のピクセル座標間のエラーを意味する。前記エッジは、ノード１７１とノード１７３の関係を定義するバイナリファクタであり得る。

【0166】

この場合、エラー最適化技法により、これらのエラー２８１、２８２、２８３に対して最適化を行い、その結果、図８ｂのようにストリートビュー画像のポーズと３次元ポイントが補正される。

【0167】

前述したように、ストリートビュー画像を用いて抽出した３次元ポイントは、前記ストリートビュー画像が有する不正確なＧＰＳ情報により誤って推定されることがあり、その誤って推定された３次元ポイントにより複数のエラーが生じるが、前記エラーを最小限に抑えることにより、３次元ポイント及びＧＰＳの誤差までも補正することができる。

【0168】

本発明においては、ストリートビュー画像をベースとして特徴点マップを生成し、前記特徴点マップを用いて歩道での画像ベースの測位を行うことができる。この場合、前記ストリートビュー画像は、道路視点で取得された画像であるので、歩道視点に切り替えると、３次元ポイントの正確度が低減される。よって、本発明においては、前記エラー最適化により、ストリートビュー画像のポーズと３次元ポイントがさらに正確になるように再建し、そうすることにより歩道視点の画像ベースの測位用マップを実現することができる。

【0169】

この場合、前記エラー最適化技法は、特定例に限定されるものではなく、本発明に適用できる様々な技法が考慮される。よって、本明細書においては、それについて特に制限はない。

【0170】

つまり、前記３次元ポイントは、最適化を行うことによりさらに正確になる。

【0171】

前述した３次元地図は、第１特徴点マップであって、統合マップデータの一部として画像ベースの測位に用いられるだけでなく、単独で用いられることも可能である。例えば、前記第１特徴点マップを活用して、１つの画像だけで徒歩で移動するユーザの３次元位置及びポーズを推定することができる。

【0172】

以上、第１特徴点マップを生成する方法について説明した。以下では、第２特徴点マップを生成する方法について詳細に説明する。

【0173】

図１８ａに示すように、本発明による第２特徴点マップの生成方法は、格子座標を生成するステップ（Ｓ３１０）、垂直座標を抽出するステップ（Ｓ３２０）、室外空間の画像をレンダリングするステップ（Ｓ３３０）、及び特徴点マップを生成するステップ（Ｓ３４０）を含んでもよい。

【0174】

格子座標を生成するステップ（Ｓ３１０）においては、室外空間の２次元地図データを用いて、道路周辺に位置する歩道に沿って格子座標を生成する。

【0175】

前記格子座標とは、縦横に所定の間隔を有する格子状の座標系を意味する。この場合、前記格子座標は、歩道の座標を含むようにしてもよい。

【0176】

次に、垂直座標を抽出するステップ（Ｓ３２０）においては、空中で前記室外空間を撮影した画像に基づく３次元モデルデータから前記格子座標に対応する垂直座標を抽出する。前記垂直座標は、地表面に垂直な方向の座標であり、前記格子座標に対応して抽出されるようにしてもよい。

【0177】

次に、室外空間の画像をレンダリングするステップ（Ｓ３３０）においては、前記格子座標及び前記垂直座標により定義される３次元座標に基づいて仮想カメラのポーズを特定し、前記仮想カメラのポーズ及び前記３次元モデルデータを用いて、前記仮想カメラで見る前記室外空間の画像をレンダリングする。

【0178】

前記仮想カメラのポーズは、前記室外空間内の任意の地点を撮影するカメラのポーズであり得る。よって、前記仮想カメラのポーズは、前記３次元モデルデータ内の任意の空間を基準に特定される。この場合、前記仮想カメラの位置は、前記３次元モデルデータ内のオブジェクト（建物など）と重ならない空間上に特定される。また、前記３次元座標を用いて歩道での座標値を定義してもよい。この場合、前記３次元座標により前記歩道での座標値が定義されるので、前記歩道でカメラポーズを特定することができる。さらに、前記特定されたカメラポーズ及び前記３次元モデルデータを用いると、前記歩道で見る前記室外空間の画像をレンダリングすることができる。このように、歩道を基準にして歩道上でカメラポーズを特定することにより、歩道上で画像ベースの測位を行う場合に用いられるマップの正確度が向上する。理想的には、カメラポーズに関係なくどのポーズでのクエリ画像が入っても正確な画像ベースの測位が可能であるが、演算誤差などを考慮すると、マップの生成のベースとなった画像のポーズと、測位用クエリ画像のポーズとが一致する場合に正確度が最も高くなる。よって、本発明においては、歩道の座標を得るために、歩道の座標値が含まれる３次元座標系を活用する。

【0179】

ここで、前記カメラポーズは、位置（position）を示す座標と、オリエンテーション（向き）（orientation）を示す姿勢とを含んでもよい。この場合、前記座標は、前記歩道の座標に対して所定の高さ、例えばロボットの高さや人の目の高さなどを加えた座標に特定されるようにしてもよい。また、前記姿勢は、任意に特定されるが、ロボットや人が実際にクエリ画像を送信する状況を仮定してそれに類似した姿勢に特定されるようにしてもよい。その例として、前記姿勢は、地面に水平な方向、建物を見る方向、徒歩の進行方向などを基準に特定されてもよい。

【0180】

次に、特徴点マップを生成するステップ（Ｓ３４０）においては、前記レンダリングされた画像及び前記仮想カメラのポーズを用いて、歩道視点の特徴点マップを生成する。

【0181】

前述したように、本発明による第２特徴点マップの生成方法においては、２次元地図データ及び３次元モデルデータを用いて特徴点マップを生成する。ただし、本発明は、必ずしもこれに限定されるものではなく、例えば、第２特徴点マップの生成方法のステップの一部が省略されてもよい。その例として、前記３次元モデルデータに歩道に関する地表面座標データが含まれる場合は、前記格子座標を生成するステップ（Ｓ３１０）を省略して前記特徴点マップを生成するようにしてもよい。

【0182】

以下、第２特徴点マップの生成方法の各ステップについて、例を挙げてより詳細に説明する。

【0183】

図１８ｂは、図１８ａのフローチャートの一実施形態を示す詳細フローチャートであり、図１９は、図１８ｂの格子座標を生成する方法を説明するための概念図であり、図２０は、レンダリングを行うカメラポーズを示す概念図であり、図２１は、図１８ｂのプロセスにより構築されたデータセットを示す概念図である。

【0184】

まず、図１８ｂに示すように、前記格子座標を生成するステップ（Ｓ３１０）は、２次元地図データから経緯度座標を検出する第１ステップ（Ｓ３１１）と、格子座標に変換する第２ステップ（Ｓ３１２）とを含んでもよい。

【0185】

まず、第１ステップ（Ｓ３１１）においては、２次元地図データを用いて、歩道上のノードの経緯度座標を検出する。

【0186】

前記２次元地図データは、ネイバー、グーグルなどのインターネット企業から提供される地図データであってもよい。他の例として、前記２次元地図データは、政府及び政府関係機関でオープンアプリケーションプログラムインターフェース（ＡＰＩ）方式で公開されるデータであってもよい。

【0187】

この場合、図１９のように、２次元地図データ３３０は、歩道上の座標情報を備えてもよい。より具体的には、２次元地図データ３３０は、前記歩道の平面座標を備えてもよい。その例として、２次元地図データ３３０は、前記歩道に沿って予め設定された間隔で順次配置されるノードＮを備え、ノードＮの経緯度座標を有するデータであってもよい。

【0188】

前記経緯度座標は、本初子午線（Prime meridian）又はグリニッジ子午線面と赤道面を基準面とし、緯度（latitude）、経度（longitude）、高さ（height）情報を有する座標系であってもよい。より具体的には、前記経緯度座標は、緯度及び経度のＧＰＳ座標であってもよく、韓国は東経１２４～１３２度、北緯３３～４３度の間で度単位の座標値を有する。

【0189】

次に、第２ステップ（Ｓ３１２）においては、前記経緯度座標を前記格子座標に変換する。図１９に示すように、前記経緯度座標をＵＴＭ座標系（Universal Transverse Mercator Coordinate System）の座標に変換してもよい。前記ＵＴＭ座標系は、２次元平面座標系であり、ＵＴＭ（Universal Transverse Mercator）区域から構成されてもよい。前記ＵＴＭ座標系は、位置を統一された体系をもって示すための格子座標体系を有するようにしてもよい。

【0190】

前記経緯度座標を前記ＵＴＭ座標に変換する方法としては、例えばＵＴＭ投影変換を用いることができる。この場合、当該座標変換方法は、特定例に限定されるものではなく、本発明に適用できる様々な技法が考慮される。よって、本明細書においては、それについて特に制限はない。

【0191】

また、前述したように、本発明は、前記格子座標を生成するステップ（Ｓ３１０）で座標変換を必要としない場合も含む。例えば、歩道の格子座標を有する２次元地図データを用いる場合、座標変換が省略される。

【0192】

次に、空中で撮影した画像に基づく３次元モデルデータから前記格子座標に対応する垂直座標を抽出するステップ（Ｓ３２０）が行われる。この場合、当該垂直座標を抽出するステップは第３ステップになる。

【0193】

ここで、前記３次元モデルデータは、ソウルなどの都市のモデリングデータであり得る。例えば、都市単位の大規模地域の航空写真を用いて都市規模の３次元モデルを構築することができる。

【0194】

前記航空写真は、前記空中で移動しながら撮影した複数の写真画像を備え、前記３次元モデルデータは、前記複数の写真画像間の視差（disparity）を用いて生成されるようにしてもよい。前記視差を用いると、３次元の室外空間を撮影した２次元写真を再び３次元の現実世界に復元することができる。

【0195】

例えば、左右に移動しながら同一対象を撮影する場合、カメラに近くなるほど変化量が大きくなり、遠くなるほど変化量が小さくなる。ここで、変化量が視差であり、前記変化量の大きさを用いて複数の２次元写真を３次元に復元することができる。

【0196】

より具体的には、視差を用いて画像に投影された物体との距離を計算し、姿勢を推定した写真からマッチング点を用いて点単位で空間座標を算出する。この場合、異なる位置で同一地域を撮影した複数の画像から推定されたＤｅｎｓｅ Ｍａｔｃｈｉｎｇの結果をまとめて連続的な３次元デジタル表面（数値表層モデル（ＤＳＭ））を生成する。前記Ｄｅｎｓｅ Ｍａｔｃｈｉｎｇは、写真（マスター）の各ピクセル（ｘ，ｙ）に対して距離（デプス＝視差）を変えて各デプス毎に隣接写真（スレーブ）との類似度を数値化してコストボリューム（Cost Volume）を構成するアルゴリズムであり得る。また、このようなアルゴリズムを用いるので、前記３次元モデルデータは、物体のデプス情報を備える。

【0197】

上記方法により、３次元デジタル表面の高さに応じて異なる色（疑似カラー（Pseudo-color））をつけて表現したデータや、３次元デジタル表面を３次元モデルに完成して航空写真としてテクスチャまで処理したデータなどを実現することができる。

【0198】

また、前記３次元モデルデータは、前記室外空間の地形（bare earth）部分を示す数値標高モデル（Digital Elevation Model）を備え、前記垂直座標は、前記数値標高モデルから抽出されるようにしてもよい。前記数値標高モデルは、地表面の高度値を有し、それを用いて前記地表面に垂直な方向の座標を抽出する。この場合、前記垂直座標は、前記格子座標に含まれる歩道の座標に対応する地点の垂直方向の座標として抽出されるようにしてもよい。

【0199】

このように、前記格子座標及び前記垂直座標を抽出することにより、前記歩道に沿って３次元座標が定義される。前記３次元座標を用いて、前記室外空間の画像をレンダリングするステップ（Ｓ３３０）が行われるようにしてもよい。

【0200】

前記室外空間の画像をレンダリングするステップ（Ｓ３３０）は、第４ステップ（Ｓ３３１）と、第５ステップ（Ｓ３３２）とを含んでもよい。

【0201】

第４ステップ（Ｓ３３１）は、図２０に示すように、レンダリングを行う仮想カメラを設定するステップであってもよい。より具体的には、前記３次元座標を用いて、所望の視点でレンダリングを行う仮想カメラのポーズを生成するようにしてもよい。歩道で画像ベースの測位用マップを構築するために、前記所望の視点は、歩道視点であり得る。前記ポーズは、例えば、カメラフレームの位置（position）及びオリエンテーション（orientation）を含む。

【0202】

図２０において、原点（Ｏ）の位置が仮想カメラの位置であり、ここで３次元モデルの特定の画像を見る方向が算出され、それにより前記仮想カメラのポーズが算出される。

【0203】

より具体的には、図２０の地上基準点（Ｐｒ）は、前記３次元座標にマッチングされ、前記地上基準点（Ｐｒ）を基準に画像（Ｒ）の姿勢が推定される。このような姿勢の推定のために、航空三角測量法、例えばバンドル調整法（bundle adjustment）などが用いられる。画像（Ｒ）の姿勢が推定されると、それを用いて原点（Ｏ）の位置と画像（Ｒ）を見る方向が算出される。一方、道路で車両が走行しながら撮影したストリートビュー画像などを用いると、道路のない部分で画像を取得することはできないが、本発明は、航空写真をベースとするので、どこでも所望の位置に前記仮想カメラを配置することができる。

【0204】

このように、仮想カメラのポーズが生成されると、第５ステップ（Ｓ３３２）において、画像とデプスマップをレンダリングする。

【0205】

例えば、仮想カメラのポーズが生成されると、前記３次元モデルデータを用いて、前記仮想カメラで見る前記室外空間の画像３４１をレンダリングするようにしてもよい。この場合、前記仮想カメラのポーズ及び前記３次元モデルデータを用いて、前記室外空間の画像３４１と共に、前記画像に対応するデプスマップ３４２をレンダリングする。

【0206】

ここで、デプスマップ３４２は、３次元シーン上でカメラから物体までの相対的な距離を示すマップであってもよい。

【0207】

前述したプロセスにおいて、図２１に示すように、レンダリングにより、画像３４１、デプスマップ３４２及びカメラポーズ３４３がデータセットとして生成される。

【0208】

次に、特徴点マップを生成するステップ（Ｓ３４０）が行われ、前記特徴点マップを生成するステップ（Ｓ３４０）は、歩道での画像ベースの測位のための特徴点マップのデータセットを構成するステップであってもよい。より具体的には、レンダリングされた画像３４１、レンダリングされたデプスマップ３４２及びレンダリング時のカメラポーズ３４３を用いて、画像ベースの測位用地図データセットを構築する。ただし、本発明は、必ずしもこれに限定されるものではなく、例えば、レンダリングされた画像及びカメラポーズを用いて画像ベースの測位用地図データセットを構築するようにしてもよい。

【0209】

その例として、前記特徴点マップを生成するステップ（Ｓ３４０）は、第６ステップ（Ｓ３４１）と、第７ステップ（Ｓ３４２）とを含んでもよい。

【0210】

第６ステップ（Ｓ３４１）においては、前記レンダリングされた画像を用いて、前記室外空間に位置するオブジェクトの特徴点を抽出する。

【0211】

前記オブジェクトは、例えば建物３５１、３５２などであり、当該ステップにおいては、建物３５１、３５２などから特徴点３６１を抽出する。

【0212】

この場合、特徴点抽出技法により図２３のように、前記レンダリングされた画像３４１から特徴点３６１が抽出される。この場合、前記特徴点抽出技法は、特定例に限定されるものではなく、本発明に適用できる様々な技法が考慮される。よって、本明細書においては、それについて特に制限はない。

【0213】

ここで、前記レンダリングされた画像は、図２２のように、不要なオブジェクトを排除してレンダリングされた画像であってもよい。例えば、前記不要なオブジェクトには、道、木、人及び車両の少なくとも１つが含まれる。

【0214】

画像内に道路、木、人、車両領域から不要な特徴点が抽出されると、画像ベースの測位の性能及びマッピングの正確度が低下する。これを防止するために、道路、木、人、車両などのように動的に動くか季節によって変わるオブジェクトに対して、特徴点が抽出される対象を除去するようにしてもよい。

【0215】

より具体的には、画像をレンダリングする際に、建物３５１と建物３５２間で不要なオブジェクトを排除する。こうすることにより、図２２のように、前記室外空間の画像は、離隔した建物３５１、３５２間に道路がない画像を備えるようになる。よって、背景３５３に建物３５１、３５２のみ位置する画像がレンダリングされる。

【0216】

上記方法により、本発明は、一部の物体の形状、大きさ、位置などが変わっても容易に識別可能であり、カメラの視点が変わっても容易に検出可能な地点を特徴点として抽出することができる。

【0217】

この場合、前記室外空間の画像をレンダリングするステップは、必要なオブジェクトと不要なオブジェクトを区分し、前記室外空間の画像から前記不要なオブジェクトを排除してレンダリングするステップであってもよい。

【0218】

次に、第７ステップ（Ｓ３４２）においては、前記レンダリングされたデプスマップ３４２を用いて特徴点３６１の３次元座標を抽出する。より具体的には、前記抽出した特徴点３６１、前記仮想カメラのポーズ３４３、及び前記レンダリングされたデプスマップ３４２を用いることにより、前記抽出した特徴点３６１の３次元座標を抽出することができる。

【0219】

前述したプロセスにより、前記第２特徴点マップは、前記特徴点、前記３次元座標及び前記仮想カメラのポーズを備えるデータセットになる。

【0220】

画像ベースの測位のためのサーバが動作する前に、フィーチャ（対象物又はオブジェクト）、特徴点、及び特徴点の３次元座標を予め抽出して保存し、前記サーバの動作においては、抽出したフィーチャと特徴点の３次元座標のみを用いて測位演算を行う。こうすることにより、画像とデプスマップの読み込みに用いられる不要な演算を減少させることができる。

【0221】

前述した航空画像をベースとして生成された３次元地図は、第２特徴点マップであって、統合マップデータの一部として画像ベースの測位に用いられるだけでなく、単独で用いられることも可能である。例えば、前記第２特徴点マップを活用して、１つの画像だけで徒歩で移動するユーザの３次元位置及びポーズを推定することができる。

【0222】

以上説明したように、本発明による画像ベースの測位に活用できるマップの生成方法、並びにそれを用いた画像ベースの測位方法及びシステムは、異なる視点のデータを用いてマップデータを生成してデータの弱点を補うので、歩道視点の画像を用いてより正確な画像ベースの測位を可能にする。

【0223】

前述した画像ベースの測位に活用できるマップの生成方法、並びにそれを用いた画像ベースの測位方法及びシステムは、上記実施形態の構成や方法に限定されるものではなく、上記実施形態に様々な変形が行われるように、各実施形態の全部又は一部を選択的に組み合わせて構成してもよい。

【符号の説明】

【0224】

１１ 歩道
１２ 道路
１００ 画像ベースの測位システム
１１０ 自律走行機器
１１１ 無線通信部
１１２ 駆動部
１１３ 制御部
１２０ コントロールサーバ
１２１ 無線通信部
１２２ データベース
１２３ 演算部
１２４ 制御部
１３０ 第１特徴点マップ
１４０ 第２特徴点マップ
１５０ 測位用マップデータ
１６０ ディープフィーチャ提供サーバ
１７０ ＶＬサーバ
Ｒ ロボット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6a】

【図6b】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12a】

【図12b】

【図13】

【図14a】

【図14b】

【図15a】

【図15b】

【図16a】

【図16b】

【図17a】

【図17b】

【図18a】

【図18b】

【図19】

【図20】

【図21】

【図22】

【図23】