特許 7365385 マップの生成方法及びそれを用いた画像ベースの測位システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-11

(45)【発行日】2023-10-19

(54)【発明の名称】マップの生成方法及びそれを用いた画像ベースの測位システム

(51)【国際特許分類】

   G06T 17/05 20110101AFI20231012BHJP

   G01C 11/02 20060101ALI20231012BHJP

【ＦＩ】

G06T17/05

G01C11/02

【請求項の数】 14

(21)【出願番号】P 2021178859

(22)【出願日】2021-11-01

(65)【公開番号】P2022075583

(43)【公開日】2022-05-18

【審査請求日】2021-11-01

(31)【優先権主張番号】10-2020-0145496

(32)【優先日】2020-11-03

(33)【優先権主張国・地域又は機関】KR

【前置審査】

(73)【特許権者】

【識別番号】319012978

【氏名又は名称】ネイバーラボス コーポレーション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】キム ドクファ

(72)【発明者】

【氏名】イ ドンファン

(72)【発明者】

【氏名】キム ウヨン

【審査官】村松 貴士

(56)【参考文献】

【文献】特開２０２０－１４４７１０（ＪＰ，Ａ）

【文献】特開２０１２－１３７９３３（ＪＰ，Ａ）

【文献】特開２０１７－１５６１６２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｔ １７／０５

Ｇ０１Ｃ １１／００ － １１／３６

Ｇ０９Ｂ ２９／００

(57)【特許請求の範囲】

【請求項1】

空中で室外空間を撮影した画像に基づく３次元モデルデータを用いて、仮想カメラのポーズを特定するステップと、
前記仮想カメラのポーズ及び前記３次元モデルデータを用いて、前記仮想カメラで見る前記室外空間の画像をレンダリングするステップと、
前記レンダリングされた画像及び前記仮想カメラのポーズを用いて、特徴点マップを生成するステップとを含むことを特徴とする画像ベースの測位用マップの生成方法。

【請求項2】

前記室外空間の画像をレンダリングするステップにおいて、
前記仮想カメラのポーズ及び前記３次元モデルデータを用いて、前記室外空間の画像と共に、前記画像に対応するデプスマップをレンダリングすることを特徴とする請求項１に記載の画像ベースの測位用マップの生成方法。

【請求項3】

前記特徴点マップを生成するステップにおいて、
前記レンダリングされた画像を用いて、前記室外空間に位置するオブジェクトの特徴点を抽出し、前記レンダリングされたデプスマップを用いて、前記特徴点の３次元座標を抽出することを特徴とする請求項２に記載の画像ベースの測位用マップの生成方法。

【請求項4】

前記特徴点マップは、前記特徴点、前記３次元座標及び前記仮想カメラのポーズを備えることを特徴とする請求項３に記載の画像ベースの測位用マップの生成方法。

【請求項5】

前記室外空間の画像をレンダリングするステップにおいて、
必要なオブジェクトと不要なオブジェクトを区分し、前記室外空間の画像は前記不要なオブジェクトを排除してレンダリングされることを特徴とする請求項１乃至４のいずれか１項に記載の画像ベースの測位用マップの生成方法。

【請求項6】

前記不要なオブジェクトには、木、道、人及び車両の少なくとも１つが含まれることを特徴とする請求項５に記載の画像ベースの測位用マップの生成方法。

【請求項7】

前記室外空間の画像は、離隔した建物間に道路がない画像を備えることを特徴とする請求項５又は６に記載の画像ベースの測位用マップの生成方法。

【請求項8】

前記室外空間の２次元地図データを用いて、道路周辺に位置する歩道に沿って格子座標を生成するステップと、
空中で前記室外空間を撮影した画像に基づく前記３次元モデルデータから前記格子座標に対応する垂直座標を抽出するステップとをさらに含み、
前記仮想カメラのポーズは、前記格子座標及び前記垂直座標により定義される３次元座標に基づいて設定されることを特徴とする請求項１乃至７のいずれか１項に記載の画像ベースの測位用マップの生成方法。

【請求項9】

前記格子座標を生成するステップは、
前記２次元地図データを用いて、前記歩道上のノードの経緯度座標を検出するステップと、
前記経緯度座標を前記格子座標に変換するステップとを含むことを特徴とする請求項８に記載の画像ベースの測位用マップの生成方法。

【請求項10】

前記室外空間の２次元地図データは、前記歩道の平面座標を備えることを特徴とする請求項８又は９に記載の画像ベースの測位用マップの生成方法。

【請求項11】

前記３次元モデルデータは、前記室外空間の地形部分を示す数値標高モデルを備え、
前記垂直座標は、前記数値標高モデルから抽出されることを特徴とする請求項８乃至１０のいずれか１項に記載の画像ベースの測位用マップの生成方法。

【請求項12】

前記空中で前記室外空間を撮影した画像は、移動しながら撮影した複数の写真画像を備え、
前記３次元モデルデータは、前記複数の写真画像間の視差を用いて生成されることを特徴とする請求項１乃至１１のいずれか１項に記載の画像ベースの測位用マップの生成方法。

【請求項13】

画像ベースの測位システムにおいて、
特徴点マップを保存するデータベースと、
モバイル機器又は自律走行機器で実行され、前記特徴点マップ及び前記モバイル機器又は前記自律走行機器で撮影した画像を用いて、画像ベースの測位を行う駆動部とを備え、
前記特徴点マップは、
空中で室外空間を撮影した画像に基づく３次元モデルデータを用いて、前記測位システムが仮想カメラのポーズを特定し、
前記仮想カメラのポーズ及び前記３次元モデルデータを用いて、前記測位システムが前記仮想カメラで見る前記室外空間の画像をレンダリングし、
前記レンダリングされた画像及び前記仮想カメラのポーズを用いて、前記測位システムが前記特徴点マップを生成するプロセスにより構築される
ことを特徴とする画像ベースの測位システム。

【請求項14】

電子機器で１つ以上のプロセスにより実行され、コンピュータ可読媒体に格納可能なプログラムであって、
前記プログラムは、
空中で室外空間を撮影した画像に基づく３次元モデルデータを用いて、仮想カメラのポーズを特定するステップと、前記仮想カメラのポーズ及び前記３次元モデルデータを用いて、前記仮想カメラで見る前記室外空間の画像をレンダリングするステップと、前記レンダリングされた画像及び前記仮想カメラのポーズを用いて、特徴点マップを生成するステップとを実行させるコマンドを含むことを特徴とするコンピュータ可読媒体に格納可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像ベースの測位に活用できるマップの生成方法及びそれを用いた画像ベースの測位システムに関する。

【背景技術】

【0002】

測位技術は、ＧＰＳベース、慣性センサベース、画像ベース、ＳＬＡＭ（Simultaneous Localization and Mapping）、ＶＬＣ（Visible Light Communication）などの様々な方式のシステムが互いに密接な関係を有して発展してきている。

【0003】

このような測位技術のうち、画像ベースの測位（Visual Localization）は、撮影した写真を用いて位置を検出する技術であり、ＧＰＳと比較すると、誤差が少なく、ユーザが見る方向までも正確に測定できるという利点がある。このような画像ベースの測位のためには、撮影した写真と比較して位置を特定するためのマップを構築しなければならない。

【0004】

一方、近年、オンライン地図作成技術が非常に高度化し、多くのＩＴ企業が室外空間の地図情報とそれを用いたサービスを提供している。一例として、飛行機やドローンなどが空中で撮影した航空写真を用いて３次元地図を生成する方法が活発に開発されている。

【0005】

例えば、特許文献１（２０２０年５月２７日公開）は、３次元モデリング及びオルソ画像を生成するための航空撮影装置及び方法に関し、特許文献２（２０２０年５月１９日登録）は、航空写真を用いて３次元地図を生成する装置及び方法に関する。

【0006】

このような航空写真ベースの３次元モデルデータは画像情報を有するので、画像ベースの測位用マップを構築するためのデータとして活用することができる。よって、画像ベースの測位用マップを生成するために、航空写真ベースの３次元モデルデータを用いる方法が考慮される。

【先行技術文献】

【特許文献】

【0007】

【文献】韓国公開特許第１０－２０２０－００５８０７９号公報

【文献】韓国登録特許第１０－２１１５００４号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、航空写真ベースの３次元モデルデータを活用して画像ベースの測位用マップを生成する方法及びシステムを提供するものである。

【0009】

より具体的には、本発明は、３次元モデルデータを用いて道路や歩道で画像ベースの測位に活用できる３次元特徴点マップを生成する方法を提供する。

【0010】

また、本発明は、特徴点マップを活用して１つの画像だけで３次元位置及びポーズを推定する画像ベースの測位を実現する。

【課題を解決するための手段】

【0011】

上記課題を解決するために、本発明によるマップの生成方法及びそれを用いた画像ベースの測位システムにおいては、航空写真ベースの３次元モデルデータを仮想カメラの視点で画像にレンダリング（rendering）し、そのレンダリングされた画像で画像ベースの測位用マップを構築する。例えば、２次元地図データから平面座標を取得して３次元モデルデータから垂直座標を取得することにより３次元座標を定義し、前記３次元座標においてカメラのポーズを用いて室外空間の画像をレンダリングするプロセスを用いる。

【0012】

具体的には、画像ベースの測位用マップの生成方法は、空中で室外空間を撮影した画像に基づく３次元モデルデータを用いて、仮想カメラのポーズを特定するステップと、前記仮想カメラのポーズ及び前記３次元モデルデータを用いて、前記仮想カメラで見る前記室外空間の画像をレンダリングするステップと、前記レンダリングされた画像及び前記仮想カメラのポーズを用いて、特徴点マップを生成するステップとを含む。

【0013】

本発明の一実施形態において、前記室外空間の画像をレンダリングするステップにおいては、前記仮想カメラのポーズ及び前記３次元モデルデータを用いて、前記室外空間の画像と共に、前記画像に対応するデプスマップ（depthmap）をレンダリングするようにしてもよい。

【0014】

前記特徴点マップを生成するステップにおいては、前記レンダリングされた画像を用いて、前記室外空間に位置するオブジェクトの特徴点を抽出し、前記レンダリングされたデプスマップを用いて、前記特徴点の３次元座標を抽出するようにしてもよい。

【0015】

前記特徴点マップは、前記特徴点、前記３次元座標及び前記仮想カメラのポーズを備えるようにしてもよい。

【0016】

本発明の他の実施形態において、前記室外空間の画像をレンダリングするステップにおいては、必要なオブジェクトと不要なオブジェクトを区分し、前記室外空間の画像は前記不要なオブジェクトを排除してレンダリングされるようにしてもよい。

【0017】

前記不要なオブジェクトには、木、道、人及び車両の少なくとも１つが含まれる。前記室外空間の画像は、離隔した建物間に道路がない画像を備えるようにしてもよい。

【0018】

本発明のさらに他の実施形態において、前記画像ベースの測位用マップの生成方法は、前記室外空間の２次元地図データを用いて、道路周辺に位置する歩道に沿って格子座標を生成するステップと、空中で前記室外空間を撮影した画像に基づく３次元モデルデータから前記格子座標に対応する垂直座標を抽出するステップとをさらに含み、前記仮想カメラのポーズは、前記格子座標及び前記垂直座標により定義される３次元座標に基づいて設定されるようにしてもよい。

【0019】

前記格子座標を生成するステップは、前記２次元地図データを用いて、前記歩道上のノードの経緯度座標を検出するステップと、前記経緯度座標を前記格子座標に変換するステップとを含む。前記室外空間の２次元地図データは、前記歩道の平面座標を備えるようにしてもよい。

【0020】

本発明のさらに他の実施形態において、前記３次元モデルデータは、前記室外空間の地形（bare earth）部分を示す数値標高モデル（Digital Elevation Model）を備え、前記垂直座標は、前記数値標高モデルから抽出される。

【0021】

前記空中で前記室外空間を撮影した画像は、移動しながら撮影した複数の写真画像を備え、前記３次元モデルデータは、前記複数の写真画像間の視差（disparity）を用いて生成されるようにしてもよい。

【0022】

また、本発明は、画像ベースの測位システムにおいて、特徴点マップを保存するデータベースと、モバイル機器又は自律走行機器で実行され、前記特徴点マップ及び前記モバイル機器又は前記自律走行機器で撮影した画像を用いて、画像ベースの測位を行う駆動部とを備え、前記特徴点マップは、３次元座標及び３次元モデルデータを用いて生成され、前記３次元モデルデータは、空中で室外空間を撮影した画像に基づいて生成され、前記３次元座標は、前記３次元モデルデータを用いて生成されることを特徴とする画像ベースの測位システムを開示する。

【発明の効果】

【0023】

本発明によるマップの生成方法及びそれを用いた画像ベースの測位システムは、航空画像ベースの３次元モデルデータを用いてマップを生成するので、航空、海洋、道路、歩道などでクエリ画像を用いた画像ベースの測位が可能になる。

【0024】

また、３次元モデルデータを用いるので、所望の視点及び視野でレンダリングされた画像を生成することができ、ひいては木や道路などのように画像ベースの測位を妨げる要素をマッピングステップで排除することができるという利点がある。さらに、３次元モデルデータを用いて、センサノイズのないデプスマップの生成を実現し、ユーザが所望する量のデータの生成が可能になる。

【0025】

さらに、本発明は、既に構築されたデータである３次元モデルデータを用いてマップを生成するので、室外環境に対する事前スキャンプロセスのないマップの生成を実現する。よって、時間及びコストの効率性が向上する。

【0026】

さらに、本発明は、３次元モデルデータを活用して３次元地図を再建し、再建した３次元地図を用いて測位を行うので、１つの画像だけで３次元位置及びポーズを推定できるという利点がある。

【図面の簡単な説明】

【0027】

【図1】本発明による画像ベースの測位を行う動作を説明するための概念図である。

【図2】図１の画像ベースの測位を実現するシステムの一例を示す図である。

【図3a】本発明による画像ベースの測位用マップの生成方法を示すフローチャートである。

【図3b】図３ａのフローチャートの一実施形態を示す詳細フローチャートである。

【図4】図３ｂの格子座標を生成する方法を説明するための概念図である。

【図5a】３次元モデルデータの一例を示す図である。

【図5b】数値標高モデルの一例を示す図である。

【図6】レンダリングを行うカメラポーズを示す概念図である。

【図7】図３ｂのプロセスにより構築されたデータセットを示す概念図である。

【図8】図３ｂのプロセスによりレンダリングされた画像の一例を示す概念図である。

【図9】図３ｂにおける特徴点と３次元座標を抽出する方法を示す概念図である。

【図10】図９のデータを用いて画像ベースの測位を行う一例を示す概念図である。

【発明を実施するための形態】

【0028】

以下、添付図面を参照して本明細書に開示される実施形態について詳細に説明するが、図面番号に関係なく同一又は類似の構成要素には同一又は類似の符号を付し、その説明は省略する。以下の説明で用いる構成要素の接尾辞である「モジュール」及び「部」は、明細書の作成を容易にするために付与又は混用されるものであり、それ自体が有意性や有用性を有するものではない。また、本明細書に開示される実施形態について説明するにあたって、関連する公知技術についての具体的な説明が本明細書に開示される実施形態の要旨を不明にする恐れがあると判断される場合は、その詳細な説明を省略する。なお、添付図面は本明細書に開示される実施形態を容易に理解できるようにするためのものにすぎず、添付図面により本明細書に開示される技術的思想が限定されるものではなく、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物又は代替物が本発明に含まれるものと理解されるべきである。

【0029】

第１、第２などのように序数を含む用語は様々な構成要素を説明するために用いられるが、上記構成要素は上記用語により限定されるものではない。上記用語は１つの構成要素を他の構成要素と区別する目的でのみ用いられる。

【0030】

ある構成要素が他の構成要素に「連結」又は「接続」されていると言及された場合は、他の構成要素に直接連結又は接続されていてもよく、中間にさらに他の構成要素が存在してもよいものと解すべきである。それに対して、ある構成要素が他の構成要素に「直接連結」又は「直接接続」されていると言及された場合は、中間にさらに他の構成要素が存在しないものと解すべきである。

【0031】

単数の表現には、特に断らない限り複数の表現が含まれる。

【0032】

本明細書において、「含む」や「有する」などの用語は、明細書に記載された特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせが存在することを指定しようとするもので、１つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせの存在や付加可能性を予め排除するものではないと理解すべきである。

【0033】

本発明は、マップの生成方法及びそれを用いた画像ベースの測位システムに関し、具体的には、航空画像ベースの３次元モデルデータを用いて航空、海洋、道路、歩道などで画像ベースの測位を行うシステムを提供するものである。

【0034】

本発明において、航空画像は、航空写真、航空ビデオ画像、航空イメージなどを含む意味で用いられる。これらのうち、航空写真（Aerial Photo）とは、航空機、飛行船、気球、ドローンなどに搭載されたカメラで撮影した写真をいい、地形図の作成及び判読による環境及び資源解析、形状解析などに主に用いられる。

【0035】

この場合、前記航空写真の多視点画像を処理することにより、撮影した地域を３次元モデルデータとして構築する。前記３次元モデルデータは、３次元レンダリング画像、オルソ画像（Orthophotograph）、数値表層モデル（DSM:Digital Surface Model）、数値標高モデル（DEM:Digital Elevation Model）などの情報を含む。

【0036】

レンダリング又は画像合成（image synthesis）とは、コンピュータプログラムを用いてモデル又はそれらを集めたシーンであるシーンファイル（scene file）から画像を生成する過程をいう。３次元レンダリングとは、３次元コンピュータグラフィックスで作成したモデルに色と質感を与えて撮影機のアングルで構図をとって光で陰影処理をすることにより、最終結果の画像を生成する過程を意味する。ここで、最終結果の画像は、前記３次元レンダリング画像であり得る。

【0037】

オルソ画像とは、写真撮影当時のカメラ姿勢及び地形起伏により生じた対象体の変位を除去した画像をいい、地表面の高低により発生する写真の歪みを補正して同一縮尺の地図のようにした画像であり得る。

【0038】

数値表層モデルとは、地表面上の自然的形状である地貌と人工的形状である地物を両方とも含むモデルをいい、数値標高モデルとは、地表面の高度値を数値として保存して地形の形状を示すモデルをいう。

【0039】

本発明においては、前記３次元モデルデータを用いて、歩道などで画像ベースの測位のための特徴点マップを生成する。ただし、本発明で例示する３次元モデルデータは、１つのデータセットに限定されるものではない。例えば、３次元レンダリング画像と数値標高モデルとは、異なるデータセットからそれぞれ取得されるようにしてもよい。

【0040】

一方、前記歩道とは、車両などが通る道路に併設された歩行者道を意味する。前記歩道は、車道の両側に設置され、人と車両の両方該当地域を通行できるようにすると共に、それぞれの経路を区分する。前記歩道は、狭い意味で、車道の横に設置された舗装された道を特定する言葉として用いられるが、本発明においては、これに限定されるものではない。すなわち、前記歩道は、人が通る道を通称する意味で用いられる。

【0041】

前記航空、海洋、道路、歩道などでの画像ベースの測位とは、前記航空、海洋、道路、歩道などでＧＰＳを用いるのではなく、周辺を撮影した写真を用いて自身の正確な位置を把握する測位を意味する。ここで、前記歩道での画像ベースの測位とは、徒歩で移動するユーザが周辺を撮影し、撮影した画像からユーザの位置を把握することを意味する。

【0042】

なお、本発明において、前記画像ベースの測位は、モバイル機器や自律走行機器で行うことができる。

【0043】

前記モバイル機器とは、手に持ったり身につけて持ち運べる移動端末機を意味し、前記自律走行機器とは、自ら移動可能に構成されるモバイル装置を意味する。

【0044】

例えば、前記移動端末機には、携帯電話、スマートフォン（smart phone）、ノートパソコン（laptop computer）、デジタル放送端末、ＰＤＡ（Personal Digital Assistants）、ＰＭＰ（Portable Multimedia Player）、ナビゲーション、スレートＰＣ（slate PC）、タブレットＰＣ（tablet PC）、ウルトラブック（ultrabook）、ウェアラブルデバイス（例えば、スマートウォッチ（smartwatch）、スマートグラス（smart glass）、ＨＭＤ（Head Mounted Display））などが含まれる。また、前記自律走行機器には、自律走行車、ドローン、ロボットなどが含まれ、前記ロボットには、掃除ロボット、案内ロボット、配達ロボットなど、移動しながら位置ベースのサービスを提供するロボットなどがある。

【0045】

なお、本発明の実施形態においては、歩道で位置を取得するか、徒歩で移動しながら位置を取得する新たな方式の測位方法及びシステムについて、前記モバイル機器や前記自律走行機器の位置を基準に説明するが、本発明は、必ずしもこれに限定されるものではない。前記モバイル機器や前記自律走行機器は、ユーザの位置を測定する１つの手段であり、他の機器を本発明に適用することもできる。

【0046】

このように、本発明によるマップの生成方法及びそれを用いた画像ベースの測位システムは、ユーザに現在の位置情報を提供し、そのために、航空画像を用いて生成したマップを用いる。以下、まず、画像ベースの測位及びそれを実現するシステムについて、その後、その画像ベースの測位に用いられるマップを生成する方法について、図面を参照してより詳細に説明する。

【0047】

図１は、本発明による画像ベースの測位を行う動作を説明するための概念図であり、図２は、図１の画像ベースの測位を実現するシステムの一例を示す図である。

【0048】

図１を参照すると、室外空間に自律走行機器としてロボットＲが位置する。ロボットＲは、配達ロボットや案内ロボットなどのサービスロボットであり得る。ただし、ロボットＲが走行する空間の種類には制限がなく、ロボットＲは、必要に応じて室内空間及び室外空間の少なくとも一方を走行することができる。本例において、ロボットＲは、与えられたサービス提供などのタスクを実行するために、人々が徒歩で移動する歩道１１を走行するものとする。

【0049】

ロボットＲを用いて様々なサービスを提供するためには、ロボットＲが正確かつ迅速に自身の位置を確認することが非常に重要である。よって、ロボットＲは、歩道１１を走行しながら迅速に画像ベースの測位を行うことができる。

【0050】

このような画像ベースの測位の例として、ロボットＲは、道路１２を挟んで一側の歩道１１で他側の歩道を見ながら画像を撮影し、撮影した画像を３次元マップと比較して自身の位置を検出する。この場合、歩道１１で見た画像を取得して３次元マップを生成することには多くの努力と時間が必要である。本発明においては、既に構築されたデータである３次元モデルデータを用いて特徴点マップを生成し、それにより室外環境に対する事前スキャンプロセスのないマップの生成を実現する。

【0051】

前記特徴点マップは、３次元の特徴点に関するデータを有するマップであり、フィーチャマップ、ロードマップ又は３次元特徴点マップともいう。本例においては、道路や歩道などの道で画像ベースの測位に活用されるマップを例示する。ただし、道路や歩道は、画像ベースの測位を行う地点の例示にすぎず、本発明の特徴点マップは、空中での画像ベースの測位にも活用することができる。以下、説明の便宜上、歩道１１での画像ベースの測位を例に本発明を説明する。

【0052】

また、歩道１１での画像ベースの測位は、図２に示す画像ベースの測位システム１００により実現することができる。

【0053】

画像ベースの測位システム１００は、自律走行機器１１０及びコントロールサーバー１２０を備えてもよい。ただし、前述したように、本実施形態においては、自律走行機器１１０としてロボットＲを例示するが、モバイル機器で代替してもよい。

【0054】

自律走行機器１１０は、無線通信部１１１、駆動部１１２及び制御部１１３の少なくとも１つを備える。

【0055】

無線通信部１１１は、自律走行機器１１０とコントロールサーバー１２０間、自律走行機器１１０と他の自律走行機器間、自律走行機器１１０とモバイル機器間、自律走行機器１１０と通信ネットワーク間の無線通信を行う。このような無線通信を行うために、無線通信部１１１は、無線インターネットモジュール、近距離通信モジュール、位置情報モジュールなどを備える。

【0056】

駆動部１１２は、制御部１１３の制御下で、自律走行機器１１０やモバイル機器で実行されるようにしてもよい。駆動部１１２は、特徴点マップ及び自律走行機器１１０やモバイル機器で撮影した画像を用いて画像ベースの測位を行う。このように画像ベースの測位を行うために、駆動部１１２は、イメージセンサなどを備えてもよい。

【0057】

前記特徴点マップは、道路１２の周辺に位置する歩道視点の画像ベースの測位に活用できるマップであり、画像ベースの測位用に作成されたマップであってもよい。

【0058】

一方、制御部１１３は、無線通信を制御し、画像を撮影し、駆動部１１２を制御する動作と共に、通常、自律走行機器１１０やモバイル機器の全般的な動作を制御する。

【0059】

この場合、前記特徴点マップは、コントロールサーバー１２０から自律走行機器１１０に提供されるか、自律走行機器１１０の要求に応じてコントロールサーバー１２０で測位に用いられる。コントロールサーバー１２０は、無線通信部１２１、データベース１２２、演算部１２３及び制御部１２４の少なくとも１つを備える。

【0060】

無線通信部１２１は、制御部１２４の制御下で、自律走行機器１１０と無線通信を行う。また、制御部１２４は、演算部１２３及びデータベース１２２と連携し、特徴点マップを生成、保存及び更新する一連のプロセスを制御する。

【0061】

データベース１２２には、前記特徴点マップが保存され、前記特徴点マップには、座標情報、ポイントクラウド情報、画像情報、ポーズ情報などが備えられる。

【0062】

演算部１２３は、前記特徴点マップを最初に生成するか、生成した特徴点マップを更新する機能を実行する。他の例として、演算部１２３が自律走行機器１１０の駆動部１１２の機能を代わりに行うようにしてもよい。例えば、自律走行機器１１０で撮影した画像を用いて、画像ベースの測位のためのデータ処理や演算などを行って自律走行機器１１０の位置を算出し、その後算出した位置を自律走行機器１１０に提供するようにしてもよい。

【0063】

本発明において、前記特徴点マップは、航空画像をベースとして生成した３次元モデルデータを用いて特徴点を抽出し、レンダリング画像を生成することにより実現することができる。このように、本発明は、航空画像を活用して３次元モデリングを行って特徴点マップを生成し、特徴点マップを活用して測位を行うので、１つの画像だけで３次元位置及びポーズを推定できるという利点がある。

【0064】

以下、このような特徴点マップを生成する方法について、図面を参照してより詳細に説明する。

【0065】

図３ａは、本発明による画像ベースの測位用マップの生成方法を示すフローチャートである。

【0066】

本発明による画像ベースの測位用マップの生成方法においては、まず、空中で室外空間を撮影した画像に基づく３次元モデルデータを用いて、仮想カメラのポーズを特定するステップが行われる。そして、室外空間の画像がレンダリングされ、特徴点マップが生成される。

【0067】

図３ａに示すように、本発明によるマップの生成方法は、格子座標を生成するステップ（Ｓ１１０）、垂直座標を抽出するステップ（Ｓ１２０）、室外空間の画像をレンダリングするステップ（Ｓ１３０）、及び特徴点マップを生成するステップ（Ｓ１４０）を含んでもよい。

【0068】

格子座標を生成するステップ（Ｓ１１０）においては、室外空間の２次元地図データを用いて、道路周辺に位置する歩道に沿って格子座標を生成する。

【0069】

前記格子座標とは、縦横に所定の間隔を有する格子状の座標系を意味する。この場合、前記格子座標は、歩道の座標を含むようにしてもよい。

【0070】

次に、垂直座標を抽出するステップ（Ｓ１２０）においては、空中で前記室外空間を撮影した画像に基づく３次元モデルデータから前記格子座標に対応する垂直座標を抽出する。前記垂直座標は、地表面に垂直な方向の座標であり、前記格子座標に対応して抽出されるようにしてもよい。

【0071】

次に、室外空間の画像をレンダリングするステップ（Ｓ１３０）においては、前記格子座標及び前記垂直座標により定義される３次元座標に基づいて仮想カメラのポーズを特定し、前記仮想カメラのポーズ及び前記３次元モデルデータを用いて、前記仮想カメラで見る前記室外空間の画像をレンダリングする。

【0072】

前記仮想カメラのポーズは、前記室外空間内の任意の地点を撮影するカメラのポーズであり得る。よって、前記仮想カメラのポーズは、前記３次元モデルデータ内の任意の空間を基準に特定される。この場合、前記仮想カメラの位置は、前記３次元モデルデータ内のオブジェクト（建物など）と重ならない空間上に特定される。

【0073】

また、前記３次元座標を用いて歩道での座標値を定義してもよい。この場合、前記３次元座標により前記歩道での座標値が定義されるので、前記歩道でカメラポーズを特定することができる。さらに、前記特定されたカメラポーズ及び前記３次元モデルデータを用いると、前記歩道で見る前記室外空間の画像をレンダリングすることができる。このように、歩道を基準にして歩道上でカメラポーズを特定することにより、歩道上で画像ベースの測位を行う場合に用いられるマップの正確度が向上する。理想的には、カメラポーズに関係なくどのポーズでのクエリ画像が入っても正確な画像ベースの測位が可能であるが、演算誤差などを考慮すると、マップの生成のベースとなった画像のポーズと、測位用クエリ画像のポーズとが一致する場合に正確度が最も高くなる。よって、本発明においては、歩道の座標を得るために、歩道の座標値が含まれる３次元座標系を活用する。

【0074】

ここで、前記カメラポーズは、位置（position）を示す座標と、オリエンテーション（向き）（orientation）を示す姿勢とを含んでもよい。この場合、前記座標は、前記歩道の座標に対して所定の高さ、例えばロボットの高さや人の目の高さなどを加えた座標に特定されるようにしてもよい。また、前記姿勢は、任意に特定されるが、ロボットや人が実際にクエリ画像を送信する状況を仮定してそれに類似した姿勢に特定されるようにしてもよい。その例として、前記姿勢は、地面に水平な方向、建物を見る方向、徒歩の進行方向などを基準に特定されてもよい。

【0075】

次に、特徴点マップを生成するステップ（Ｓ１４０）においては、前記レンダリングされた画像及び前記仮想カメラのポーズを用いて、特徴点マップを生成する。

【0076】

前述したように、本発明による航空画像ベースの測位用マップの生成方法においては、２次元地図データ及び３次元モデルデータを用いて特徴点マップを生成する。ただし、本発明は、必ずしもこれに限定されるものではなく、例えば、画像ベースの測位用マップの生成方法のステップの一部が省略されてもよい。その例として、前記３次元モデルデータに歩道に関する地表面座標データが含まれる場合は、前記格子座標を生成するステップ（Ｓ１１０）を省略して前記特徴点マップを生成するようにしてもよい。

【0077】

以下、画像ベースの測位用マップの生成方法の各ステップについて、例を挙げてより詳細に説明する。

【0078】

図３ｂは、図３ａのフローチャートの一実施形態を示す詳細フローチャートであり、図４は、図３ｂの格子座標を生成する方法を説明するための概念図であり、図５ａ及び図５ｂは、それぞれ、３次元モデルデータ及び数値標高モデルの一例を示す図であり、図６は、レンダリングを行うカメラポーズを示す概念図であり、図７は、図３ｂのプロセスにより構築されたデータセットを示す概念図である。

【0079】

まず、図３ｂに示すように、前記格子座標を生成するステップ（Ｓ１１０）は、２次元地図データから経緯度座標を検出する第１ステップ（Ｓ１１１）と、格子座標に変換する第２ステップ（Ｓ１１２）とを含んでもよい。

【0080】

まず、第１ステップ（Ｓ１１１）においては、２次元地図データを用いて、歩道上のノードの経緯度座標を検出する。

【0081】

前記２次元地図データは、ネイバー、グーグルなどのインターネット企業から提供される地図データであってもよい。他の例として、前記２次元地図データは、政府及び政府関係機関でオープンアプリケーションプログラムインターフェース（ＡＰＩ）方式で公開されるデータであってもよい。

【0082】

この場合、図４のように、２次元地図データ１３０は、歩道上の座標情報を備えてもよい。より具体的には、２次元地図データ１３０は、前記歩道の平面座標を備えてもよい。その例として、２次元地図データ１３０は、前記歩道に沿って予め設定された間隔で順次配置されるノードＮを備え、ノードＮの経緯度座標を有するデータであってもよい。

【0083】

前記経緯度座標は、本初子午線（Prime meridian）又はグリニッジ子午線面と赤道面を基準面とし、緯度（latitude）、経度（longitude）、高さ（height）情報を有する座標系であってもよい。より具体的には、前記経緯度座標は、緯度及び経度のＧＰＳ座標であってもよく、韓国は東経１２４～１３２度、北緯３３～４３度の間で度単位の座標値を有する。

【0084】

次に、第２ステップ（Ｓ１１２）においては、前記経緯度座標を前記格子座標に変換する。図４に示すように、前記経緯度座標をＵＴＭ座標系（Universal Transverse Mercator Coordinate System）の座標に変換してもよい。前記ＵＴＭ座標系は、２次元平面座標系であり、ＵＴＭ（Universal Transverse Mercator）区域から構成されてもよい。前記ＵＴＭ座標系は、位置を統一された体系をもって示すための格子座標体系を有するようにしてもよい。

【0085】

前記経緯度座標を前記ＵＴＭ座標に変換する方法としては、例えばＵＴＭ投影変換を用いることができる。この場合、当該座標変換方法は、特定例に限定されるものではなく、本発明に適用できる様々な技法が考慮される。よって、本明細書においては、それについて特に制限はない。

【0086】

また、前述したように、本発明は、前記格子座標を生成するステップ（Ｓ１１０）で座標変換を必要としない場合も含む。例えば、歩道の格子座標を有する２次元地図データを用いる場合、座標変換が省略される。

【0087】

次に、空中で撮影した画像に基づく３次元モデルデータから前記格子座標に対応する垂直座標を抽出するステップ（Ｓ１２０）が行われる。この場合、当該垂直座標を抽出するステップは第３ステップになる。

【0088】

ここで、前記３次元モデルデータは、図５ａに示すように、ソウルなどの都市のモデリングデータであり得る。例えば、都市単位の大規模地域の航空写真を用いて都市規模の３次元モデルを構築することができる。

【0089】

前記航空写真は、前記空中で移動しながら撮影した複数の写真画像を備え、前記３次元モデルデータは、前記複数の写真画像間の視差を用いて生成されるようにしてもよい。前記視差を用いると、３次元の室外空間を撮影した２次元写真を再び３次元の現実世界に復元することができる。

【0090】

例えば、左右に移動しながら同一対象を撮影する場合、カメラに近くなるほど変化量が大きくなり、遠くなるほど変化量が小さくなる。ここで、変化量が視差であり、前記変化量の大きさを用いて複数の２次元写真を３次元に復元することができる。

【0091】

より具体的には、視差を用いて画像に投影された物体との距離を計算し、姿勢を推定した写真からマッチング点を用いて点単位で空間座標を算出する。この場合、異なる位置で同一地域を撮影した複数の画像から推定されたＤｅｎｓｅ Ｍａｔｃｈｉｎｇの結果をまとめて連続的な３次元デジタル表面（数値表層モデル（ＤＳＭ））を生成する。前記Ｄｅｎｓｅ Ｍａｔｃｈｉｎｇは、写真（マスター）の各ピクセル（ｘ，ｙ）に対して距離（デプス＝視差）を変えて各デプス毎に隣接写真（スレーブ）との類似度を数値化してコストボリューム（Cost Volume）を構成するアルゴリズムであり得る。また、このようなアルゴリズムを用いるので、前記３次元モデルデータは、物体のデプス情報を備える。

【0092】

図５ａの（ａ）は、３次元デジタル表面の高さに応じて異なる色（疑似カラー（Pseudo-color））をつけて表現したものであり、図５ａの（ｂ）は、３次元デジタル表面を３次元モデルに完成して航空写真としてテクスチャまで処理した結果を示すものである。

【0093】

また、前記３次元モデルデータは、前記室外空間の地形（bare earth）部分を示す数値標高モデル（Digital Elevation Model）を備え、前記垂直座標は、前記数値標高モデルから抽出されるようにしてもよい。図５ｂに示す前記数値標高モデルは、地表面の高度値を有し、それを用いて前記地表面に垂直な方向の座標を抽出する。この場合、前記垂直座標は、前記格子座標に含まれる歩道の座標に対応する地点の垂直方向の座標として抽出されるようにしてもよい。

【0094】

このように、前記格子座標及び前記垂直座標を抽出することにより、前記歩道に沿って３次元座標が定義される。前記３次元座標を用いて、前記室外空間の画像をレンダリングするステップ（Ｓ１３０）が行われるようにしてもよい。

【0095】

前記室外空間の画像をレンダリングするステップ（Ｓ１３０）は、第４ステップ（Ｓ１３１）と、第５ステップ（Ｓ１３２）とを含んでもよい。

【0096】

第４ステップ（Ｓ１３１）は、図６に示すように、レンダリングを行う仮想カメラを設定するステップであってもよい。より具体的には、前記３次元座標を用いて、所望の視点でレンダリングを行う仮想カメラのポーズを生成するようにしてもよい。歩道で活用できる画像ベースの測位用マップを構築するために、前記所望の視点は、歩道視点であり得る。前記ポーズは、例えば、カメラフレームの位置（position）及びオリエンテーション（orientation）を含む。

【0097】

図６において、原点（Ｏ）の位置が仮想カメラの位置であり、ここで３次元モデルの特定の画像を見る方向が算出され、それにより前記仮想カメラのポーズが算出される。

【0098】

より具体的には、図６の地上基準点（Ｐｒ）は、前記３次元座標にマッチングされ、前記地上基準点（Ｐｒ）を基準に画像（Ｒ）の姿勢が推定される。このような姿勢の推定のために、航空三角測量法、例えばバンドル調整法（bundle adjustment）などが用いられる。画像（Ｒ）の姿勢が推定されると、それを用いて原点（Ｏ）の位置と画像（Ｒ）を見る方向が算出される。

【0099】

一方、道路で車両が走行しながら撮影したストリートビュー画像（ロードビュー画像）などを用いると、道路のない部分で画像を取得することはできないが、本発明は、航空写真をベースとするので、どこでも所望の位置に前記仮想カメラを配置することができる。

【0100】

このように、仮想カメラのポーズが生成されると、第５ステップ（Ｓ１３２）において、画像とデプスマップをレンダリングする。

【0101】

例えば、仮想カメラのポーズが生成されると、前記３次元モデルデータを用いて、前記仮想カメラで見る前記室外空間の画像１４１をレンダリングするようにしてもよい。この場合、前記仮想カメラのポーズ及び前記３次元モデルデータを用いて、前記室外空間の画像１４１と共に、前記画像に対応するデプスマップ１４２をレンダリングする。

【0102】

ここで、デプスマップ１４２は、３次元シーン上でカメラから物体までの相対的な距離を示すマップであってもよい。

【0103】

前述したプロセスにおいて、図７に示すように、レンダリングにより、画像１４１、デプスマップ１４２及びカメラポーズ１４３がデータセットとして生成される。

【0104】

次に、特徴点マップを生成するステップ（Ｓ１４０）が行われ、前記特徴点マップを生成するステップ（Ｓ１４０）は、歩道での画像ベースの測位のための特徴点マップのデータセットを構成するステップであってもよい。より具体的には、レンダリングされた画像１４１、レンダリングされたデプスマップ１４２及びレンダリング時のカメラポーズ１４３を用いて、画像ベースの測位用地図データセットを構築する。ただし、本発明は、必ずしもこれに限定されるものではなく、例えば、レンダリングされた画像及びカメラポーズを用いて画像ベースの測位用地図データセットを構築するようにしてもよい。

【0105】

その例として、前記特徴点マップを生成するステップ（Ｓ１４０）は、第６ステップ（Ｓ１４１）と、第７ステップ（Ｓ１４２）とを含んでもよい。

【0106】

第６ステップ（Ｓ１４１）においては、前記レンダリングされた画像を用いて、前記室外空間に位置するオブジェクトの特徴点を抽出する。

【0107】

前記オブジェクトは、例えば建物１５１、１５２などであり、当該ステップにおいては、建物１５１、１５２などから特徴点１６１を抽出する。

【0108】

特徴点１６１は、画像において特徴となる地点であって、画像の重要な情報を含む地点である。このような地点として、特徴点１６１は、例えば建物の角などである。

【0109】

この場合、特徴点抽出技法により図９のように、前記レンダリングされた画像１４１から特徴点１６１が抽出される。この場合、前記特徴点抽出技法は、特定例に限定されるものではなく、本発明に適用できる様々な技法が考慮される。よって、本明細書においては、それについて特に制限はない。

【0110】

ここで、前記レンダリングされた画像は、図８のように、不要なオブジェクトを排除してレンダリングされた画像であってもよい。例えば、前記不要なオブジェクトには、木、道、人及び車両の少なくとも１つが含まれる。

【0111】

画像内に木、道路、人、車両領域から不要な特徴点が抽出されると、画像ベースの測位の性能及びマッピングの正確度が低下する。これを防止するために、木、道路、人、車両などのように動的に動くか季節によって変わるオブジェクトに対して、特徴点が抽出される対象を除去するようにしてもよい。

【0112】

より具体的には、画像をレンダリングする際に、建物１５１と建物１５２間で不要なオブジェクトを排除する。こうすることにより、図８のように、前記室外空間の画像は、離隔した建物１５１、１５２間に道路がない画像を備えるようになる。よって、背景１５３に建物１５１、１５２のみ位置する画像がレンダリングされる。

【0113】

上記方法により、本発明は、一部の物体の形状、大きさ、位置などが変わっても容易に識別可能であり、カメラの視点が変わっても容易に検出可能な地点を特徴点として抽出することができる。

【0114】

この場合、前記室外空間の画像をレンダリングするステップは、必要なオブジェクトと不要なオブジェクトを区分し、前記室外空間の画像から前記不要なオブジェクトを排除してレンダリングするステップであってもよい。

【0115】

次に、第７ステップ（Ｓ１４２）においては、前記レンダリングされたデプスマップ１４２を用いて特徴点１６１の３次元座標を抽出する。より具体的には、前記抽出した特徴点１６１、前記仮想カメラのポーズ１４３、及び前記レンダリングされたデプスマップ１４２を用いることにより、前記抽出した特徴点１６１の３次元座標を抽出することができる。

【0116】

前述したプロセスにより、前記特徴点マップは、前記特徴点、前記３次元座標及び前記仮想カメラのポーズを備えるデータセットになる。

【0117】

画像ベースの測位のためのサーバが動作する前に、フィーチャ（対象物又はオブジェクト）、特徴点、及び特徴点の３次元座標を予め抽出して保存し、前記サーバの動作においては、抽出したフィーチャと特徴点の３次元座標のみを用いて測位演算を行う。こうすることにより、画像とデプスマップの読み込みに用いられる不要な演算を減少させることができる。

【0118】

前述した航空画像ベースの３次元モデルデータを用いて生成した特徴点マップを活用して、１つの画像だけで徒歩で移動するユーザの３次元位置及びポーズを推定することができる。例えば、ユーザは、モバイル機器を用いて自身の位置を確認したり、自身の位置をベースとするサービスの提供を受けることができる。

【0119】

図１０は、図９のデータを用いて画像ベースの測位を行う一例を示す概念図である。

【0120】

同図を参照すると、前記位置ベースのサービスの一例として、ユーザのモバイル機器で画像ベースの測位サービスを実現することができる。例えば、ユーザは、徒歩移動中に特定の地点で自身の位置を確認するために、スマートフォン１９１で前記画像ベースの測位サービスに関連するアプリケーションを実行し、周辺の街頭を撮影する。前記アプリケーションは、撮影した写真１９２の特徴点１９３と特徴点マップの特徴点１９４とを比較し、前記モバイル機器の３次元位置及びポーズを推定する。

【0121】

このように推定した３次元位置及びポーズを用いて、前記モバイル機器の正確な位置を推定することができる。この場合、前記モバイル機器では前記位置をベースとする様々なサービスを実行することができる。

【0122】

以上説明したように、本発明によるマップの生成方法及びそれを用いた画像ベースの測位システムは、３次元モデルデータを用いるので、所望の視点及び視野でレンダリングされた画像を生成することができ、ひいては木や道路などのように画像ベースの測位を妨げる要素をマッピングステップで排除することができるという利点がある。また、３次元モデルデータを用いて、センサノイズのないデプスマップの生成を実現し、ユーザが所望する量のデータの生成が可能になる。

【0123】

前述したマップの生成方法及びそれを用いた画像ベースの測位システムは、上記実施形態の構成や方法に限定されるものではなく、上記実施形態に様々な変形が行われるように、各実施形態の全部又は一部を選択的に組み合わせて構成してもよい。

【符号の説明】

【0124】

１１ 歩道
１２ 道路
１００ 画像ベースの測位システム
１１０ 自律走行機器
１１１ 無線通信部
１１２ 駆動部
１１３ 制御部
１２０ コントロールサーバー
１２１ 無線通信部
１２２ データベース
１２３ 演算部
１２４ 制御部
Ｒ ロボット

【図1】

【図2】

【図3a】

【図3b】

【図4】

【図5a】

【図5b】

【図6】

【図7】

【図8】

【図9】

【図10】