特許 7197550 ビジュアルローカリゼーションとオドメトリに基づく経路追跡方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-19

(45)【発行日】2022-12-27

(54)【発明の名称】ビジュアルローカリゼーションとオドメトリに基づく経路追跡方法およびシステム

(51)【国際特許分類】

   G01C 21/28 20060101AFI20221220BHJP

   G05D 1/02 20200101ALI20221220BHJP

   H04N 7/18 20060101ALI20221220BHJP

【ＦＩ】

G01C21/28

G05D1/02 K

H04N7/18 G

【請求項の数】 12

(21)【出願番号】P 2020187752

(22)【出願日】2020-11-11

(65)【公開番号】P2021076605

(43)【公開日】2021-05-20

【審査請求日】2020-11-11

(31)【優先権主張番号】10-2019-0144126

(32)【優先日】2019-11-12

(33)【優先権主張国・地域又は機関】KR

【前置審査】

(73)【特許権者】

【識別番号】319012978

【氏名又は名称】ネイバーラボス コーポレーション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】イ ドンファン

(72)【発明者】

【氏名】キム ドクファ

【審査官】西中村 健一

(56)【参考文献】

【文献】特開２０１９－１９０９９４（ＪＰ，Ａ）

【文献】特開２０１９－０７９１７１（ＪＰ，Ａ）

【文献】特開２００８－０７１３５２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００６／００１２４９３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ２１／００－２１／３６

Ｇ０５Ｄ １／００－ １／１２

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

コンピュータシステムが実行する経路追跡方法であって、
当該コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記経路追跡方法は、
前記少なくとも１つのプロセッサにより、カメラポーズ情報としてオブジェクトのオドメトリによるポーズ推定結果と前記オブジェクトのビジュアルローカリゼーション（ＶＬ）によるポーズ推定結果とを利用して前記オブジェクトの経路を追跡する段階を含み、
前記追跡する段階は、
前記オドメトリによって推定されたポーズ推定結果による前記オブジェクトの相対ポーズを前記ＶＬによって推定されたポーズ推定結果による前記オブジェクトの絶対ポーズを利用して補正する段階を含み、
前記補正する段階は、
前記オドメトリによって推定された相対ポーズと前記ＶＬによって推定された絶対ポーズとをノードとして定義し、ノード間のポーズ差をエッジとして定義したポーズグラフを最適化する段階を含む、
経路追跡方法。

【請求項2】

前記補正する段階は、
前記オドメトリによるポーズ推定時に発生する累積誤差を、前記ＶＬによって推定されたポーズ値を利用して補正する段階を含む、
請求項１に記載の経路追跡方法。

【請求項3】

前記最適化する段階は、
前記ポーズグラフで任意の時点あるいは事前に定められた一定の周期として一時点に推定された相対ポーズ値を、該当の時点に推定された絶対ポーズ値を利用して補正する段階を含む、
請求項１に記載の経路追跡方法。

【請求項4】

前記最適化する段階は、
前記ポーズグラフで任意の時点あるいは事前に定められた周期として一時点に推定された相対ポーズ値を、該当の時点に推定された絶対ポーズ値との誤差を最小化する方向に最適化する段階を含む、
請求項１に記載の経路追跡方法。

【請求項5】

前記最適化する段階は、
前記ポーズグラフに含まれたすべてのエッジに対して誤差を合算してポーズグラフ誤差関数を定義する段階、および
前記ポーズグラフ誤差関数に基づいて各ノードのポーズ値をガウス・ニュートン法によって推定する段階を含む、
請求項１に記載の経路追跡方法。

【請求項6】

請求項１～５のうちのいずれか一項に記載の経路追跡方法を前記コンピュータシステムに実行させる、コンピュータプログラム。

【請求項7】

請求項１～５のうちのいずれか一項に記載の経路追跡方法をコンピュータに実行させるためのプログラムが格納されている、非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項8】

コンピュータシステムであって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記少なくとも１つのプロセッサは、
カメラポーズ情報としてオブジェクトのオドメトリによるポーズ推定結果と前記オブジェクトのビジュアルローカリゼーション（ＶＬ）によるポーズ推定結果とを利用して前記オブジェクトの経路を追跡するものであって、
前記オドメトリによって推定されたポーズ推定結果による前記オブジェクトの相対ポーズを前記ＶＬによって推定されたポーズ推定結果による前記オブジェクトの絶対ポーズを利用して補正し、
前記少なくとも１つのプロセッサは、
前記オドメトリによって推定された相対ポーズと前記ＶＬによって推定された絶対ポーズとをノードとして定義し、ノード間のポーズ差をエッジとして定義したポーズグラフを最適化することを特徴とする、
コンピュータシステム。

【請求項9】

前記少なくとも１つのプロセッサは、
前記オドメトリによるポーズ推定時に発生する累積誤差を、前記ＶＬによって推定されたポーズ値を利用して補正することを特徴とする、
請求項８に記載のコンピュータシステム。

【請求項10】

前記少なくとも１つのプロセッサは、
前記ポーズグラフで任意の時点あるいは事前に定められた一定の周期として一時点に推定された相対ポーズ値を、該当の時点に推定された絶対ポーズ値を利用して補正することを特徴とする、
請求項８に記載のコンピュータシステム。

【請求項11】

前記少なくとも１つのプロセッサは、
前記ポーズグラフで任意の時点あるいは事前に定められた一定の周期として一時点に推定された相対ポーズ値を、該当の時点に推定された絶対ポーズ値との誤差を最小化する方向に最適化することを特徴とする、
請求項８に記載のコンピュータシステム。

【請求項12】

前記少なくとも１つのプロセッサは、
前記ポーズグラフに含まれたすべてのエッジに対して誤差を合算してポーズグラフ誤差関数を定義した後、前記ポーズグラフ誤差関数に基づいて各ノードのポーズ値をガウス・ニュートン法によって推定することを特徴とする、
請求項８に記載のコンピュータシステム。

【発明の詳細な説明】

【技術分野】

【0001】

以下の説明は、室内ナビゲーションのための経路追跡技術に関する。

【背景技術】

【0002】

移動ロボットは、与えられた環境内で自身の位置を把握しなければならないのはもちろん、以前に経験したことのない新たな環境に置かれた場合には、その周辺画面に対する地図を自ら作成しなければならない。

【0003】

移動ロボットの地図作成とは、周辺に置かれている障害物や物体の位置や自由に移動可能な開放的な空間などを把握し、適切な方法によってこれを記憶する作業を意味する。

【0004】

移動ロボットの地図作成技術の一例として、特許文献１（公開日２０１０年６月２８日）には、周辺物体までの距離情報を利用して格子地図を作成した後、ランドマークの位置情報と連動させることにより、移動ロボットの位置認識のための最終格子地図を作成する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】韓国公開特許第１０－２０１０－００７０９２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ビジュアルローカリゼーション（ＶＬ）（ｖｉｓｕａｌ ｌｏｃａｌｉｚａｔｉｏｎ）技術とオドメトリ（ｏｄｏｍｅｔｒｙ）技術とを結合した測位技術を提供する。

【0007】

ＶＬのポーズとオドメトリのポーズを利用して最適な経路を生成する方法とシステムとを提供する。

【課題を解決するための手段】

【0008】

コンピュータシステムが実行する経路追跡方法であって、前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記経路追跡方法は、前記少なくとも１つのプロセッサにより、カメラポーズ情報としてオドメトリによるポーズ推定結果とＶＬによるポーズ推定結果とを利用して経路（ｔｒａｊｅｃｔｏｒｙ）を追跡する段階を含み、前記追跡する段階は、前記オドメトリによって推定された相対ポーズを前記ＶＬによって推定された絶対ポーズを利用して補正する段階を含む、経路追跡方法を提供する。

【0009】

一側面によると、前記補正する段階は、前記オドメトリによるポーズ推定時に発生する累積誤差を、前記ＶＬによって推定されたポーズ値を利用して補正する段階を含んでよい。

【0010】

また他の側面によると、前記補正する段階は、前記オドメトリによって推定された相対ポーズと前記ＶＬによって推定された絶対ポーズとをノード（ｎｏｄｅ）として定義し、ノード間のポーズ差をエッジ（ｅｄｇｅ）として定義したポーズグラフを最適化する段階を含んでよい。

【0011】

また他の側面によると、前記最適化する段階は、前記ポーズグラフで任意の時点あるいは事前に定められた一定の周期として一定の時点に推定された相対ポーズ値を、該当の時点に推定された絶対ポーズ値を利用して補正する段階を含んでよい。

【0012】

また他の側面によると、前記最適化する段階は、前記ポーズグラフで任意の時点あるいは事前に定められた一定の周期として一定の時点に推定された相対ポーズ値を、該当の時点に推定された絶対ポーズ値との誤差を最小化する方向に最適化する段階を含んでよい。

【0013】

また他の側面によると、前記最適化する段階は、前記ポーズグラフに含まれたすべてのエッジに対して誤差を合算してポーズグラフ誤差関数（ｐｏｓｅ－ｇｒａｐｈ ｅｒｒｏｒ ｆｕｎｃｔｉｏｎ）を定義する段階、および前記ポーズグラフ誤差関数に基づいて各ノードのポーズ値をガウス・ニュトーン（Ｇａｕｓｓ－Ｎｅｗｔｏｎ）法によって推定する段階を含んでよい。

【0014】

前記経路追跡方法を前記コンピュータシステムに実行させるために非一時的なコンピュータ読み取り可能な記憶媒体に格納される、コンピュータプログラムを提供する。

【0015】

前記経路追跡方法をコンピュータに実行させるためのプログラムが格納されている、非一時的なコンピュータ読み取り可能な記憶媒体を提供する。

【0016】

コンピュータシステムであって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、カメラポーズ情報としてオドメトリによるポーズ推定結果とＶＬによるポーズ推定結果とを利用して経路を追跡するものであり、前記オドメトリによって推定された相対ポーズを前記ＶＬによって推定された絶対ポーズを利用して補正することを特徴とする、コンピュータシステムを提供する。

【発明の効果】

【0017】

本発明の実施形態によると、ＶＬのポーズとオドメトリのポーズとを利用して経路最適化を実行することにより、適正な演算量によって正確度の高い測位結果を提供することができる。

【0018】

本発明の実施形態によると、ＶＬ技術とオドメトリ技術とを融合した測位により、最小限のネットワークと低仕様のカメラとで断絶のない移動状況をリアルタイムで測位することが可能となる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態における、ネットワーク環境の例を示した図である。

【図2】本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。

【図3】本発明の一実施形態における、ＶＬを実行する過程を説明するための例示図である。

【図4】本発明の一実施形態における、ＶＬを実行する過程を説明するための例示図である。

【図5】本発明の一実施形態における、サーバのプロセッサが含むことのできる構成要素の例を示したブロック図である。

【図6】本発明の一実施形態における、サーバが実行することのできる方法の例を示したフローチャートである。

【図7】本発明の一実施形態における、ＶＬのポーズとオドメトリのポーズとを表現したポーズグラフの例を示した図である。

【図8】本発明の一実施形態における、グラフ基盤のポーズ最適化過程を説明するための例示図である。

【図9】本発明の一実施形態における、グラフ基盤のポーズ最適化過程を説明するための例示図である。

【図10】本発明の一実施形態における、グラフ基盤のポーズ最適化過程を説明するための例示図である。

【図11】本発明の一実施形態における、最適化ポーズ（ｏｐｔｉｍｉｚｅｄ ｐｏｓｅ）に対する実験結果を示した図である。

【発明を実施するための形態】

【0020】

以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。

【0021】

本発明の実施形態は、カメラ基盤の測位技術に関する。

【0022】

本明細書で具体的に開示する事項を含む実施形態は、ビジュアルローカリゼーション（ＶＬ）（ｖｉｓｕａｌ ｌｏｃａｌｉｚａｔｉｏｎ）技術とオドメトリ（ｏｄｏｍｅｔｒｙ）技術とを結合した測位技術を提供することができ、これにより、従来の測位技術の限界を克服して測位の演算量と正確度とを向上させることができ、より多様なデバイスでの活用を可能にすることができる。

【0023】

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。

【0024】

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータシステムによって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレット、ゲームコンソール、ウェアラブルデバイス、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）デバイス、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）デバイス、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）デバイスなどがある。一例として、図１では、電子機器１１０の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１１０は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータシステムのうちの１つを意味してよい。

【0025】

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

【0026】

サーバ１５０、１６０は、それぞれ、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０とを介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第１サービスを提供するシステムであってよく、サーバ１６０も、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第２サービスを提供するシステムであってよい。より具体的な例として、サーバ１５０は、複数の電子機器１１０、１２０、１３０、１４０においてインストールされて実行されるコンピュータプログラムであるアプリケーションを通じ、該当のアプリケーションが目的とするサービス（一例として、位置基盤サービス）を第１サービスとして複数の電子機器１１０、１２０、１３０、１４０に提供してよい。他の例として、サーバ１６０は、上述したアプリケーションのインストールおよび実行のためのファイルを複数の電子機器１１０、１２０、１３０、１４０に配布するサービスを第２サービスとして提供してよい。

【0027】

図２は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図２では、電子機器に対する例として電子機器１１０の内部構成およびサーバ１５０の内部構成について説明する。また、他の電子機器１２０、１３０、１４０やサーバ１６０も、上述した電子機器１１０またはサーバ１５０と同一または類似の内部構成を有してよい。

【0028】

電子機器１１０およびサーバ１５０は、メモリ２１１、２２１、プロセッサ２１２、２２２、通信モジュール２１３、２２３、および入力／出力インタフェース２１４、２２４を含んでよい。メモリ２１１、２２１は、非一時的なコンピュータ読み取り可能な記憶媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ディスクドライブ、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などのような非一時的大容量記憶装置を含んでよい。ここで、ＲＯＭ、ＳＳＤ、フラッシュメモリ、ディスクドライブのような非一時的大容量記憶装置は、メモリ２１１、２２１とは区分される別の非一時的記憶装置として電子機器１１０やサーバ１５０に含まれてもよい。また、メモリ２１１、２２１には、オペレーティングシステムや、少なくとも１つのプログラムコード（一例として、電子機器１１０においてインストールされて実行されるブラウザや、特定のサービスの提供のために電子機器１１０にインストールされたアプリケーションなどのためのコード）が格納されてよい。このようなソフトウェア構成要素は、メモリ２１１、２２１とは別のコンピュータ読み取り可能な記憶媒体からロードされてよい。このような別のコンピュータ読み取り可能な記憶媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記憶媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記憶媒体ではない通信モジュール２１３、２２３を通じてメモリ２１１、２２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム（一例として、上述したサーバ１６０）がネットワーク１７０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいてメモリ２１１、２２１にロードされてよい。

【0029】

プロセッサ２１２、２２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１１、２２１または通信モジュール２１３、２２３によって、プロセッサ２１２、２２２に提供されてよい。例えば、プロセッサ２１２、２２２は、メモリ２１１、２２１のような記憶装置に格納されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

【0030】

通信モジュール２１３、２２３は、ネットワーク１７０を介して電子機器１１０とサーバ１５０とが互いに通信するための機能を提供してもよいし、電子機器１１０および／またはサーバ１５０が他の電子機器（一例として、電子機器１２０）または他のサーバ（一例として、サーバ１６０）と通信するための機能を提供してもよい。一例として、電子機器１１０のプロセッサ２１２がメモリ２１１のような記憶装置に格納されたプログラムコードにしたがって生成した要求が、通信モジュール２１３の制御にしたがってネットワーク１７０を介してサーバ１５０に伝達されてよい。これとは逆に、サーバ１５０のプロセッサ２２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール２２３とネットワーク１７０とを経て電子機器１１０の通信モジュール２１３を通じて電子機器１１０に受信されてよい。例えば、通信モジュール２１３を通じて受信されたサーバ１５０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ２１２やメモリ２１１に伝達されてよく、コンテンツやファイルなどは、電子機器１１０がさらに含むことのできる記憶媒体（上述した非一時的記憶装置）に格納されてよい。

【0031】

入力／出力インタフェース２１４は、入力／出力装置２１５とのインタフェース接続のための手段であってよい。例えば、入力装置は、キーボード、マウス、マイクロフォン、カメラなどの装置を含んでよく、出力装置は、ディスプレイ、スピーカ、触覚フィードバックデバイスなどのような装置を含んでよい。他の例として、入力／出力インタフェース２１４は、タッチスクリーンのように入力および出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２１５は、電子機器１１０と１つの装置とで構成されてもよい。また、サーバ１５０の入力／出力インタフェース２２４は、サーバ１５０に接続するかサーバ１５０が含むことのできる入力または出力のための装置（図示せず）とのインタフェースのための手段であってよい。より具体的な例として、電子機器１１０のプロセッサ２１２がメモリ２１１にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ１５０や電子機器１２０が提供するデータを利用して構成されるサービス画面やコンテンツが、入力／出力インタフェース２１４を通じてディスプレイに表示されてよい。

【0032】

また、他の実施形態において、電子機器１１０およびサーバ１５０は、図２の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器１１０は、上述した入力／出力装置２１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器１１０がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が、電子機器１１０にさらに含まれるように実現されてよい。

【0033】

先ず、イメージに基づいてポーズ（３軸位置値と３軸方向値を含む）を計算する、すなわち、ＶＬを実行する過程について説明する。

【0034】

図３～４は、ＶＬ過程を説明するための例示図である。

【0035】

ＶＬとは、１枚あるいは複数枚のイメージから絶対位置を探索する技術である。

【0036】

サーバ１５０は、対象空間に対する地理的タグイメージ（ｇｅｏ－ｔａｇｇｅｄ ｉｍａｇｅｓ）を利用して３Ｄモデルに該当するＶＬ用地図４００を事前に構成して維持してよい。

【0037】

図３に示すように、サーバ１５０は、電子機器（例えば、モバイル端末や移動ロボットなど）１１０が撮影したイメージをクエリイメージ３０１として受信する場合、ＶＬ用地図データベース（一例として、メモリ２２１）からクエリイメージ３０１と類似する参照イメージ３０２を抽出してよい。このとき、サーバ１５０は、ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）モデルを利用してクエリイメージ３０１からグローバルな特徴（フィーチャ）を抽出した後、抽出された特徴を利用して参照イメージ３０２を検索してよい。

【0038】

図４に示すように、サーバ１５０は、参照イメージ３０２に対応する３Ｄモデル３０３とともに、クエリイメージ３０１を利用したローカリゼーションによってクエリイメージ３０１の６自由度ポーズ（位置および方向）を推定してよい。言い換えれば、サーバ１５０は、ポーズがタギングされたデータを利用してＶＬを実行することにより、ＶＬ用地図４００上のクエリイメージ３０１に対応する地点として絶対座標を確認してよい。

【0039】

このように、イメージに基づいてカメラポーズ（３軸位置値と３軸方向値とを含む）を計算するためには、すなわち、ＶＬを実行するためには、事前にデータ収集装備を利用して対象空間をスキャンした後、これから得られた（ポーズがタギングされた）データを加工してＶＬ用地図４００を生成する。

【0040】

言い換えれば、イメージ基盤の測位技術であるＶＬは、ＶＬ用地図４００を事前に構築し、構築されたＶＬ用地図４００内で位置を推定する方法によって測位を行う。

【0041】

このようなＶＬ技術は、絶対位置を知ることができる上に、時間の経過によって誤差が累積するドリフト（ｄｒｉｆｔ）現象が発生しない反面、移動状況では精密な測位が困難である上に、多様な環境変化に対応しなければならないため、多くの演算量を必要とするし計算時間が長いという短所がある。

【0042】

移動状況で精密な測位を行うために、リアルタイム位置追跡が可能なオドメトリ技術が使用されてよい。オドメトリ技術としては、ＶＩＯ（ｖｉｓｕａｌ－ｉｎｅｒｔｉａｌ ｏｄｏｍｅｔｒｙ）やＷＯ（Ｗｈｅｅｌ ｏｄｏｍｅｔｒｙ）などが含まれてよく、イメージあるいはタイヤの回転情報によって相対的な位置を計算する方法によって測位を行う。

【0043】

このようなオドメトリ技術は、相対的なポーズを円滑に推定することが可能であり、演算量が比較的少なく、低仕様のコンピュータシステム、例えば、スマートフォンのような電子機器１１０、１２０、１３０、１４０での実行が可能である反面、相対的な位置変化量しか推定できないためドリフト現象が発生するという短所がある。

【0044】

以下では、ＶＬ技術とオドメトリ技術とを結合した測位技術として、ＶＬとオドメトリとに基づく経路追跡方法およびシステムの具体的な実施形態について説明する。

【0045】

図５は、本発明の一実施形態における、サーバのプロセッサが含むことのできる構成要素の例を示したブロック図であり、図６は、本発明の一実施形態における、サーバが実行することのできる方法の例を示したフローチャートである。

【0046】

本実施形態に係るサーバ１５０は、位置基盤のサービスを提供するものであり、特に、ＶＬ技術とオドメトリ技術とを結合した測位技術に基づいて位置基盤サービスを提供するものである。

【0047】

サーバ１５０のプロセッサ２２２は、図６に係る経路追跡方法を実行するための構成要素として、図５に示すように、相対ポーズ推定部５１０、絶対ポーズ推定部５２０、および経路最適化部５３０を含んでよい。実施形態によって、プロセッサ２２２の構成要素は、選択的にプロセッサ２２２に含まれても除外されてもよい。また、実施形態によって、プロセッサ２２２の構成要素は、プロセッサ２２２の機能の表現のために分離されても併合されてもよい。

【0048】

このようなプロセッサ２２２およびプロセッサ２２２の構成要素は、図６の経路追跡方法が含む段階６１０～６３０を実行するようにサーバ１５０を制御してよい。例えば、プロセッサ２２２およびプロセッサ２２２の構成要素は、メモリ２２１が含むオペレーティングシステムのコードと、少なくとも１つのプログラムのコードとによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。

【0049】

ここで、プロセッサ２２２の構成要素は、サーバ１５０に格納されたプログラムコードが提供する命令にしたがってプロセッサ２２２によって実行される、プロセッサ２２２の互いに異なる機能（ｆｕｎｃｔｉｏｎｓ）の表現であってよい。例えば、サーバ１５０が相対ポーズを推定するように上述した命令にしたがってサーバ１５０を制御するプロセッサ２２２の機能的表現として、相対ポーズ推定部５１０が利用されてよい。

【0050】

プロセッサ２２２は、サーバ１５０の制御と関連する命令がロードされたメモリ２２１から必要な命令を読み取ってよい。この場合、前記読み取られた命令は、以下で説明する段６１０～６３０をプロセッサ２２２が実行するように制御するための命令を含んでよい。

【0051】

段階６１０で、相対ポーズ推定部５１０は、ＶＩＯやＷＯのようなオドメトリ技術により、カメラポーズ情報（３軸位置値と３軸方向値とを含む）として相対ポーズを推定してよい。相対ポーズ推定部５１０は、電子機器１１０で発生するクエリ情報として連続的なセンサ情報（例えば、連続するイメージや、タイヤの回転情報など）を受信してよく、連続的なセンサ情報の相対的なポーズ関係を計算してよい。

【0052】

段階６２０で、絶対ポーズ推定部５２０は、イメージを利用したローカリゼーション、すなわちＶＬにより、カメラポーズ情報として絶対ポーズを推定してよい。絶対ポーズ推定部５２０は、電子機器１１０で発生するクエリ情報としてクエリイメージを受信してよく、ＶＬにより、受信されたクエリイメージの６自由度ポーズ（位置および方向）を推定してよい。絶対ポーズ推定部５２０は、ポーズがタギングされたデータを利用してＶＬを実行し、事前に構築しておいたＶＬ用地図４００上のクエリイメージに対応する地点、すなわち絶対ポーズを推定してよい。

【0053】

段階６３０で、経路最適化部５３０は、段階６１０で推定された相対ポーズと段階６２０で推定された絶対ポーズとを利用してグラフ基盤のポーズ最適化によって最適化された経路を生成することにより、誤差が補正された最終ポーズとして経路を追跡してよい。オドメトリ技術だけでポーズを推定する場合には、ドリフト現象によって累積誤差が生じることがあり、ＶＬによって推定されたポーズの場合には、オドメトリに比べて誤差範囲が大きくて推定値に対する信頼度が低下することがある。オドメトリ技術およびＶＬ技術の短所を克服するために、経路最適化部５３０は、オドメトリによって推定された連続的なローカルポーズ情報とＶＬによって推定されたグローバルポーズ情報とを融合した最適化アルゴリズムを適用し、正確なポーズを推定することができる。

【0054】

経路最適化部５３０は、オドメトリによるポーズ推定結果とＶＬによるポーズ推定結果とを利用してグラフ基盤のポーズ最適化によって最適化された経路を生成してよい。図７は、ポーズグラフ７００の一例を示した図である。図７に示すように、ポーズグラフ７００は、オドメトリによって推定された相対ポーズを示すノード（以下、「オドメトリノード」とする）７０１とＶＬによって推定された絶対ポーズを示すノード（以下、「ＶＬノード」とする）７０２とで構成されてよく、相対ポーズ間の差と相対ポーズと絶対ポーズとの間の差は、該当のノードを連結するエッジ７０３として表現してよい。

【0055】

オドメトリノード７０１およびオドメトリノード７０１のポーズの差、またはＶＬノード７０２およびオドメトリノード７０１のポーズの差を示すエッジ７０３の誤差は、数式（１）のように定義されてよい。

【0056】

【数1】

【0057】

ここで、ｘ_＊は、ポーズ情報を含むノードを意味し、

【0058】

【数2】

は、エッジで連結されたノード間のポーズ情報（Ｒは、ｒｏｔａｔｉｏｎ、ｔは、ｔｒａｎｓｌａｔｉｏｎ）を意味する。また、

【0059】

【数3】

は、変換行列（ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍａｔｒｉｘ）を１×６ベクトルに変形する関数を意味するものであって、主に、らせん変位（ｓｃｒｅｗ ｄｉｓｐｌａｃｅｍｅｎｔ）技法を使用してよい。

【0060】

らせん変位技法は、数式（２）のように定義してよい。

【0061】

【数4】

ここで、Ｒは、回転行列（ｒｏｔａｔｉｏｎ ｍａｔｒｉｘ）であり、tは、併進ベクトル（ｔｒａｎｓｌａｔｉｏｎ ｖｅｃｔｏｒ）である。また、ξは、ツイストベクトル（ｔｗｉｓｔ ｖｅｃｔｏｒ）を意味し、ｗ_＊は、回転速度（ｒｏｔａｔｉｏｎ ｖｅｌｏｃｉｔｙ）を、ｖ_＊は線速度（ｌｉｎｅａｒ ｖｅｌｏｃｉｔｙ）を意味する。

【0062】

ポーズグラフ７００に含まれたすべてのエッジ７０３に対して誤差を合算すれば、数式（３）のように、ポーズグラフ誤差関数（ｐｏｓｅ－ｇｒａｐｈ ｅｒｒｏｒ ｆｕｎｃｔｉｏｎ）

【0063】

【数5】

を定義することができる。

【0064】

【数6】

【0065】

ここで、Ωは、エッジの共分散（ｃｏｖａｒｉａｎｃｅ）を意味する。

【0066】

経路最適化部５３０は、数式（４）のように、ポーズグラフ誤差関数の誤差が減る方向に、ノード７０１、７０２のポーズ値

【0067】

【数7】

をガウス・ニュトーン（Ｇａｕｓｓ－Ｎｅｗｔｏｎ）法によって再軌跡として推定してよい。

【0068】

【数8】

【0069】

最適化されたポーズグラフでは、相対ポーズ値ｘ^＊と絶対ポーズ値

【0070】

【数9】

とがノード７０１、７０２として定義され、ノード間のポーズ差

【0071】

【数10】

と共分散Ωは、エッジ７０３として定義されてよい。

【0072】

図８～１０は、相対ポーズｘ^＊と絶対ポーズ

【0073】

【数11】

とを利用した経路最適化過程を説明するための例示図である。

【0074】

図８を参照すると、経路最適化部５３０は、ｔ＝０時点に推定された相対ポーズ値ｘ_０に基づき、ｔ＝１時点に推定された相対ポーズ値ｘ_１に対してｔ＝１時点に推定された絶対ポーズ値ｌ_１を要求してｔ＝１時点の相対ポーズ値ｘ_１を補正してよい。このとき、経路最適化部５３０は、ｔ＝１時点の相対ポーズ値ｘ_１をｔ＝１時点に取得した絶対ポーズ値ｌ_１との誤差を最小化する方向に最適化してよい。

【0075】

図９を参照すると、経路最適化部５３０は、ｔ＝１時点の最適化されたポーズ値に基づき、ｔ＝２時点に推定された相対ポーズ値ｘ_２に続いてｔ＝３時点に推定された相対ポーズ値ｘ_３に対してｔ＝３時点に推定された絶対ポーズ値ｌ_２を要求してｔ＝３時点の相対ポーズ値ｘ_３を補正してよい。このとき、経路最適化部５３０は、ｔ＝３時点の相対ポーズ値ｘ_３をｔ＝３時点に取得した絶対ポーズ値ｌ_２との誤差を最小化する方向に最適化してよい。

【0076】

図１０を参照すると、経路最適化部５３０は、ｔ＝３時点の最適化されたポーズ値に基づきながら、ｔ＝４時点に推定された相対ポーズ値ｘ_４以後も前記と同じポーズ最適化過程を繰り返してよい。

【0077】

経路最適化部５３０は、オドメトリから推定された相対ポーズｘ^＊の累積誤差を補正するために、任意の時点あるいは事前に定められた周期にＶＬから推定された絶対ポーズ

【0078】

【数12】

を要求してよい。

【0079】

経路最適化部５３０は、相対ポーズｘ^＊と絶対ポーズ

【0080】

【数13】

とを利用したグラフ構造によってポーズ間の経路を最適化することで、ポーズの推定正確度を向上させてよい。

【0081】

ポーズグラフの最適化によってポーズの推定正確度を向上させてよい。オドメトリから推定されたポーズである相対ポーズｘ^＊は、ＶＬから推定されたポーズ、すなわち絶対ポーズ

【0082】

【数14】

の影響を受けるため、累積誤差に対する影響が補正される。

【0083】

ＶＬから推定されたポーズ値

【0084】

【数15】

をそのままアプリケーションで活用するのではなく、ＶＬから推定されたポーズ値

【0085】

【数16】

に基づいて累積誤差が補正されたポーズ値ｘ^＊を活用することにより、ポーズの円滑化（ｓｍｏｏｔｈｉｎｇ）効果を得ることができる。

【0086】

図１１に示したポーズ推定結果グラフを見ると、本実施形態では、ＶＬとオドメトリとを融合することによって最適化したポーズ（ｏｐｔｉｍｉｚｅｄ ｐｏｓｅ）結果が検証データ（グラウンドトルース）（ｇｒｏｕｎｄ ｔｒｕｔｈ）に近い結果を得ることができることが分かる。

【0087】

本実施形態では、ＶＬ技術およびオドメトリ技術、さらには最適化アルゴリズムを融合することによって、測位正確度を向上させることができる。さらに、移動状況を考慮した測位技術の１つとしてＶＯＴ（ｖｉｓｕａｌ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ）技術が追加で活用されてよい。ここで、ＶＯＴとは、イメージ認識技術に基づいて物体の位置や方向を６自由度で推定することのできる技術である。ＶＬの動作の可否またはＶＬのポーズ推定結果によってＶＯＴ技術を追加で利用することにより、６自由度ポーズを推定することができる。例えば、ＶＬが正しく動作しなかったりＶＬのポーズ結果が不正確な環境であったりする場合には、ＶＯＴ技術によって事前にポーズを把握した物体やマーカを利用して測位を行うことができる。

【0088】

上述では、本実施形態に係る経路追跡方法がサーバ１５０で実行されるとして説明しているが、これに限定されてはならない。図６の経路追跡方法がサーバ１５０との連動によって電子機器１１０で実行されてもよいことはもちろん、相互の連動環境の一部過程はサーバ１５０で実行され、残りの過程は電子機器１１０で実行されることも可能である。例えば、ＶＬを利用したポーズ推定は、サーバ１５０で実行されてよく、オドメトリを利用したポーズ推定は、電子機器１１０で実行されてよい。このとき、経路最適化過程は、サーバ１５０と電子機器１１０のいずれか１つで実行されてよい。

【0089】

このように、本発明の実施形態によると、ＶＬのポーズ結果とオドメトリのポーズ結果とを利用して経路最適化を実行することにより、適正な演算量で高い正確度の測位結果を提供することができる。また、本発明の実施形態によると、ＶＬ技術とオドメトリ技術とを融合した測位技術の場合、最小限のネットワークと低仕様のカメラだけでも移動状況で断絶のないリアルタイム測位が可能となることから、スマートフォンのようなモバイル機器はもちろん、移動ロボットや歩行ロボット、自動車などのような多様なデバイスに適用することができる。

【0090】

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素の組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

【0091】

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記憶媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記憶媒体に格納されてよい。

【0092】

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に格納されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して格納するものであっても、実行またはダウンロードのために一時格納するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記憶手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が格納されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記憶媒体または格納媒体が挙げられる。

【0093】

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

【0094】

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

【符号の説明】

【0095】

２２２：プロセッサ
５１０：相対ポーズ推定部
５２０：絶対ポーズ推定部
５３０：経路最適化部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】