特開 2022-149076 位置推定装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022149076

(43)【公開日】2022-10-06

(54)【発明の名称】位置推定装置、方法及びプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20220929BHJP

【ＦＩ】

G06T7/70 Z

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021051029

(22)【出願日】2021-03-25

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】小森田 賢史

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096DA02

5L096FA33

5L096FA38

5L096FA52

5L096FA67

5L096FA69

5L096FA72

5L096HA08

5L096JA03

5L096KA09

5L096MA07

(57)【要約】

【課題】クエリ画像の位置をその類似画像の位置および向きに基づいて推定する。
【解決手段】クエリ画像取得部10はクエリ画像Iqを取得する。類似画像抽出部20はクエリ画像Iqに類似する類似画像をデータベース2から抽出する。クラスタリング部30は多数の類似画像をその位置に基づいて複数の画像群にクラスリングする。画像群選抜部40は画像群ごとに類似画像の向きの分散を計算し、分散が小さい一部の画像群を選抜する。位置計算部50は選抜した画像群ごとに当該画像群に含まれる類似画像の位置に基づいてクエリ画像の位置を計算する。位置決定部60は画像群ごとに計算したクエリ画像の位置の尤もらしさを評価して最尤の位置をクエリ画像の位置に決定する。
【選択図】図1

【特許請求の範囲】

【請求項1】

クエリ画像の位置をその類似画像の位置および向きに基づいて推定する位置推定装置において、
クエリ画像に類似する複数の類似画像を抽出する手段と、
前記複数の類似画像をその位置に基づいて複数の画像群にクラスリングする手段と、
前記画像群ごとに当該画像群に含まれる類似画像の向きの分散を計算し、分散が絶対的または相対的に小さい一部の画像群を選抜する手段と、
前記選抜した画像群の各類似画像の位置に基づいてクエリ画像の位置を推定する手段とを具備したことを特徴とする位置推定装置。

【請求項2】

前記類似画像を抽出する手段は、クエリ画像の各特徴点に類似する特徴点の数が絶対的または相対的に多い類似画像を抽出することを特徴とする請求項１に記載の位置推定装置。

【請求項3】

前記クエリ画像の位置を推定する手段は、
前記選抜した画像群ごとに当該画像群に含まれる類似画像の位置に基づいてクエリ画像の位置を計算する手段と、
前記画像群ごとに計算したクエリ画像の位置の尤もらしさに基づいてクエリ画像の位置を決定する手段とを具備したことを特徴とする請求項１または２に記載の位置推定装置。

【請求項4】

前記クエリ画像の位置を計算する手段は、前記選抜した画像群ごとにクエリ画像と各類似画像との射影関係を推定し、当該射影関係に基づく再投影誤差が最小化するクエリ画像の位置を計算することを特徴とする請求項３に記載の位置推定装置。

【請求項5】

前記位置を決定する手段は、前記選抜した画像群ごとに前記クエリ画像の特徴点と類似する各類似画像の特徴点の数の総和を求め、当該総和がより多い画像群の類似画像に基づいて計算した位置の尤もらしさをより高く評価することを特徴とする請求項４に記載の位置推定装置。

【請求項6】

前記位置を決定する手段は、前記選抜した画像群ごとに前記クエリ画像の特徴点と類似する各類似画像の特徴点をクエリ画像へ投影し、投影された点の分散がより大きい画像群の類似画像に基づいて計算した位置の尤もらしさをより高く評価することを特徴とする請求項４または５に記載の位置推定装置。

【請求項7】

前記位置を決定する手段は、前記選抜した画像群ごとに前記再投影誤差が最小化するクエリ画像の位置と当該最小化前の各類似画像の位置との差分の総和を求め、当該総和がより大きい画像群の類似画像に基づいて計算した位置の尤もらしさをより高く評価することを特徴とする請求項４ないし６のいずれかに記載の位置推定装置。

【請求項8】

コンピュータが、クエリ画像の位置をその類似画像の位置および向きに基づいて推定する位置推定方法において、
クエリ画像に類似する複数の類似画像を抽出し、
前記複数の類似画像をその位置に基づいて複数の画像群にクラスリングし、
前記画像群ごとに当該画像群に含まれる類似画像の向きの分散を計算し、
前記分散が絶対的または相対的に小さい一部の画像群を選抜し、
前記選抜した画像群の各類似画像の位置に基づいてクエリ画像の位置を推定することを特徴とする位置推定方法。

【請求項9】

クエリ画像の位置をその類似画像の位置および向きに基づいて推定する位置推定プログラムにおいて、
クエリ画像に類似する複数の類似画像を抽出する手順と、
前記複数の類似画像をその位置に基づいて複数の画像群にクラスリングする手順と、
前記画像群ごとに当該画像群に含まれる類似画像の向きの分散を計算する手順と、
前記分散が絶対的または相対的に小さい一部の画像群を選抜する手順と、
前記選抜した画像群の各類似画像の位置に基づいてクエリ画像の位置を推定する手順と、をコンピュータに実行させることを特徴とする位置推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、位置推定装置、方法及びプログラムに係り、特に、位置を推定したい画像に類似する画像の位置および向きに基づいてその位置を推定する位置推定装置、方法及びプログラムに関する。

【背景技術】

【0002】

景観画像の特徴的な点（画像特徴点）の三次元位置を予めデータベース化しておき、ユーザがモバイル端末で撮影したカメラ画像をクエリ画像としてデータベース上の景観画像との類似度を計算し、類似度が高い景観画像の位置や向きに基づいてモバイル端末の位置を推定する技術が、例えばVPS（Visual Positioning Service/System）として知られている。

【0003】

特許文献1には、入力画像との類似度が高い画像の位置を当該入力画像の位置と推定する技術が開示されている。

【0004】

特許文献2には、画像に基づいて対象物の位置姿勢を推定する際に、局所的な類似度が支配的とならないように、局所特徴量および大局特徴量を併用する位置推定手法が開示されている。

【0005】

特許文献3には、入力画像を撮影位置と対応付けられた多数の参照画素と比較して入力画像の位置を推定するシステムにおいて、入力画像と参照画素との類似度を連続的に把握するシステムが開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開2011-215716号公報

【特許文献2】特開2018-036770号公報

【特許文献3】特開2020-008984号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１は、入力画像に類似した画像を探索するにとどまる。特許文献2では、画像の局所特徴量および大局特徴量の類似性のみで類似度が判定されるので、撮影の位置や向きが異なっても特徴量が類似すれば同一位置の画像と判断されてしまう。特許文献３では、位置計算を行う際に類似画像を参照するが、単に類似度の高い画像程優先するとしており、位置が異なることが考慮されていない。

【0008】

このように、上記の各文献が開示する技術はいずれも、類似する画像が複数抽出された場合でも、各画像はクエリ画像とおよそ同一の場所を意味する程度の確度を前提に抽出されるので、似ていても異なる位置の画像が混在すると計算結果に影響を及ぼしてしまうという技術課題があった。

【0009】

本発明の目的は、上記の技術課題を解決し、クエリ画像の位置推定に用いる画像群を、その画像特徴の類似性のみならず撮影の位置や方向の類似性も考慮して選抜することにより、類似するが異なる位置で撮影された画像、あるいは類似するが異なる被写体を撮影した画像に基づく位置推定を防止して位置推定の精度を向上させることにある。

【課題を解決するための手段】

【0010】

上記の目的を達成するために、本発明は、クエリ画像の位置をその類似画像の位置および向きに基づいて推定する位置推定装置において、クエリ画像に類似する複数の類似画像を抽出する手段と、複数の類似画像をその撮影の位置や方向の類似性に基づいて複数の画像群にクラスリングする手段と、画像群ごとに当該画像群に含まれる類似画像の向きの分散を計算し、分散が小さい一部の画像群を選抜する手段と、選抜した画像群の各類似画像の位置に基づいてクエリ画像の位置を推定する手段とを具備した。

【発明の効果】

【0011】

本発明によれば、クエリ画像の位置推定に用いる画像群が、その画像特徴の類似性のみならず撮影の位置や方向の類似性も考慮して選抜される。したがって、画像特徴は類似するが異なる位置で撮影された画像や、画像特徴は類似するが異なる被写体を異なる位置で撮影した画像に基づいてクエリ画像の位置が推定されることを防止することができ、位置推定の精度を向上させることが可能になる。

【図面の簡単な説明】

【0012】

【図1】本発明を適用した位置推定システムの構成を示した機能ブロック図である。

【図2】位置推定装置の構成を示した機能ブロック図である。

【図3】クエリ画像の位置推定に用いる画像群を選抜する方法を示した図である。

【図4】画像の向きの分散を求める方法を示した図である。

【図5】類似画像の尤もらしさを評価する指標の例を示した図である。

【図6】本発明の一実施形態の動作を示したフローチャートである。

【発明を実施するための形態】

【0013】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明を適用した位置推定システムの主要部の構成を示した機能ブロック図であり、VPS（Visual Positioning Service/System）ベースの位置推定装置1および画像データベース（DB）2を主要な構成としている。

【0014】

画像DB2は、VPS地図の生成に利用した多数の景観画像を、それを撮影した位置情報や向き情報と共に管理する。自身の位置推定を所望するユーザは、スマートフォンなどのモバイル端末3が備えるカメラ機能で周囲の景観を撮影し、このカメラ画像をクエリ画像Iqとして添付した位置要求をネットワーク経由で位置推定装置1へ送信する。

【0015】

位置推定装置1は、前記位置要求に添付されたクエリ画像Iqに類似する景観画像を画像DB2から抽出し、当該景観画像に対応付けられた位置情報や向き情報に基づいてモバイル端末3の位置を推定する。位置推定の結果はネットワーク経由でモバイル端末3へ応答される。前記位置推定装置１および画像DB２の一部若しくは全部はモバイル端末３に搭載されていてもよい。

【0016】

図2は、前記位置推定装置1の主要部の構成を示した機能ブロック図であり、クエリ画像取得部10、類似画像抽出部20、クラスタリング部30、画像群選抜部40、位置計算部50、位置決定部60および位置応答部70を主要な構成としている。

【0017】

このような位置推定装置1は、CPU，ROM，RAM，バス，インタフェース等を備えた少なくとも一台の汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

【0018】

クエリ画像取得部10は、モバイル端末3から受信した位置要求に添付されたクエリ画像Iqを取得する。このクエリ画像Iqは類似画像抽出部20および位置決定部60へ提供される。

【0019】

類似画像抽出部20は、クエリ画像Iqから特徴点およびその画像特徴量を抽出し、画像DB2に蓄積されている各景観画像から予め抽出されてその特徴量を計算されている各特徴点との類似度を画像特徴量ベースで計算する。あるいは、GeM （Generalized-Mean pooling) などの大局特徴量に基づき、コサイン距離などで類似度を判断するようにしても良い。そして、類似度が所定の閾値を超える特徴点の数Nfcが相対的または絶対的に多い景観画像が類似画像として抽出される。

【0020】

本実施形態では、閾値を超える特徴点の数Nfcが多い上位Nベスト（相対的）の景観画像、または特徴量数Nfcが所定の閾値Nfc_refを超える全て（絶対的）の景観画像が類似画像として抽出される。

【0021】

クラスタリング部30は、抽出された多数の類似画像を、その三次元位置の近さに基づいて複数の画像群（クラスタ）にクラスリングする。あるいは3次元回転を水平平面上の角度（1変数）に変換し、三次元の位置座標を加えた4次元の変数でクラスタリングしても良い。

【0022】

画像群選抜部40は、多数の画像群の中からクエリ画像の位置推定に利用する一部の画像群を選抜する。本実施形態では画像群選抜部40が向き分散計算部41を含み、選抜した画像群ごとに類似画像の向きの分散を計算する。

【0023】

前記画像群選抜部40は、図3に示すように画像の向きの分散が相対的または絶対的に大きい画像群を除外して残りの画像群をクエリ画像の位置推定用に選抜する。図示の例では、画像群Cにクラスタリングされた画像の向きの分散が画像群A，Bにクラスタリングされた画像の向きの分散に較べて有意に大きいので、画像群Cが除外されて画像群A，Bのみが位置推定用の画像群Im_k（kは画像群識別子）として選抜される。

【0024】

図4は、画像の向きの分散の計算方法を説明するための図である。画像の方向を表すクオータニオンの成分をw，x，y，zとして、画像の向きを表す単位方向ベクトルVをXZ平面上に投影すると、その要素は次式(1)～(3)で計算できる。

【0025】

v_x = 2*x*z + 2*y*w (1)
v_z = 1 - 2*x*x - 2*y*y (2)
V = (v_x，v_z) (3)

【0026】

X軸との角度差thはベクトルの内積で表現することができ、長さが1のx軸の単位ベクトルは(1,0)となるので次式(4)，(5)で計算できる。

【0027】

costh = vx (4)
th = arc_cos(costh) (5)

【0028】

各画像群Im_kに含まれる各類似画像の単位ベクトルの総和をV_sumとし、その角度をth_sumとすると、類似画像の向きを表す単位方向ベクトルの平均の角度はth_sumとなり、各画像の方向ベクトルとの角度の差分th_diffは次式(6)で求められる。

【0029】

th_diff = th_sum－th (6)

【0030】

そして、各画像群Im_kに含まれる画像の角度thの差分をthdiff ∈Imkとし、その分散VARkが所定の閾値以下であれば、向きの分散が小さく一定方向を向いた画像群であると判断する。

【0031】

位置計算部50は、選抜した画像群Im_kごとに、当該画像群Im_kにクラスタリングされている類似画像に基づいてクエリ画像の位置を計算する。本実施形態では、クエリ画像Iqの各特徴点と各類似画像I_i（iは類似画像識別子）の対応する各特徴点（対応点）との射影関係を、例えばホモグラフィ行列として推定する。

【0032】

次いで、クエリ画像Iqの各特徴点を前記射影関係に基づいて各類似画像I_iへ投影した際の再投影誤差を、例えばユークリッド距離として計算する。さらに、Ceres Solver (http://ceres-solver.org/) などの既知のライブラリを用いて、再投影誤差を目的関数とする最小化問題を解くことでクエリ画像Iqの位置を画像群Im_kごとに計算する。

【0033】

位置決定部60は、類似画像の尤もらしさの評価に用いる指標値を計算する特徴点計数部61、偏り計算部62およびコスト差分計算部63を具備し、画像群Im_kごとに計算した各クエリ画像Iqの位置を各指標値に基づき評価し、この評価結果に基づいてクエリ画像Iqの位置を最終的に決定する。

【0034】

前記特徴点計数部61は、図5に示すように、前記選抜した画像群Im_kごとに各類似画像I_iにおいてクエリ画像Iqの各特徴点と類似する特徴点の数を求め、さらにその総和N3d_kを計数する。

【0035】

前記偏り計算部62は、図5に示すように、前記選抜した画像群Im_kごとに各類似画像I_iにおいてクエリ画像Iqの各特徴点と類似する特徴点をクエリ画像Iqへ投影し、投影された点のクエリ画像上での分散Dtd_kを計算する。分散Dtd_kはその値が大きいほど画像上に特徴点が分散していることを意味し、類似判断が一部の特徴点の類似性に引きずられることを防止できるので、類似度の信頼性を評価する指標となる。

【0036】

前記コスト差分計算部63は、前記選抜した画像群Im_kごとにクエリ画像Iqの各特徴点を各類似画像I_iへ投影した際の再投影誤差の平均値を初期コストCinit_kとして求める。更に、クエリ画像Iqの各特徴点を、前記位置計算部50が最小化問題を解くことで位置を推定したクエリ画像へ投影した際の再投影誤差の平均値を最小化後コストCop_kとして求める。そして、初期コストCinit_kと最小化後コストCopt_kとのコスト差分Cdiff_kを計算する。コスト差分Cdiff_kは、最小化問題を上手く解けたか否かを判断する指標となり、コスト差分Cdiff_kが大きいほどクエリ画像の位置を正確に計算できたと判断できる。

【0037】

前記位置決定部60は、前記総和N3d_kの多い画像群ほど、前記分散Dtd_ikの大きい画像群ほど、前記差分Cdiff_ikの大きい画像群ほど、位置の尤もらしさを高く評価する評価関数に基づいて、画像群Im_kごとに計算したクエリ画像Iqの位置を評価する。

【0038】

本実施形態では、各指標値を最大値が1となるよう正規化したうえで、例えば重みを付けて評価すべく、上記の3つの指標値を次式(7)に適用して尤もらしさを計算し、最尤の位置をクエリ画像Iqの位置に決定する。

【0039】

（Cdiff_k×0.9+N3d_k×0.1）×Dtd_ik (7)

【0040】

位置応答部70は、前記決定したクエリ画像Iqの位置を前記位置要求に対する応答としてモバイル端末3へ送信する。

【0041】

図6は、本発明の一実施形態の動作を示したフローチャートであり、ステップS１では、ユーザから受信した位置要求に添付されているクエリ画像Iqがクエリ画像取得部10により取得される。ステップS2では、画像DB2に蓄積されている多数の景観画像の中から前記クエリ画像Iqとの類似度が高い上位N個が、前記類似画像抽出部20により類似画像として抽出される。

【0042】

ステップS3では、前記N個の類似画像が前記クラスタリング部30により、その位置に基づいて複数の画像群にクラスタリングされる。本実施形態ではk-means法によりクラスタリングされたものとして説明を続ける。

【0043】

ステップS4では、前記向き分散計算部41により画像群ごとに、その類似画像の向きの分散が計算される。ステップS5では、画像群選抜部40により前記向きの分散が絶対的または相対的に大きい一部の画像群が排除され、残りの画像群が位置推定に利用する画像群Im_kとして選抜される。

【0044】

ステップS6では、前記位置計算部50において、選抜した画像群Im_kごとに前記再投影誤差を最小化するクエリ画像Iqの位置が計算される。ステップS7では、前記特徴点計数部61、偏り計算部62およびコスト差分計算部63において、それぞれ特徴点の総和N3d_k、位置の分散Dtd_kおよびコスト差分Cdiff_kが画像群Im_kごとに計算される。

【0045】

ステップS8では、前記特徴点の総和N3d_k、位置の分散Dtd_kおよびコスト差分Cdiff_kを上式(7)に適用し、画像群Im_kごとに計算された位置の尤もらしさが計算される。ステップS9では、最尤の位置がクエリ画像Iqの最終的な位置に決定される。ステップS10では、前記決定したクエリ画像Iqの位置がモバイル端末3へ送信される。

【0046】

本実施形態によれば、クエリ画像の位置推定に用いる画像群が、その画像特徴の類似性のみならず撮影の位置や方向の類似性も考慮して選抜される。したがって、画像特徴は類似するが異なる位置で撮影された画像や、画像特徴は類似するが異なる被写体を異なる位置で撮影した画像に基づいてクエリ画像の位置が推定されることを防止することができ、位置推定の精度を向上させることが可能になる。

【0047】

また、上記の実施形態によれば高精度な位置推定を通信インフラ経由で安価に提供することが可能となるので、地理的あるいは経済的な格差を超えて多くの人々に多様なサービスを提供できるようになる。その結果、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」や目標11「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することが可能となる。

【符号の説明】

【0048】

1…位置推定装置，2…画像データベース（DB），3…モバイル端末，10…クエリ画像取得部，20…類似画像抽出部，30…クラスタリング部，40…画像群選抜部，41…向き分散計算部，50…位置計算部，60…位置決定部，61…特徴点計数部，62…偏り計算部，63…コスト差分計算部，70…位置応答部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】