特表 2024-506962 画像マッチング装置、制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-15

(54)【発明の名称】画像マッチング装置、制御方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240207BHJP

   G06V 10/40 20220101ALI20240207BHJP

【ＦＩ】

G06T7/00 300F

G06V10/40

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023549942

(86)(22)【出願日】2021-03-26

(85)【翻訳文提出日】2023-08-17

(86)【国際出願番号】 JP2021013105

(87)【国際公開番号】W WO2022201545

(87)【国際公開日】2022-09-29

(81)【指定国・地域】

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】ロドリゲス ロイストン

(72)【発明者】

【氏名】谷 真宏

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA18

5L096EA35

5L096EA39

5L096FA04

5L096GA19

5L096JA03

5L096JA11

5L096JA18

(57)【要約】

画像マッチング装置（２０００）は、地上画像（２０）と空撮画像（３０）を取得する。画像マッチング装置（２０００）は、地上画像（２０）から特徴量を抽出する。画像マッチング装置（２０００）は、空撮画像（３０）から特徴量を抽出する。画像マッチング装置（２０００）は、空撮画像（３０）から複数の部分空撮領域（３２）を抽出し、各部分空撮領域（３２）から特徴量を抽出する。画像マッチング装置（２０００）は、各部分空撮領域（３２）について、部分空撮領域（３２）の特徴量と空撮画像（３０）の特徴量とを結合して、結合空撮特徴量を算出する。画像マッチング装置（２０００）は、各部分空撮領域（３２）について、部分空撮領域（３２）の結合空撮特徴量と地上画像（２０）の特徴量とを比較することで、部分空撮領域（３２）と地上画像（２０）とがマッチするか否かを判定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも一つのプロセッサと、
命令が格納されている記憶要素と、を有し、
前記少なくとも一つのプロセッサは、前記命令を実行することにより、
地上画像と空撮画像を取得し、
前記地上画像から特徴量を抽出し、
前記空撮画像から特徴量を抽出し、
前記空撮画像から複数の部分空撮領域を抽出し、
前記複数の前記部分空撮領域のそれぞれから特徴量を抽出し、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とを結合して結合空撮特徴量を算出し、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の前記特徴量とを比較して、前記部分空撮領域と前記地上画像とがマッチするか否かを判定する、ように構成される画像マッチング装置。

【請求項2】

前記少なくとも一つのプロセッサは、前記部分空撮領域と前記地上画像とがマッチすると判定された場合、前記地上画像と前記空撮画像とがマッチすると判定するようにさらに構成される、請求項１に記載の画像マッチング装置。

【請求項3】

前記部分空撮領域と前記地上画像とがマッチするか否かの判定は、
前記部分空撮領域の前記結合空撮特徴量と前記地上画像の前記特徴量との類似度を算出することと、
前記算出した類似度が所定の閾値以上であるか否かを判定することと、を含む、請求項１又は２に記載の画像マッチング装置。

【請求項4】

前記複数の部分空撮領域の前記抽出は、複数の放射状の線を利用して、前記空撮画像を前記複数の部分空撮領域に分割することを含む、請求項１から３いずれか一項に記載の画像マッチング装置。

【請求項5】

前記複数の部分空撮領域の前記抽出は、
前記空撮画像から円形領域をクロップすることと、
前記円形領域を前記複数の部分空撮領域に分割することと、を含む、請求項１から４いずれか一項に記載の画像マッチング装置。

【請求項6】

前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とのコンカチネーションであるか、又は、
前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量との重み付き和である、請求項１から５いずれか一項に記載の画像マッチング装置。

【請求項7】

地上画像と空撮画像を取得することと、
前記地上画像から特徴量を抽出することと、
前記空撮画像から特徴量を抽出することと、
前記空撮画像から複数の部分空撮領域を抽出することと、
前記複数の前記部分空撮領域のそれぞれから特徴量を抽出することと、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とを結合して結合空撮特徴量を算出することと、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の前記特徴量とを比較して、前記部分空撮領域と前記地上画像とがマッチするか否かを判定することと、を含む、コンピュータによって実行される制御方法。

【請求項8】

前記部分空撮領域と前記地上画像とがマッチすると判定された場合、前記地上画像と前記空撮画像とがマッチすると判定すること、をさらに含む、請求項７に記載の制御方法。

【請求項9】

前記部分空撮領域と前記地上画像とがマッチするか否かの判定は、
前記部分空撮領域の前記結合空撮特徴量と前記地上画像の前記特徴との類似度を算出することと、
前記算出した類似度が所定の閾値以上であるか否かを判定することと、を含む、請求項７又は８に記載の制御方法。

【請求項10】

前記複数の部分空撮領域の前記抽出は、複数の放射状の線を利用して、前記空撮画像を前記複数の部分空撮領域に分割することを含む、請求項７から９いずれか一項に記載の制御方法。

【請求項11】

前記複数の部分空撮領域の前記抽出は、
前記空撮画像から円形領域をクロップすることと、
前記円形領域を前記複数の部分空撮領域に分割することと、を含む、請求項７から１０いずれか一項に記載の制御方法。

【請求項12】

前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とのコンカチネーションであるか、又は、
前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量との重み付き和である、請求項７から１１いずれか一項に記載の制御方法。

【請求項13】

地上画像と空撮画像を取得することと、
前記地上画像から特徴量を抽出することと、
前記空撮画像から特徴量を抽出することと、
前記空撮画像から複数の部分空撮領域を抽出することと、
前記複数の前記部分空撮領域のそれぞれから特徴量を抽出することと、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とを結合して結合空撮特徴量を算出することと、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の前記特徴量とを比較して、前記部分空撮領域と前記地上画像とがマッチするか否かを判定することと、をコンピュータに実行させるプログラムが格納されている、非一時的なコンピュータ可読記憶媒体。

【請求項14】

前記プログラムは、前記部分空撮領域と前記地上画像とがマッチすると判定された場合、前記地上画像と前記空撮画像とがマッチすると判定すること、を前記コンピュータにさらに実行させる、請求項１３に記載の記憶媒体。

【請求項15】

前記部分空撮領域と前記地上画像とがマッチするか否かの判定は、
前記部分空撮領域の前記結合空撮特徴量と前記地上画像の前記特徴との類似度を算出することと、
前記算出した類似度が所定の閾値以上であるか否かを判定することと、を含む、請求項１３又は１４に記載の記憶媒体。

【請求項16】

前記複数の部分空撮領域の前記抽出は、複数の放射状の線を利用して、前記空撮画像を前記複数の部分空撮領域に分割することを含む、請求項１３から１５いずれか一項に記載の記憶媒体。

【請求項17】

前記複数の部分空撮領域の前記抽出は、
前記空撮画像から円形領域をクロップすることと、
前記円形領域を前記複数の部分空撮領域に分割することと、を含む、請求項３から１６いずれか一項に記載の記憶媒体。

【請求項18】

前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とのコンカチネーションであるか、又は、
前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量との重み付き和である、請求項１３から１７いずれか一項に記載の記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は全体として、画像マッチング、特に、地上画像と空撮画像とのマッチングに関する。

【背景技術】

【0002】

グラウンド・トゥー・エアリアル・クロスビューマッチング（地上画像と空撮画像のマッチング）を行うコンピュータシステムが開発されている。例えば非特許文献１は、地上画像と空撮画像がマッチするか否かを判定するために、比較すべき地上画像と空撮画像から特徴量を抽出するための CNN（Convolutional Neural Network）のセットを有するシステムを開示する。

【0003】

具体的には、一つの CNN が、地上画像を取得して、それから特徴量を抽出する。もう一つの CNN は、極変換された空撮画像を取得し、それから特徴量を抽出する。さらに、そのシステムは、地上画像から抽出された特徴量と空撮画像から抽出された特徴量との相関を算出することにより、空撮画像に対する地上画像の方向に関する配置を推定する。当該方向に関する配置に基づいて、そのシステムは、地上画像に対応すると推定される空撮画像の特徴量のセクションをクロップしてシフトする。そして、地上画像の特徴量が、クロップされた空撮画像の特徴量と比較され、地上画像と空撮画像とがマッチするか否かが特定される。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Yujiao Shi、Xin Yu、Dylan Campbell、及び Hongdong Li、「Where am I looking at? Joint Location and Orientation Estimation by Cross-View Matching」、Computer Research Repository、arXiv:2005.03860、２０２０年５月８日

【発明の概要】

【発明が解決しようとする課題】

【0005】

地上画像に対応する空撮画像のセクションが、地上画像に含まれないオブジェクトを含みうる状況や、その逆の状況が存在しうる。これらの状況は、非特許文献１に開示されているシステムによって実行されるグラウンド・トゥー・エアリアル・クロスビューマッチングの精度に影響を与えると考えられる。本開示の目的は、グラウンド・トゥー・エアリアル・クロスビューマッチングの精度を向上する技術を提供することである。

【課題を解決するための手段】

【0006】

本開示の画像マッチング装置は、少なくとも一つのプロセッサと、命令が格納されている記憶要素と、を有する。前記少なくとも一つのプロセッサは、前記命令を実行することにより、地上画像と空撮画像を取得し、前記地上画像から特徴量を抽出し、前記空撮画像から特徴量を抽出し、前記空撮画像から複数の部分空撮領域を抽出し、前記複数の前記部分空撮領域のそれぞれから特徴量を抽出し、前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とを結合して結合空撮特徴量を算出し、前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の前記特徴量とを比較して、前記部分空撮特徴量と前記地上画像とがマッチするか否かを判定する、ように構成される。

【0007】

本開示の制御方法は、コンピュータによって実行される。当該制御方法は、地上画像と空撮画像を取得することと、前記地上画像から特徴量を抽出することと、前記空撮画像から特徴量を抽出することと、前記空撮画像から複数の部分空撮領域を抽出することと、前記複数の前記部分空撮領域のそれぞれから特徴量を抽出することと、前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とを結合して結合空撮特徴量を算出することと、前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の前記特徴量とを比較して、前記部分空撮特徴量と前記地上画像とがマッチするか否かを判定することと、を含む。

【0008】

本開示の非一時的なコンピュータ可読記憶媒体はプログラムを格納する。当該プログラムは、地上画像と空撮画像を取得することと、前記地上画像から特徴量を抽出することと、
前記空撮画像から特徴量を抽出することと、前記空撮画像から複数の部分空撮領域を抽出することと、前記複数の前記部分空撮領域のそれぞれから特徴量を抽出することと、前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とを結合して結合空撮特徴量を算出することと、前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の前記特徴量とを比較して、前記部分空撮特徴量と前記地上画像とがマッチするか否かを判定することと、をコンピュータに実行させる。

【発明の効果】

【0009】

本開示によれば、グラウンド・トゥー・エアリアル・クロスビューマッチングの精度を向上する技術を提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態１の画像マッチング装置の概要を表す。

【図2】図２は、地上画像が撮像された場所が、その地上画像２０に対応する空撮画像の中心に対応しないケースを表す。

【図3】図３は、画像マッチング装置の機能構成の例を表すブロック図である。

【図4】図４は、画像マッチング装置を実現するコンピュータのハードウエア構成の例を示すブロック図である。

【図5A】図５Ａは、画像マッチング装置２０００によって実行される処理の流れの例を表すフローチャートを示す。

【図5B】図５Ｂは、画像マッチング装置２０００によって実行される処理の流れの例を表すフローチャートを示す。

【図6】図６は、画像マッチング装置が含まれるジオローカライゼーションシステムを示す。

【図7】図７は、放射状の複数の線を用いて得られる部分空撮領域を表す。

【図8】図８は、空撮画像内の円形領域から部分空撮領域が抽出されるケースを表す。

【発明を実施するための形態】

【0011】

以下、本開示に係る実施形態について、図面を参照しながら説明する。複数の図を通して同じ要素には同じ符号が付され、冗長な説明は必要に応じて省略される。また、特に言及しない限り、所定の情報（例えば、所定の値や所定の閾値）は、その情報を利用するコンピュータからアクセス可能な記憶装置に予め格納される。

【0012】

実施形態１
＜概要＞
図１は、実施形態１の画像マッチング装置２０００の概要を示す。画像マッチング装置２０００は、地上画像２０と空撮画像３０との間のマッチング（いわゆるグラウンド・トゥー・エアリアル・クロスビューマッチング）を行う識別器として機能する。

【0013】

地上画像２０は、或る場所のグラウンドビューを含む画像である。例えば、地上画像２０は、歩行者によって保持されているカメラや、車に設置されているカメラから撮像される。画像マッチング装置２０００によって扱われる地上画像２０は、限られた（360°より小さい）画角を持ちうる。空撮画像３０は、或る場所の平面視が含まれる画像である。例えば、空撮画像３０は、ドローンに設置されたカメラ、飛行機に設置されたカメラ、又は人工衛星に設置されたカメラなどから撮像される。

【0014】

地上画像２０の画角が３６０度より小さい場合、地上画像２０は、空撮画像３０の全体とはマッチせずに、空撮画像３０の一部とマッチしうる。そのため、画像マッチング装置２０００は、地上画像２０と空撮画像３０とを取得し、空撮画像３０が、取得した地上画像２０とマッチする部分空撮領域３２（すなわち、空撮画像３０の一部）を含むか否かを判定する。取得した空撮画像３０が地上画像２０とマッチする部分空撮領域３２を含む場合、地上画像２０と空撮画像３０とがマッチすると判定される。一方、取得した空撮画像３０が地上画像２０とマッチする部分空撮領域３２を含まない場合、地上画像２０と空撮画像３０とがマッチしないと判定される。ここで、「地上画像と空撮画像とがマッチする」とは、地上画像に撮像されている場所が、空撮画像に撮像されている場所と十分に重複していることを意味する。同様に、「地上画像と部分空撮領域とがマッチする」とは、地上画像に撮像されている場所が、部分空撮領域に撮像されている場所と十分に重複していることを意味する。

【0015】

上述した動作を実現するために、画像マッチング装置２０００は、地上画像２０と空撮画像３０のそれぞれから特徴量を抽出する。さらに、画像マッチング装置２０００は、空撮画像３０から複数の部分空撮領域３２を抽出し、各部分空撮領域３２から特徴量を抽出する。地上画像２０、空撮画像３０、及び部分空撮領域３２から抽出された特徴量はそれぞれ、「地上特徴量」、「空撮特徴量」、及び「部分空撮特徴量」と呼ばれる。そして、画像マッチング装置２０００は、各部分空撮領域３２について、空撮特徴量とその部分空撮領域３２の部分空撮特徴量との組み合わせ（例えば、コンカチネーション）である結合空撮特徴量を算出する。

【0016】

各部分空撮領域３２について、画像マッチング装置２０００は、地上特徴量と、その部分空撮領域３２の結合空撮特徴量とを比較することにより、地上画像２０と部分空撮領域３２とがマッチするか否かを判定する。地上特徴量と部分空撮領域３２の結合空撮特徴量との類似度が十分に高い（例えば、閾値以上である）、画像マッチング装置２０００は、地上画像２０と部分空撮領域３２とがマッチすると判定する。一方で、地上特徴量と部分空撮領域３２の結合空撮特徴量との類似度が十分に高くない（例えば、閾値未満である）、画像マッチング装置２０００は、地上画像２０と部分空撮領域３２とがマッチしないと判定する。

【0017】

地上画像２０が撮像された場所において空撮画像３０も撮像されている場合、部分空撮領域３２のうちの１つは、地上画像２０とマッチすると判定されうる。そのため、地上画像２０とマッチすると判定された部分空撮領域３２がある場合、画像マッチング装置２０００は、地上画像２０と空撮画像３０とがマッチすると判定する。一方、地上画像２０とマッチすると判定された部分空撮領域３２がない場合、画像マッチング装置２０００は、地上画像２０と空撮画像３０とがマッチしないと判定する。

【0018】

＜作用効果の例＞
実施形態１の画像マッチング装置２０００によれば、結合空撮特徴量を地上特徴量と比較することにより、部分空撮領域３２の特徴量だけではなく空撮画像３０の特徴量も（言い換えれば、局所的な特徴量だけではなく全体的な特徴量も）、部分空撮領域３２と地上画像２０とがマッチするか否かの判定において考慮される。そうすることにより、グラウンド・トゥー・エアリアル・クロスビューマッチングの精度を向上させることができる（特に、地上画像２０に含まれないオブジェクトが部分空撮領域３２に含まれている場合やその逆の場合において）。

【0019】

例えば、地上画像２０が撮像された場所が、その地上画像２０に対応する空撮画像３０の中心に対応しない場合、地上画像２０に対応する部分空撮領域３２には含まれていないオブジェクトが地上画像２０に含まれたり、その逆であったりしうる。図２は、地上画像２０が撮像された場所が、その地上画像２０に対応する空撮画像３０の中心に対応しないケースを表す。バツ印５０は、空撮画像３０の中心を表す。丸印６０は、地上画像が撮像された場所を表す。矢印７０は、地上画像２０が撮像された時にカメラが向いていた方向を表す。図２の部分空撮領域３２は、地上画像２０に対応する。

【0020】

カメラがバツ印５０に対応する場所に位置する場合、地上画像２０は、道路上の点線を含まない。しかしながら、カメラが丸印６０に対応する場所に位置するため、実際の地上画像２０は点線を含んでいる。この点線は、地上画像２０から抽出される地上特徴量には含まれうるが、部分空撮領域３２から抽出される部分空撮特徴量には含まれ得ない。このことは、これらに十分な差異を生じさせうる。

【0021】

この問題に関し、画像マッチング装置２０００は空撮画像３０の特徴量も抽出し、その特徴量は部分空撮特徴量には含まれない点線の特徴量を含みうる。そのため、結合空撮特徴量は点線の特徴量を含みうる。結果として、部分空撮領域３２の結合空撮特徴量が地上特徴量と十分に類似するようになるため、地上画像２０と空撮画像３０とがマッチすると判定される。

【0022】

その他にも例えば、平面視では他の物体に隠されうる物体が地上視では隠されなかったり、その逆もありうる。例えば、平面視において道路の一部を覆う木が存在し、部分空撮領域３２にその道路が含まれないとする。一方、その部分空撮領域３２に対応する地上画像２０が、木だけでなく道路も含むとする。

【0023】

この場合、地上特徴量は道路の特徴を含みうる一方で、部分空撮特徴量はそれを含むことがない。そのため、それらの間には十分な差異がありうる。

【0024】

この問題に関し、画像マッチング装置２０００は、空撮画像３０の特徴量も抽出し、その特徴量は、部分空撮特徴量には含まれないその道路も含みうる。そのため、結合空撮特徴量は、その道路の特徴量も含みうる。よって、結合空撮特徴量が地上特徴量と十分に類似し、地上画像２０と部分空撮領域３２とがマッチすると判定される。

【0025】

以下、画像マッチング装置２０００のより詳細な説明が記載される。

【0026】

＜機能構成の例＞
図３は、画像マッチング装置２０００の機能構成の例を表すブロック図である。画像マッチング装置２０００は、取得部２０２０、地上特徴量抽出部２０４０、部分空撮領域抽出部２０６０、空撮特徴量抽出部２０８０、部分空撮特徴量抽出部２１００、特徴量結合部２１２０、及び判定部２１４０を有する。

【0027】

取得部２０２０は、グラウンド・トゥー・エアリアル・クロスビューマッチングの実行対象である地上画像２０及び空撮画像３０を取得する。地上特徴量抽出部２０４０は、地上画像２０の地上特徴量を算出する。部分空撮領域抽出部２０６０は、空撮画像３０から複数の部分空撮領域３２を抽出する。空撮特徴量抽出部２０８０は、空撮画像３０の空撮特徴量を算出する。部分空撮特徴量抽出部２１００は、各部分空撮領域３２の部分空撮特徴量を算出する。特徴量結合部２１２０は、各部分空撮領域３２についてその部分空撮領域３２の部分空撮特徴量と空撮画像３０の空撮特徴量とを結合することにより、各部分空撮領域３２について結合空撮特徴量を算出する。判定部２１４０は、各部分空撮領域３２について、地上画像２０の地上特徴量とその部分空撮領域３２の結合空撮特徴量とを比較することにより、その部分空撮領域３２と地上画像２０とがマッチするか否かを判定する。

【0028】

＜ハードウエア構成の例＞
画像マッチング装置２０００は、１つ以上のコンピュータで実現されうる。それら１つ以上のコンピュータのそれぞれは、画像マッチング装置２０００を実現するために作成された専用のコンピュータであってもよいし、パーソナルコンピュータ（PC: Personal Computer）、サーバマシン又はモバイルデバイスなどの汎用のコンピュータであってもよい。

【0029】

画像マッチング装置２０００は、コンピュータにアプリケーションをインストールすることで実現されうる。そのアプリケーションは、コンピュータを画像マッチング装置２０００として機能させるプログラムで実現される。言い換えれば、そのプログラムは、画像マッチング装置２０００の機能構成部を実装したものである。

【0030】

図４は、画像マッチング装置２０００を実現するコンピュータ１０００のハードウエア構成の例を示すブロック図である。図４において、コンピュータ１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。

【0031】

バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が相互にデータの送信及び受信をするためのデータ通信路である。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などといったプロセッサである。メモリ１０６０は、RAM（Random Access Memory）又は ROM（Read Only Memory）などの主記憶要素である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、又はメモリカードなどの補助記憶要素である。入出力インタフェース１１００は、コンピュータ１０００と周辺デバイス（キーボード、マウス、又はディスプレイデバイスなど）との間のインタフェースである。ネットワークインタフェース１１２０は、コンピュータ１０００とネットワークとの間のインタフェースである。ネットワークは、LAN（Local Area Network）でもよいし、WAN（Wide Area Network）でもよい。ストレージデバイス１０８０は、前述したプログラムを格納しうる。ＣＰＵ１０４０は、そのプログラムを実行することで、画像マッチング装置２０００の各機能構成部を実現する。

【0032】

コンピュータ１０００のハードウエア構成は、図４に示される構成に限定されない。例えば、前述したように、画像マッチング装置２０００は複数のコンピュータで実現されうる。この場合、それらのコンピュータは、ネットワークを介して互いに接続されうる。

【0033】

＜処理の流れ＞
図５Ａ及び５Ｂは、画像マッチング装置２０００によって実行される処理の流れの例を表すフローチャートを示す。取得部２０２０は、地上画像２０及び空撮画像を取得する（Ｓ１０２）。地上特徴量抽出部２０４０は、地上画像１０の地上特徴量を算出する（Ｓ１０４）。部分空撮領域抽出部２０６０は、空撮画像３０の空撮特徴量を算出する（Ｓ１０６）。部分空撮領域抽出部２０８０は、空撮画像３０から複数の部分空撮領域３２を抽出する（Ｓ１０８）。

【0034】

ステップＳ１１０からＳ１２０は、各部分空撮領域３２について実行されるループ処理Ｌ１を構成する。ステップＳ１１０において、画像マッチング装置２０００は、まだループ処理Ｌ１が実行されていない部分空撮領域３２が１つ以上存在するか否かを判定する。まだループ処理Ｌ１が実行されていない部分空撮領域３２が１つも無い（すなわち、全ての部分空撮領域３２について既にループ処理Ｌ１が実行されている）場合、ループ処理Ｌ１は終了する。一方、まだループ処理Ｌ１が実行されていない部分空撮領域３２が１つ以上ある場合、画像マッチング装置２０００は、まだループ処理Ｌ１が実行されていない部分空撮領域３２のうちの１つを選択する。以下、ここで選択される部分空撮領域３２は、部分空撮領域ｉと表記される。

【0035】

部分空撮領域ｉを選択した後、部分空撮特徴量抽出部２１００は、部分空撮領域ｉの部分空撮特徴量を算出する（Ｓ１１２）。特徴量結合部２１２０は、Ｓ１０５で算出された空撮特徴量と、Ｓ１１２で算出された部分空撮領域ｉの部分空撮特徴量とを結合することで、部分空撮領域ｉについての結合空撮特徴量を算出する（Ｓ１１４）。

【0036】

判定部２１４０は、ステップＳ１１０で算出された地上特徴量と、Ｓ１１４で算出された結合空撮特徴量とを比較することにより、地上画像２０と部分空撮領域ｉとがマッチするか否かを判定する（Ｓ１１６）。地上画像２０と部分空撮領域ｉとがマッチすると判定された場合（Ｓ１１６：ＹＥＳ）、判定部２１４０は、地上画像２０と空撮画像３０とがマッチすると判定する（Ｓ１１８）。そして、図５のフローは終了する。一方、地上画像２０と部分空撮領域ｉとがマッチしないと判定された場合（Ｓ１１６：ＮＯ）、ループ処理Ｌ１の現在のイテレーションは終了し（Ｓ１２０）、Ｓ１１０が再度実行される。

【0037】

地上画像２０とマッチすると判定された部分空撮領域３２が一つも無い場合、ステップＳ１２２が実行される。地上画像２０とマッチすると判定された部分空撮領域３２が一つも無いため、判定部２１４０は、地上画像２０と空撮画像３０とがマッチしないと判定する（Ｓ１２２）。

【0038】

図５に示される処理は、画像マッチング装置２０００によって実行される動作の流れの単なる一例であり、動作の流れは図５に示されるものに限定されない。例えば画像マッチング装置２０００は、地上画像２０と部分空撮領域３２とがマッチするか否かの判定を、ループ処理Ｌ１の各イテレーションで実行する必要はない。そうする代わりに、画像マッチング装置２０００は、地上特徴量と結合空撮特徴量との類似度を、ループ処理Ｌ１の各イテレーションにおいて算出し、地上特徴量との類似度が最大である結合空撮特徴量を特定してもよい。そして、画像マッチング装置２０００は、地上画像２０と、地上特徴量との類似度が最大であると特定された結合空撮特徴量を持つ部分空撮領域３２とがマッチすると判定する。

【0039】

＜画像マッチング装置２０００のアプリケーションの例＞
画像マッチング装置２０００のアプリケーションには様々なものがある。例えば画像マッチング装置２０００は、画像ジオローカライゼーションを行うシステム（以下、ジオローカライゼーションシステム）の一部として利用することができる。画像ジオローカライゼーションは、入力された画像の撮像場所を特定する技術である。ここで、ジオローカライゼーションシステムはあくまで、画像マッチング装置２０００のアプリケーションの一例であり、画像マッチング装置２０００のアプリケーションは、ジオローカライゼーションシステムの中で利用されるものに限定されない。

【0040】

図６は、画像マッチング装置２０００が含まれるジオローカライゼーションシステム２００を示す。ジオローカライゼーションシステム２００は、画像マッチング装置２０００及び位置データベース３００を含む。位置データベース３００は、それぞれに位置情報が付加された複数の空撮画像を含む。位置情報の例は、対応する空撮画像の撮像場所の GPS（Global Positioning System）座標でありうる。

【0041】

ジオローカライゼーションシステム２００は、クライアント（例えばユーザ端末）から地上画像を含むクエリを受信し、受信したクエリに含まれる地上画像とマッチする空撮画像を位置データベース３０から探索し、これによって地上画像の撮像場所を特定する。具体的には、クエリに含まれる地上画像にマッチする空撮画像が検出されるまで、ジオローカライゼーションシステム２００は、「位置データベース３００から空撮画像を１つ取得し、地上画像と取得した空撮画像を画像マッチング装置２０００に入力し、画像マッチング装置２０００からの出力が、地上画像と空撮画像とがマッチすることを示しているか否かを判定する。」という処理を繰り返す。こうすることで、ジオローカライゼーションシステム２００は、地上画像の撮像場所が含まれる空撮画像を見つけることができる。検出された空撮画像が GPS 座標などの位置情報に対応づけられているため、ジオローカライゼーションシステム２００は、地上画像の撮像場所が、地上画像にマッチする空撮画像に対応づけられている位置情報によって示されている場所であると認識できる。

【0042】

なお、ジオローカライゼーションシステム２００は、１つ以上の、図４に示されているコンピュータなどによって実装されうる。

【0043】

＜画像の取得：Ｓ１０２＞
取得部２０２０は、地上画像２０及び空撮画像３０を取得する（Ｓ１０２）。これらの画像を取得する方法は様々である。例えば取得部２０２０は、他のコンピュータから送信された、地上画像２０と空撮画像３０のセットを受信しうる。その他にも例えば、取得部２０２０は、アクセス可能な記憶装置から、地上画像２０と空撮画像３０のセットを取り出しうる。

【0044】

その他にも例えば、図６に示されているように、取得部２０２０は、他のコンピュータから送信された地上画像２０を受信し、その地上画像２０とマッチする空撮画像を探索してもよい。この場合、地上画像３０とマッチする空撮画像３０が見つかるまで、又は、地上画像２０とマッチする空撮画像３０がないと判定されるまで、取得部２０２０は、記憶装置から繰り返し空撮画像３０を取得する。同様に、取得部２０２０は、他の装置から送信された空撮画像３０を受信し、その空撮画像３０にマッチする地上画像２０を探索してもよい。

【0045】

＜地上画像からの特徴量抽出：Ｓ１０４＞
地上特徴量抽出部２０４０は、地上画像２０の地上特徴量を算出する（Ｓ１０４）。地上画像２０の地上特徴量は、地上画像２０から抽出される特徴量である。画像から特徴量を抽出する方法は様々であり、そのうちの任意の方法が、地上特徴量抽出部２０４０を構成するために採用されうる。例えば地上特徴量抽出部２０４０は、ニューラルネットワークなどといった機械学習ベースのモデルで実現されうる。より具体的には、畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）の特徴抽出層を採用して、地上特徴量抽出部２０４０を構成しうる。

【0046】

＜部分空撮領域３２の抽出：Ｓ１０８＞
空撮特徴量抽出部２０８０は、空撮画像３０から複数の部分空撮領域３２を抽出する（Ｓ１０８）。空撮画像３０から部分空撮領域３２を抽出する方法は様々である。例えば空撮特徴量抽出部２０８０は、放射状の複数の線を用いて、空撮画像３０を複数の部分空撮領域３２に分割する。図７は、放射状の複数の線を用いて得られる部分空撮領域を表す。図７において、空撮画像３０の中心が原点として設定され、放射状の複数の線が空撮画像３０の中心から描かれている。さらに、互いに隣接する２つの放射状の線が成す角度の大きさは、４５°である。そのため、空撮画像３０から、８つの部分空撮領域３２－１から３２－８が抽出される。

【0047】

隣接する放射状の線が成す角度の大きさは、予め定められていてもよいし、画像マッチング装置２０００のユーザによって指定されてもよいし、地上画像２０の画角の大きさに基づいて決定されてもよい。隣接する放射状の線が成す角度の大きさは、地上画像２０の画角と同じサイズに設定されることが好ましい。例えば、地上画像２０の画角の大きさが４５°である場合、隣接する２つの放射状の線が成す角度の大きさは４５°に設定されることが好ましい。

【0048】

地上画像２０の画角の大きさを把握する方法は様々である。例えば画角の大きさは、地上画像２０のメタデータで示されている。この場合、画像マッチング装置２０００は、地上画像２０のメタデータを読み取ることで地上画像２０の画角の大きさを把握し、その把握されたサイズを、２つの放射状の線が成す角の大きさとして利用する。その他にも例えば、画像マッチング装置２０００は、地上画像２０の画角の大きさを表す情報を取得しうる。

【0049】

部分空撮領域抽出部２０８０は、２つの隣接する放射状の線が成す角度として、複数の大きさを利用しうる。例えば、２つの隣接する放射状の線が成す角度として、４５°と６０°が利用されるとする。この場合、例えば部分空撮領域抽出部２０８０は、最初に、２つの隣接する放射状の線が成す角を４５°に設定して、８つの部分空撮領域３２を抽出する。次に、部分空撮領域抽出部２０８０は、２つの隣接する放射状の線が成す角を６０°に設定して、６つの部分空撮領域３２を抽出する。それにより、部分空撮領域抽出部２０８０は、合計１４個の部分空撮領域３２を得る。この方法を採用することで、画像マッチング装置２０００は、地上画像２０の画角に関する知識を持たずに、地上画像２０とマッチする部分空撮領域３２を見つけうる。

【0050】

部分空撮領域抽出部２０８０は、部分空撮領域３２が、１つ以上の部分空撮領域３２の一部と重複する態様で、部分空撮領域３２を抽出してもよい。この場合、例えば部分空撮領域抽出部２０８０は、スライディングウインドウ法を利用して、空撮画像３０から部分空撮領域３２を抽出するための放射状の線を定義する。以下、空撮画像３０から部分空撮領域３２を抽出するための２つの放射状の線はそれぞれ、「第１放射状線」と「第２放射状線」と呼ばれる。ここで、第１放射状線とｘ軸が成す角度は、第２放射状線とｘ軸が成す角度よりも小さい。

【0051】

この場合、各部分空撮領域３２について、部分空撮領域抽出部２０８０は、以下のように第１放射状線と第２放射状線を定めうる。

【数1】

式（１）において、α[i] は、ｉ番目の部分空撮領域３２を定める第１放射状線とｘ軸とが成す角の大きさを表す。βは、ｉ番目の部分空撮領域３２を定める第２放射状線とｘ軸とが成す角の大きさを表す。ｓは、スライディングウインドウのストライドの大きさ（すなわち、２つの連接する部分空撮領域３２の間の角度）を表す。ｗは、スライディングウインドウの大きさ（すなわち、第１放射状線と第２放射状線とが成す角度）を表す。

【0052】

空撮画像３０の全体から部分空撮領域３２を抽出する代わりに、部分空撮領域抽出部２０８０は、空撮画像３０の一部から部分空撮領域３２を抽出してもよい。例えば部分空撮領域抽出部２０８０は、空撮画像３０から円形領域をクロップし、放射状の線を利用して、当該円形領域から複数の部分空撮領域３２を抽出する。そうすることにより、互いに同一のサイズかつ同一の形状を持つ複数の部分空撮領域３２を得ることができる。図８は、空撮画像３０内の円形領域から部分空撮領域３２が抽出されるケースを表す。図８において、円形領域３４は、空撮画像３０上に描かれた円であり、その中心は空撮画像３０の中心である。

【0053】

＜空撮画像３０の特徴量抽出：Ｓ１０６，Ｓ１１２、Ｓ１１４＞
画像マッチング装置２０００は、各部分空撮領域３２について、結合空撮特徴量を算出する。部分空撮領域３２の結合空撮特徴量は、空撮画像３０の空撮特徴量と、部分空撮領域３２の部分空撮特徴量とが結合されたものである。

【0054】

空撮画像３０の空撮特徴量の算出については、地上画像２０の地上特徴量の算出と同様に、画像から特徴量を抽出する種々の方法のうちの任意の１つを採用することができる。例えば空撮特徴量抽出部２０６０は、ニューラルネットワークなどの機械学習ベースのモデルによって実現されうる。より具体的には、CNN の特徴抽出層を採用して、空撮特徴量抽出部２０６０を構成しうる。

【0055】

部分空撮領域３２の部分空撮特徴量の算出は、地上特徴量の算出や空撮特徴量の算出と同様の態様で実現されうる。具体的には、画像から特徴量を抽出する種々の方法のうちの任意の一つを採用することができる。例えば部分空撮特徴量抽出部２１００は、ニューラルネットワークなどの機械学習ベースのモデルによって実現されうる。より具体的には、CNN の特徴抽出層を採用して、空撮特徴量抽出部２０６０を構成しうる。

【0056】

ここで、部分空撮特徴量抽出部２１００は、部分空撮領域３２を、その第１放射状線がｘ軸と平行になる様に回転してもよい。この場合、部分空撮特徴量抽出部２１００は、部分空撮領域３２を時計回りに４５°回転させうる。

【0057】

この場合、空撮画像３０は、部分空撮領域３２と同じ角度だけ回転されうる。この場合、部分空撮領域３２ごとに異なる空撮特徴量が算出される。例えば、その第１放射状線がｘ軸と４５°の角度を成す部分空撮領域 R1 と、その第１放射状線がｘ軸と６０°の角度を成す部分空撮領域 R2 とが存在するとする。部分空撮領域 R1 について結合空撮特徴量を算出する場合、空撮画像３０と部分空撮領域 R1 は、それらの特徴量を算出する前に、時計回りに４５°回転されうる。一方、部分空撮領域 R2 について結合空撮特徴量を算出する場合、空撮画像３０と部分空撮領域 R2 は、それらの特徴量を算出する前に、時計回りに６０°回転されうる。

【0058】

部分空撮領域３２から部分空撮特徴量を得て、かつ、空撮画像３０から空撮特徴量を得た後、特徴量結合部２１２０は、これらを結合して、結合空撮特徴量にする。２セットの特徴量を１セットの特徴量に結合する方法は様々である。例えば特徴量結合部２１２０は、部分空撮特徴量と空撮特徴量をコンカチネートし、このコンカチネーションを結合空撮特徴量として利用する。この場合、空撮特徴量と部分空撮特徴量は、それらのサイズの和が地上特徴量のサイズと一致するように構成される。

【0059】

例えば地上特徴量抽出部２０４０、空撮特徴量抽出部２０６０、及び部分空撮特徴量抽出部２１００が、ニューラルネットワークによって実現されるとする。この場合、これらは、地上特徴量抽出部２０４０の出力層のサイズが、空撮特徴量抽出部２０６０の出力層のサイズと部分空撮特徴量抽出部２１００の出力層のサイズとの和と一致するように構成される。

【0060】

その他にも例えば、特徴量結合部２１２０は、部分空撮特徴量と空撮特徴量との重み付き和を算出し、この重み付き和を結合空撮特徴量として利用する。この場合、空撮特徴量のサイズと部分空撮特徴量のサイズが、互いに一致し、かつ、地上特徴量のサイズと一致する態様で、空撮特徴量と部分空撮特徴量が構成される。例えば地上特徴量抽出部２０４０、空撮特徴量抽出部２０６０、及び部分空撮特徴量抽出部２１００が、ニューラルネットワークによって実現されるとする。この場合、これらは、各部の出力層のサイズが互いに一致する態様で構成される。

【0061】

部分空撮特徴量と空撮特徴量との重み付き和は、ニューラルネットワークを用いて算出されうる。このニューラルネットワークは、空撮特徴量と部分空撮特徴量とが入力され、かつ、それらの重み付き和を出力するように構成される。重みは、ニューラルネットワークの訓練によって決定することができる。

【0062】

＜地上画像と部分空撮画像とのマッチング：Ｓ１１６＞
判定部２１４０は、地上特徴量と部分空撮領域３２の結合空撮特徴量とを比較することにより、地上画像２０と部分空撮領域３２とがマッチするか否かを判定する（Ｓ１１６）。当該比較のために、例えば判定部２１４０は、地上画像２０と部分空撮領域３２との類似度合いを示す類似スコアを算出する。

【0063】

類似スコアの算出には種々のメトリクスを利用できる。例えば類似スコアは、種々の距離のうちの１つ（例えば、L2 距離）、相関、コサイン類似度、又はニューラルネットワーク（NN）ベースの類似度として算出されうる。NN ベースの類似度は、２つの入力データ（この場合、地上特徴量と結合空撮特徴量）の類似度を算出するように訓練されたニューラルネットワークによって算出される類似度である。

【0064】

判定部２１４０は、類似スコアに基づいて、地上画像２０と部分空撮領域３２とがマッチするか否かを判定する。概念的には、地上画像２０と部分空撮領域３２との類似度が高いほど、地上画像２０と部分空撮領域３２とがマッチする蓋然性が高い。そこで例えば、判定部２１４０は、類似スコアが所定の閾値以上であるか否かを判定する。類似スコアが所定の閾値以上である場合、判定部２１４０は、地上画像２０と空撮画像３０とがマッチすると判定する。一方、類似スコアが所定の閾値未満である場合、判定部２１４０は、地上画像２０と空撮画像３０とがマッチしないと判定する。

【0065】

ここで、上述したケースにおいて、類似スコアは、地上特徴量と結合空撮特徴量との類似度合いが大きいほど、その値が大きくなると仮定されている。そのため、地上特徴量と結合空撮特徴量との類似度合いが高いほど、地上特徴量と部分空撮特徴量とについて算出される値が小さくなるメトリクス（例えば距離）が利用される場合、類似スコアは、地上特徴量と結合空撮特徴量とについて算出された値（例えば、地上特徴量と結合空撮特徴量の距離）の逆数として定義されうる。

【0066】

その他にも例えば、地上特徴量と結合空撮特徴量の類似度が高いほど類似スコアが小さくなる場合、判定部２１４０は、類似スコアが所定の閾値以下であるか否かを判定する。類似スコアが所定の閾値以下である場合、判定部２１４０は、地上画像２０と部分空撮領域３２とがマッチするか否かを判定する。一方、類似スコアが所定の閾値より大きい場合、判定部２１４０は、地上画像２０と部分空撮領域３２とがマッチしないと判定する。

【0067】

＜画像マッチング装置２０００からの出力＞
画像マッチング装置２０００は、判定結果を表す情報（以下、出力情報）を出力しうる。例えば出力情報は、地上画像２０と空撮画像３０とがマッチするか否かを示しうる。地上画像２０と空撮画像３０とがマッチする場合、出力情報は、地上画像２０とマッチすると判定された部分空撮領域３２を特定する情報をさらに含みうる。部分空撮領域３２は、例えば、その画像データ、又は、第１放射状線とｘ軸とが成す角度及び第２放射状線とｘ軸とが成す角度のセットによって特定されうる。さらに、出力情報は地上画像２０の画角の大きさを含みうる。

【0068】

出力情報を出力する方法は様々である。例えば画像マッチング装置２０００は、出力情報を記憶装置に格納しうる。その他にも例えば、画像マッチング装置２０００は、出力情報の内容がディスプレイ装置に表示されるように、出力情報をディスプレイ装置に出力しうる。その他にも例えば、画像マッチング装置２０００は、他のコンピュータ（例えば、図６に示されるジオローカライゼーションシステム２００に含まれるもの）に対して出力情報を出力しうる。

【0069】

＜モデルの訓練＞
画像マッチング装置２０００は、ニューラルネットワークなどのように、機械学習ベースのモデルを１つ以上含みうる。例えば前述したように、地上特徴量抽出部２０４０、空撮特徴量抽出部２０６０、部分空撮特徴量抽出部２１００、及び特徴量結合部２１２０は、ニューラルネットワーク（例えば、CNN の特徴抽出層）として実装されうる。画像マッチング装置２０００が機械学習ベースのモデルを用いて実装される場合、それらのモデルは、訓練データセットを利用して予め訓練されている必要がある。例えば、モデルの訓練を行うコンピュータ（以下、訓練装置）は、訓練データセットを利用してトリプレットロス（triplet loss）を算出し、そのトリプレットロスに基づいて、モデルの訓練可能なパラメータを更新しうる。この場合、訓練データセットは、地上画像、空撮画像、地上画像とマッチする正例の部分空撮領域、及び地上画像とマッチしない負例の部分空撮領域を含みうる。地上画像、正例の部分空撮領域、及び負例の部分空撮領域はそれぞれ、アンカーの入力、正例の入力、及び負例の入力として利用される。

【0070】

具体的には、例えば訓練装置は、地上画像を地上特徴量抽出部２０４０に入力して地上特徴量を取得し、空撮画像を空撮特徴量抽出部２０６０に入力して空撮特徴量を取得し、正例の部分空撮領域を部分空撮特徴量抽出部２１００に入力して正例に対応する部分空撮特徴量を取得し、かつ、負例の部分空撮領域を部分空撮特徴量抽出部２１００に入力して負例に対応する部分空撮特徴量を取得する。そして、空撮特徴量と、正例に対応する部分空撮特徴量とが特徴量結合部２１２０に入力されて、正例に対応する結合空撮特徴量が得られる。同様に、空撮特徴量と、負例に対応する部分空撮特徴量が特徴量結合部２１２０に入力されて、負例に対応する結合空撮特徴量が得られる。

【0071】

次に、訓練装置は、地上特徴量、正例に対応する結合空撮特徴量、及び負例に対応する結合空撮特徴量に基づいて、トリプレットロスを算出する。そして、訓練装置は、得られたトリプレットロスに基づいて、モデルの訓練可能なパラメータを更新する。ここで、１つ以上の機械学習モデルからの出力に基づいて算出されたトリプレットロスに基づいて、それら１つ以上の機械学習モデルの訓練可能なパラメータを更新する種々の既存の手法が存在し、訓練装置において、それらのうちの任意の１つを採用することができる。さらに、トリプレットロスはモデルの訓練に利用できるロスの単なる一例であり、他の任意の種類のロスをモデルの訓練に利用しうる。

【0072】

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、CD-ROM、CD-R、CD-R/W、半導体メモリ（例えば、マスク ROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0073】

実施形態を参照して本開示について説明されているが、本開示は上述した実施形態に限定されない。発明の範囲内で、当業者が理解できる種々の変形を本開示の構成や詳細に対して行うことができる。

【0074】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
＜付記＞
（付記１）
少なくとも一つのプロセッサ、
命令が格納されている記憶要素を有し、
前記少なくとも一つのプロセッサは、前記命令を実行することにより、
地上画像と空撮画像を取得し、
前記地上画像から特徴量を抽出し、
前記空撮画像から特徴量を抽出し、
前記空撮画像から複数の部分空撮領域を抽出し、
前記複数の前記部分空撮領域のそれぞれから特徴量を抽出し、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とを結合して結合空撮特徴量を算出し、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の前記特徴量とを比較して、前記部分空撮領域と前記地上画像とがマッチするか否かを判定する、ように構成される画像マッチング装置。
（付記２）
前記少なくとも一つのプロセッサは、前記部分空撮領域と前記地上画像とがマッチすると判定された場合、前記地上画像と前記空撮画像とがマッチすると判定するようにさらに構成される、付記１に記載の画像マッチング装置。
（付記３）
前記部分空撮領域と前記地上画像とがマッチするか否かの判定は、
前記部分空撮領域の前記結合空撮特徴量と前記地上画像の前記特徴量との類似度を算出することと、
前記算出した類似度が所定の閾値以上であるか否かを判定することと、を含む、付記１又は２に記載の画像マッチング装置。
（付記４）
前記複数の部分空撮領域の前記抽出は、複数の放射状の線を利用して、前記空撮画像を前記複数の部分空撮領域に分割することを含む、付記１から３いずれか一項に記載の画像マッチング装置。
（付記５）
前記複数の部分空撮領域の前記抽出は、
前記空撮画像から円形領域をクロップすることと、
前記円形領域を前記複数の部分空撮領域に分割することと、を含む、付記１から４いずれか一項に記載の画像マッチング装置。
（付記６）
前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とのコンカチネーションであるか、又は、
前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量との重み付き和である、付記１から５いずれか一項に記載の画像マッチング装置。
（付記７）
地上画像と空撮画像を取得することと、
前記地上画像から特徴量を抽出することと、
前記空撮画像から特徴量を抽出することと、
前記空撮画像から複数の部分空撮領域を抽出することと、
前記複数の前記部分空撮領域のそれぞれから特徴量を抽出することと、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とを結合して結合空撮特徴量を算出することと、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の前記特徴量とを比較して、前記部分空撮領域と前記地上画像とがマッチするか否かを判定することと、を含む、コンピュータによって実行される制御方法。
（付記８）
前記部分空撮領域と前記地上画像とがマッチすると判定された場合、前記地上画像と前記空撮画像とがマッチすると判定すること、をさらに含む、付記７に記載の制御方法。
（付記９）
前記部分空撮領域と前記地上画像とがマッチするか否かの判定は、
前記部分空撮領域の前記結合空撮特徴量と前記地上画像の前記特徴との類似度を算出することと、
前記算出した類似度が所定の閾値以上であるか否かを判定することと、を含む、付記７又は８に記載の制御方法。
（付記１０）
前記複数の部分空撮領域の前記抽出は、複数の放射状の線を利用して、前記空撮画像を前記複数の部分空撮領域に分割することを含む、付記７から９いずれか一項に記載の制御方法。
（付記１１）
前記複数の部分空撮領域の前記抽出は、
前記空撮画像から円形領域をクロップすることと、
前記円形領域を前記複数の部分空撮領域に分割することと、を含む、付記７から１０いずれか一項に記載の制御方法。
（付記１２）
前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とのコンカチネーションであるか、又は、
前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量との重み付き和である、付記７から１１いずれか一項に記載の制御方法。
（付記１３）
地上画像と空撮画像を取得することと、
前記地上画像から特徴量を抽出することと、
前記空撮画像から特徴量を抽出することと、
前記空撮画像から複数の部分空撮領域を抽出することと、
前記複数の前記部分空撮領域のそれぞれから特徴量を抽出することと、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とを結合して結合空撮特徴量を算出することと、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の前記特徴量とを比較して、前記部分空撮領域と前記地上画像とがマッチするか否かを判定することと、をコンピュータに実行させるプログラムが格納されている、非一時的なコンピュータ可読記憶媒体。
（付記１４）
前記プログラムは、前記部分空撮領域と前記地上画像とがマッチすると判定された場合、前記地上画像と前記空撮画像とがマッチすると判定すること、を前記コンピュータにさらに実行させる、付記１３に記載の記憶媒体。
（付記１５）
前記部分空撮領域と前記地上画像とがマッチするか否かの判定は、
前記部分空撮領域の前記結合空撮特徴量と前記地上画像の前記特徴との類似度を算出することと、
前記算出した類似度が所定の閾値以上であるか否かを判定することと、を含む、付記１３又は１４に記載の記憶媒体。
（付記１６）
前記複数の部分空撮領域の前記抽出は、複数の放射状の線を利用して、前記空撮画像を前記複数の部分空撮領域に分割することを含む、付記１３から１５いずれか一項に記載の記憶媒体。
（付記１７）
前記複数の部分空撮領域の前記抽出は、
前記空撮画像から円形領域をクロップすることと、
前記円形領域を前記複数の部分空撮領域に分割することと、を含む、付記３から１６いずれか一項に記載の記憶媒体。
（付記１８）
前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とのコンカチネーションであるか、又は、
前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量との重み付き和である、付記１３から１７いずれか一項に記載の記憶媒体。

【符号の説明】

【0075】

２０ 地上画像
３０ 空撮画像
３２ 部分空撮領域
３４ 円形領域
５０ バツ印
６０ 丸印
７０ 矢印
２００ ジオローカライゼーションシステム
３００ 位置データベース
１０００ コンピュータ
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 画像マッチング装置
２０２０ 取得部
２０４０ 地上特徴量抽出部
２０６０ 空撮特徴量抽出部
２０８０ 部分空撮領域抽出部
２１００ 部分空撮特徴量抽出部
２１２０ 特徴量結合部
２１４０ 判定部

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2023-08-17

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

地上画像と空撮画像を取得する取得手段と、
前記地上画像から特徴量を抽出する地上特徴抽出手段と、
前記空撮画像から特徴量を抽出する空撮特徴量抽出手段と、
前記空撮画像から複数の部分空撮領域を抽出する部分空撮領域抽出手段と、
複数の前記部分空撮領域のそれぞれから特徴量を抽出する部分空撮特徴量抽出手段と、
複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の特徴量と前記空撮画像の特徴量とを結合して結合空撮特徴量を算出する特徴量結合手段と、
複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の前記特徴量とを比較して、前記部分空撮領域と前記地上画像とがマッチするか否かを判定する判定手段と、を有する画像マッチング装置。

【請求項2】

前記判定手段は、前記部分空撮領域と前記地上画像とがマッチすると判定された場合、前記地上画像と前記空撮画像とがマッチすると判定する、請求項１に記載の画像マッチング装置。

【請求項3】

前記部分空撮領域と前記地上画像とがマッチするか否かの判定は、
前記部分空撮領域の前記結合空撮特徴量と前記地上画像の特徴量との類似度を算出することと、
前記算出した類似度が所定の閾値以上であるか否かを判定することと、を含む、請求項１又は２に記載の画像マッチング装置。

【請求項4】

複数の前記部分空撮領域の前記抽出は、複数の放射状の線を利用して、前記空撮画像を複数の前記部分空撮領域に分割することを含む、請求項１から３いずれか一項に記載の画像マッチング装置。

【請求項5】

複数の前記部分空撮領域の前記抽出は、
前記空撮画像から円形領域をクロップすることと、
前記円形領域を複数の前記部分空撮領域に分割することと、を含む、請求項１から４いずれか一項に記載の画像マッチング装置。

【請求項6】

前記結合空撮特徴量は、前記部分空撮領域の特徴量と前記空撮画像の特徴量とのコンカチネーションであるか、又は、
前記結合空撮特徴量は、前記部分空撮領域の特徴量と前記空撮画像の特徴量との重み付き和である、請求項１から５いずれか一項に記載の画像マッチング装置。

【請求項7】

地上画像と空撮画像を取得することと、
前記地上画像から特徴量を抽出することと、
前記空撮画像から特徴量を抽出することと、
前記空撮画像から複数の部分空撮領域を抽出することと、
複数の前記部分空撮領域のそれぞれから特徴量を抽出することと、
複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の特徴量と前記空撮画像の特徴量とを結合して結合空撮特徴量を算出することと、
複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の特徴量とを比較して、前記部分空撮領域と前記地上画像とがマッチするか否かを判定することと、を含む、コンピュータによって実行される制御方法。

【請求項8】

前記部分空撮領域と前記地上画像とがマッチすると判定された場合、前記地上画像と前記空撮画像とがマッチすると判定すること、をさらに含む、請求項７に記載の制御方法。

【請求項9】

地上画像と空撮画像を取得することと、
前記地上画像から特徴量を抽出することと、
前記空撮画像から特徴量を抽出することと、
前記空撮画像から複数の部分空撮領域を抽出することと、
複数の前記部分空撮領域のそれぞれから特徴量を抽出することと、
複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の特徴量と前記空撮画像の前記特徴量とを結合して結合空撮特徴量を算出することと、
複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の特徴量とを比較して、前記部分空撮領域と前記地上画像とがマッチするか否かを判定することと、をコンピュータに実行させるプログラム。

【請求項10】

前記プログラムは、前記部分空撮領域と前記地上画像とがマッチすると判定された場合、前記地上画像と前記空撮画像とがマッチすると判定すること、を前記コンピュータにさらに実行させる、請求項９に記載のプログラム。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００１６

【補正方法】変更

【補正の内容】

【0016】

各部分空撮領域３２について、画像マッチング装置２０００は、地上特徴量と、その部分空撮領域３２の結合空撮特徴量とを比較することにより、地上画像２０と部分空撮領域３２とがマッチするか否かを判定する。地上特徴量と部分空撮領域３２の結合空撮特徴量との類似度が十分に高い（例えば、閾値以上である）場合、画像マッチング装置２０００は、地上画像２０と部分空撮領域３２とがマッチすると判定する。一方で、地上特徴量と部分空撮領域３２の結合空撮特徴量との類似度が十分に高くない（例えば、閾値未満である）場合、画像マッチング装置２０００は、地上画像２０と部分空撮領域３２とがマッチしないと判定する。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００２６

【補正方法】変更

【補正の内容】

【0026】

＜機能構成の例＞
図３は、画像マッチング装置２０００の機能構成の例を表すブロック図である。画像マッチング装置２０００は、取得部２０２０、地上特徴量抽出部２０４０、部分空撮領域抽出部２０８０、空撮特徴量抽出部２０６０、部分空撮特徴量抽出部２１００、特徴量結合部２１２０、及び判定部２１４０を有する。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００２７

【補正方法】変更

【補正の内容】

【0027】

取得部２０２０は、グラウンド・トゥー・エアリアル・クロスビューマッチングの実行対象である地上画像２０及び空撮画像３０を取得する。地上特徴量抽出部２０４０は、地上画像２０の地上特徴量を算出する。部分空撮領域抽出部２０８０は、空撮画像３０から複数の部分空撮領域３２を抽出する。空撮特徴量抽出部２０６０は、空撮画像３０の空撮特徴量を算出する。部分空撮特徴量抽出部２１００は、各部分空撮領域３２の部分空撮特徴量を算出する。特徴量結合部２１２０は、各部分空撮領域３２についてその部分空撮領域３２の部分空撮特徴量と空撮画像３０の空撮特徴量とを結合することにより、各部分空撮領域３２について結合空撮特徴量を算出する。判定部２１４０は、各部分空撮領域３２について、地上画像２０の地上特徴量とその部分空撮領域３２の結合空撮特徴量とを比較することにより、その部分空撮領域３２と地上画像２０とがマッチするか否かを判定する。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００３１

【補正方法】変更

【補正の内容】

【0031】

バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が相互にデータの送信及び受信をするためのデータ通信路である。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などといったプロセッサである。メモリ１０６０は、RAM（Random Access Memory）又は ROM（Read Only Memory）などの主記憶要素である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、又はメモリカードなどの補助記憶要素である。入出力インタフェース１１００は、コンピュータ１０００と周辺デバイス（キーボード、マウス、又はディスプレイデバイスなど）との間のインタフェースである。ネットワークインタフェース１１２０は、コンピュータ１０００とネットワークとの間のインタフェースである。ネットワークは、LAN（Local Area Network）でもよいし、WAN（Wide Area Network）でもよい。ストレージデバイス１０８０は、前述したプログラムを格納しうる。プロセッサ１０４０は、そのプログラムを実行することで、画像マッチング装置２０００の各機能構成部を実現する。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】００３３

【補正方法】変更

【補正の内容】

【0033】

＜処理の流れ＞
図５及び５Ｂは、画像マッチング装置２０００によって実行される処理の流れの例を表すフローチャートを示す。取得部２０２０は、地上画像２０及び空撮画像３０を取得する（Ｓ１０２）。地上特徴量抽出部２０４０は、地上画像２０の地上特徴量を算出する（Ｓ１０４）。部分空撮領域抽出部２０６０は、空撮画像３０の空撮特徴量を算出する（Ｓ１０６）。部分空撮領域抽出部２０８０は、空撮画像３０から複数の部分空撮領域３２を抽出する（Ｓ１０８）。

【手続補正8】

【補正対象書類名】明細書

【補正対象項目名】００４４

【補正方法】変更

【補正の内容】

【0044】

その他にも例えば、図６に示されているように、取得部２０２０は、他のコンピュータから送信された地上画像２０を受信し、その地上画像２０とマッチする空撮画像を探索してもよい。この場合、地上画像２０とマッチする空撮画像３０が見つかるまで、又は、地上画像２０とマッチする空撮画像３０がないと判定されるまで、取得部２０２０は、記憶装置から繰り返し空撮画像３０を取得する。同様に、取得部２０２０は、他の装置から送信された空撮画像３０を受信し、その空撮画像３０にマッチする地上画像２０を探索してもよい。

【手続補正9】

【補正対象書類名】明細書

【補正対象項目名】００５１

【補正方法】変更

【補正の内容】

【0051】

この場合、各部分空撮領域３２について、部分空撮領域抽出部２０８０は、以下のように第１放射状線と第２放射状線を定めうる。

【数1】

式（１）において、α[i] は、ｉ番目の部分空撮領域３２を定める第１放射状線とｘ軸とが成す角の大きさを表す。β[i]は、ｉ番目の部分空撮領域３２を定める第２放射状線とｘ軸とが成す角の大きさを表す。ｓは、スライディングウインドウのストライドの大きさ（すなわち、２つの連接する部分空撮領域３２の間の角度）を表す。ｗは、スライディングウインドウの大きさ（すなわち、第１放射状線と第２放射状線とが成す角度）を表す。

【手続補正10】

【補正対象書類名】明細書

【補正対象項目名】００５５

【補正方法】変更

【補正の内容】

【0055】

部分空撮領域３２の部分空撮特徴量の算出は、地上特徴量の算出や空撮特徴量の算出と同様の態様で実現されうる。具体的には、画像から特徴量を抽出する種々の方法のうちの任意の一つを採用することができる。例えば部分空撮特徴量抽出部２１００は、ニューラルネットワークなどの機械学習ベースのモデルによって実現されうる。より具体的には、CNN の特徴抽出層を採用して、部分空撮特徴量抽出部２１００を構成しうる。

【手続補正11】

【補正対象書類名】明細書

【補正対象項目名】００６５

【補正方法】変更

【補正の内容】

【0065】

ここで、上述したケースにおいて、類似スコアは、地上特徴量と結合空撮特徴量との類似度合いが大きいほど、その値が大きくなると仮定されている。そのため、地上特徴量と結合空撮特徴量との類似度合いが高いほど、地上特徴量と結合空撮特徴量とについて算出される値が小さくなるメトリクス（例えば距離）が利用される場合、類似スコアは、地上特徴量と結合空撮特徴量とについて算出された値（例えば、地上特徴量と結合空撮特徴量の距離）の逆数として定義されうる。

【国際調査報告】