知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-13
(45)【発行日】2024-02-21
(54)【発明の名称】画像マッチング装置、制御方法、及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240214BHJP
G06F 16/587 20190101ALI20240214BHJP
【ＦＩ】
G06T7/00 350C
G06F16/587
G06T7/00 640
【請求項の数】
10
(21)【出願番号】P 2023511869
(86)(22)【出願日】2020-08-25
(65)【公表番号】
(43)【公表日】2023-09-06
(86)【国際出願番号】 JP2020031939
(87)【国際公開番号】W WO2022044104
(87)【国際公開日】2022-03-03
【審査請求日】2023-02-15
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】ロドリゲス ロイストン
(72)【発明者】
【氏名】谷 真宏
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開２０１７－１４６９０７（ＪＰ，Ａ）
【文献】特開２０１８－１９４９５０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｆ １６／５８７
(57)【特許請求の範囲】
【請求項1】
地上画像を取得し、前記地上画像から特徴量を抽出することで生成される第１非アテンション地上特徴マップと、前記第１非アテンション地上特徴マップにアテンションマップを適用することで生成される第１アテンション地上特徴マップと、前記第１非アテンション地上特徴マップから特徴量を抽出することで生成される第２非アテンション地上特徴マップと、前記第２非アテンション地上特徴マップにアテンションマップを適用することで生成される第２アテンション地上特徴マップとが含まれる地上特徴マップを生成する地上特徴抽出部と、
空撮画像を取得し、前記空撮画像から特徴量を抽出することで生成される第１非アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップにアテンションマップを適用することで生成される第１アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップから特徴量を抽出することで生成される第２非アテンション空撮特徴マップと、前記第２非アテンション空撮特徴マップにアテンションマップを適用することで生成される第２アテンション空撮特徴マップとが含まれる空撮特徴マップを生成する空撮特徴抽出部と、
前記地上特徴マップと前記空撮特徴マップとに基づいて、前記地上画像と前記空撮画像との間の類似度を表す類似スコアを算出し、前記類似スコアに基づいて前記地上画像と前記空撮画像とがマッチするか否かを判定する判定部と、を有する画像マッチング装置。
【請求項2】
前記類似スコアの算出は、前記地上特徴マップに含まれる複数の特徴マップのコンカチネーションと前記空撮特徴マップに含まれる複数の特徴マップのコンカチネーションとの類似度を前記類似スコアとして算出することを含む、請求項１に記載の画像マッチング装置。
【請求項3】
前記類似スコアの算出は、前記地上特徴マップに含まれる複数の特徴マップと前記空撮特徴マップに含まれる複数の特徴マップとを組み合わせて得られる複数のペアそれぞれについて類似度を算出することと、
前記算出された類似度の最大値を前記類似スコアとして利用することとを含む、請求項１に記載の画像マッチング装置。
【請求項4】
前記類似スコアの算出は、前記地上特徴マップに含まれる複数の特徴マップと前記空撮特徴マップに含まれる複数の特徴マップとを組み合わせて得られる複数のペアそれぞれについて類似度を算出することと、
前記算出された類似度のうちのいくつか又は全ての統計値を前記類似スコアとして利用することとを含む、請求項１に記載の画像マッチング装置。
【請求項5】
２つのデータの前記類似度は、前記２つのデータの間の距離、前記２つのデータの間のコサイン類似度、又は、前記２つのデータを２つの入力データの類似度を出力するように訓練されたニューラルネットワークに対して入力することで得られる類似度である、請求項２から４いずれか一項に記載の画像マッチング装置。
【請求項6】
地上画像を取得し、前記地上画像から特徴量を抽出することで生成される第１非アテンション地上特徴マップと、前記第１非アテンション地上特徴マップにアテンションマップを適用することで生成される第１アテンション地上特徴マップと、前記第１非アテンション地上特徴マップから特徴量を抽出することで生成される第２非アテンション地上特徴マップと、前記第２非アテンション地上特徴マップにアテンションマップを適用することで生成される第２アテンション地上特徴マップとが含まれる地上特徴マップを生成することと、
空撮画像を取得し、前記空撮画像から特徴量を抽出することで生成される第１非アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップにアテンションマップを適用することで生成される第１アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップから特徴量を抽出することで生成される第２非アテンション空撮特徴マップと、前記第２非アテンション空撮特徴マップにアテンションマップを適用することで生成される第２アテンション空撮特徴マップとが含まれる空撮特徴マップを生成することと、
前記地上特徴マップと前記空撮特徴マップとに基づいて、前記地上画像と前記空撮画像との間の類似度を表す類似スコアを算出し、前記類似スコアに基づいて前記地上画像と前記空撮画像とがマッチするか否かを判定することとを含む、コンピュータによって実行される制御方法。
【請求項7】
前記類似スコアの算出は、前記地上特徴マップに含まれる複数の特徴マップのコンカチネーションと前記空撮特徴マップに含まれる複数の特徴マップのコンカチネーションとの類似度を前記類似スコアとして算出することを含む、請求項６に記載の制御方法。
【請求項8】
前記類似スコアの算出は、前記地上特徴マップに含まれる複数の特徴マップと前記空撮特徴マップに含まれる複数の特徴マップとを組み合わせて得られる複数のペアそれぞれについて類似度を算出することと、
前記算出された類似度の最大値を前記類似スコアとして利用することとを含む、請求項６に記載の制御方法。
【請求項9】
前記類似スコアの算出は、前記地上特徴マップに含まれる複数の特徴マップと前記空撮特徴マップに含まれる複数の特徴マップとを組み合わせて得られる複数のペアそれぞれについて類似度を算出することと、
前記算出された類似度のうちのいくつか又は全ての統計値を前記類似スコアとして利用することとを含む、請求項６に記載の制御方法。
【請求項10】
地上画像を取得し、前記地上画像から特徴量を抽出することで生成される第１非アテンション地上特徴マップと、前記第１非アテンション地上特徴マップにアテンションマップを適用することで生成される第１アテンション地上特徴マップと、前記第１非アテンション地上特徴マップから特徴量を抽出することで生成される第２非アテンション地上特徴マップと、前記第２非アテンション地上特徴マップにアテンションマップを適用することで生成される第２アテンション地上特徴マップとが含まれる地上特徴マップを生成することと、
空撮画像を取得し、前記空撮画像から特徴量を抽出することで生成される第１非アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップにアテンションマップを適用することで生成される第１アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップから特徴量を抽出することで生成される第２非アテンション空撮特徴マップと、前記第２非アテンション空撮特徴マップにアテンションマップを適用することで生成される第２アテンション空撮特徴マップとが含まれる空撮特徴マップを生成することと、
前記地上特徴マップと前記空撮特徴マップとに基づいて、前記地上画像と前記空撮画像との間の類似度を表す類似スコアを算出し、前記類似スコアに基づいて前記地上画像と前記空撮画像とがマッチするか否かを判定することと、をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は全体として、画像マッチング、特に、地上画像と空撮画像とのマッチングに関する。
【背景技術】
【0002】
グラウンド・トゥー・エアリアル・クロスビューマッチング（地上画像と空撮画像のマッチング）を行うコンピュータシステムが開発されている。例えば、非特許文献１は、比較すべき地上画像と空撮画像から特徴量を抽出するための CNN（Convolutional Neural Network）のセットを開示している。具体的には、一つの CNN が、地上画像とそれに対応する方向情報を取得して、地上画像と方向情報が含まれる混合信号から結合特徴量を算出する。他方の CNN が、空撮画像とそれに対応する方向情報を取得して、空撮画像と方向情報が含まれる混合信号から結合特徴量を算出する。そして、算出された結合特徴量に基づいて、地上画像が空撮画像とマッチするか否かを判定する。
【先行技術文献】
【非特許文献】
【0003】
【文献】Liu Liu 及び Hongdong Li、「Lending Orientation to Neural Networks for Cross-view Geo-localization」、Computer Research Repository、arXiv:1903.12351、２０１９年３月２９日
【文献】Ashish Shinha 及び Jose Dolz、「Multi-scale self-guided attention for medical image segmentation」、Computer Research Repository、arXiv:1906.02849、２０１９年６月７日
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の発明者は、グラウンド・トゥー・エアリアル・クロスビューマッチングの精度を向上させるために、アテンションマップの利用を検討した。非特許文献２は、アテンションマップを利用する CNN を開示するが、医療画像セグメンテーションの精度向上を目的としている。
【0005】
グラウンド・トゥー・エアリアル・クロスビューマッチングの精度を向上する技術を提供することである。
【課題を解決するための手段】
【0006】
本開示が提供する画像マッチング装置は、少なくとも一つのプロセッサと、命令が格納されている記憶要素とを有する。前記少なくとも一つのプロセッサは、前記命令を実行することにより、地上画像と空撮画像を取得し、前記地上画像に基づいて得られる特徴マップである地上特徴マップを生成し、前記地上特徴マップは、前記地上画像から特徴量を抽出することで生成される第１非アテンション地上特徴マップと、前記第１非アテンション地上特徴マップにアテンションマップを適用することで生成される第１アテンション地上特徴マップと、前記第１非アテンション地上特徴マップから特徴量を抽出することで生成される第２非アテンション地上特徴マップと、前記第２非アテンション地上特徴マップにアテンションマップを適用することで生成される第２アテンション地上特徴マップとを含み、前記空撮画像に基づいて得られる特徴マップである空撮特徴マップを生成し、前記空撮特徴マップは、前記空撮画像から特徴量を抽出することで生成される第１非アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップにアテンションマップを適用することで生成される第１アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップから特徴量を抽出することで生成される第２非アテンション空撮特徴マップと、前記第２非アテンション空撮特徴マップにアテンションマップを適用することで生成される第２アテンション空撮特徴マップとを含み、前記地上特徴マップと前記空撮特徴マップとに基づいて類似スコアを算出し、前記類似スコアは前記地上画像と前記空撮画像との間の類似度を表し、前記類似スコアに基づいて前記地上画像と前記空撮画像とがマッチするか否かを判定する。
【0007】
本開示の制御方法はコンピュータによって実行される。当該制御方法は、地上画像と空撮画像を取得し、前記地上画像に基づいて得られる特徴マップである地上特徴マップを生成し、前記地上特徴マップは、前記地上画像から特徴量を抽出することで生成される第１非アテンション地上特徴マップと、前記第１非アテンション地上特徴マップにアテンションマップを適用することで生成される第１アテンション地上特徴マップと、前記第１非アテンション地上特徴マップから特徴量を抽出することで生成される第２非アテンション地上特徴マップと、前記第２非アテンション地上特徴マップにアテンションマップを適用することで生成される第２アテンション地上特徴マップとを含み、前記空撮画像に基づいて得られる特徴マップである空撮特徴マップを生成し、前記空撮特徴マップは、前記空撮画像から特徴量を抽出することで生成される第１非アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップにアテンションマップを適用することで生成される第１アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップから特徴量を抽出することで生成される第２非アテンション空撮特徴マップと、前記第２非アテンション空撮特徴マップにアテンションマップを適用することで生成される第２アテンション空撮特徴マップとを含み、前記地上特徴マップと前記空撮特徴マップとに基づいて類似スコアを算出し、前記類似スコアは前記地上画像と前記空撮画像との間の類似度を表し、前記類似スコアに基づいて前記地上画像と前記空撮画像とがマッチするか否かを判定することを含む。
【0008】
本開示の非一時的なコンピュータ可読記憶媒体はプログラムを格納している。当該プログラムは、コンピュータに、地上画像と空撮画像を取得し、前記地上画像に基づいて得られる特徴マップである地上特徴マップを生成し、前記地上特徴マップは、前記地上画像から特徴量を抽出することで生成される第１非アテンション地上特徴マップと、前記第１非アテンション地上特徴マップにアテンションマップを適用することで生成される第１アテンション地上特徴マップと、前記第１非アテンション地上特徴マップから特徴量を抽出することで生成される第２非アテンション地上特徴マップと、前記第２非アテンション地上特徴マップにアテンションマップを適用することで生成される第２アテンション地上特徴マップとを含み、前記空撮画像に基づいて得られる特徴マップである空撮特徴マップを生成し、前記空撮特徴マップは、前記空撮画像から特徴量を抽出することで生成される第１非アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップにアテンションマップを適用することで生成される第１アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップから特徴量を抽出することで生成される第２非アテンション空撮特徴マップと、前記第２非アテンション空撮特徴マップにアテンションマップを適用することで生成される第２アテンション空撮特徴マップとを含み、前記地上特徴マップと前記空撮特徴マップとに基づいて類似スコアを算出し、前記類似スコアは前記地上画像と前記空撮画像との間の類似度を表し、前記類似スコアに基づいて前記地上画像と前記空撮画像とがマッチするか否かを判定すること、を実行させる。
【発明の効果】
【0009】
本開示によれば、グラウンド・トゥー・エアリアル・クロスビューマッチングの精度を向上する技術を提供することができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、本開示に係る実施形態について、図面を参照しながら説明する。複数の図を通して同じ要素には同じ符号が付され、冗長な説明は必要に応じて省略される。
【0012】
実施形態１
＜概要＞
図１は、実施形態１の画像マッチング装置２０００の概要を示す。画像マッチング装置２０００は、地上画像と空撮画像との間のマッチング（いわゆるグラウンド・トゥー・エアリアル・クロスビューマッチング）を行う識別器として機能する。地上画像は、或る場所のグラウンドビューを含む画像である。例えば、地上画像は、歩行者や車から撮像される。地上画像は、パノラマ（360°の画角）であってもよいし、限られた画角（360°未満）であってもよい。空撮画像は、或る場所の平面視が含まれる画像である。例えば、空撮画像は、ドローン、飛行機、又は人工衛星などから撮像される。具体的には、画像マッチング装置２０００は、地上画像と空撮画像を取得し、取得した地上画像と取得した空撮画像とがマッチするか否かを判定する。ここで、「地上画像と空撮画像とがマッチする」とは、地上画像の撮像が行われた場所が空撮画像に含まれていることを意味する。
＜概要＞
図１は、実施形態１の画像マッチング装置２０００の概要を示す。画像マッチング装置２０００は、地上画像と空撮画像との間のマッチング（いわゆるグラウンド・トゥー・エアリアル・クロスビューマッチング）を行う識別器として機能する。地上画像は、或る場所のグラウンドビューを含む画像である。例えば、地上画像は、歩行者や車から撮像される。地上画像は、パノラマ（360°の画角）であってもよいし、限られた画角（360°未満）であってもよい。空撮画像は、或る場所の平面視が含まれる画像である。例えば、空撮画像は、ドローン、飛行機、又は人工衛星などから撮像される。具体的には、画像マッチング装置２０００は、地上画像と空撮画像を取得し、取得した地上画像と取得した空撮画像とがマッチするか否かを判定する。ここで、「地上画像と空撮画像とがマッチする」とは、地上画像の撮像が行われた場所が空撮画像に含まれていることを意味する。
【0013】
画像マッチング装置２０００は、地上特徴抽出部２０２０、空撮特徴抽出部２０４０、及び判定部２０６０を有する。地上特徴抽出部２０２０は、地上画像２０から特徴量を抽出し、非アテンション地上特徴マップ及びアテンション地上特徴マップを生成する。非アテンション地上特徴マップは、地上画像２０に基づいて得られ、かつ、アテンションマップを利用せずに生成される特徴マップである。一方、アテンション地上特徴マップは、地上画像２０に基づいて得られ、かつ、アテンションマップを利用して生成される特徴マップである。地上特徴抽出部２０２０は、複数のレイヤを有し、各レイヤは非アテンション地上特徴マップとアテンション地上特徴マップを生成する。以下、非アテンション地上特徴マップとアテンション地上特徴マップは総称して「地上特徴マップ」と記載される。
【0014】
空撮特徴抽出部２０４０は、空撮画像３０から特徴量を抽出し、非アテンション空撮特徴マップ及びアテンション空撮特徴マップを生成する。非アテンション空撮特徴マップは、空撮画像３０に基づいて得られ、かつ、アテンションマップを利用せずに生成される特徴マップである。一方、アテンション空撮特徴マップは、空撮画像３０に基づいて得られ、かつ、アテンションマップを利用して生成される特徴マップである。空撮特徴抽出部２０４０は、複数のレイヤを有し、各レイヤは非アテンション空撮特徴マップとアテンション空撮特徴マップを生成する。以下、非アテンション空撮特徴マップとアテンション空撮特徴マップは総称して「空撮特徴マップ」と記載される。
【0015】
判定部２０６０は、地上特徴マップと空撮特徴マップとに基づいて、地上画像２０と空撮画像３０との間の類似度を表す類似スコアを算出する。そして、判定部２０６０は、類似スコアに基づいて、地上画像２０と空撮画像３０とがマッチするか否かを判定する。
【0016】
＜作用効果の例＞
実施形態１の画像マッチング装置２０００によれば、非アテンション地上特徴マップと非アテンション空撮特徴マップ（すなわち、アテンション手法無しに生成される特徴マップ）だけでなく、アテンション地上特徴マップとアテンション空撮特徴マップ（すなわち、アテンション手法を用いて生成される特徴マップ）とが、グラウンド・トゥー・エアリアル・クロスビューマッチングに利用される。グラウンド・トゥー・エアリアル・クロスビューマッチングに対してアテンション手法を適用することにより、画像マッチング装置２０００は、地上画像２０と空撮画像３０とがマッチするか否かを、アテンション手法が適用されない場合よりも正確に判定できる。
実施形態１の画像マッチング装置２０００によれば、非アテンション地上特徴マップと非アテンション空撮特徴マップ（すなわち、アテンション手法無しに生成される特徴マップ）だけでなく、アテンション地上特徴マップとアテンション空撮特徴マップ（すなわち、アテンション手法を用いて生成される特徴マップ）とが、グラウンド・トゥー・エアリアル・クロスビューマッチングに利用される。グラウンド・トゥー・エアリアル・クロスビューマッチングに対してアテンション手法を適用することにより、画像マッチング装置２０００は、地上画像２０と空撮画像３０とがマッチするか否かを、アテンション手法が適用されない場合よりも正確に判定できる。
【0017】
以下、画像マッチング装置２０００について、より詳細な説明が記載される。
【0018】
＜機能構成の例＞
画像マッチング装置２０００の全体的な機能構成の例は、図１で表される。ここで、図２から図５を参照して、地上特徴抽出部２０２０と空撮特徴抽出部２０４０とが特徴マップを生成するために２つのレイヤのユニットを持つケースについて説明される。図２は、画像マッチング装置２０００の機能構成の例を示すブロック図である。図３は、画像マッチング装置２０００におけるデータの流れを表す。図４は、地上特徴抽出部２０２０の全体的な機能を示す。図５は、空撮特徴抽出部２０４０の全体的な機能を示す。
画像マッチング装置２０００の全体的な機能構成の例は、図１で表される。ここで、図２から図５を参照して、地上特徴抽出部２０２０と空撮特徴抽出部２０４０とが特徴マップを生成するために２つのレイヤのユニットを持つケースについて説明される。図２は、画像マッチング装置２０００の機能構成の例を示すブロック図である。図３は、画像マッチング装置２０００におけるデータの流れを表す。図４は、地上特徴抽出部２０２０の全体的な機能を示す。図５は、空撮特徴抽出部２０４０の全体的な機能を示す。
【0019】
地上特徴抽出部２０２０について、これは、第１レイヤ抽出部２０２２及び第２レイヤ抽出部２０２４を有する（図２参照）。図４に示されているように、第１レイヤ抽出部２０２２は地上画像２０を取得し、第１非アテンション地上特徴マップ２１及び第１アテンション地上特徴マップ２３を出力する。第１非アテンション地上特徴マップ２１は、非アテンション地上特徴マップの一つであり、地上画像２０に基づいて得られる１つ以上の特徴マップを含む。第１非アテンション地上特徴マップ２１は、地上画像２０から特徴量を抽出することによって生成される。
【0020】
第１アテンション地上特徴マップ２３は、アテンション地上特徴マップの一つであり、第１非アテンション地上特徴マップ２１及び第１地上アテンションマップ２２に基づいて生成される１つ以上の特徴マップを含む。第１地上アテンションマップ２２は、地上画像２０から生成されるアテンションマップであり、地上画像２０において注目すべき度合いの空間的な分布を表す。第１レイヤ抽出部２０２２は、第１地上アテンションマップ２２を第１非アテンション地上特徴マップ２１に適用することで、第１アテンション地上特徴マップ２３（第１地上アテンションマップ２２によって重み付けされた、地上画像２０から抽出された特徴量を表す）を生成する。
【0021】
また、図４に示されているように、第２レイヤ抽出部２０２４は、第１非アテンション地上特徴マップ２１を取得し、第２非アテンション地上特徴マップ２４及び第２アテンション地上特徴マップ２６を出力する。第２非アテンション地上特徴マップ２４は、非アテンション地上特徴マップの一つであり、第１非アテンション地上特徴マップ２１に基づいて得られる１つ以上の特徴マップを含む。第２非アテンション地上特徴マップ２４は、第１非アテンション地上特徴マップ２１から特徴量を抽出することによって生成される。
【0022】
第２アテンション地上特徴マップ２６は、アテンション地上特徴マップの１つであり、第２非アテンション地上特徴マップ２４及び第２地上アテンションマップ２５に基づいて生成される１つ以上の特徴マップを含む。第２地上アテンションマップ２５は、第１非アテンション地上特徴マップ２１から生成されるアテンションマップであり、第１非アテンション地上特徴マップ２１において注目すべき度合いの空間的な分布を表す。第２レイヤ抽出部２０２４は、第２地上アテンションマップ２５を第２非アテンション地上特徴マップ２４に対して適用することで、第２アテンション地上特徴マップ２６（第２地上アテンションマップ２５によって重み付けされた、第２非アテンション地上特徴マップ２４から抽出された特徴量を表す）を生成する。
【0023】
空撮特徴抽出部２０４０について、これは、第１レイヤ抽出部２０４２及び第２レイヤ抽出部２０４４を有する（図２参照）。図５に示されているように、第１レイヤ抽出部２０４２は、空撮画像３０を取得し、第１非アテンション空撮特徴マップ３１及び第１アテンション空撮特徴マップ３３を出力する。第１非アテンション空撮特徴マップ３１は、非アテンション空撮特徴マップの一つであり、空撮画像３０に基づいて得られる１つ以上の特徴マップを含む。第１非アテンション空撮特徴マップ３１は、空撮画像３０から特徴量を抽出することによって生成される。
【0024】
第１アテンション空撮特徴マップ３３は、アテンション空撮特徴マップの一つであり、第１非アテンション空撮特徴マップ３１及び第１空撮アテンションマップ３２に基づいて生成される１つ以上の特徴マップを含む。第１空撮アテンションマップ３２は、空撮画像３０から生成されるアテンションマップであり、空撮画像３０において注目すべき度合いの空間的な分布を表す。第１レイヤ抽出部２０４２は、第１空撮アテンションマップ３２を第１非アテンション空撮特徴マップ３１に適用することで、第１アテンション空撮特徴マップ３３（第１空撮アテンションマップ３２によって重み付けされた、空撮画像３０から抽出された特徴量を表す）を生成する。
【0025】
また、図５に示されているように、第２レイヤ抽出部２０４４は、第１非アテンション空撮特徴マップ３１を取得し、第２非アテンション空撮特徴マップ３４及び第２アテンション空撮特徴マップ３６を出力する。第２非アテンション空撮特徴マップ３４は、非アテンション空撮特徴マップの一つであり、第１非アテンション空撮特徴マップ３１に基づいて得られる特徴マップを１つ以上含む。第２非アテンション空撮特徴マップ３４は、第１非アテンション空撮特徴マップ３１から特徴量を抽出することで生成される。
【0026】
第２アテンション空撮特徴マップ３６は、アテンション空撮特徴マップの一つであり、第２非アテンション空撮特徴マップ３４及び第２空撮アテンションマップ３５に基づいて生成される特徴マップを一つ以上含む。第２空撮アテンションマップ３５は、第１非アテンション空撮特徴マップ３１から生成されるアテンションマップであり、第１非アテンション空撮特徴マップ３１において注目すべき度合いの空間的な分布を表す。第２レイヤ抽出部２０４４は、第２空撮アテンションマップ３５を第２非アテンション空撮特徴マップ３４に対して適用することで、第２アテンション空撮特徴マップ３６（第２空撮アテンションマップ３５によって重み付けされた、第１非アテンション空撮特徴マップ３１から抽出された特徴量）を表す。
【0027】
図３に示されているように、判定部２０６０は、非アテンション地上特徴マップ（第１非アテンション地上特徴マップ２１及び第２非アテンション地上特徴マップ２４）、アテンション地上特徴マップ（第１アテンション地上特徴マップ２３及び第２アテンション地上特徴マップ２６）、非アテンション空撮特徴マップ（第１非アテンション空撮特徴マップ３１及び第２非アテンション空撮特徴マップ３４）、及びアテンション空撮特徴マップ（第１アテンション空撮特徴マップ３３及び第２アテンション空撮特徴マップ３６）を取得する。判定部２０６０は、取得した特徴マップに基づいて、地上画像２０と空撮画像３０との間の類似スコアを算出し、類似スコアに基づいて、地上画像２０と空撮画像３０とがマッチするか否かを判定する。
【0028】
＜ハードウエア構成の例＞
画像マッチング装置２０００は、１つ以上のコンピュータで実現されうる。それら１つ以上のコンピュータのそれぞれは、画像マッチング装置２０００を実現するために作成された専用のコンピュータであってもよいし、パーソナルコンピュータ（PC: Personal Computer）、サーバマシン又はモバイルデバイスなどの汎用のコンピュータであってもよい。画像マッチング装置２０００は、コンピュータにアプリケーションをインストールすることで実現されうる。そのアプリケーションは、コンピュータを画像マッチング装置２０００として機能させるプログラムで実現される。言い換えれば、そのプログラムは、画像マッチング装置２０００の機能構成部を実装したものである。
画像マッチング装置２０００は、１つ以上のコンピュータで実現されうる。それら１つ以上のコンピュータのそれぞれは、画像マッチング装置２０００を実現するために作成された専用のコンピュータであってもよいし、パーソナルコンピュータ（PC: Personal Computer）、サーバマシン又はモバイルデバイスなどの汎用のコンピュータであってもよい。画像マッチング装置２０００は、コンピュータにアプリケーションをインストールすることで実現されうる。そのアプリケーションは、コンピュータを画像マッチング装置２０００として機能させるプログラムで実現される。言い換えれば、そのプログラムは、画像マッチング装置２０００の機能構成部を実装したものである。
【0029】
図６は、画像マッチング装置２０００を実現するコンピュータ１０００のハードウエア構成の例を示すブロック図である。図５において、コンピュータ１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。
【0030】
バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が相互にデータの送信及び受信をするためのデータ通信路である。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などといったプロセッサである。メモリ１０６０は、RAM（Random Access Memory）又は ROM（Read Only Memory）などの主記憶要素である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、又はメモリカードなどの補助記憶要素である。入出力インタフェース１１００は、コンピュータ１０００と周辺デバイス（キーボード、マウス、又はディスプレイデバイスなど）との間のインタフェースである。ネットワークインタフェース１１２０は、コンピュータ１０００とネットワークとの間のインタフェースである。ネットワークは、LAN（Local Area Network）でもよいし、WAN（Wide Area Network）でもよい。
【0031】
ストレージデバイス１０８０は、前述したプログラムを格納しうる。プロセッサ１０４０は、画像マッチング装置２０００の各機能構成部を実現するためにそのプログラムを実行する。さらに、ストレージデバイス１０８０はオリジナル訓練データセット４０を格納しうる。
【0032】
コンピュータ１０００のハードウエア構成は、図５に示される構成に限定されない。
例えば、前述したように、画像マッチング装置２０００は複数のコンピュータで実現されうる。この場合、それらのコンピュータは、ネットワークを介して互いに接続されうる。
例えば、前述したように、画像マッチング装置２０００は複数のコンピュータで実現されうる。この場合、それらのコンピュータは、ネットワークを介して互いに接続されうる。
【0033】
＜処理の流れ＞
図７は、画像マッチング装置２０００によって実行される処理の全体的な流れの例を示すフローチャートである。画像マッチング装置２０００は、地上画像２０及び空撮画像３０を取得する（Ｓ１０２）。地上特徴抽出部２０２０は、非アテンション地上特徴マップ及びアテンション地上特徴マップを生成する。（Ｓ１０４）。空撮特徴抽出部２０４０は、非アテンション空撮特徴マップ及びアテンション空撮特徴マップを生成する（Ｓ１０６）。
図７は、画像マッチング装置２０００によって実行される処理の全体的な流れの例を示すフローチャートである。画像マッチング装置２０００は、地上画像２０及び空撮画像３０を取得する（Ｓ１０２）。地上特徴抽出部２０２０は、非アテンション地上特徴マップ及びアテンション地上特徴マップを生成する。（Ｓ１０４）。空撮特徴抽出部２０４０は、非アテンション空撮特徴マップ及びアテンション空撮特徴マップを生成する（Ｓ１０６）。
【0034】
判定部２０６０は、地上画像２０と空撮画像３０について類似スコアを算出する（Ｓ１０８）。判定部２０６０は、類似スコアに基づいて、地上画像２０と空撮画像３０とがマッチするか否かを判定する（Ｓ１１０）。
【0035】
画像マッチング装置２０００によって実行される処理の流れは、図７に示されているものに限定されない。例えばステップＳ１０６は、Ｓ１０４よりも前に又は並行して実行されてもよい。
【0036】
画像マッチング装置２０００が特徴マップを生成する２つのレイヤのユニットを有する場合、図７のステップＳ１０４は、第１レイヤ抽出部２０２２及び第２レイヤ抽出部２０２４によって実行される。図８は、第１レイヤ抽出部２０２２によって実行される処理の流れの例を示すフローチャートである。第１レイヤ抽出部２０２２は地上画像２０を取得する（Ｓ２０２）。第１レイヤ抽出部２０２２は、地上画像２０に基づいて第１非アテンション地上特徴マップ２１を生成する（Ｓ２０４）。第１レイヤ抽出部２０２２は、地上画像２０に基づいて第１地上アテンションマップ２２を生成する（Ｓ２０６）。第１レイヤ抽出部２０２２は、第１非アテンション地上特徴マップ２１及び第１地上アテンションマップ２２に基づいて、第１アテンション地上特徴マップ２３を生成する（Ｓ２０８）。
【0037】
図９は、第２レイヤ抽出部２０２４によって実行される処理の流れの例を示すフローチャートである。第２レイヤ抽出部２０２４は第１非アテンション地上特徴マップ２１を取得する（Ｓ３０２）。第２レイヤ抽出部２０２４は、第１非アテンション地上特徴マップ２１に基づいて第２非アテンション地上特徴マップ２４を生成する（Ｓ３０４）。第２レイヤ抽出部２０２４は、第１非アテンション地上特徴マップ２１に基づいて第２地上アテンションマップ２５を生成する（Ｓ３０６）。第２レイヤ抽出部２０２４は、第２非アテンション地上特徴マップ２４及び第２地上アテンションマップ２５に基づいて、第２アテンション地上特徴マップ２６を生成する（Ｓ３０８）。
【0038】
同様に、画像マッチング装置２０００が特徴マップを生成する２つのレイヤのユニットを有する場合、図７のステップＳ１０６は、第１レイヤ抽出部２０４２及び第２レイヤ抽出部２０４４によって実行される。図１０は、第１レイヤ抽出部２０４２によって実行される処理の流れの例を示すフローチャートである。第１レイヤ抽出部２０４２は空撮画像３０を取得する（Ｓ４０２）。第１レイヤ抽出部２０４２は、空撮画像３０に基づいて第１非アテンション空撮特徴マップ３１を生成する（Ｓ４０４）。第１レイヤ抽出部２０４２は、空撮画像３０に基づいて第１空撮アテンションマップ３２を生成する（Ｓ４０６）。第１レイヤ抽出部２０４２は、第１非アテンション空撮特徴マップ３１及び第１空撮アテンションマップ３２に基づいて、第１アテンション空撮特徴マップ３３を生成する（Ｓ４０８）。
【0039】
図１１は、第２レイヤ抽出部２０４４によって実行される処理の流れの例を示すフローチャートである。第２レイヤ抽出部２０４４は、第１非アテンション空撮特徴マップ３１を取得する（５０２）。第２レイヤ抽出部２０４４は、第１非アテンション空撮特徴マップ３１に基づいて第２非アテンション空撮特徴マップ３４を生成する（Ｓ５０４）。第２レイヤ抽出部２０４４は、第１非アテンション空撮特徴マップ３１に基づいて第２空撮アテンションマップ３５を生成する（Ｓ５０６）。第２レイヤ抽出部２０４４は、第２非アテンション空撮特徴マップ３４及び第２空撮アテンションマップ３５に基づいて、第２アテンション空撮特徴マップ３６を生成する（Ｓ５０８）。
【0040】
＜画像マッチング装置２０００のアプリケーションの例＞
画像マッチング装置２０００のアプリケーションには様々なものがある。例えば画像マッチング装置２０００は、画像ジオローカライゼーションを行うシステム（以下、ジオローカライゼーションシステム）の一部として利用することができる。画像ジオローカライゼーションは、入力された画像の撮像場所を特定する技術である。ここで、ジオローカライゼーションシステムはあくまで、画像マッチング装置２０００のアプリケーションの一例であり、画像マッチング装置２０００のアプリケーションは、ジオローカライゼーションシステムの中で利用されるものに限定されない。
画像マッチング装置２０００のアプリケーションには様々なものがある。例えば画像マッチング装置２０００は、画像ジオローカライゼーションを行うシステム（以下、ジオローカライゼーションシステム）の一部として利用することができる。画像ジオローカライゼーションは、入力された画像の撮像場所を特定する技術である。ここで、ジオローカライゼーションシステムはあくまで、画像マッチング装置２０００のアプリケーションの一例であり、画像マッチング装置２０００のアプリケーションは、ジオローカライゼーションシステムの中で利用されるものに限定されない。
【0041】
図１２は、画像マッチング装置２０００が含まれるジオローカライゼーションシステム２００を示す。ジオローカライゼーションシステム２００は、画像マッチング装置２０００及び位置データベース３００を含む。位置データベース３００は、それぞれに位置情報が付加された複数の空撮画像を含む。位置情報の例は、対応する空撮画像の撮像場所の GPS（Global Positioning System）座標でありうる。
【0042】
ジオローカライゼーションシステム２００は、クライアント（例えばユーザ端末）から地上画像を含むクエリを受信し、受信したクエリに含まれる地上画像とマッチする空撮画像を位置データベース３００から探索し、これによって地上画像の撮像場所を特定する。具体的には、クエリに含まれる地上画像にマッチする空撮画像が検出されるまで、ジオローカライゼーションシステム２００は、「位置データベース３００から空撮画像を１つ取得し、地上画像と取得した空撮画像を画像マッチング装置２０００に入力し、画像マッチング装置２０００からの出力が、地上画像と空撮画像とがマッチすることを示しているか否かを判定する。」という処理を繰り返す。こうすることで、ジオローカライゼーションシステム２００は、地上画像の撮像場所が含まれる空撮画像を見つけることができる。検出された空撮画像が GPS 座標などの位置情報に対応づけられているため、ジオローカライゼーションシステム２００は、地上画像の撮像場所が、地上画像にマッチする空撮画像に対応づけられている位置情報によって示されている場所であると把握できる。
【0043】
なお、ジオローカライゼーションシステム２００は、図６に示されているコンピュータなどのような任意の１つ以上のコンピュータで実現されうる。
【0044】
＜画像の取得：Ｓ１０２＞
画像マッチング装置２０００は地上画像２０及び空撮画像３０を取得する（Ｓ１０２）。例えば画像マッチング装置２０００は、他のコンピュータから送信された、地上画像２０と空撮画像３０のセットを受信しうる。その他にも例えば、画像マッチング装置２０００は、それがアクセス可能な記憶装置から、地上画像２０と空撮画像３０のペアを取り出しうる。
画像マッチング装置２０００は地上画像２０及び空撮画像３０を取得する（Ｓ１０２）。例えば画像マッチング装置２０００は、他のコンピュータから送信された、地上画像２０と空撮画像３０のセットを受信しうる。その他にも例えば、画像マッチング装置２０００は、それがアクセス可能な記憶装置から、地上画像２０と空撮画像３０のペアを取り出しうる。
【0045】
その他にも例えば、図１２に示されているように、画像マッチング装置２０００は、他のコンピュータから送信された地上画像２０を受信し、その地上画像２０にマッチする空撮画像を検索しうる。この場合、画像マッチング装置２０００は、地上画像２０とマッチする空撮画像３０が見つかるまで、記憶装置から空撮画像３０を繰り返し取得する。同様に、画像マッチング装置２０００は、他のコンピュータから送信された空撮画像３０を受信し、その空撮画像３０にマッチする地上画像２０を検索してもよい。
【0046】
＜非アテンション特徴マップの生成：Ｓ２０４、Ｓ３０４、Ｓ４０４、Ｓ５０４＞
画像マッチング装置２０００は、非アテンション地上特徴マップ（例えば、第１非アテンション地上特徴マップ２１（Ｓ２０４）及び第２非アテンション地上特徴マップ２４（Ｓ３０４））及び非アテンション空撮特徴マップ（例えば、第１非アテンション空撮特徴マップ３１（Ｓ４０４）及び第２非アテンション空撮特徴マップ３４（Ｓ５０４））を生成する。ここで、以下、非アテンション地上特徴マップと非アテンション空撮特徴マップは、総称して、「非アテンション特徴マップ」と記載される。
画像マッチング装置２０００は、非アテンション地上特徴マップ（例えば、第１非アテンション地上特徴マップ２１（Ｓ２０４）及び第２非アテンション地上特徴マップ２４（Ｓ３０４））及び非アテンション空撮特徴マップ（例えば、第１非アテンション空撮特徴マップ３１（Ｓ４０４）及び第２非アテンション空撮特徴マップ３４（Ｓ５０４））を生成する。ここで、以下、非アテンション地上特徴マップと非アテンション空撮特徴マップは、総称して、「非アテンション特徴マップ」と記載される。
【0047】
各非アテンション特徴マップは、ソースデータ（入力データ）に対して畳み込み処理を１回以上行うことによって生成されうる。例えば、第１レイヤ抽出部２０２２は、地上画像２０に対して畳み込み処理を行って、第１非アテンション地上特徴マップ２１を生成する。第２レイヤ抽出部２０２４は、第１非アテンション地上特徴マップ２１に対して畳み込み処理を行って、第２非アテンション地上特徴マップ２４を生成する。第１レイヤ抽出部２０４２は、空撮画像３０に対して畳み込み処理を行って、第１非アテンション空撮特徴マップ３１を生成する。第２レイヤ抽出部２０４４は、第１非アテンション空撮特徴マップ３１に対して畳み込み処理を行って、第２非アテンション空撮特徴マップ３４を生成する。
【0048】
前述した畳み込み処理は、１つ以上の畳み込みレイヤを有するニューラルネットワークによって実現されうる。この場合、第１レイヤ抽出部２０２２、第２レイヤ抽出部２０２４、第１レイヤ抽出部２０４２、及び第２レイヤ抽出部２０４４は、入力データから非アテンション特徴マップを生成する１つ以上の畳み込みレイヤが含まれるニューラルネットワークを有する。なお、非アテンション特徴マップを生成する各ニューラルネットワークは、畳み込みレイヤだけでなく、プーリングレイヤや活性化レイヤなどの他の種類のレイヤも含みうる。
【0049】
＜アテンションマップの生成：Ｓ２０６、Ｓ３０６、Ｓ４０６、Ｓ５０６＞
画像マッチング装置２０００は、第１地上アテンションマップ２２（Ｓ２０６）、第２地上アテンションマップ２５（Ｓ３０６）、第１空撮アテンションマップ３２（Ｓ４０６）、及び第２空撮アテンションマップ３５（Ｓ５０６）などのアテンションマップを生成する。アテンションマップを生成するには、既存の技術を採用しうる。例えば、アテンションマップは、１つ以上の畳み込みレイヤを有するニューラルネットワークを用いて生成されうる。ここで、各ニューラルネットワークは、畳み込みレイヤだけでなく、プーリングレイヤや活性化レイヤなどの他の種類のレイヤも含みうる。
画像マッチング装置２０００は、第１地上アテンションマップ２２（Ｓ２０６）、第２地上アテンションマップ２５（Ｓ３０６）、第１空撮アテンションマップ３２（Ｓ４０６）、及び第２空撮アテンションマップ３５（Ｓ５０６）などのアテンションマップを生成する。アテンションマップを生成するには、既存の技術を採用しうる。例えば、アテンションマップは、１つ以上の畳み込みレイヤを有するニューラルネットワークを用いて生成されうる。ここで、各ニューラルネットワークは、畳み込みレイヤだけでなく、プーリングレイヤや活性化レイヤなどの他の種類のレイヤも含みうる。
【0050】
なお、画像マッチング装置２０００は、各非アテンション特徴マップについて、複数のアテンションマップを生成してもよい。例えば第１レイヤ抽出部２０２２は、地上画像２０から複数の第１地上アテンションマップ２２を生成しうる。一つのソース（画像や特徴マップ）から複数のアテンションマップを生成するためには、既存の技術を採用しうる。例えば、一つのソースから複数のアテンションマップを生成するために、互いに異なるように初期化された（例えば、ランダムに初期化された）複数のニューラルネットワークが用意される。これらのニューラルネットワークは互いに異なるように初期化されているため、互いに異なる複数のアテンションマップを生成するように訓練される。
【0051】
＜アテンション特徴マップの生成：Ｓ２０８、Ｓ３０８、Ｓ４０８、Ｓ５０８＞
画像マッチング装置２０００は、アテンション地上特徴マップ（例えば、第１アテンション地上特徴マップ２３（Ｓ２０８）及び第２アテンション地上特徴マップ２６（Ｓ３０８））及びアテンション空撮特徴マップ（例えば、第１アテンション空撮特徴マップ３３（Ｓ４０８）及び第２アテンション空撮特徴マップ３６（Ｓ５０８））を生成する。ここで、以下、アテンション地上特徴マップとアテンション空撮特徴マップは、総称して、「アテンション特徴マップ」と記載される。
画像マッチング装置２０００は、アテンション地上特徴マップ（例えば、第１アテンション地上特徴マップ２３（Ｓ２０８）及び第２アテンション地上特徴マップ２６（Ｓ３０８））及びアテンション空撮特徴マップ（例えば、第１アテンション空撮特徴マップ３３（Ｓ４０８）及び第２アテンション空撮特徴マップ３６（Ｓ５０８））を生成する。ここで、以下、アテンション地上特徴マップとアテンション空撮特徴マップは、総称して、「アテンション特徴マップ」と記載される。
【0052】
特徴マップとアテンションマップからアテンション特徴マップを生成するためには、既存の技術を採用しうる。例えば、アテンション特徴マップは、特徴マップとアテンションマップとのドット積として算出されうる。この場合、第１レイヤ抽出部２０２２は、第１非アテンション地上特徴マップ２１と第１地上アテンションマップ２２のドット積を算出して、第１アテンション地上特徴マップ２３を生成する。第２レイヤ抽出部２０２４は、第２非アテンション地上特徴マップ２４と第２地上アテンションマップ２５のドット積を算出して、第２アテンション地上特徴マップ２６を生成する。第１レイヤ抽出部２０４２は、第１非アテンション空撮特徴マップ３１と第１空撮アテンションマップ３２のドット積を算出して、第１アテンション空撮特徴マップ３３を生成する。第２レイヤ抽出部２０４４は、第２非アテンション空撮特徴マップ３４と第２空撮アテンションマップ３５のドット積を算出して、第２アテンション空撮特徴マップ３６を生成する。
【0053】
なお、各非アテンション特徴マップについて複数のアテンションマップが生成される場合、各非アテンション特徴マップについて複数のアテンション特徴マップが生成される。例えば、第１レイヤ抽出部２０２２が複数の第１地上アテンションマップ２２を生成する場合、それは、互いに異なる複数の第１地上アテンションマップに基づいて得られる、複数の第１アテンション地上特徴マップ２３を生成する。
【0054】
＜３つ以上のレイヤが存在するケースについて＞
図２から５は特徴マップを生成する２つのレイヤのユニットが存在するケースの例を示しているが、画像マッチング装置２０００は、それをする３つ以上のレイヤのユニットを有してもよい。この場合、画像マッチング装置２０００は、同様の態様でさらに多くの特徴マップを生成する。具体的には、画像マッチング装置２０００は、第（i-1）非アテンション地上特徴マップから特徴量を抽出することで、第 i 非アテンション地上特徴マップを生成する（i は３より大きい自然数）。画像マッチング装置２０００は、第（i-1）非アテンション地上特徴マップから、第 i 地上アテンションマップを生成する。画像マッチング装置２０００は、第 i 地上アテンションマップを第 i 非アテンション地上特徴マップに適用することで、第 i アテンション地上特徴マップを生成する。
図２から５は特徴マップを生成する２つのレイヤのユニットが存在するケースの例を示しているが、画像マッチング装置２０００は、それをする３つ以上のレイヤのユニットを有してもよい。この場合、画像マッチング装置２０００は、同様の態様でさらに多くの特徴マップを生成する。具体的には、画像マッチング装置２０００は、第（i-1）非アテンション地上特徴マップから特徴量を抽出することで、第 i 非アテンション地上特徴マップを生成する（i は３より大きい自然数）。画像マッチング装置２０００は、第（i-1）非アテンション地上特徴マップから、第 i 地上アテンションマップを生成する。画像マッチング装置２０００は、第 i 地上アテンションマップを第 i 非アテンション地上特徴マップに適用することで、第 i アテンション地上特徴マップを生成する。
【0055】
同様に、画像マッチング装置２０００は、第（i-1）非アテンション空撮特徴マップから特徴量を抽出することで、第 i 非アテンション空撮特徴マップを生成する。画像マッチング装置２０００は、第（i-1）非アテンション空撮特徴マップから、第 i 空撮アテンションマップを生成する。画像マッチング装置２０００は、第 i 空撮アテンションマップを第 i 非アテンション空撮特徴マップに適用することで、第 i アテンション空撮特徴マップを生成する。
【0056】
＜類似スコアの算出：Ｓ１０８＞
判定部２０６０は、地上特徴マップと空撮特徴マップとに基づいて、地上画像２０と空撮画像３０について、類似スコアを算出する（Ｓ１０８）。類似スコアは、地上画像２０と空撮画像３０との間の類似度を表す。
判定部２０６０は、地上特徴マップと空撮特徴マップとに基づいて、地上画像２０と空撮画像３０について、類似スコアを算出する（Ｓ１０８）。類似スコアは、地上画像２０と空撮画像３０との間の類似度を表す。
【0057】
地上特徴マップと空撮特徴マップとに基づいて類似スコアを算出する方法は様々である。例えば、判定部２０６０は、地上特徴マップのコンカチネーション及び空撮特徴マップのコンカチネーションを生成し、これら２つのコンカチネーションの類似度を、類似スコアとして算出する。
【0058】
前述した２つのコンカチネーションの類似度を算出する方法は様々である。例えば、これらの間の類似度は、種々の距離（例えば、L2 距離）、コサイン類似度、又はニューラルネットワーク（NN: neural network）ベースの類似度で表すことができいる。NN ベースの類似度は、２つの入力データ（この場合、地上特徴マップのコンカチネーションと空撮特徴マップのコンカチネーション）の類似度を算出するように訓練されたニューラルネットワークによって算出される類似度である。
【0059】
その他にも例えば、判定部２０６０は、地上特徴マップと空撮特徴マップの可能なペアの全てそれぞれについて類似度を算出し、それらの類似度の一つ以上を利用して類似スコアを算出してもよい。図２から図５に示されているケースにおいて、判定部２０６０は、地上特徴マップと空撮特徴マップの可能な 4x4(=16) 個の各ペアについて類似度を算出する。ここで、地上特徴マップと空撮特徴マップの類似度の算出には、種々の距離、コサイン類似度、及び NN ベースの類似度といった、種々のメトリクスが利用できる。
【0060】
例えば判定部２０６０は、地上特徴マップと空撮特徴マップの可能なペアの全てそれぞれについて算出された類似度の最大値を、類似スコアとして利用する。その他にも例えば、判定部２０６０は、地上特徴マップと空撮特徴マップの可能なペアの全てそれぞれについて算出された類似度のうちのいくつか又は全てから算出される統計値（例えば、平均値や最頻値など）を、類似スコアとして算出する。類似度のうちのいくつかを利用する場合、例えば判定部２０６０は、１番目に大きい類似度から第 m 番目に大きい類似度を利用する（m は２より大きい所定の自然数）。
【0061】
ここで、地上特徴マップと空撮特徴マップの可能なペアそれぞれについて類似度を算出することは、互いに異なるレベルのレイヤから出力される特徴マップを比較するため、地上特徴マップと空撮特徴マップの間におけるクロススケールマッチングを可能とする。地上画像２０に撮像されるシーンの範囲は、空撮画像３０に撮像されるシーンの範囲とは異なりうるため、地上特徴マップは、その地上特徴マップを出力するレイヤのレベルとは異なるレベルのレイヤから出力される空撮特徴マップと高い類似度を持つ可能性がある。地上特徴マップと空撮特徴マップとの間のクロススケールマッチングは、そのような、互いに異なるレベルのレイヤから出力される特徴マップ間の高い類似性を検出することに有用である。
【0062】
判定部２０６０は、スケール内の比較とクロススケールの比較双方の結果を利用してもよい。ここで、スケール内の比較は、互いに同一のレベルのレイヤから出力される地上特徴マップと空撮特徴マップとの間の類似度を算出する処理である。
【0063】
例えば、判定部２０６０は、同一スケール内の地上特徴マップと空撮特徴マップとの類似度の最大値（すなわち、互いに同一のレイヤから生成される地上特徴マップと空撮特徴マップのペアについて算出される類似度のうち、最大の類似度）を特定する。さらに、判定部２０６０は、異なるスケールにおける地上特徴マップと空撮特徴マップとの類似度の最大値（すなわち、互いに異なるレイヤから生成される地上特徴マップと空撮特徴マップとの類似度のうち、最大の類似度）も特定する。そして、判定部２０６０は、特定された２種類の類似度の最大値に基づいて、類似スコアを算出する。例えば判定部２０６０は、特定された類似度の統計値（平均値など）を類似スコアとして用いる。
【0064】
＜類似スコアに基づく画像マッチング：Ｓ１１０＞
判定部２０６０は、地上画像２０と空撮画像３０とがマッチするか否かを類似スコアに基づいて判定する（Ｓ１１０）。コンセプトとしては、地上画像２０と空撮画像３０との類似度が高いほど、地上画像２０と空撮画像３０とがマッチする蓋然性が高い。そのため、例えば判定部２０６０は、類似スコアが所定の閾値以上である場合に、地上画像２０と空撮画像３０とがマッチすると判定する。一方で、判定部２０６０は、類似スコアが所定の閾値より小さい場合、地上画像２０と空撮画像３０とがマッチしないと判定する。なお、この場合、地上特徴マップと空撮特徴マップとの類似度が高いほど類似スコアが大きくなることが前提となっている。
判定部２０６０は、地上画像２０と空撮画像３０とがマッチするか否かを類似スコアに基づいて判定する（Ｓ１１０）。コンセプトとしては、地上画像２０と空撮画像３０との類似度が高いほど、地上画像２０と空撮画像３０とがマッチする蓋然性が高い。そのため、例えば判定部２０６０は、類似スコアが所定の閾値以上である場合に、地上画像２０と空撮画像３０とがマッチすると判定する。一方で、判定部２０６０は、類似スコアが所定の閾値より小さい場合、地上画像２０と空撮画像３０とがマッチしないと判定する。なお、この場合、地上特徴マップと空撮特徴マップとの類似度が高いほど類似スコアが大きくなることが前提となっている。
【0065】
＜画像マッチング装置２０００の訓練＞
画像マッチング装置２０００は、ニューラルネットワークなどの１つ以上の訓練済みモデルによって実装されうる。例えば、前述したように、非アテンション特徴マップ、アテンション特徴マップ、及びアテンションマップは、ニューラルネット枠によって生成することができる。この場合、例えば地上特徴抽出部２０２０及び空撮特徴抽出部２０４０はそれぞれ、畳み込みニューラルネットワーク(CNN: convolutional neural network）で実装しうる。
画像マッチング装置２０００は、ニューラルネットワークなどの１つ以上の訓練済みモデルによって実装されうる。例えば、前述したように、非アテンション特徴マップ、アテンション特徴マップ、及びアテンションマップは、ニューラルネット枠によって生成することができる。この場合、例えば地上特徴抽出部２０２０及び空撮特徴抽出部２０４０はそれぞれ、畳み込みニューラルネットワーク(CNN: convolutional neural network）で実装しうる。
【0066】
画像マッチング装置２０００が訓練済みモデルで実装される場合、画像マッチング装置２０００は、地上画像と空撮画像とのペアを含む訓練データセットを用いて訓練される必要がある。例えば画像マッチング装置２０００は、シャムネットワークの訓練と同様に、訓練データセットから算出される地上特徴量と空撮特徴量との間の損失に基づいて訓練されうる。シャムネットワークは、例えば非特許文献１に開示されている。
【0067】
モデルの重みは、所定の損失関数を用いて算出された損失に基づいて更新される。類似スコアが地上特徴マップのコンカチネーションと空撮特徴マップのコンカチネーションとに基づいて算出される場合、それらのコンカチネーションを損失関数に入力することで、損失を算出することができる。一方、地上特徴マップと空撮特徴マップの各ペアについて算出される類似度に基づいて類似スコアが算出される場合、最大の類似度を持つ地上特徴マップと空撮特徴マップを損失関数に入力することで、損失を算出することができる。
【0068】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、CD-ROM、CD-R、CD-R/W、半導体メモリ（例えば、マスク ROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0069】
実施形態を参照して本開示について説明されているが、本開示は上述した実施形態に限定されない。発明の範囲内で、当業者が理解できる種々の変形を本開示の構成や詳細に対して行うことができる。
【0070】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
＜付記＞
（付記１）
少なくとも一つのプロセッサと、命令が格納されている記憶要素とを有し、
前記少なくとも一つのプロセッサは、前記命令を実行することにより、
地上画像と空撮画像を取得し、
前記地上画像に基づいて得られる特徴マップである地上特徴マップを生成し、前記地上特徴マップは、前記地上画像から特徴量を抽出することで生成される第１非アテンション地上特徴マップと、前記第１非アテンション地上特徴マップにアテンションマップを適用することで生成される第１アテンション地上特徴マップと、前記第１非アテンション地上特徴マップから特徴量を抽出することで生成される第２非アテンション地上特徴マップと、前記第２非アテンション地上特徴マップにアテンションマップを適用することで生成される第２アテンション地上特徴マップとを含み、
前記空撮画像に基づいて得られる特徴マップである空撮特徴マップを生成し、前記空撮特徴マップは、前記空撮画像から特徴量を抽出することで生成される第１非アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップにアテンションマップを適用することで生成される第１アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップから特徴量を抽出することで生成される第２非アテンション空撮特徴マップと、前記第２非アテンション空撮特徴マップにアテンションマップを適用することで生成される第２アテンション空撮特徴マップとを含み、
前記地上特徴マップと前記空撮特徴マップとに基づいて類似スコアを算出し、前記類似スコアは前記地上画像と前記空撮画像との間の類似度を表し、
前記類似スコアに基づいて前記地上画像と前記空撮画像とがマッチするか否かを判定する、画像マッチング装置。
（付記２）
前記類似スコアの算出は、前記地上特徴マップのコンカチネーションと前記空撮特徴マップのコンカチネーションとの類似度を前記類似スコアとして算出することを含む、付記１に記載の画像マッチング装置。
（付記３）
前記類似スコアの算出は、
前記地上特徴マップと前記空撮特徴マップの可能な各ペアについて類似度を算出することと、
前記算出された類似度の最大値を前記類似スコアとして利用することとを含む、付記１に記載の画像マッチング装置。
（付記４）
前記類似スコアの算出は、
前記地上特徴マップと前記空撮特徴マップの可能な各ペアについて類似度を算出することと、
前記算出された類似度のうちのいくつか又は全ての統計値を前記類似スコアとして利用することとを含む、付記１に記載の画像マッチング装置。
（付記５）
２つのデータの前記類似度は、それらの間の距離、それらの間のコサイン類似度、又は、２つのデータの類似度を出力するように訓練されたニューラルネットワークによって算出されるニューラルネットワークベースの類似度である、付記２から４いずれか一項に記載の画像マッチング装置。
（付記６）
地上画像と空撮画像を取得し、
前記地上画像に基づいて得られる特徴マップである地上特徴マップを生成し、前記地上特徴マップは、前記地上画像から特徴量を抽出することで生成される第１非アテンション地上特徴マップと、前記第１非アテンション地上特徴マップにアテンションマップを適用することで生成される第１アテンション地上特徴マップと、前記第１非アテンション地上特徴マップから特徴量を抽出することで生成される第２非アテンション地上特徴マップと、前記第２非アテンション地上特徴マップにアテンションマップを適用することで生成される第２アテンション地上特徴マップとを含み、
前記空撮画像に基づいて得られる特徴マップである空撮特徴マップを生成し、前記空撮特徴マップは、前記空撮画像から特徴量を抽出することで生成される第１非アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップにアテンションマップを適用することで生成される第１アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップから特徴量を抽出することで生成される第２非アテンション空撮特徴マップと、前記第２非アテンション空撮特徴マップにアテンションマップを適用することで生成される第２アテンション空撮特徴マップとを含み、
前記地上特徴マップと前記空撮特徴マップとに基づいて類似スコアを算出し、前記類似スコアは前記地上画像と前記空撮画像との間の類似度を表し、
前記類似スコアに基づいて前記地上画像と前記空撮画像とがマッチするか否かを判定することを含む、コンピュータによって実行される制御方法。
（付記７）
前記類似スコアの算出は、前記地上特徴マップのコンカチネーションと前記空撮特徴マップのコンカチネーションとの類似度を前記類似スコアとして算出することを含む、付記６に記載の制御方法。
（付記８）
前記類似スコアの算出は、
前記地上特徴マップと前記空撮特徴マップの可能な各ペアについて類似度を算出することと、
前記算出された類似度の最大値を前記類似スコアとして利用することとを含む、付記６に記載の制御方法。
（付記９）
前記類似スコアの算出は、
前記地上特徴マップと前記空撮特徴マップの可能な各ペアについて類似度を算出することと、
前記算出された類似度のうちのいくつか又は全ての統計値を前記類似スコアとして利用することとを含む、付記６に記載の制御方法。
（付記１０）
２つのデータの前記類似度は、それらの間の距離、それらの間のコサイン類似度、又は、２つのデータの類似度を出力するように訓練されたニューラルネットワークによって算出されるニューラルネットワークベースの類似度である、付記６から９いずれか一項に記載の制御方法。
（付記１１）
地上画像と空撮画像を取得し、
前記地上画像に基づいて得られる特徴マップである地上特徴マップを生成し、前記地上特徴マップは、前記地上画像から特徴量を抽出することで生成される第１非アテンション地上特徴マップと、前記第１非アテンション地上特徴マップにアテンションマップを適用することで生成される第１アテンション地上特徴マップと、前記第１非アテンション地上特徴マップから特徴量を抽出することで生成される第２非アテンション地上特徴マップと、前記第２非アテンション地上特徴マップにアテンションマップを適用することで生成される第２アテンション地上特徴マップとを含み、
前記空撮画像に基づいて得られる特徴マップである空撮特徴マップを生成し、前記空撮特徴マップは、前記空撮画像から特徴量を抽出することで生成される第１非アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップにアテンションマップを適用することで生成される第１アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップから特徴量を抽出することで生成される第２非アテンション空撮特徴マップと、前記第２非アテンション空撮特徴マップにアテンションマップを適用することで生成される第２アテンション空撮特徴マップとを含み、
前記地上特徴マップと前記空撮特徴マップとに基づいて類似スコアを算出し、前記類似スコアは前記地上画像と前記空撮画像との間の類似度を表し、
前記類似スコアに基づいて前記地上画像と前記空撮画像とがマッチするか否かを判定すること、をコンピュータに実行させるプログラムが格納されている、非一時的なコンピュータ可読記憶媒体。
（付記１２）
前記類似スコアの算出は、前記地上特徴マップのコンカチネーションと前記空撮特徴マップのコンカチネーションとの類似度を前記類似スコアとして算出することを含む、付記１１に記載の記憶媒体。
（付記１３）
前記類似スコアの算出は、
前記地上特徴マップと前記空撮特徴マップの可能な各ペアについて類似度を算出することと、
前記算出された類似度の最大値を前記類似スコアとして利用することとを含む、付記１１に記載の記憶媒体。
（付記１４）
前記類似スコアの算出は、
前記地上特徴マップと前記空撮特徴マップの可能な各ペアについて類似度を算出することと、
前記算出された類似度のうちのいくつか又は全ての統計値を前記類似スコアとして利用することとを含む、付記１１に記載の記憶媒体。
（付記１５）
２つのデータの前記類似度は、それらの間の距離、それらの間のコサイン類似度、又は、２つのデータの類似度を出力するように訓練されたニューラルネットワークによって算出されるニューラルネットワークベースの類似度である、付記１１から１４いずれか一項に記載の記憶媒体。
＜付記＞
（付記１）
少なくとも一つのプロセッサと、命令が格納されている記憶要素とを有し、
前記少なくとも一つのプロセッサは、前記命令を実行することにより、
地上画像と空撮画像を取得し、
前記地上画像に基づいて得られる特徴マップである地上特徴マップを生成し、前記地上特徴マップは、前記地上画像から特徴量を抽出することで生成される第１非アテンション地上特徴マップと、前記第１非アテンション地上特徴マップにアテンションマップを適用することで生成される第１アテンション地上特徴マップと、前記第１非アテンション地上特徴マップから特徴量を抽出することで生成される第２非アテンション地上特徴マップと、前記第２非アテンション地上特徴マップにアテンションマップを適用することで生成される第２アテンション地上特徴マップとを含み、
前記空撮画像に基づいて得られる特徴マップである空撮特徴マップを生成し、前記空撮特徴マップは、前記空撮画像から特徴量を抽出することで生成される第１非アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップにアテンションマップを適用することで生成される第１アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップから特徴量を抽出することで生成される第２非アテンション空撮特徴マップと、前記第２非アテンション空撮特徴マップにアテンションマップを適用することで生成される第２アテンション空撮特徴マップとを含み、
前記地上特徴マップと前記空撮特徴マップとに基づいて類似スコアを算出し、前記類似スコアは前記地上画像と前記空撮画像との間の類似度を表し、
前記類似スコアに基づいて前記地上画像と前記空撮画像とがマッチするか否かを判定する、画像マッチング装置。
（付記２）
前記類似スコアの算出は、前記地上特徴マップのコンカチネーションと前記空撮特徴マップのコンカチネーションとの類似度を前記類似スコアとして算出することを含む、付記１に記載の画像マッチング装置。
（付記３）
前記類似スコアの算出は、
前記地上特徴マップと前記空撮特徴マップの可能な各ペアについて類似度を算出することと、
前記算出された類似度の最大値を前記類似スコアとして利用することとを含む、付記１に記載の画像マッチング装置。
（付記４）
前記類似スコアの算出は、
前記地上特徴マップと前記空撮特徴マップの可能な各ペアについて類似度を算出することと、
前記算出された類似度のうちのいくつか又は全ての統計値を前記類似スコアとして利用することとを含む、付記１に記載の画像マッチング装置。
（付記５）
２つのデータの前記類似度は、それらの間の距離、それらの間のコサイン類似度、又は、２つのデータの類似度を出力するように訓練されたニューラルネットワークによって算出されるニューラルネットワークベースの類似度である、付記２から４いずれか一項に記載の画像マッチング装置。
（付記６）
地上画像と空撮画像を取得し、
前記地上画像に基づいて得られる特徴マップである地上特徴マップを生成し、前記地上特徴マップは、前記地上画像から特徴量を抽出することで生成される第１非アテンション地上特徴マップと、前記第１非アテンション地上特徴マップにアテンションマップを適用することで生成される第１アテンション地上特徴マップと、前記第１非アテンション地上特徴マップから特徴量を抽出することで生成される第２非アテンション地上特徴マップと、前記第２非アテンション地上特徴マップにアテンションマップを適用することで生成される第２アテンション地上特徴マップとを含み、
前記空撮画像に基づいて得られる特徴マップである空撮特徴マップを生成し、前記空撮特徴マップは、前記空撮画像から特徴量を抽出することで生成される第１非アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップにアテンションマップを適用することで生成される第１アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップから特徴量を抽出することで生成される第２非アテンション空撮特徴マップと、前記第２非アテンション空撮特徴マップにアテンションマップを適用することで生成される第２アテンション空撮特徴マップとを含み、
前記地上特徴マップと前記空撮特徴マップとに基づいて類似スコアを算出し、前記類似スコアは前記地上画像と前記空撮画像との間の類似度を表し、
前記類似スコアに基づいて前記地上画像と前記空撮画像とがマッチするか否かを判定することを含む、コンピュータによって実行される制御方法。
（付記７）
前記類似スコアの算出は、前記地上特徴マップのコンカチネーションと前記空撮特徴マップのコンカチネーションとの類似度を前記類似スコアとして算出することを含む、付記６に記載の制御方法。
（付記８）
前記類似スコアの算出は、
前記地上特徴マップと前記空撮特徴マップの可能な各ペアについて類似度を算出することと、
前記算出された類似度の最大値を前記類似スコアとして利用することとを含む、付記６に記載の制御方法。
（付記９）
前記類似スコアの算出は、
前記地上特徴マップと前記空撮特徴マップの可能な各ペアについて類似度を算出することと、
前記算出された類似度のうちのいくつか又は全ての統計値を前記類似スコアとして利用することとを含む、付記６に記載の制御方法。
（付記１０）
２つのデータの前記類似度は、それらの間の距離、それらの間のコサイン類似度、又は、２つのデータの類似度を出力するように訓練されたニューラルネットワークによって算出されるニューラルネットワークベースの類似度である、付記６から９いずれか一項に記載の制御方法。
（付記１１）
地上画像と空撮画像を取得し、
前記地上画像に基づいて得られる特徴マップである地上特徴マップを生成し、前記地上特徴マップは、前記地上画像から特徴量を抽出することで生成される第１非アテンション地上特徴マップと、前記第１非アテンション地上特徴マップにアテンションマップを適用することで生成される第１アテンション地上特徴マップと、前記第１非アテンション地上特徴マップから特徴量を抽出することで生成される第２非アテンション地上特徴マップと、前記第２非アテンション地上特徴マップにアテンションマップを適用することで生成される第２アテンション地上特徴マップとを含み、
前記空撮画像に基づいて得られる特徴マップである空撮特徴マップを生成し、前記空撮特徴マップは、前記空撮画像から特徴量を抽出することで生成される第１非アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップにアテンションマップを適用することで生成される第１アテンション空撮特徴マップと、前記第１非アテンション空撮特徴マップから特徴量を抽出することで生成される第２非アテンション空撮特徴マップと、前記第２非アテンション空撮特徴マップにアテンションマップを適用することで生成される第２アテンション空撮特徴マップとを含み、
前記地上特徴マップと前記空撮特徴マップとに基づいて類似スコアを算出し、前記類似スコアは前記地上画像と前記空撮画像との間の類似度を表し、
前記類似スコアに基づいて前記地上画像と前記空撮画像とがマッチするか否かを判定すること、をコンピュータに実行させるプログラムが格納されている、非一時的なコンピュータ可読記憶媒体。
（付記１２）
前記類似スコアの算出は、前記地上特徴マップのコンカチネーションと前記空撮特徴マップのコンカチネーションとの類似度を前記類似スコアとして算出することを含む、付記１１に記載の記憶媒体。
（付記１３）
前記類似スコアの算出は、
前記地上特徴マップと前記空撮特徴マップの可能な各ペアについて類似度を算出することと、
前記算出された類似度の最大値を前記類似スコアとして利用することとを含む、付記１１に記載の記憶媒体。
（付記１４）
前記類似スコアの算出は、
前記地上特徴マップと前記空撮特徴マップの可能な各ペアについて類似度を算出することと、
前記算出された類似度のうちのいくつか又は全ての統計値を前記類似スコアとして利用することとを含む、付記１１に記載の記憶媒体。
（付記１５）
２つのデータの前記類似度は、それらの間の距離、それらの間のコサイン類似度、又は、２つのデータの類似度を出力するように訓練されたニューラルネットワークによって算出されるニューラルネットワークベースの類似度である、付記１１から１４いずれか一項に記載の記憶媒体。
【符号の説明】
【0071】
２０ 地上画像
２１ 第１非アテンション地上特徴マップ
２２ 第１地上アテンションマップ
２３ 第１アテンション地上特徴マップ
２４ 第２非アテンション地上特徴マップ
２５ 第２地上アテンションマップ
２６ 第２アテンション地上特徴マップ
３０ 空撮画像
３１ 第１非アテンション空撮特徴マップ
３２ 第１空撮アテンションマップ
３３ 第１アテンション空撮特徴マップ
３４ 第２非アテンション空撮特徴マップ
３５ 第２空撮アテンションマップ
３６ 第２アテンション空撮特徴マップ
２００ ジオローカライゼーションシステム
３００ 位置データベース
１０００ コンピュータ
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 画像マッチング装置
２０２０ 地上特徴抽出部
２０２２ 第１レイヤ抽出部
２０２４ 第２レイヤ抽出部
２０４０ 空撮特徴抽出部
２０４２ 第１レイヤ抽出部
２０４４ 第２レイヤ抽出部
２０６０ 判定部
２１ 第１非アテンション地上特徴マップ
２２ 第１地上アテンションマップ
２３ 第１アテンション地上特徴マップ
２４ 第２非アテンション地上特徴マップ
２５ 第２地上アテンションマップ
２６ 第２アテンション地上特徴マップ
３０ 空撮画像
３１ 第１非アテンション空撮特徴マップ
３２ 第１空撮アテンションマップ
３３ 第１アテンション空撮特徴マップ
３４ 第２非アテンション空撮特徴マップ
３５ 第２空撮アテンションマップ
３６ 第２アテンション空撮特徴マップ
２００ ジオローカライゼーションシステム
３００ 位置データベース
１０００ コンピュータ
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 画像マッチング装置
２０２０ 地上特徴抽出部
２０２２ 第１レイヤ抽出部
２０２４ 第２レイヤ抽出部
２０４０ 空撮特徴抽出部
２０４２ 第１レイヤ抽出部
２０４４ 第２レイヤ抽出部
２０６０ 判定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】