知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-09
(45)【発行日】2024-12-17
(54)【発明の名称】訓練装置、制御方法、及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241210BHJP
G06N 20/00 20190101ALI20241210BHJP
【ＦＩ】
G06T7/00 350
G06N20/00
【請求項の数】
7
(21)【出願番号】P 2023561314
(86)(22)【出願日】2021-04-08
(65)【公表番号】
(43)【公表日】2024-03-21
(86)【国際出願番号】 JP2021014936
(87)【国際公開番号】W WO2022215236
(87)【国際公開日】2022-10-13
【審査請求日】2023-10-05
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】ロドリゲス ロイストン
(72)【発明者】
【氏名】谷 真宏
【審査官】豊田 好一
(56)【参考文献】
【文献】特開２０１８－０９２６２８（ＪＰ，Ａ）
【文献】特開２０１９－０２８５６０（ＪＰ，Ａ）
【文献】特開２０１１－００２８９２（ＪＰ，Ａ）
【文献】特開２０１９－０７８６２０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
視野角が３６０度未満である地上画像と、空撮画像と、配置情報とを取得する取得手段と、前記地上画像と前記空撮画像とがマッチするか否かを判定する識別器を訓練する訓練実行手段と、を有し、
前記識別器は、
前記空撮画像から複数の部分空撮領域を抽出し、
前記地上画像とマッチする前記部分空撮領域が存在する場合に、前記地上画像と前記空撮画像とがマッチすると判定し、
前記識別器の訓練は、
正配置部分空撮領域と誤配置部分空撮領域を前記空撮画像から抽出することと、
前記地上画像及び前記正配置部分空撮領域のセットと、前記地上画像と前記誤配置部分空撮領域のセットとを用いて、前記識別器を訓練することと、を含み、
前記正配置部分空撮領域は、前記配置情報によって示され、かつ、前記地上画像に対応する前記部分空撮領域であり、
前記誤配置部分空撮領域は、前記正配置部分空撮領域と一部が重複する前記部分空撮領域であり、
前記識別器の訓練において、前記正配置部分空撮領域と前記誤配置部分空撮領域の双方は、正例の前記部分空撮領域として利用され、
前記配置情報は第１の放射状線と第２の放射状線を示し、
前記正配置部分空撮領域の抽出は、前記空撮画像において前記第１の放射状線と前記第２の放射状線との間にある領域を前記正配置部分空撮領域として抽出することを含み、
前記誤配置部分空撮領域の抽出は、
前記第１の放射状線と前記第２の放射状線を回転させることと、
前記空撮画像において前記回転された第１の放射状線と前記回転された第２の放射状線との間にある領域を前記誤配置部分空撮領域として抽出することとを含む、訓練装置。
【請求項2】
前記誤配置部分空撮領域の抽出は、確率分布から値をサンプリングすることを含み、前記第１の放射状線と前記第２の放射状線は、前記サンプリングされた値によって定まる角度回転される、請求項１に記載の訓練装置。
【請求項3】
前記確率分布はゼロ平均ガウス分布である、請求項２に記載の訓練装置。
【請求項4】
前記訓練実行手段は、前記空撮画像から円形領域を抽出し、前記正配置部分空撮領域と前記誤配置部分空撮領域は、前記円形領域から抽出される、請求項１から３いずれか一項に記載の訓練装置。
【請求項5】
コンピュータによって実行される制御方法であって、視野角が３６０度未満である地上画像と、空撮画像と、配置情報とを取得することと、
前記地上画像と前記空撮画像とがマッチするか否かを判定する識別器を訓練することと、を含み、
前記識別器は、
前記空撮画像から複数の部分空撮領域を抽出し、
前記地上画像とマッチする前記部分空撮領域が存在する場合に、前記地上画像と前記空撮画像とがマッチすると判定し、
前記識別器の訓練は、
正配置部分空撮領域と誤配置部分空撮領域を前記空撮画像から抽出することと、
前記地上画像及び前記正配置部分空撮領域のセットと、前記地上画像と前記誤配置部分空撮領域のセットとを用いて、前記識別器を訓練することと、を含み、
前記正配置部分空撮領域は、前記配置情報によって示され、かつ、前記地上画像に対応する前記部分空撮領域であり、
前記誤配置部分空撮領域は、前記正配置部分空撮領域と一部が重複する前記部分空撮領域であり、
前記識別器の訓練において、前記正配置部分空撮領域と前記誤配置部分空撮領域の双方は、正例の前記部分空撮領域として利用され、
前記配置情報は第１の放射状線と第２の放射状線を示し、
前記正配置部分空撮領域の抽出は、前記空撮画像において前記第１の放射状線と前記第２の放射状線との間にある領域を前記正配置部分空撮領域として抽出することを含み、
前記誤配置部分空撮領域の抽出は、
前記第１の放射状線と前記第２の放射状線を回転させることと、
前記空撮画像において前記回転された第１の放射状線と前記回転された第２の放射状線との間にある領域を前記誤配置部分空撮領域として抽出することとを含む、制御方法。
【請求項6】
前記誤配置部分空撮領域の抽出は、確率分布から値をサンプリングすることを含み、前記第１の放射状線と前記第２の放射状線は、前記サンプリングされた値によって定まる角度回転される、請求項５に記載の制御方法。
【請求項7】
視野角が３６０度未満である地上画像と、空撮画像と、配置情報とを取得することと、前記地上画像と前記空撮画像とがマッチするか否かを判定する識別器を訓練することと、をコンピュータに実行させ、
前記識別器は、
前記空撮画像から複数の部分空撮領域を抽出し、
前記地上画像とマッチする前記部分空撮領域が存在する場合に、前記地上画像と前記空撮画像とがマッチすると判定し、
前記識別器の訓練は、
正配置部分空撮領域と誤配置部分空撮領域を前記空撮画像から抽出することと、
前記地上画像及び前記正配置部分空撮領域のセットと、前記地上画像と前記誤配置部分空撮領域のセットとを用いて、前記識別器を訓練することと、を含み、
前記正配置部分空撮領域は、前記配置情報によって示され、かつ、前記地上画像に対応する前記部分空撮領域であり、
前記誤配置部分空撮領域は、前記正配置部分空撮領域と一部が重複する前記部分空撮領域であり、
前記識別器の訓練において、前記正配置部分空撮領域と前記誤配置部分空撮領域の双方は、正例の前記部分空撮領域として利用され、
前記配置情報は第１の放射状線と第２の放射状線を示し、
前記正配置部分空撮領域の抽出は、前記空撮画像において前記第１の放射状線と前記第２の放射状線との間にある領域を前記正配置部分空撮領域として抽出することを含み、
前記誤配置部分空撮領域の抽出は、
前記第１の放射状線と前記第２の放射状線を回転させることと、
前記空撮画像において前記回転された第１の放射状線と前記回転された第２の放射状線との間にある領域を前記誤配置部分空撮領域として抽出することとを含む、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、全体として、画像マッチング、特に、地上画像と空撮画像とのマッチングに関する。
【背景技術】
【0002】
グラウンド・トゥー・エアリアル・クロスビューマッチング（地上画像と空撮画像のマッチング）を行うコンピュータシステムが開発されている。例えば、非特許文献１は、視野が３６０度未満の地上画像と空撮画像とをマッチングするために、一組の CNN（Convolutional Neural Network） が含まれるシステムを開示する。
【0003】
具体的には、CNN の１つが地上画像を取得し、そこから特徴量を抽出する。もう１つは、極変換された空撮画像を取得し、そこから特徴量を抽出する。次に、システムは、地上画像から抽出された特徴量と空撮画像から抽出された特徴量との間の相関を計算することによって、空撮画像に対する地上画像の方向アライメントを推定する。方向アライメントに基づいて、システムは、地上画像に対応すると推定される空撮画像の特徴量の一部をシフトし、クロップする。次に、地上画像の特徴量を空撮画像のクロップされた特徴量と比較して、地上画像が空撮画像とマッチするかどうかを決定する。
【先行技術文献】
【非特許文献】
【0004】
【文献】Yujiao Shi、Xin Yu、Dylan Campbell、及びand Hongdong Li、「Where am I looking at? Joint Location and Orientation Estimation by Cross-View Matching」、Computer Research Repository、arXiv:2005.03860、２０２０年５月８日
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献１では、視野角が３６０度未満の地上画像と空撮画像とのマッチングを行うネットワーク群を訓練するために、全ての訓練データが事前に準備されていると仮定する。本開示の目的は、視野角が３６０度未満の地上画像と空撮画像とのマッチングを行う識別器を訓練する効果的な方法を提供することである。
【課題を解決するための手段】
【0006】
本開示が提供する訓練装置は、少なくとも１つのプロセッサと、命令列が格納されている記憶要素と、を含む。前記少なくとも１つのプロセッサは、前記命令列を実行することにより、視野角が３６０度未満である地上画像と、空撮画像と、配置情報とを取得し、前記地上画像と前記空撮画像とがマッチするか否かを判定する識別器を訓練し、前記識別器は前記空撮画像から複数の部分空撮領域を抽出し、前記地上画像とマッチする前記部分空撮領域が存在する場合に、前記地上画像と前記空撮画像とがマッチすると判定する。
前記識別器の訓練は、正配置部分空撮領域と誤配置部分空撮領域を前記空撮画像から抽出することを含み、前記正配置部分空撮領域は、前記配置情報によって示され、かつ、前記地上画像に対応する前記部分空撮領域であり、前記誤配置部分空撮領域は、前記正配置部分空撮領域と一部が重複する前記部分空撮領域であり、前記地上画像及び前記正配置部分空撮領域のセットと、前記地上画像と前記誤配置部分空撮領域のセットとを用いて、前記識別器を訓練することを含み、前記正配置部分空撮領域と前記誤配置部分空撮領域の双方は、正例の前記部分空撮領域として利用される。
前記識別器の訓練は、正配置部分空撮領域と誤配置部分空撮領域を前記空撮画像から抽出することを含み、前記正配置部分空撮領域は、前記配置情報によって示され、かつ、前記地上画像に対応する前記部分空撮領域であり、前記誤配置部分空撮領域は、前記正配置部分空撮領域と一部が重複する前記部分空撮領域であり、前記地上画像及び前記正配置部分空撮領域のセットと、前記地上画像と前記誤配置部分空撮領域のセットとを用いて、前記識別器を訓練することを含み、前記正配置部分空撮領域と前記誤配置部分空撮領域の双方は、正例の前記部分空撮領域として利用される。
【0007】
本開示がさらに提供する制御方法は、コンピュータによって実行される。当該制御方法は、視野角が３６０度未満である地上画像と、空撮画像と、配置情報とを取得することと、前記地上画像と前記空撮画像とがマッチするか否かを判定する識別器を訓練することと、を含み、前記識別器は前記空撮画像から複数の部分空撮領域を抽出し、前記地上画像とマッチする前記部分空撮領域が存在する場合に、前記地上画像と前記空撮画像とがマッチすると判定する。
前記識別器の訓練は、正配置部分空撮領域と誤配置部分空撮領域を前記空撮画像から抽出することを含み、前記正配置部分空撮領域は、前記配置情報によって示され、かつ、前記地上画像に対応する前記部分空撮領域であり、前記誤配置部分空撮領域は、前記正配置部分空撮領域と一部が重複する前記部分空撮領域であり、前記地上画像及び前記正配置部分空撮領域のセットと、前記地上画像と前記誤配置部分空撮領域のセットとを用いて、前記識別器を訓練することを含み、前記正配置部分空撮領域と前記誤配置部分空撮領域の双方は、正例の前記部分空撮領域として利用される。
前記識別器の訓練は、正配置部分空撮領域と誤配置部分空撮領域を前記空撮画像から抽出することを含み、前記正配置部分空撮領域は、前記配置情報によって示され、かつ、前記地上画像に対応する前記部分空撮領域であり、前記誤配置部分空撮領域は、前記正配置部分空撮領域と一部が重複する前記部分空撮領域であり、前記地上画像及び前記正配置部分空撮領域のセットと、前記地上画像と前記誤配置部分空撮領域のセットとを用いて、前記識別器を訓練することを含み、前記正配置部分空撮領域と前記誤配置部分空撮領域の双方は、正例の前記部分空撮領域として利用される。
【0008】
本開示がさらに提供する非一時的なコンピュータ可読記憶媒体は、プログラムを格納する。当該プログラムは、視野角が３６０度未満である地上画像と、空撮画像と、配置情報とを取得することと、前記地上画像と前記空撮画像とがマッチするか否かを判定する識別器を訓練することと、をコンピュータに実行させる。前記識別器は前記空撮画像から複数の部分空撮領域を抽出し、前記地上画像とマッチする前記部分空撮領域が存在する場合に、前記地上画像と前記空撮画像とがマッチすると判定する。
前記識別器の訓練は、正配置部分空撮領域と誤配置部分空撮領域を前記空撮画像から抽出することを含み、前記正配置部分空撮領域は、前記配置情報によって示され、かつ、前記地上画像に対応する前記部分空撮領域であり、前記誤配置部分空撮領域は、前記正配置部分空撮領域と一部が重複する前記部分空撮領域であり、前記地上画像及び前記正配置部分空撮領域のセットと、前記地上画像と前記誤配置部分空撮領域のセットとを用いて、前記識別器を訓練することを含み、前記正配置部分空撮領域と前記誤配置部分空撮領域の双方は、正例の前記部分空撮領域として利用される。
前記識別器の訓練は、正配置部分空撮領域と誤配置部分空撮領域を前記空撮画像から抽出することを含み、前記正配置部分空撮領域は、前記配置情報によって示され、かつ、前記地上画像に対応する前記部分空撮領域であり、前記誤配置部分空撮領域は、前記正配置部分空撮領域と一部が重複する前記部分空撮領域であり、前記地上画像及び前記正配置部分空撮領域のセットと、前記地上画像と前記誤配置部分空撮領域のセットとを用いて、前記識別器を訓練することを含み、前記正配置部分空撮領域と前記誤配置部分空撮領域の双方は、正例の前記部分空撮領域として利用される。
【発明の効果】
【0009】
本開示によれば、視野角が３６０度未満の地上画像と空撮画像とのマッチングを行う識別器を効果的に訓練する方法が提供される。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、本開示に係る実施形態の一例を図面を参照して説明する。なお、図中の同一の要素には同一の符号を付し、必要に応じて冗長な説明を省略している。また、所定の情報（例えば、所定の値又は所定の閾値）は、特に記載のない限り、その情報を使用するコンピュータがアクセスできる記憶装置に予め記憶されている。
【0012】
実施形態１
＜概要＞
実施形態１の訓練装置は、地上画像と空撮画像とのマッチング（いわゆる、グラウンド・トゥー・エアリアル・クロスビューマッチング）を行う識別器の訓練を行う。図１は、実施形態１の訓練装置によって訓練される識別器を示す図である。識別器１０は、地上画像２０と空撮画像３０とを取得し、地上画像２０と空撮画像３０とがマッチするか否かを判定する。なお、「地上画像と空撮画像とがマッチする」とは、地上画像に撮像されている場所が、空撮画像に撮像されている場所と十分に重複することを意味する。
＜概要＞
実施形態１の訓練装置は、地上画像と空撮画像とのマッチング（いわゆる、グラウンド・トゥー・エアリアル・クロスビューマッチング）を行う識別器の訓練を行う。図１は、実施形態１の訓練装置によって訓練される識別器を示す図である。識別器１０は、地上画像２０と空撮画像３０とを取得し、地上画像２０と空撮画像３０とがマッチするか否かを判定する。なお、「地上画像と空撮画像とがマッチする」とは、地上画像に撮像されている場所が、空撮画像に撮像されている場所と十分に重複することを意味する。
【0013】
地上画像２０は、或る場所のグラウンドビューを含む画像である。地上画像２０は、例えば、歩行者が持つカメラや、道路上の車両に設置されたカメラによって撮像される。識別器１０によって扱われる地上画像２０は、限られた（３６０度未満の）視野を有する。空撮画像３０は、或る場所の平面視が含まれる画像である。空撮画像３０は、例えば、ドローン、航空機、又は人工衛星に搭載されたカメラによって撮像される。
【0014】
地上画像２０の画角が３６０度未満であるため、地上画像２０に撮像された場所は、空撮画像３０に撮像された場所の一部である。そこで、識別器１０は、地上画像２０と空撮画像３０とを取得し、取得した空撮画像３０が、取得した地上画像２０とマッチする部分空撮領域４０（すなわち、空撮画像３０の一部）を含むか否かを判定する。取得した空撮画像３０が、取得した地上画像２０とマッチする部分空撮領域４０を含む場合、地上画像２０が空撮画像３０とマッチすると判定される。一方、取得した空撮画像３０が、取得した地上画像２０とマッチする部分空撮領域４０を含まない場合には、地上画像２０が空撮画像３０とマッチしないと判定される。なお、「部分空撮領域とマッチする地上画像」とは、地上画像に撮像されている場所が部分空撮領域に撮像されている場所と十分に重複することを意味する。
【0015】
図２は、実施形態１の訓練装置２０００の概要を示す図である。前述したように動作する識別器１０を訓練するために、訓練装置２０００は以下のように動作する。訓練装置２０００は、地上画像２０と、地上画像２０とマッチする部分空撮領域４０が含まれる空撮画像３０とを取得する。また、訓練装置２０００は、空撮画像３０のどの部分が地上画像２０に対応しているかを示す配置情報５０を取得する。言い換えれば、配置情報５０は、地上画像２０に対応する部分空撮領域４０を示す。以下、配置情報５０によって示される部分空撮領域４０は、「正配置部分空撮領域４２」と記述される。この用語を用いると、「配置情報５０は、空撮画像３０のどの部分が正配置部分空撮領域４２として抽出されるべきか、を示している」と言い換えることができる。正配置部分空撮領域４２は、識別器１０によって抽出される部分空撮領域４０のうち、地上画像２０に最も類似している可能性がある。
【0016】
訓練装置２０００は、配置情報５０を使用して、空撮画像３０から正配置部分空撮領域４２を抽出する。また、訓練装置２０００は、配置情報５０を使用して、空撮画像３０から、誤配置部分空撮領域４４も抽出する。誤配置部分空撮領域４４は、正配置部分空撮領域４２と部分的に重なる部分空撮領域である。図３は、正配置部分空撮領域４２と誤配置部分空撮領域４４の例を示す。図３に示される誤配置部分空撮領域４４は、正配置部分空撮領域４２をわずかに回転させることによって得られる。
【0017】
概念的には、訓練装置２０００は、正配置部分空撮領域４２だけでなく、誤配置部分空撮領域４４も地上画像２０とマッチするように、識別器１０を訓練する。この特徴を実現するために、訓練装置２０００は、地上画像２０と正配置部分空撮領域４２のセットと、地上画像２０と誤配置部分空撮領域４４のセットの両方を、正例の部分空撮領域４０を持つ訓練データセットとして使用して、識別器１０を訓練する。つまり、訓練装置２０００は、識別器１０の訓練において、正配置部分空撮領域４２と誤配置部分空撮領域４４の両方を、部分空撮領域４０の正例として使用する。なお、部分空撮領域４０の正例は、識別器１０によって地上画像２０とマッチすると判定される部分空撮領域４０である。
【0018】
＜作用効果の例＞
実施形態１の訓練装置２０００によれば、訓練装置２０００は、取得した空撮画像３０から、正配置部分空撮領域４２だけでなく、誤配置部分空撮領域４４も抽出することにより、単一の空撮画像３０から複数の訓練データセットを取得する。このデータ拡張により、識別器１０を訓練するための訓練データセットの作成が容易になる。また、識別器が、正配置部分空撮領域４２だけでなく、誤配置部分空撮領域４４についても、地上画像２０とマッチすると判定するように訓練されることにより、識別器１０が部分空撮領域の配置ずれをある程度許容できるようにして、識別器１０の計算負荷を小さくすることができる。この点については後述する。
実施形態１の訓練装置２０００によれば、訓練装置２０００は、取得した空撮画像３０から、正配置部分空撮領域４２だけでなく、誤配置部分空撮領域４４も抽出することにより、単一の空撮画像３０から複数の訓練データセットを取得する。このデータ拡張により、識別器１０を訓練するための訓練データセットの作成が容易になる。また、識別器が、正配置部分空撮領域４２だけでなく、誤配置部分空撮領域４４についても、地上画像２０とマッチすると判定するように訓練されることにより、識別器１０が部分空撮領域の配置ずれをある程度許容できるようにして、識別器１０の計算負荷を小さくすることができる。この点については後述する。
【0019】
以下、訓練装置２０００についてより詳細な説明を行う。
【0020】
＜機能構成の例＞
図４は、訓練装置２０００の機能構成例を示すブロック図である。訓練装置２０００は、取得部２０２０と、部分空撮領域抽出部２０４０と、訓練実行部２０６０とを有する。取得部２０２０は、地上画像２０と、空撮画像３０と、配置情報５０とを取得する。部分空撮領域抽出部２０４０は、配置情報５０に基づいて、正配置部分空撮領域４２と、誤配置部分空撮領域４４とを抽出する。訓練実行部２０６０は、部分空撮領域４０の正例を用いた訓練データセットとして、地上画像２０及び正配置部分空撮領域４２のセットと、地上画像２０及び誤配置部分空撮領域４４のセットとを用いて、識別器１０の訓練を実行する。正配置部分空撮領域４２と誤配置部分空撮領域４４との両方が、部分空撮領域４０の正例として用いられる。
図４は、訓練装置２０００の機能構成例を示すブロック図である。訓練装置２０００は、取得部２０２０と、部分空撮領域抽出部２０４０と、訓練実行部２０６０とを有する。取得部２０２０は、地上画像２０と、空撮画像３０と、配置情報５０とを取得する。部分空撮領域抽出部２０４０は、配置情報５０に基づいて、正配置部分空撮領域４２と、誤配置部分空撮領域４４とを抽出する。訓練実行部２０６０は、部分空撮領域４０の正例を用いた訓練データセットとして、地上画像２０及び正配置部分空撮領域４２のセットと、地上画像２０及び誤配置部分空撮領域４４のセットとを用いて、識別器１０の訓練を実行する。正配置部分空撮領域４２と誤配置部分空撮領域４４との両方が、部分空撮領域４０の正例として用いられる。
【0021】
＜ハードウエア構成の例＞
訓練装置２０００は、１つ以上のコンピュータで実現されうる。それら１つ以上のコンピュータのそれぞれは、訓練装置２０００を実現するために作成された専用のコンピュータであってもよいし、パーソナルコンピュータ（PC: Personal Computer）、サーバマシン又はモバイルデバイスなどの汎用のコンピュータであってもよい。
訓練装置２０００は、１つ以上のコンピュータで実現されうる。それら１つ以上のコンピュータのそれぞれは、訓練装置２０００を実現するために作成された専用のコンピュータであってもよいし、パーソナルコンピュータ（PC: Personal Computer）、サーバマシン又はモバイルデバイスなどの汎用のコンピュータであってもよい。
【0022】
訓練装置２０００は、コンピュータにアプリケーションをインストールすることで実現されうる。そのアプリケーションは、コンピュータを訓練装置２０００として機能させるプログラムで実現される。言い換えれば、そのプログラムは、訓練装置２０００の機能構成部を実装したものである。
【0023】
図５は、訓練装置２０００を実現するコンピュータ１０００のハードウエア構成の例を示すブロック図である。図５において、コンピュータ１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。
【0024】
バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が相互にデータの送信及び受信をするためのデータ通信路である。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などといったプロセッサである。メモリ１０６０は、RAM（Random Access Memory）又は ROM（Read Only Memory）などの主記憶要素である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、又はメモリカードなどの補助記憶要素である。入出力インタフェース１１００は、コンピュータ１０００と周辺デバイス（キーボード、マウス、又はディスプレイデバイスなど）との間のインタフェースである。ネットワークインタフェース１１２０は、コンピュータ１０００とネットワークとの間のインタフェースである。ネットワークは、LAN（Local Area Network）でもよいし、WAN（Wide Area Network）でもよい。ストレージデバイス１０８０は、前述したプログラムを格納しうる。プロセッサ１０４０は、訓練装置２０００の各機能構成部を実現するためにそのプログラムを実行する。
【0025】
コンピュータ１０００のハードウエア構成は、図５に示される構成に限定されない。
例えば、前述したように、訓練装置２０００は複数のコンピュータで実現されうる。この場合、それらのコンピュータは、ネットワークを介して互いに接続されうる。
例えば、前述したように、訓練装置２０００は複数のコンピュータで実現されうる。この場合、それらのコンピュータは、ネットワークを介して互いに接続されうる。
【0026】
＜処理の流れ＞
図６は、訓練装置２０００によって実行される処理の流れの一例を示すフローチャートである。取得部２０２０は、地上画像２０、空撮画像、配置情報５０を取得する（Ｓ１０２）。部分空撮領域抽出部２０４０は、空撮画像３０から、正配置部分空撮領域４２を抽出する（Ｓ１０４）。部分空撮領域抽出部２０４０は、空撮画像３０から、誤配置部分空撮領域４４を抽出する（Ｓ１０６）。訓練実行部２０６０は、地上画像２０及び正配置部分空撮領域４２を含む訓練データセットと、地上画像２０及び誤配置部分空撮領域４４を含む訓練データセットとを用いて、識別器１０の訓練を実行する（Ｓ１０８）。
図６は、訓練装置２０００によって実行される処理の流れの一例を示すフローチャートである。取得部２０２０は、地上画像２０、空撮画像、配置情報５０を取得する（Ｓ１０２）。部分空撮領域抽出部２０４０は、空撮画像３０から、正配置部分空撮領域４２を抽出する（Ｓ１０４）。部分空撮領域抽出部２０４０は、空撮画像３０から、誤配置部分空撮領域４４を抽出する（Ｓ１０６）。訓練実行部２０６０は、地上画像２０及び正配置部分空撮領域４２を含む訓練データセットと、地上画像２０及び誤配置部分空撮領域４４を含む訓練データセットとを用いて、識別器１０の訓練を実行する（Ｓ１０８）。
【0027】
図６に示す流れは、訓練装置２０００が実行する動作の流れの一例であり、動作の流れは図６に示すものに限定されるものではない。例えば、訓練装置２０００は、正配置部分空撮領域４２が含まれる訓練データセットを用いて、正配置部分空撮領域４２の抽出と識別器１０の訓練とを行い、その後に、誤配置部分空撮領域４４が含まれる訓練データセットを用いて、誤配置部分空撮領域４４の抽出と識別器１０の訓練とを行うことができる。
【0028】
＜識別器１０のアプリケーションの例＞
識別器１０のアプリケーションには様々なものがある。例えば識別器１０は、画像ジオローカライゼーションを行うシステム（以下、ジオローカライゼーションシステム）の一部として利用することができる。画像ジオローカライゼーションは、入力された画像の撮像場所を特定する技術である。ここで、ジオローカライゼーションシステムはあくまで、識別器１０のアプリケーションの一例であり、識別器１０のアプリケーションは、ジオローカライゼーションシステムの中で利用されるものに限定されない。
識別器１０のアプリケーションには様々なものがある。例えば識別器１０は、画像ジオローカライゼーションを行うシステム（以下、ジオローカライゼーションシステム）の一部として利用することができる。画像ジオローカライゼーションは、入力された画像の撮像場所を特定する技術である。ここで、ジオローカライゼーションシステムはあくまで、識別器１０のアプリケーションの一例であり、識別器１０のアプリケーションは、ジオローカライゼーションシステムの中で利用されるものに限定されない。
【0029】
図７は、識別器１０が含まれるジオローカライゼーションシステム２００を示す。ジオローカライゼーションシステム２００は、識別器１０及び位置データベース３００を含む。位置データベース３００は、それぞれに位置情報が付加された複数の空撮画像を含む。位置情報の例は、対応する空撮画像の撮像場所の GPS（Global Positioning System）座標でありうる。
【0030】
ジオローカライゼーションシステム２００は、クライアント（例えばユーザ端末）から地上画像を含むクエリを受信し、受信したクエリに含まれる地上画像とマッチする空撮画像を位置データベース３００から探索し、これによって地上画像の撮像場所を特定する。具体的には、クエリに含まれる地上画像にマッチする空撮画像が検出されるまで、ジオローカライゼーションシステム２００は、「位置データベース３００から空撮画像を１つ取得し、地上画像と取得した空撮画像を識別器１０に入力し、識別器１０からの出力が、地上画像と空撮画像とがマッチすることを示しているか否かを判定する。」という処理を繰り返す。こうすることで、ジオローカライゼーションシステム２００は、地上画像の撮像場所が含まれる空撮画像を見つけることができる。検出された空撮画像が GPS 座標などの位置情報に対応づけられているため、ジオローカライゼーションシステム２００は、地上画像の撮像場所が、地上画像にマッチする空撮画像に対応づけられている位置情報によって示されている場所であると把握できる。
【0031】
なお、ジオローカライゼーションシステム２００は、図５に示されているコンピュータなどのような任意の１つ以上のコンピュータで実現されうる。
【0032】
＜識別器１０の詳細な説明＞
上述したように、識別器１０は、地上画像２０と空撮画像３０とを取得し、地上画像２０と空撮画像３０とがマッチするか否かを判定する。具体的には、識別器１０は、空撮画像３０から複数の部分空撮領域４０を抽出し、各部分空撮領域４０と地上画像２０とを比較する。
上述したように、識別器１０は、地上画像２０と空撮画像３０とを取得し、地上画像２０と空撮画像３０とがマッチするか否かを判定する。具体的には、識別器１０は、空撮画像３０から複数の部分空撮領域４０を抽出し、各部分空撮領域４０と地上画像２０とを比較する。
【0033】
比較のために、識別器１０は、地上画像２０および各部分空撮領域４０から特徴量を抽出する。そして、識別器１０は、部分空撮領域４０ごとに、部分空撮領域４０の特徴量が地上画像２０の特徴量と十分に類似しているか否かを判定する。そのために、識別器１０は、地上画像２０の特徴量と部分空撮領域４０の特徴量との類似度を示す指標（以下、類似スコア）を算出する。
【0034】
地上画像２０の特徴量と十分に類似する特徴量を持つ部分空撮領域４０が存在する（例えば、地上画像２０の特徴量と部分空撮領域４０の特徴量とについて算出された類似スコアが所定の閾値以上である）場合、識別器１０は、地上画像２０が空撮画像３０とマッチすると判定する。一方、地上画像２０の特徴量と十分に類似する特徴量を持つ部分空撮領域４０が存在しない場合、識別器１０は、地上画像２０と空撮画像３０とがマッチしないと判定する。
【0035】
識別器１０が空撮画像３０から部分空撮領域４０を抽出するためには、様々な方法がある。例えば、識別器１０は、放射状線を用いて、空撮画像３０を複数の部分空撮領域４０に分割する。図８は、放射状線を用いて得られる部分空撮領域４０を示す。図８では、空撮画像３０の中心を原点とし、その原点から複数の放射状線を描画する。また、隣接する二つの放射状線間の角度の大きさは４５度である。その結果、空撮画像３０から８つの部分空撮領域４０－１～４０－８が抽出される。
【0036】
隣接する２つの放射状線間の角度の大きさは、予め設定されていてもよいし、識別器１０のユーザによって指定されていてもよいし、地上画像２０の視野の大きさに基づいて決定されていてもよい。隣接する２つの放射状線間の角度の大きさは、地上画像２０の視野の大きさと同じに設定されることが好ましい。例えば、地上画像２０の視野の大きさが４５度の場合、隣接する２つの放射状線間の角度の大きさは、４５度に設定されることが好ましい。
【0037】
識別器１０は、隣接する２つの放射状線間の角度に、複数の大きさを用いてもよい。隣接する２つの放射状線間の角度として４５度と６０度が用いられると仮定する。この場合、例えば識別器１０は、隣接する２つの放射状線間の角度をまず４５度とし、８つの部分空撮領域４０を抽出する。次に、識別器１０は、隣接する２つの放射状線間の角度を６０度とし、６つの部分空撮領域４０を抽出する。その結果、識別器１０は、合計１４個の部分空撮領域４０を得る。これにより、識別器１０は、地上画像２０の視野を知らなくても、地上画像２０にマッチする部分空撮領域４０を見つけ出すことができる。
【0038】
識別器１０は、部分空撮領域４０の一部が、１つ以上の他の部分空撮領域４０の一部と重なるように、部分空撮領域４０を抽出することができる。この場合、例えば、識別器１０は、スライドウィンドウ法を使用して、空撮画像３０から部分空撮領域４０を抽出するための放射状線を定義することができる。以下、空撮画像３０から部分空撮領域４０を抽出するための２つの放射状線は、それぞれ、「第１の放射状線」及び「第２の放射状線」と表記される。なお、第１の放射状線とｘ軸との角度は、第２の放射状線とｘ軸との角度よりも小さい。
【0039】
この場合、各部分空撮領域４０について、識別器１０は、第１の放射状線と第２の放射状線とを次のように定義することができる。
式（１）において、α[i] は、ｉ番目の部分空撮領域４０を定義する第１の放射状線とｘ軸との間の角度を表す。βは、ｉ番目の部分空撮領域４０を定義する第２の放射状線とｘ軸との間の角度を表す。s は、スライディングウィンドウのストライドのサイズ、すなわち、隣接する２つの部分空撮領域４０間の角度を表す。そして、w は、スライディングウィンドウのサイズ、すなわち、第１の放射状線と第２の放射状線との間の角度を表す。
【数1】
【0040】
ストライドのサイズがより小さく設定されるほど、識別器１０は、地上画像２０と部分空撮領域４０との間のマッチングをより細かく行うことができる。したがって、地上画像と空撮画像とのクロスビューマッチングの精度の観点からは、ストライドには非常に小さい値が設定されることが好ましい。しかしなが、ストライドのサイズを小さくすると、識別器１０の計算負荷が大きくなる。
【0041】
訓練装置２０００は、誤配置部分空撮領域４４と地上画像２０とがマッチすると判定するように識別器１０を訓練することにより、この問題を緩和する。この訓練により、識別器１０は、部分空撮領域４０の配置ずれをある程度許容するようになる。すなわち、識別器１０は、地上画像２０が空撮画像２０とマッチするか否かを判定するために、完全に位置合わせされた部分空撮領域を抽出する必要はない。そのため、ストライドに非常に小さな値を設定することなく、識別器１０によって実行されるグラウンド・トゥー・エアリアル・クロスビューマッチングの精度を向上させることができ、それにより、識別器１０に大きな計算負荷を与えることを避けることができる。
【0042】
識別器１０は、空撮画像３０の全体から部分空撮領域４０を抽出する代わりに、空撮画像３０の一部から部分空撮領域４０を抽出してもよい。例えば、識別器１０は、空撮画像３０から円形領域をクロップした後、放射状線を用いてその円形領域から複数の部分空撮領域４０を抽出する。これにより、大きさや形状が同一である複数の部分空撮領域４０を得ることができる。図９は、空撮画像３０の円形領域から部分空撮領域４０が抽出されるケースを示す。図９において、円形領域３２は空撮画像３０に内接する円であり、その中心は空撮画像３０の中心に対応している。
【0043】
識別器１０は、訓練可能な方法で構成される。例えば識別器１０は、訓練可能なパラメータ（ニューラルネットワークの重みなど）が含まれる１つ以上の機械学習ベースモデルを有する。例えば、識別器１０は、それぞれが機械学習ベースのモデルとして構成される２つの特徴抽出器を有する。それらのうちの一つは、地上画像２０を供給し、地上画像２０の特徴量を出力する。もう一つは、部分空撮領域４０を取得し、その部分空撮領域４０の特徴量を出力する。特徴抽出器を実装するために採用できる機械学習ベースのモデルの一例は、CNN（Convolutional Neural Network）の特徴抽出層である。
【0044】
＜画像と配置情報の取得：Ｓ１０２＞
取得部２０２０は、地上画像２０、空撮画像３０、及び配置情報５０を取得する。取得部２０２０がこれらのデータを取得する方法は様々である。例えば、地上画像２０と、空撮画像３０と、配置情報５０とが、予め記憶装置に格納されている。この場合、取得部２０２０は、この記憶装置にアクセスし、地上画像２０と、空撮画像３０と、配置情報５０とを読み出す。別の例では、地上画像２０と空撮画像３０と配置情報５０とのセットは、ユーザによって訓練装置２０００に入力される。別の例では、取得部２０２０は、他の装置から送信された地上画像２０と空撮画像３０と配置情報５０とのセットを受信してもよい。
取得部２０２０は、地上画像２０、空撮画像３０、及び配置情報５０を取得する。取得部２０２０がこれらのデータを取得する方法は様々である。例えば、地上画像２０と、空撮画像３０と、配置情報５０とが、予め記憶装置に格納されている。この場合、取得部２０２０は、この記憶装置にアクセスし、地上画像２０と、空撮画像３０と、配置情報５０とを読み出す。別の例では、地上画像２０と空撮画像３０と配置情報５０とのセットは、ユーザによって訓練装置２０００に入力される。別の例では、取得部２０２０は、他の装置から送信された地上画像２０と空撮画像３０と配置情報５０とのセットを受信してもよい。
【0045】
配置情報５０は、空撮画像３０のどの部分を正配置部分空撮領域４２として抽出すべきかを、様々な方法で示しうる。例えば、配置情報５０は、正配置部分空撮領域４２を空撮画像３０から抽出することができる第１の放射状線及び第２の放射状線を示しうる。配置情報５０は、第１の放射状線とｘ軸との間の角度によって第１の放射状線を定義しうる。同様に、配置情報５０は、第２の放射状線とｘ軸との間の角度によって第２の放射状線を定義しうる。別の例では、配置情報５０は、第１の放射状線と第２の放射状線との間の角度によって、第２の放射状線を定義しうる。
【0046】
＜部分空撮領域の抽出：Ｓ１０４、Ｓ１０４＞
部分空撮領域抽出部２０４０は、空撮画像３０から、正配置部分空撮領域４２と、誤配置部分空撮領域４４とを抽出する（Ｓ１０４、Ｓ１０６）。正配置部分空撮領域４２について、部分空撮領域抽出部２０４０は、配置情報５０によって正配置部分空撮領域４２として示されている部分空撮領域４０を抽出しうる。
部分空撮領域抽出部２０４０は、空撮画像３０から、正配置部分空撮領域４２と、誤配置部分空撮領域４４とを抽出する（Ｓ１０４、Ｓ１０６）。正配置部分空撮領域４２について、部分空撮領域抽出部２０４０は、配置情報５０によって正配置部分空撮領域４２として示されている部分空撮領域４０を抽出しうる。
【0047】
なお、部分空撮領域抽出部２０４０は、空撮画像３０の一部をクロップし、クロップされた領域から正配置部分空撮領域４２を抽出してもよい。例えば、図９に示すように、部分空撮領域抽出部２０４０は、空撮画像３０に内接され、その中心が空撮画像３０の中心に対応する円形領域をクロップし、配置情報５０が示す第１の放射状線及び第２の放射状線を用いて、この円形領域から正配置部分空撮領域４２を抽出しうる。誤配置部分空撮領域４４の抽出についても同様である。
【0048】
誤配置部分空撮領域４４について、部分空撮領域抽出部２０４０は、正配置部分空撮領域４２を或る回転角度で回転させることにより、誤配置部分空撮領域４４の第１の放射状線及び第２の放射状線を算出することができる。回転角度（すなわち、正配置部分空撮領域４２の放射状線をどの角度で回転させて、誤配置部分空撮領域４４の放射状線を得るか）は、予め定義されていてもよいし、ユーザによって提供されていてもよいし、動的に算出されていてもよい。
【0049】
第１のケースにおいて、部分空撮領域抽出部２０４０は、回転角度を示す回転角度情報を取得しうる。この回転角度情報は、予め記憶装置に格納されていてもよい。部分空撮領域抽出部２０４０は、この回転角度情報によって示される回転角度だけ、正配置部分空撮領域４２の第１の放射状線及び第２の放射状線を回転させ、誤配置部分空撮領域４４の第１の放射状線及び第２の放射状線を得る。そして、部分空撮領域抽出部２０４０は、誤配置部分空撮領域４４について算出された第１の放射状線及び第２の放射状線を用いて、誤配置部分空撮領域４４を抽出する。
【0050】
ユーザから回転角度が提供される場合、部分空撮領域抽出部２０４０は、回転角度を示すユーザ入力を出得しうる。部分空撮領域抽出部２０４０は、ユーザから提供された回転角度だけ、正配置部分空撮領域４２の第１の放射状線及び第２の放射状線を回転させることにより、誤配置部分空撮領域４４の第１の放射状線及び第２の放射状線を得る。
【0051】
回転角度が動的に決定される場合、部分空撮領域抽出部２０４０は、回転角度として乱数を算出しうる。例えば、ゼロ平均ガウス分布 N(0,σ) から回転角度をサンプリングしうる。標準偏差σは、予め記憶装置に格納されていてもよいし、ユーザから提供されてもよい。部分空撮領域抽出部２０４０は、正配置部分空撮領域４２の第１の放射状線及び第２の放射状線を、ランダムに決定された回転角度だけ回転させることにより、誤配置部分空撮領域４４の第１の放射状線及び第２の放射状線を得る。なお、回転角度として乱数をサンプリングすることは、識別器１０が訓練データにオーバーフィットすることを防止するために有効である。
【0052】
部分空撮領域抽出部２０４０は、互いに異なる複数の回転角度を用いて、誤配置部分空撮領域４４を複数抽出しうる。予め回転角度が定義されている場合、部分空撮領域抽出部２０４０は、複数の回転角度を示す回転角度情報を取得しうる。部分空撮領域抽出部２０４０は、回転角度情報によって示されている各回転角度について誤配置部分空撮領域４４を取得することで、複数の誤配置部分空撮領域４４を取得する。
【0053】
ユーザから回転角度が提供される場合、部分空撮領域抽出部２０４０は、複数の回転角度を示すユーザ入力を取得してもよい。部分空撮領域抽出部２０４０は、ユーザ入力に示されている各回転角度について誤配置部分空撮領域４４を取得することで、複数の誤配置部分空撮領域４４を取得する。
【0054】
回転角度が動的に算出される場合、部分空撮領域抽出部２０４０は、回転角度として複数の乱数を算出しうる。抽出すべき誤配置部分空撮領域４４の個数がＭであるとする。この場合、部分空撮領域抽出部２０４０は、ガウス分布からランダムな値をＭ回サンプリングすることで、Ｍ個の回転角度を得る。部分空撮領域抽出部２０４０は、サンプリングされたＭ個の各回転角度について誤配置部分空撮領域４４を得ることにより、Ｍ個の誤配置部分空撮領域４４を得る。
【0055】
＜識別器１０の訓練の実行：Ｓ１０８＞
訓練実行部２０６０は、正配置部分空撮領域４２と誤配置部分空撮領域４４とを用いて識別器１０の訓練を実行する。コンセプトとして、識別器１０は、正配置部分空撮領域４２だけでなく、誤配置部分空撮領域４４も地上画像２０とマッチするように訓練される。このため、訓練実行部２０６０は、正配置部分空撮領域４２と誤配置部分空撮領域４４の両方を正例として、識別器１０の訓練を実行する。
訓練実行部２０６０は、正配置部分空撮領域４２と誤配置部分空撮領域４４とを用いて識別器１０の訓練を実行する。コンセプトとして、識別器１０は、正配置部分空撮領域４２だけでなく、誤配置部分空撮領域４４も地上画像２０とマッチするように訓練される。このため、訓練実行部２０６０は、正配置部分空撮領域４２と誤配置部分空撮領域４４の両方を正例として、識別器１０の訓練を実行する。
【0056】
例えば、訓練実行部２０６０は、地上画像２０と正配置部分空撮領域４２とのセットを入力し、地上画像２０の特徴量と正配置部分空撮領域４２の特徴量との類似度を表す類似度スコアを求める。そして、訓練実行部２０６０は、得られた類似度スコアに基づいて損失を算出し、損失が低減されるように識別器１０の訓練可能なパラメータ（例えばニューラルネットワークの重み）を更新する。なお、算出された損失に基づいて機械学習ベースのモデルの訓練可能なパラメータを更新する方法には、様々な周知の方法があり、それらのいずれかを利用して識別器１０を訓練することができる。
【0057】
誤配置部分空撮領域４４を利用した識別器の訓練にも同様のことを適用できる。具体的には、訓練実行部２０６０は、地上画像２０と誤配置部分空撮領域４４とのセットを入力し、地上画像２０の特徴量と誤配置部分空撮領域４４の特徴量との類似度を表す類似度スコアを算出する。そして、訓練実行部２０６０は、得られた類似度スコアに基づいて損失を算出し、損失が低減されるように識別器１０の訓練可能なパラメータを更新する。
【0058】
識別器１０の訓練には、負例の部分空撮領域も用いることができる。例えば訓練実行部２０６０は、地上画像２０と、正例の部分空撮領域４０と、負例の部分空撮領域４０とのセットを用いうる。正例としては、正配置部分空撮領域４２及び誤配置部分空撮領域４４が用いられ、負例としては、他の部分空撮領域が用いられる。なお、負例の部分空撮領域４０が抽出される空撮画像３０は、正配置部分空撮領域４２及び誤配置部分空撮領域４４が抽出される空撮画像３０と同一の空撮画像３０であってもよいし、異なる空撮画像３０であってもよい。前者の場合、負例の部分空撮領域４０は、正配置部分空撮領域４２と重ならない部分空撮領域４０である。後者の場合、取得部２０２０は、負例の部分空撮領域４０を１つ以上取得してもよいし、又は、１つ以上の追加の空撮画像３０を取得し、その空撮画像３０から訓練実行部２０６０が１つ以上の負例の部分空撮領域４０を抽出しうる。
【0059】
負例を用いて識別器１０を訓練する方法は様々である。例えば、訓練実行部２０６０は、識別器１０を訓練するためにトリプレットロスを算出しうる。具体的には、訓練実行部２０６０は、互いに同一のセットに含まれる地上画像２０と正例の部分空撮領域４０とを入力し、それらについて類似度スコアを得る。また、訓練実行部２０６０は、互いに同一のセットに含まれる地上画像２０と負例の部分空撮領域４０とを入力し、それらの類似度スコアを得る。そして、訓練実行部２０６０は、地上画像２０及び正例の部分空撮領域４０について算出された類似度スコアと、地上画像２０及び負例の部分空撮領域４０とについて算出された類似度スコアとを用いてトリプレットロスを算出し、算出されたトリプレットロスに基づいて識別器１０の訓練可能なパラメータを更新する。なお、算出されたトリプレットロスに基づいて機械学習ベースのモデルの訓練可能なパラメータを更新する方法には周知の方法があり、それらのいずれかを使用して識別器１０を訓練することができる。
【0060】
＜訓練装置２０００からの出力＞
訓練装置２０００は、識別器１０の訓練の結果得られたデータ（以下、出力情報）を出力しうる。例えば出力情報は、識別器１０の訓練の結果得られた識別器１０の訓練パラメータを含んでもよい。訓練装置２０００から出力された訓練可能なパラメータを識別器１０に設定することにより、正配置部分空撮領域４２だけでなく、誤配置部分空撮領域４４についても地上画像２０とマッチすると判定可能な識別器１０を得ることができる。別の例では、出力情報は、識別器１０の全体（例えば、識別器１０を実装するプログラム、その訓練不可能なパラメータ、及び訓練装置２０００によって更新された訓練可能なパラメータ）を含みうる。
訓練装置２０００は、識別器１０の訓練の結果得られたデータ（以下、出力情報）を出力しうる。例えば出力情報は、識別器１０の訓練の結果得られた識別器１０の訓練パラメータを含んでもよい。訓練装置２０００から出力された訓練可能なパラメータを識別器１０に設定することにより、正配置部分空撮領域４２だけでなく、誤配置部分空撮領域４４についても地上画像２０とマッチすると判定可能な識別器１０を得ることができる。別の例では、出力情報は、識別器１０の全体（例えば、識別器１０を実装するプログラム、その訓練不可能なパラメータ、及び訓練装置２０００によって更新された訓練可能なパラメータ）を含みうる。
【0061】
訓練装置２０００が出力情報を出力する方法には様々な方法がある。例えば、訓練装置２０００は、出力情報を記憶装置に格納しうる。他の例では、訓練装置２０００は出力情報を表示装置に出力し、表示装置が出力情報の内容を表示するようにしてもよい。他の例では、訓練装置２０００は、出力情報を、図７に示すジオローカライゼーションシステム２００に含まれるコンピュータのような、別のコンピュータに出力してもよい。
【0062】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、CD-ROM、CD-R、CD-R/W、半導体メモリ（例えば、マスク ROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0063】
以上、実施形態を参照しながら本開示について説明したが、本開示は上記実施形態に限定されるものではない。本開示における構成及び詳細は、本発明の範囲内で、当業者に理解可能な種々の変更を加えることができる。
【0064】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
少なくとも１つのプロセッサと、
命令列が格納されている記憶要素と、を含み、
前記少なくとも１つのプロセッサは、前記命令列を実行することにより、
視野角が３６０度未満である地上画像と、空撮画像と、配置情報とを取得し、
前記地上画像と前記空撮画像とがマッチするか否かを判定する識別器を訓練し、前記識別器は前記空撮画像から複数の部分空撮領域を抽出し、前記地上画像とマッチする前記部分空撮領域が存在する場合に、前記地上画像と前記空撮画像とがマッチすると判定し、
前記識別器の訓練は、
正配置部分空撮領域と誤配置部分空撮領域を前記空撮画像から抽出することを含み、前記正配置部分空撮領域は、前記配置情報によって示され、かつ、前記地上画像に対応する前記部分空撮領域であり、前記誤配置部分空撮領域は、前記正配置部分空撮領域と一部が重複する前記部分空撮領域であり、
前記地上画像及び前記正配置部分空撮領域のセットと、前記地上画像と前記誤配置部分空撮領域のセットとを用いて、前記識別器を訓練することを含み、前記正配置部分空撮領域と前記誤配置部分空撮領域の双方は、正例の前記部分空撮領域として利用される、訓練装置。
（付記２）
前記配置情報は第１の放射状線と第２の放射状線を示し、
前記正配置部分空撮領域の抽出は、前記空撮画像において前記第１の線と前記第２の線との間にある領域を前記正配置部分空撮領域として抽出することを含み、
前記誤配置部分空撮領域の抽出は、
前記第１の放射状線と前記第２の放射状線を回転させることと、
前記空撮画像において前記回転された第１の放射状線と前記回転された第２の放射状線との間にある領域を前記誤配置部分空撮領域として抽出することとを含む、付記１に記載の訓練装置。
（付記３）
前記誤配置部分空撮領域の抽出は、確率分布から値をサンプリングすることを含み、
前記第１の放射状線と前記第２の放射状線は、前記サンプリングされた値によって定まる角度回転される、付記２に記載の訓練装置。
（付記４）
前記確率分布はゼロ平均ガウス分布である、付記３に記載の訓練装置。
（付記５）
前記少なくとも１つのプロセッサは、前記空撮画像から円形領域を抽出するようにさらに構成され、
前記正配置部分空撮領域と前記誤配置部分空撮領域は、前記円形領域から抽出される、付記１から４いずれか一項に記載の訓練装置。
（付記６）
コンピュータによって実行される制御方法であって、
視野角が３６０度未満である地上画像と、空撮画像と、配置情報とを取得することと、
前記地上画像と前記空撮画像とがマッチするか否かを判定する識別器を訓練することと、を含み、前記識別器は前記空撮画像から複数の部分空撮領域を抽出し、前記地上画像とマッチする前記部分空撮領域が存在する場合に、前記地上画像と前記空撮画像とがマッチすると判定し、
前記識別器の訓練は、
正配置部分空撮領域と誤配置部分空撮領域を前記空撮画像から抽出することを含み、前記正配置部分空撮領域は、前記配置情報によって示され、かつ、前記地上画像に対応する前記部分空撮領域であり、前記誤配置部分空撮領域は、前記正配置部分空撮領域と一部が重複する前記部分空撮領域であり、
前記地上画像及び前記正配置部分空撮領域のセットと、前記地上画像と前記誤配置部分空撮領域のセットとを用いて、前記識別器を訓練することを含み、前記正配置部分空撮領域と前記誤配置部分空撮領域の双方は、正例の前記部分空撮領域として利用される、制御方法。
（付記７）
前記配置情報は第１の放射状線と第２の放射状線を示し、
前記正配置部分空撮領域の抽出は、前記空撮画像において前記第１の線と前記第２の線との間にある領域を前記正配置部分空撮領域として抽出することを含み、
前記誤配置部分空撮領域の抽出は、
前記第１の放射状線と前記第２の放射状線を回転させることと、
前記空撮画像において前記回転された第１の放射状線と前記回転された第２の放射状線との間にある領域を前記誤配置部分空撮領域として抽出することとを含む、付記６に記載の制御方法。
（付記８）
前記誤配置部分空撮領域の抽出は、確率分布から値をサンプリングすることを含み、
前記第１の放射状線と前記第２の放射状線は、前記サンプリングされた値によって定まる角度回転される、付記７に記載の制御方法。
（付記９）
前記確率分布はゼロ平均ガウス分布である、付記８に記載の制御方法。
（付記１０）
前記空撮画像から円形領域を抽出することをさらに含み、
前記正配置部分空撮領域と前記誤配置部分空撮領域は、前記円形領域から抽出される、付記６から９いずれか一項に記載の制御方法。
（付記１１）
視野角が３６０度未満である地上画像と、空撮画像と、配置情報とを取得することと、
前記地上画像と前記空撮画像とがマッチするか否かを判定する識別器を訓練することと、をコンピュータに実行させるプログラムが格納されており、前記識別器は前記空撮画像から複数の部分空撮領域を抽出し、前記地上画像とマッチする前記部分空撮領域が存在する場合に、前記地上画像と前記空撮画像とがマッチすると判定し、
前記識別器の訓練は、
正配置部分空撮領域と誤配置部分空撮領域を前記空撮画像から抽出することを含み、前記正配置部分空撮領域は、前記配置情報によって示され、かつ、前記地上画像に対応する前記部分空撮領域であり、前記誤配置部分空撮領域は、前記正配置部分空撮領域と一部が重複する前記部分空撮領域であり、
前記地上画像及び前記正配置部分空撮領域のセットと、前記地上画像と前記誤配置部分空撮領域のセットとを用いて、前記識別器を訓練することを含み、前記正配置部分空撮領域と前記誤配置部分空撮領域の双方は、正例の前記部分空撮領域として利用される、非一時的なコンピュータ可読記憶媒体。
（付記１２）
前記配置情報は第１の放射状線と第２の放射状線を示し、
前記正配置部分空撮領域の抽出は、前記空撮画像において前記第１の線と前記第２の線との間にある領域を前記正配置部分空撮領域として抽出することを含み、
前記誤配置部分空撮領域の抽出は、
前記第１の放射状線と前記第２の放射状線を回転させることと、
前記空撮画像において前記回転された第１の放射状線と前記回転された第２の放射状線との間にある領域を前記誤配置部分空撮領域として抽出することとを含む、付記１１に記載の記憶媒体。
（付記１３）
前記誤配置部分空撮領域の抽出は、確率分布から値をサンプリングすることを含み、
前記第１の放射状線と前記第２の放射状線は、前記サンプリングされた値によって定まる角度回転される、付記１２に記載の記憶媒体。
（付記１４）
前記確率分布はゼロ平均ガウス分布である、付記１３に記載の記憶媒体。
（付記１５）
前記プログラムは、前記空撮画像から円形領域を抽出することを、前記コンピュータにさらに実行させ、
前記正配置部分空撮領域と前記誤配置部分空撮領域は、前記円形領域から抽出される、付記１１から１４いずれか一項に記載の記憶媒体。
（付記１）
少なくとも１つのプロセッサと、
命令列が格納されている記憶要素と、を含み、
前記少なくとも１つのプロセッサは、前記命令列を実行することにより、
視野角が３６０度未満である地上画像と、空撮画像と、配置情報とを取得し、
前記地上画像と前記空撮画像とがマッチするか否かを判定する識別器を訓練し、前記識別器は前記空撮画像から複数の部分空撮領域を抽出し、前記地上画像とマッチする前記部分空撮領域が存在する場合に、前記地上画像と前記空撮画像とがマッチすると判定し、
前記識別器の訓練は、
正配置部分空撮領域と誤配置部分空撮領域を前記空撮画像から抽出することを含み、前記正配置部分空撮領域は、前記配置情報によって示され、かつ、前記地上画像に対応する前記部分空撮領域であり、前記誤配置部分空撮領域は、前記正配置部分空撮領域と一部が重複する前記部分空撮領域であり、
前記地上画像及び前記正配置部分空撮領域のセットと、前記地上画像と前記誤配置部分空撮領域のセットとを用いて、前記識別器を訓練することを含み、前記正配置部分空撮領域と前記誤配置部分空撮領域の双方は、正例の前記部分空撮領域として利用される、訓練装置。
（付記２）
前記配置情報は第１の放射状線と第２の放射状線を示し、
前記正配置部分空撮領域の抽出は、前記空撮画像において前記第１の線と前記第２の線との間にある領域を前記正配置部分空撮領域として抽出することを含み、
前記誤配置部分空撮領域の抽出は、
前記第１の放射状線と前記第２の放射状線を回転させることと、
前記空撮画像において前記回転された第１の放射状線と前記回転された第２の放射状線との間にある領域を前記誤配置部分空撮領域として抽出することとを含む、付記１に記載の訓練装置。
（付記３）
前記誤配置部分空撮領域の抽出は、確率分布から値をサンプリングすることを含み、
前記第１の放射状線と前記第２の放射状線は、前記サンプリングされた値によって定まる角度回転される、付記２に記載の訓練装置。
（付記４）
前記確率分布はゼロ平均ガウス分布である、付記３に記載の訓練装置。
（付記５）
前記少なくとも１つのプロセッサは、前記空撮画像から円形領域を抽出するようにさらに構成され、
前記正配置部分空撮領域と前記誤配置部分空撮領域は、前記円形領域から抽出される、付記１から４いずれか一項に記載の訓練装置。
（付記６）
コンピュータによって実行される制御方法であって、
視野角が３６０度未満である地上画像と、空撮画像と、配置情報とを取得することと、
前記地上画像と前記空撮画像とがマッチするか否かを判定する識別器を訓練することと、を含み、前記識別器は前記空撮画像から複数の部分空撮領域を抽出し、前記地上画像とマッチする前記部分空撮領域が存在する場合に、前記地上画像と前記空撮画像とがマッチすると判定し、
前記識別器の訓練は、
正配置部分空撮領域と誤配置部分空撮領域を前記空撮画像から抽出することを含み、前記正配置部分空撮領域は、前記配置情報によって示され、かつ、前記地上画像に対応する前記部分空撮領域であり、前記誤配置部分空撮領域は、前記正配置部分空撮領域と一部が重複する前記部分空撮領域であり、
前記地上画像及び前記正配置部分空撮領域のセットと、前記地上画像と前記誤配置部分空撮領域のセットとを用いて、前記識別器を訓練することを含み、前記正配置部分空撮領域と前記誤配置部分空撮領域の双方は、正例の前記部分空撮領域として利用される、制御方法。
（付記７）
前記配置情報は第１の放射状線と第２の放射状線を示し、
前記正配置部分空撮領域の抽出は、前記空撮画像において前記第１の線と前記第２の線との間にある領域を前記正配置部分空撮領域として抽出することを含み、
前記誤配置部分空撮領域の抽出は、
前記第１の放射状線と前記第２の放射状線を回転させることと、
前記空撮画像において前記回転された第１の放射状線と前記回転された第２の放射状線との間にある領域を前記誤配置部分空撮領域として抽出することとを含む、付記６に記載の制御方法。
（付記８）
前記誤配置部分空撮領域の抽出は、確率分布から値をサンプリングすることを含み、
前記第１の放射状線と前記第２の放射状線は、前記サンプリングされた値によって定まる角度回転される、付記７に記載の制御方法。
（付記９）
前記確率分布はゼロ平均ガウス分布である、付記８に記載の制御方法。
（付記１０）
前記空撮画像から円形領域を抽出することをさらに含み、
前記正配置部分空撮領域と前記誤配置部分空撮領域は、前記円形領域から抽出される、付記６から９いずれか一項に記載の制御方法。
（付記１１）
視野角が３６０度未満である地上画像と、空撮画像と、配置情報とを取得することと、
前記地上画像と前記空撮画像とがマッチするか否かを判定する識別器を訓練することと、をコンピュータに実行させるプログラムが格納されており、前記識別器は前記空撮画像から複数の部分空撮領域を抽出し、前記地上画像とマッチする前記部分空撮領域が存在する場合に、前記地上画像と前記空撮画像とがマッチすると判定し、
前記識別器の訓練は、
正配置部分空撮領域と誤配置部分空撮領域を前記空撮画像から抽出することを含み、前記正配置部分空撮領域は、前記配置情報によって示され、かつ、前記地上画像に対応する前記部分空撮領域であり、前記誤配置部分空撮領域は、前記正配置部分空撮領域と一部が重複する前記部分空撮領域であり、
前記地上画像及び前記正配置部分空撮領域のセットと、前記地上画像と前記誤配置部分空撮領域のセットとを用いて、前記識別器を訓練することを含み、前記正配置部分空撮領域と前記誤配置部分空撮領域の双方は、正例の前記部分空撮領域として利用される、非一時的なコンピュータ可読記憶媒体。
（付記１２）
前記配置情報は第１の放射状線と第２の放射状線を示し、
前記正配置部分空撮領域の抽出は、前記空撮画像において前記第１の線と前記第２の線との間にある領域を前記正配置部分空撮領域として抽出することを含み、
前記誤配置部分空撮領域の抽出は、
前記第１の放射状線と前記第２の放射状線を回転させることと、
前記空撮画像において前記回転された第１の放射状線と前記回転された第２の放射状線との間にある領域を前記誤配置部分空撮領域として抽出することとを含む、付記１１に記載の記憶媒体。
（付記１３）
前記誤配置部分空撮領域の抽出は、確率分布から値をサンプリングすることを含み、
前記第１の放射状線と前記第２の放射状線は、前記サンプリングされた値によって定まる角度回転される、付記１２に記載の記憶媒体。
（付記１４）
前記確率分布はゼロ平均ガウス分布である、付記１３に記載の記憶媒体。
（付記１５）
前記プログラムは、前記空撮画像から円形領域を抽出することを、前記コンピュータにさらに実行させ、
前記正配置部分空撮領域と前記誤配置部分空撮領域は、前記円形領域から抽出される、付記１１から１４いずれか一項に記載の記憶媒体。
【符号の説明】
【0065】
１０ 識別器
２０ 地上画像
３０ 空撮画像
３２ 円形領域
４０ 部分空撮領域
４２ 正配置部分空撮領域
４４ 誤配置部分空撮領域
５０ 配置情報
２００ ジオローカライゼーションシステム
３００ 位置データベース
１０００ コンピュータ
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 訓練装置
２０２０ 取得部
２０４０ 部分空撮領域抽出部
２０６０ 訓練実行部
２０ 地上画像
３０ 空撮画像
３２ 円形領域
４０ 部分空撮領域
４２ 正配置部分空撮領域
４４ 誤配置部分空撮領域
５０ 配置情報
２００ ジオローカライゼーションシステム
３００ 位置データベース
１０００ コンピュータ
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 訓練装置
２０２０ 取得部
２０４０ 部分空撮領域抽出部
２０６０ 訓練実行部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】