特許 7627913 画像処理装置、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-30

(45)【発行日】2025-02-07

(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/30 20170101AFI20250131BHJP

   G06T 7/00 20170101ALI20250131BHJP

【ＦＩ】

G06T7/30

G06T7/00 350B

G06T7/00 640

【請求項の数】 8

(21)【出願番号】P 2023003378

(22)【出願日】2023-01-12

(65)【公開番号】P2024099436

(43)【公開日】2024-07-25

【審査請求日】2023-09-25

(73)【特許権者】

【識別番号】518301154

【氏名又は名称】株式会社Ｒｉｄｇｅ－ｉ

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】畠山 湧

【審査官】橘 高志

(56)【参考文献】

【文献】国際公開第２０２２／０３４６６６（ＷＯ，Ａ１）

【文献】特開２００１－２３０９１８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／３０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

２つの互いに種別の異なる画像の入力を受け付ける受付部と、
受け付けた２つの画像内において対応する場所の位置合わせを行う対応付け部と、
前記２つの画像において互いに対応する位置を示す情報を出力する出力部と、
第１種の画像として分類される第１の画像と、前記第１種とは異なる第２種の画像として分類される第２の画像であって前記第１の画像と同じ場所を含む第２の画像と、のそれぞれの対応する位置の対応関係を学習した学習モデルを記憶する記憶部を備え、
前記受付部は、前記第１種の画像である第３の画像と、前記第２種の画像である第４の画像と、の入力を受け付け、
前記対応付け部は、前記第３の画像と、前記第４の画像と、前記学習モデルとに基づいて、前記第３の画像内の位置と、前記第４の画像内の対応する位置と、の位置合わせを行い、
前記出力部は、前記第３の画像と前記第４の画像とにおいて互いに対応する位置を示す情報を、出力し、
前記２つの互いに種別の異なる画像の一方は、可視光画像（ＲＧＢ画像）、ＳＡＲ（Synthetic Aperture Radar）画像、赤外光画像、ＹＵＶ画像、地図画像の何れかであり、前記２つの互いに種別の異なる画像の他方は、可視光画像（ＲＧＢ画像）、ＳＡＲ（Synthetic Aperture Radar）画像、赤外光画像、ＹＵＶ画像、地図画像のうちの前記一方とは異なる何れかである
画像処理装置。

【請求項2】

前記第４の画像は、前記第３の画像と同じ場所を含む画像である
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第３の画像と、前記第４の画像とのそれぞれに対して、互いに対応する少なくとも３点の位置の入力を受け付ける入力部と、
前記入力部により３点の位置が示された前記第３の画像と、対応する３点の位置が示された第４の画像と、を用いて、前記学習モデルを再学習する学習部を備える
ことを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記第３の画像と、前記第４の画像と、前記第３の画像と前記第４の画像との互いに対応する位置が重なるように重畳した重畳画像との入力を受け付ける入力部と、
前記入力部により入力された前記第３の画像及び前記第４の画像と、前記重畳画像と、を用いて、前記学習モデルを再学習する学習部を備える
ことを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記第１の画像と、前記第２の画像と、前記第３の画像と、前記第４の画像とは、衛星により撮像される衛星画像である
ことを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記対応付け部は、前記２つの互いに種別の異なる画像から、画像内で動的なオブジェクトである前景と、それ以外の背景と、を分離し、
前記対応付け部は、前記２つの互いに種別の異なる画像の背景同士の対応付けを行う
ことを特徴とする請求項１～５のいずれか一項に記載の画像処理装置。

【請求項7】

第１種の画像として分類される第１の画像と、前記第１種とは異なる第２種の画像として分類される第２の画像であって前記第１の画像と同じ場所を含む第２の画像と、のそれぞれの対応する位置の対応関係を学習した学習モデルを記憶する記憶部にアクセス可能なコンピュータが、
２つの互いに種別の異なる画像の入力を受け付ける受付ステップと、
受け付けた２つの画像内において対応する場所の位置合わせを行う対応付けステップと、
前記２つの画像において互いに対応する位置を示す情報を出力する出力ステップと、を実行し、
前記受付ステップは、前記第１種の画像である第３の画像と、前記第２種の画像である第４の画像と、の入力を受け付け、
前記対応付けステップは、前記第３の画像と、前記第４の画像と、前記学習モデルとに基づいて、前記第３の画像内の位置と、前記第４の画像内の対応する位置と、の位置合わせを行い、
前記出力ステップは、前記第３の画像と前記第４の画像とにおいて互いに対応する位置を示す情報を、出力し、
前記２つの互いに種別の異なる画像の一方は、可視光画像（ＲＧＢ画像）、ＳＡＲ（Synthetic Aperture Radar）画像、赤外光画像、ＹＵＶ画像、地図画像の何れかであり、前記２つの互いに種別の異なる画像の他方は、可視光画像（ＲＧＢ画像）、ＳＡＲ（Synthetic Aperture Radar）画像、赤外光画像、ＹＵＶ画像、地図画像のうちの前記一方とは異なる何れかである
画像処理方法。

【請求項8】

第１種の画像として分類される第１の画像と、前記第１種とは異なる第２種の画像として分類される第２の画像であって前記第１の画像と同じ場所を含む第２の画像と、のそれぞれの対応する位置の対応関係を学習した学習モデルを記憶する記憶部にアクセス可能なコンピュータに、
２つの互いに種別の異なる画像の入力を受け付ける受付機能と、
受け付けた２つの画像内において対応する場所の位置合わせを行う対応付け機能と、
前記２つの画像において互いに対応する位置を示す情報を出力する出力機能と、を実現させ、
前記受付機能は、前記第１種の画像である第３の画像と、前記第２種の画像である第４の画像と、の入力を受け付け、
前記対応付け機能は、前記第３の画像と、前記第４の画像と、前記学習モデルとに基づいて、前記第３の画像内の位置と、前記第４の画像内の対応する位置と、の位置合わせを行い、
前記出力機能は、前記第３の画像と前記第４の画像とにおいて互いに対応する位置を示す情報を、出力し、
前記２つの互いに種別の異なる画像の一方は、可視光画像（ＲＧＢ画像）、ＳＡＲ（Synthetic Aperture Radar）画像、赤外光画像、ＹＵＶ画像、地図画像の何れかであり、前記２つの互いに種別の異なる画像の他方は、可視光画像（ＲＧＢ画像）、ＳＡＲ（Synthetic Aperture Radar）画像、赤外光画像、ＹＵＶ画像、地図画像のうちの前記一方とは異なる何れかである
画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、２つの異なる種別の画像の対応関係を特定する画像処理装置、その画像処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

近年、人工衛星により撮像される撮像画像（衛星画像）を解析し、地上の様子等の解析を行うことがある。この解析には複数の撮像画像が必要になることがあるものの、人工衛星により撮像される撮像画像の位置は必ずしも一致するものではない。そこで、例えば、特許文献１には、撮像画像間の画素同士の位置合わせを行う技術が開示されている。また、特許文献２には、赤外映像で検知した物体のディテールを可視光画像の対応する位置に重畳する合成処理を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－４８８９８号公報

【文献】特開２０１９－１１８０４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上記特許文献１においては撮像画像の画素で位置合わせをしているものであり、撮像画像内の場所同士の位置が一致するとは限らないという問題がある。また、特許文献１では、異なる種別の撮像画像では位置合わせができないという問題もある。また、特許文献２も撮像画像内の場所同士の位置をあわせることができないという問題があった。また、異なる衛星からの衛星撮像画像同士の位置合わせをする場合には、撮像の規格であったり、撮像の状況であったりによって位置合わせができないという問題があった。

【0005】

そこで、本発明は、異なる種別の画像における画像内の位置合わせを行うことができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の一態様に係る画像処理装置は、２つの互いに種別の異なる画像の入力を受け付ける受付部と、受け付けた２つの画像内において対応する場所の位置合わせを行う対応付け部と、２つの画像において互いに対応する位置を示す情報を出力する出力部と、を備える。

【0007】

上記課題を解決するために、本発明の一態様に係る画像処理方法は、コンピュータが、２つの互いに種別の異なる画像の入力を受け付ける受付ステップと、受け付けた２つの画像内において対応する場所の位置合わせを行う対応付けステップと、２つの画像において互いに対応する位置を示す情報を出力する出力ステップと、を実行する。

【0008】

上記課題を解決するために、本発明の一態様に係る画像処理プログラムは、コンピュータに、２つの互いに種別の異なる画像の入力を受け付ける受付機能と、受け付けた２つの画像内において対応する場所の位置合わせを行う対応付け機能と、２つの画像において互いに対応する位置を示す情報を出力する出力機能と、を実現させる。

【0009】

また、上記画像処理装置において、第１種の画像として分類される第１の画像と、第１種とは異なる第２種の画像として分類される第２の画像であって第１の画像と同じ場所を含む第２の画像と、の対応関係を学習した学習モデルを記憶する記憶部を備え、受付部は、第１種の画像である第３の画像と、第２種の画像である第４の画像と、の入力を受け付け、対応付け部は、第３の画像と、第４の画像と、学習モデルとに基づいて、第３の画像内の位置と、第４の画像内の対応する位置と、の位置合わせを行い、出力部は、第３の画像と第４の画像とにおいて互いに対応する位置を示す情報を、出力することとしてもよい。

【0010】

また、上記画像処理装置において、第４の画像は、第３の画像と同じ場所を撮像した画像であることとしてもよい。

【0011】

また、上記画像処理装置において、第３の画像と、第４の画像とのそれぞれに対して、互いに対応する少なくとも３点の位置の入力を受け付ける入力部と、入力部により３点の位置が示された第３の画像と、対応する３点の位置が示された第４の画像と、を用いて、学習モデルを再学習する学習部を備えることとしてもよい。

【0012】

また、上記画像処理装置において、第３の画像と、第４の画像と、第３の画像と第４の画像とを重畳した重畳画像との入力を受け付ける入力部と、入力部により入力された第３の画像及び第４の画像と、重畳画像と、を用いて、学習モデルを再学習する学習部を備えることとしてもよい。

【0013】

また、上記画像処理装置において、第１の画像と、第２の画像と、第３の画像と、第４の画像とは、衛星により撮像される衛星画像であることとしてもよい。

【0014】

また、上記画像処理装置において、受付部は、第１種の画像として分類される第１の画像と、第１種とは異なる第２種の画像として分類される第２の画像であって第１の画像と同じ場所を含む第２種の画像である第２の画像と、の入力を受け付けるとともに、いずれか一方の画像に対して対応付けの指標となる情報の入力を受け付け、対応付け部は、指標となる情報に基づいてルールベースで他方の画像との対応付けを行なうこととしてもよい。

【0015】

また、上記画像処理装置において、対応付け部は、２つの互いに種別の異なる画像から、画像内で動的なオブジェクトである前景と、それ以外の背景と、を分離し、対応付け部は、２つの互いに種別の異なる画像の背景同士の対応付けを行うこととしてもよい。

【発明の効果】

【0016】

本発明に係る画像処理装置によれば、第１種の画像として分類される第１の画像と、第１種とは異なる第２種の画像として分類される第２の画像であって第１の画像と同じ場所を撮像した第２の画像と、の対応関係を学習した学習モデルを用いることで、異なる種類の画像間の画像内の位置合わせを行って、その情報を出力することができ、例えば、画像間の差違に基づく事象の解析等に利用することができる。

【図面の簡単な説明】

【0017】

【図1】画像処理装置の構成例を示すブロック図である。

【図2】（ａ）第１種の画像の例である。（ｂ）第２種の画像の例である。

【図3】画像処理装置の動作例であって、学習モデルの生成例を示すフローチャートである。

【図4】画像処理装置の動作例であって、異なる種類の撮像画像間の位置合わせの処理を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、本発明に係る画像処理装置について図面を参照しながら、説明する。

【0019】

＜実施形態＞
＜構成＞
図１は、画像処理装置１００の構成例を示すブロック図である。画像処理装置１００は、複数の撮像画像を受け付けて、撮像画像間の撮像画像内の位置合わせを行う機能を有する撮像画像解析装置である。画像処理装置１００は、プロセッサと、メモリと、を備えるコンピュータシステムである。画像処理装置１００は、所謂ＰＣ、ノートＰＣ、タブレット端末、サーバ装置等により実現することもできるが、これらに限定するものではない。また、画像処理装置１００は、１台の装置により実現されずともよく、複数のコンピュータにより並列コンピュータシステムにより実現されてもよい。

【0020】

図１に示すように、画像処理装置１００は、通信部１１０と、入力部１２０と、制御部１３０と、記憶部１４０と、出力部１５０と、を備える。

【0021】

通信部１１０は、画像処理装置１００外部の他の画像処理装置と通信、情報のやり取りを行う通信インターフェースである。通信部１１０は、一例として、人工衛星１０が撮像した撮像画像を通信ネットワークを介して受信し、制御部１３０に伝達する。当該通信ネットワークは、有線、無線のいずれであってもよく、通信が実行できれば使用する通信プロトコルは問わない。また、撮像画像は、人工衛星１０から直接受信してもよいし、他の装置を経由して受信してもよい。また、通信部１１０は、撮像画像として、同じ場所を撮像した複数の撮像画像を受信してよく、それらの複数の撮像画像の種別は別の種別の撮像画像であってよい。また、複数の撮像画像は、同じ場所を含むように撮像されていればよく同じタイミングで撮像されたものであってもよいし、異なるタイミングで撮像されたものであってもよい。撮像画像の種別とは、撮像画像の規格を定めるものであってよく、例えば、可視光画像（ＲＧＢ画像）、ＳＡＲ（Synthetic Aperture Radar）画像、赤外光画像、ＹＵＶ画像などであってよいが、これらに限定するものではない。制御部１３０により比較される２種の撮像画像間の種別が異なればどのような種別であってもよい。また、通信部１１０は、制御部１３０からの指示に従って、種別の異なる撮像画像間の位置の対応関係を示す情報を、外部の装置に送信することとしてもよい。

【0022】

入力部１２０は、画像処理装置１００のオペレータからの入力を受け付けて、受け付けた入力内容を制御部１３０に伝達する。入力部１２０は、一例として、マウスやタッチパッド、キーボード等により実現されてよいが、これらに限定するものではない。入力部１２０は、例えば、複数の互いに種別の異なる衛星撮像画像を記憶したフラッシュメモリが接続されて、当該衛星撮像画像を制御部１３０に伝達するための接続ポートなどであってもよい。入力部１２０は、２種の撮像画像の入力を受け付けて、制御部１３０に伝達することとしてよい。

【0023】

記憶部１４０は、画像処理装置１００が動作上必要とするプログラムや各種のデータを記憶する機能を有する。記憶部１４０は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等の記憶媒体により実現することができる。記憶部１４０は、学習モデル１４１を記憶している。また、記憶部１４０は、同じ場所を撮像した種別の異なる少なくとも２枚の撮像画像の対を１つ以上記憶していてもよい。

【0024】

学習モデル１４１は、少なくとも２種類の異なる種別の撮像画像間の関係を学習したモデルである。ここで２種類の異なる種別は、前述のＲＧＢ画像、ＳＡＲ画像、赤外光画像、ＹＵＶ画像を含む複数の種別のうちの２種であってよい。本実施の形態では、一例として、ＲＧＢ画像とＳＡＲ画像であるとする。したがって、学習モデル１４１は、ＲＧＢ画像とＳＡＲ画像との入力を受け付けて、それぞれが互いに対して、どの位置が対応するのかを特定することができるモデルである。また、ここでいう撮像画像間の関係とは、２種の撮像画像内の位置の対応関係のことであってよい。即ち、学習モデル１４１は、第１種の画像として分類される第１の撮像画像と、当該第１種とは異なる第２種の画像として分類される第２の撮像画像であって、第１の撮像画像と同じ場所を撮像した第２の撮像画像と、の対応関係を学習したモデルであり、前述の通り、両撮像画像内の対応する位置の対応を学習したモデルである。なお、ここでいう同じ場所を撮像とは、撮像画像同士の撮像対象の撮像範囲の少なくとも一部が重複していれば同じ場所を撮像しているものとする。記憶部１４０に記憶される学習モデル１４１は、画像処理装置１００により生成されたものであってもよいし、他の装置により生成されたものであってもよい。また、撮像画像は衛星画像であってよい。

【0025】

制御部１３０は、画像処理装置１００の各部を制御するプロセッサである。制御部１３０は、記憶部１４０に記憶されている各種データを用いて各種のプログラムを実行することにより、画像処理装置１００が実現すべき機能を実現する。

【0026】

制御部１３０は、受付部１３１と、対応付け部１３２と、出力部１３３と、して機能する。また、制御部１３０は、学習部１３４として機能してもよい。

【0027】

受付部１３１は、第１種の画像として分類される撮像画像（第１の撮像画像、第３の撮像画像）と、第１種とは異なる第２種の画像として分類される撮像画像（第２の撮像画像、第４の撮像画像）であって当該第１種の画像と同じ場所を撮像した第２の撮像画像を受け付ける。受付部１３１は、これらの撮像画像を、通信部１１０、入力部１２０、または記憶部１４０から受け付ける。受付部１３１は、受け付けた異なる２種の撮像画像（第３の撮像画像と、第４の撮像画像）と、を対応付け部１３２に伝達する。

【0028】

対応付け部１３２は、受付部１３１から伝達された異なる２種の撮像画像の、撮像画像内において互いに対応する位置の対応付けを行う。対応付け部１３２は、伝達された２枚の撮像画像を、学習モデル１４１に入力することで、当該対応付けを行う。対応付け部１３２は、対応付けを行った結果得られる２枚の撮像画像内の位置の対応関係を示す情報を、出力部１３３に伝達する。

【0029】

出力部１３３は、対応付け部１３２により対応付けされた２枚の撮像画像内の位置の対応関係を示す情報を出力する。出力部１３３は、出力の態様の一例として、当該対応関係を示す情報を、表示部１５０に表示させてもよいし、通信部１１０を介して外部の装置に送信することとしてもよい。また、撮像画像内の位置の対応関係を示す情報は、対応がわかればどのような態様であってもよく、一例として、２枚の撮像画像を、それぞれの撮像画像内の位置が対応するように重畳した重畳画像であってもよいし、２枚の撮像画像内の対応する位置を示す座標値であってもよいし、２枚の撮像画像内で対応する位置同士をポインティングした情報であってもよい。

【0030】

学習部１３４は、２種の撮像画像間の関係を学習し、学習モデル１４１を生成する。学習部１３４は、２種の異なる撮像画像と、当該２種の異なる撮像画像間の、それぞれの対応する位置を示す情報を教師データとして学習を行う。学習部１３４は、例えば、ニューラルネットワーク、決定木、ランダムフォレスト、サポートベクターマシンなどを利用して学習を行うこととしてよいが、これらに限定するものではない。

【0031】

表示部１５０は、制御部１３０により指定された情報を出力する機能を有する。表示部１５０は、画像処理装置１００に設けられた、または、画像処理装置１００に接続されたモニタにより実現することができる。出力部１５０は、例えば、２枚の種別の異なる撮像画像の撮像画像内の位置を対応付けた情報を出力する。

【0032】

以上が、画像処理装置１００の構成例である。

【0033】

＜撮像画像の位置合わせについて＞
図２を用いて、種別の異なる撮像画像の位置合わせ、及び、教師データについて説明する。図２（ａ）、図２（ｂ）は、それぞれ同じ場所を撮像した撮像画像２０１、２０２の例である。撮像画像２０１と撮像画像２０２とは互いに異なる種別の画像である。一例として、撮像画像２０１は、ＳＡＲ画像であってよく、撮像画像２０２は、ＲＧＢ画像であってよい。

【0034】

図２（ａ）と図２（ｂ）とを比較すれば理解できるように、撮像画像同士の撮像範囲は厳密に一致する必要はなく、少なくともその一部が重複すればよい。撮像画像内の位置の対応付けとは、一方の撮像画像内のある一点の位置座標が、他方の撮像画像内のどの位置座標に対応するかを特定することであってよい。少なくとも３点（場合によっては２点）の対応関係を特定できれば、撮像画像全体での対応関係も特定可能となる。

【0035】

図２（ａ）と、図２（ｂ）の例では、図２（ａ）の点Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃは、それぞれ、図２（ｂ）の点Ｐ２ａ、Ｐ２ｂ、Ｐ２ｃに対応する。撮像画像２０１と、撮像画像２０１とは種別の異なる撮像画像２０２との入力を受け付けた場合に、画像処理装置１００は、例えば、点Ｐ１ａ（の座標値）が、点Ｐ２ａ（の座標値）に対応し、点Ｐ１ｂ（の座標値）が、点Ｐ２ｂ（の座標値）に対応し、点Ｐ１ｃ（の座標値）が、点Ｐ２ｃ（の座標値）に対応することを示す情報を出力することとしてよい。この場合、学習モデル１４１は、撮像画像２０１（図２（ａ）において点Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃがない状態）と撮像画像２０２（図２（ｂ）において点Ｐ２ａ、Ｐ２ｂ、Ｐ２ｃがない状態）との対、及び、それぞれの対応する位置を示す情報がプロットされた撮像画像２０１（図２（ａ）参照）と撮像画像２０２（図２（ｂ）参照））との対を対応付けた情報を教師データの一つとして学習したモデルであってよい。

【0036】

また、画像処理装置１００が出力する２種の異なる撮像画像間の位置の対応付けを示す情報は、例えば、図２（ａ）に示す撮像画像２０１と、図２（ｂ）に示す撮像画像２０２とを、それぞれ、点Ｐ１ａが点Ｐ２ａに重畳し、点Ｐ１ｂが点Ｐ２ｂに重畳し、点Ｐ１ｃが点Ｐ２ｃに重畳するようにして重畳された重畳画像であってもよい。この場合、学習モデル１４１は、撮像画像２０１及び撮像画像２０２に、撮像画像２０１と撮像画像２０２との重畳画像を対応付けた情報を教師データの一つとして学習したモデルであってよい。

【0037】

＜動作＞
図３、図４は、画像処理装置１００の動作例を示すフローチャートである。図３のフローチャートは、学習モデル１４１を生成する際の処理例を示すフローチャートである。ここでは、図２を用いて説明したように撮像画像内の対応する位置をプロットした撮像画像を教師データとして学習モデル１４１を生成する例を説明するが、学習モデル１４１の生成手法はこれに限定するものではない。学習モデル１４１は、種別の異なる２種の撮像画像間の撮像画像内の位置を対応付けることができるモデルであれば、その他の手法を用いてもよい。

【0038】

図３に示すように、画像処理装置１００の受付部１３１は、第１の撮像画像を受け付ける（ステップＳ３０１）。受付部１３１は、受け付けた第１の撮像画像を、学習部１３４に伝達する。

【0039】

また、受付部１３１は、第２の撮像画像を受け付ける（ステップＳ３０２）。第２の撮像画像は、第１の撮像画像と同じ場所を撮像した画像であって、第１の撮像画像とは種別が異なる画像である。受付部１３１は、第２の撮像画像を、学習部１３４に伝達する。

【0040】

画像処理装置１００の入力部１２０は、第１の撮像画像の撮像画像内の３点の位置と、第２の撮像画像の撮像画像内において対応する３点の位置と、の入力を受け付ける（ステップＳ３０３）。入力部１２０は、受け付けた入力内容を学習部１３４に伝達する。なお、これは、第１の撮像画像と第２の撮像画像とで対応する位置をプロットした画像情報の入力を受けるものであってもよい。また、ここでは、３点としているが、これは３点以上あってもよく、例えば、６点や１０点の位置の入力を受け付けてもよい。指定の点数が相対的に多いほど、マッチング精度（２つの画像間の位置合わせの精度）が高い結果が得られる。

【0041】

学習部１３４は、第１の撮像画像と、第２の撮像画像との対応関係を学習する（ステップＳ３０４）。即ち、学習部１３４は、第１の撮像画像内の位置と、第２の撮像画像内の位置と、の対応関係を学習する。学習部１３４は、多数の第１の撮像画像と第２の撮像画像の撮像画像内の位置の対応関係を学習する。

【0042】

学習部１３４は、当該学習に基づいて、学習モデル１４１を生成し、記憶部１４０に記憶させ（ステップＳ３０５）、処理を終了する。これにより、画像処理装置１００が異なる種別の２種の撮像画像間の位置の対応関係を推定するために用いる学習モデル１４１を生成することができる。

【0043】

図４のフローチャートは、学習モデル１４１を利用して受け付けた撮像画像同士の位置合わせを行う際の処理例を示すフローチャートである。

【0044】

図４に示すように、画像処理装置１００の受付部１３１は、処理対象となる第３の撮像画像を受け付ける（ステップＳ４０１）。受付部１３１は受け付けた第３の撮像画像を、対応付け部１３２に伝達する。

【0045】

また、受付部１３１は、第３の撮像画像と同じ場所を撮像した画像であって、第３の撮像画像とは異なる種別の第４の撮像画像を受け付ける（ステップＳ４０２）。受付部１３１は受け付けた第４の撮像画像を、対応付け部１３２に伝達する。ここで、第３の撮像画像の種別は、第１の撮像画像と同じ種別である。また、第４の撮像画像の種別は、第２の撮像画像と同じ種別である。

【0046】

対応付け部１３２は、受付部１３１から伝達された第３の撮像画像内の位置と第４の撮像画像内の位置との対応関係を推定する。即ち、対応付け部１３２は、第３の撮像画像と第４の撮像画像とを、学習モデル１４１に入力し（ステップＳ４０３）、第３の撮像画像の撮像画像内の位置と、対応する第４の撮像画像の撮像画像内の位置と、を示す情報を推定する（ステップＳ４０４）。対応付け部１３２は、推定された結果を出力部１３３に伝達する。

【0047】

出力部１３３は、対応付け部１３２から伝達された情報に基づいて、第３の撮像画像内の位置と、第４の撮像画像内の位置とにおいて互いに対応する位置を示す情報を出力し（ステップＳ４０５）、処理を終了する。

【0048】

＜まとめ＞
以上に示したように、画像処理装置１００は、２種の異なる撮像画像の入力を受け付けて、それぞれの撮像画像内の対応する位置の情報を出力することができる。したがって、画像処理装置１００は、種別の異なる撮像画像を用いても、撮像画像内の情報の解析を行うための下地となる情報を提供することができる。

【0049】

＜変形例＞
上記実施形態に本発明に係る発明の一実施態様を説明したが、本発明に係る思想がこれに限られないことは言うまでもない。以下、本発明に係る思想として含まれる各種変形例について説明する。

【0050】

（１） 上記実施形態においては、学習モデル１４１は、ＲＧＢ画像とＳＡＲ画像との撮像画像内の位置の対応関係を学習したモデルであるとしたが、画像の種別は上述しましように赤外光画像、ＹＵＶ画像など、その他の種別の画像であってもよい。即ち、学習モデル１４１は、その他の組み合わせの位置の対応関係を学習したモデルであってもよく、例えば、ＲＧＢ画像と赤外光画像との位置の対応関係を学習したモデルであってもよい。この場合、学習モデル１４１は、ＲＧＢ画像と赤外光画像との入力を受け付けて、それぞれの位置の対応関係を示す情報を出力するモデルとなる。

【0051】

また、上記実施形態において、記憶部１４０には、想定可能な組み合わせに対応する２種の撮像画像の撮像画像内の位置の対応関係を学習した個別の学習モデルを記憶していてもよい。こうすることで、画像処理装置１００は、どのような２種の撮像画像の入力を受け付けても、入力された撮像画像の位置の対応関係を示す情報を出力することができる。

【0052】

また、情報処理装置１００の記憶部１４０に記憶される学習モデルには、同種の撮像画像同士の画像内の位置の対応関係を学習した学習モデルが含まれてもよい。画像処理装置１００は、基本的には、互いに異なる２種の撮像画像の入力を受け付けてそれぞれの位置の対応関係を示す情報を出力するものであるが、同種の２枚の撮像画像の入力にも対応することができるように構成されてもよい。

【0053】

また、学習モデル１４１は、３種類以上の撮像画像と、撮像画像内の位置の対応関係を学習した学習モデルであってもよい。即ち、上述したように、複数の学習モデルを用意して、様々な組み合わせの２種の撮像画像に対応することに代えて、同様の処理を１つの学習モデルにより実現するように構成してもよい。複数の学習モデルを用意した場合には、２種の撮像画像間の位置合わせの精度が向上する一方で、学習モデルを用意する手間が大きくなるとともに、画像処理装置１００の処理負荷が増加する。一方で、１つの学習モデルで対応する場合には、２種の撮像画像間の位置合わせの精度が前者よりも低くなる可能性がある。

【0054】

（２）上記実施形態において、画像処理装置１００は、位置合わせの処理のために、それぞれの撮像画像内のノイズとなる情報を除去する処理などの前処理を行ってもよい。ノイズを除去する処理とは、一例として、撮像画像中においてその場所に固定されていない事物の除去であってよく、一例として、車両等の移動体や、人や動物などを撮像画像から消去する処理であってもよい。また、前処理は、撮像画像を撮像した状況において、例えば、雲がかかって見えにくい状況になっているような場合に、雲を除去（画像の鮮明化）する処理であってもよい。これらの前処理を行うことで、より精度よく撮像画像間の位置合わせを行うことができる可能性を向上させることができる。

【0055】

（３）上記実施形態において、学習部１３４は、入力された新たな２種の撮像画像（第３の撮像画像と第４の撮像画像）を用いて再学習を行うものであってもよい。即ち、学習部１３４は、画像処理装置１００に対して、入力された対応位置関係を推定するための２種の撮像画像に対して、画像処理装置１００が推定した推定結果とを対応付けた情報を新たな教師データとして、再学習を行ってもよい。また、このとき画像処理装置１００による推定結果が、画像処理装置１００のユーザにとって好ましいものではない場合に、修正した推定結果を対応付けた情報を新たな教師データとしてもよい。このような構成により、学習モデル１４１は、更新され、更新されるごとに、より精度よく２種の撮像画像間の位置合わせを行うことができるようになる。

【0056】

（４）上記実施形態において、撮像画像は衛星画像であるとしているが、撮像画像は衛星画像に限定するものではない。例えば撮像画像は、ドローン等により撮像された航空写真などであってもよい。

【0057】

また、２種間の撮像画像のうち一方は、撮像画像でなくともよい。即ち、位置合わせを行う２つの画像の一方は、撮像画像ではなく、単なる画像情報（撮像以外の手法により生成される画像）であってもよい。当該画像情報は、一例として地図画像であってよい。この場合、学習モデルとしては、撮像画像と地図画像との間の対応関係を学習したモデルであることが望ましく、撮像画像と地図画像とを入力することで、両者の対応関係を示す情報を得ることができる。

【0058】

また、更には、対応付けを行う２つの画像は、共に撮像画像でなくてもよい。２つの画像は、例えば、現在の地図画像と、昔の地図画像であってもよい。この場合、画像は、新旧という面において種別が異なるといえる。また、あるいは、手書きされている地図のスキャン画像（あるいは撮像画像）と地図情報という面において種別が異なるといえる。この場合の上記実施形態に示した学習モデルは、古い画像と新しい画像との間での対応関係を学習したモデルであってよく、特に、古い（例えば、手書きの）地図画像と、最新の地図画像（例えば、Google map（登録商標））との対応関係を学習したモデルであってよい。

【0059】

（５）上記実施形態においては、２つの画像間の対応関係を行う対応付け部１３２は、学習モデル１４１を利用することにより対応付けを行う例を示した。しかし、対応付け部１３２による対応付けは学習モデル１４１による対応付けに限定するものではない。対応付け部１３２は、ルールベースによる対応付けを行ってもよい。ここでいうルールベースとは、予め定められたアルゴリズムにより対応付けを行うものであってよく、画像を解析して得られる特徴量を利用した対応付けを行うものであってもよい。対応付け部１３２は、例えば、２つの画像を解析して、各画像の特徴量を抽出する。特徴量は一例として、具体的には、画像から検出されるエッジの形状であったり、画素値であったりしてもよいが、これらに限定するものではない。そして、対応付け部１３２は、抽出した特徴量が互いに所定以上相似する場所が、２つの画像間で互いに対応する場所であるとして対応付けを行ってもよい。また、２つの画像のいずれか一方の画像に対して、受付部が画像処理装置のユーザから、他方において対応する場所を特定したい場所の指標となる場所の指定を受付部１３１が受け付け、指定された指標となる場所の画像から特徴量を算出し、算出した特徴量と相似する場所を他方の画像の特徴量から探索することで対応付けを行うこととしてもよい。対応付け部１３２は、例えば、一方の画像に対して、指標となる情報として、画像内の特徴的な文字列（例えば、ロゴマークなど）を含む範囲の指定を受け付けて、対応付け部１３２は、他方の画像内で当該特徴的な文字列があると推定した場所を対応付ける。このように対応付け部１３２は、学習モデル１４１を利用しない対応付けを行ってもよい。

【0060】

（６）上記実施形態において、対応付け部１３２による対応付けは、対応付けの対象となる２つの画像を前景と背景に分離し、分離後の背景同士の対応付けを行うものであってもよい。ここで、前景とは、画像内における動的なオブジェクトのことであり、背景はそれ以外の部分のことであってよい。動的なオブジェクトとは、例えば、撮像画像の場合、同じ場所をタイミングを変えて撮像した場合に、必ずいつも同じ場所で撮像されるとは限らないオブジェクトのことであってよく、具体例としては、人間や動物、車両など移動するものであってよい。したがって、背景は、それ以外の基本的には動かないもののことであってよい。なお、例えば、草木などは風等により動く可能性があるものの基本的には場所が固定されているので、背景として分類される。動的な情報、即ち、対応付けにおいてノイズとなり得る情報が、画像内から除外された背景画像同士での対応付けを行うことで、対応付けの精度を向上させることができる。

【0061】

なお、対応付け部１３２による画像の前景と背景との分離は、一例として、所定の画像と、当該所定の画像から抽出した（人手による抽出）前景と、当該所定の画像から抽出した（人手による抽出）背景と、の対応関係を学習した学習モデルを用いて、対応付けを行う２つの画像各々を、当該学習モデルに入力することで分離することができる。また、あるいは、対応付け部１３２は、予め前景の対象となるオブジェクトとしてどのようなものがあるかを学習し、画像解析を行って、学習しておいた前景の対象となるオブジェクトを除去することで背景画像を分離するように構成されてもよい。

【0062】

（７）上記実施形態において、画像処理装置１００の各機能部は、集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよいし、ＣＰＵ（Central Processing Unit）及びメモリを用いてソフトウェアによって実現してもよい。また、各機能部は、１又は複数の集積回路により実現されてよく、複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。なお、ここで「回路」は、コンピュータによるデジタル処理、すなわち、ソフトウェアによる機能的処理としての意味合いを含んでもよい。また、当該回路は、再構築可能な回路（例えば、ＦＰＧＡ：Field Programmable Gate Array）により実現されてもよい。

【0063】

画像処理装置１００の各機能部をソフトウェアにより実現する場合、画像処理装置１００は、各機能を実現するソフトウェアである画像処理プログラムの命令を実行するＣＰＵ、上記画像処理プログラム及び各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）又は記憶装置（これらを「記録媒体」と称する）、上記画像処理プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（又はＣＰＵ）が上記画像処理プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記画像処理プログラムは、当該画像処理プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。本発明は、上記画像処理プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0064】

なお、上記画像処理プログラムは、例えば、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できるが、これらに限定するものではない。

【0065】

（８）上記実施形態に示した各種の構成、態様は、適宜組み合わせてもよい。

【符号の説明】

【0066】

１００ 画像処理装置
１１０ 通信部
１２０ 入力部
１３０ 制御部
１３１ 受付部
１３２ 対応付け部
１３３ 出力部
１３４ 学習部
１４０ 記憶部
１５０ 表示部

【図1】

【図2】

【図3】

【図4】