特許 6233869 画像処理装置、画像処理装置の制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6233869

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】画像処理装置、画像処理装置の制御方法およびプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20171113BHJP

【ＦＩ】

   G06T1/00 285

【請求項の数】10

【全頁数】13

(21)【出願番号】特願2012-129823(P2012-129823)

(22)【出願日】2012年6月7日

(65)【公開番号】特開2013-254373(P2013-254373A)

(43)【公開日】2013年12月19日

【審査請求日】2015年5月13日

【審判番号】不服2016-17054(P2016-17054/J1)

【審判請求日】2016年11月15日

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】中村 陽一

【合議体】

【審判長】 鳥居 稔

【審判官】 篠原 功一

【審判官】 冨田 高史

(56)【参考文献】

【文献】 特開２００１−１４３０５４（ＪＰ，Ａ）

【文献】 特開２０１０−２１８４３４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G06T1/00

G06T3/00

(57)【特許請求の範囲】

【請求項1】

地表面を上空から撮影した地表面画像の画像データが入力されると、前記画像データに示される入力地表面画像の画質と、該入力地表面画像と重複する範囲を上空から撮影した参照用画像の画質とを合わせる画質補正処理を行う画質補正部と、
前記画質補正部による画質補正処理後の前記入力地表面画像と前記参照用画像との位置合わせを行う位置合わせ部と、
前記位置合わせ部による位置合わせ後の前記入力地表面画像と前記参照用画像とを合成した合成画像を生成する画像合成部と、を有し、
前記画質補正部は、
前記画質補正処理として、前記入力地表面画像と前記参照用画像とのＭＴＦ（Modulation Transfer Function）を合わせるためのＭＴＦ補正処理または前記入力地表面画像と前記参照用画像とのＳＮＲ（Signal to Noise Ratio）を合わせるためのノイズ付加／除去処理の少なくとも一方を実行することを特徴とする画像処理装置。

【請求項2】

請求項１記載の画像処理装置において、
前記画質補正部は、
複数の地表面画像を記憶する記憶部と、
前記入力地表面画像に含まれる、地表面が雲により覆われた覆雲領域を検出する覆雲領域検出部と、
前記記憶部に記憶されている複数の地表面画像のうち、前記入力地表面画像と撮影範囲が重複し、かつ、前記覆雲領域の位置が前記入力地表面画像と異なる地表面画像を前記参照用画像として抽出する参照用画像抽出部と、
前記参照用画像抽出部が抽出した前記参照用画像の画質を前記入力地表面画像の画質に合わせる画質補正処理を行う画質合わせ部と、を有し、
前記画像合成部は、前記覆雲領域検出部が検出した前記入力地表面画像における前記覆雲領域の画像を、前記覆雲領域に対応する前記位置合わせ部による位置合わせ後の前記参照用画像における領域の画像に置き換えて、前記合成画像を生成することを特徴とする画像処理装置。

【請求項3】

請求項２記載の画像処理装置において、
前記記憶部は、前記地表面画像に対応して、該地表面画像の撮影条件をさらに記憶し、
前記参照用画像抽出部は、前記入力地表面画像の画像データおよび該入力地表面画像の撮影条件が入力されると、前記記憶部に記憶されている地表面画像のうち、前記入力地表面画像と撮影範囲が重複するとともに、前記覆雲領域の位置が異なり、かつ、撮影条件が前記入力地表面画像の撮影条件と類似する地表面画像を前記参照用画像として抽出することを特徴とする画像処理装置。

【請求項4】

請求項２または３記載の画像処理装置において、
前記記憶部に記憶される地表面画像は、航空機に設けられたカメラにより撮影された地表面画像であることを特徴とする画像処理装置。

【請求項5】

請求項１から３のいずれか１項に記載の画像処理装置において、
前記地表面画像は、衛星に設けられたカメラにより撮影された地表面画像であることを特徴とする画像処理装置。

【請求項6】

画像処理装置の制御方法であって、
地表面を上空から撮影した地表面画像の画像データが入力されると、前記画像データに示される入力地表面画像の画質と、該入力地表面画像と重複する範囲を上空から撮影した参照用画像の画質とを合わせる画質補正を行う画質補正ステップと、
前記画質補正処理後の前記入力地表面画像と前記参照用画像との位置合わせを行う位置合わせステップと、
前記位置合わせ後の前記入力地表面画像と前記参照用画像とを合成した合成画像を生成する画像合成ステップと、を有し、
前記画質補正ステップでは、
前記画質補正として、前記入力地表面画像と前記参照用画像とのＭＴＦ（Modulation Transfer Function）を合わせるためのＭＴＦ補正処理または前記入力地表面画像と前記参照用画像とのＳＮＲ（Signal to Noise Ratio）を合わせるためのノイズ付加／除去処理の少なくとも一方を実行することを特徴とする画像処理装置の制御方法。

【請求項7】

請求項６記載の画像処理装置の制御方法において、
前記画質補正ステップは、
複数の地表面画像を記憶する記憶ステップと、
前記入力地表面画像に含まれる、地表面が雲により覆われた覆雲領域を検出する覆雲領域検出ステップと、
前記記憶されている複数の地表面画像のうち、前記入力地表面画像と撮影範囲が重複し、かつ、前記覆雲領域の位置が前記入力地表面画像と異なる地表面画像を前記参照用画像として抽出する参照用画像抽出ステップと、
前記抽出された前記参照用画像の画質を前記入力地表面画像の画質に合わせる画質補正処理を行う画質合わせステップと、を有し、
前記画像合成ステップでは、前記検出された前記入力地表面画像における前記覆雲領域の画像を、前記覆雲領域に対応する前記位置合わせ後の前記参照用画像における領域の画像に置き換えて、前記合成画像を生成することを特徴とする画像処理装置の制御方法。

【請求項8】

請求項７記載の画像処理装置の制御方法において、
前記記憶ステップでは、前記地表面画像に対応して、該地表面画像の撮影条件をさらに記憶し、
前記参照用画像抽出ステップでは、前記入力地表面画像の画像データおよび該入力地表面画像の撮影条件が入力されると、前記記憶されている地表面画像のうち、前記入力地表面画像と撮影範囲が重複するとともに、前記覆雲領域の位置が異なり、かつ、撮影条件が前記入力地表面画像の撮影条件と類似する地表面画像を前記参照用画像として抽出することを特徴とする画像処理装置の制御方法。

【請求項9】

請求項７または８記載の画像処理装置の制御方法において、
前記記憶される地表面画像は、航空機に設けられたカメラにより撮影された地表面画像であることを特徴とする画像処理装置の制御方法。

【請求項10】

コンピュータに、
地表面を上空から撮影した地表面画像の画像データが入力されると、前記画像データに示される入力地表面画像の画質と、該入力地表面画像と重複する範囲を上空から撮影した参照用画像の画質とを合わせる画質補正処理と、
前記画質補正処理後の前記入力地表面画像と前記参照用画像との位置合わせを行う位置合わせ処理と、
前記位置合わせ処理後の前記入力地表面画像と前記参照用画像とを合成した合成画像を生成する画像合成処理と、を実行させ、
前記画質補正処理として、前記入力地表面画像と前記参照用画像とのＭＴＦ（Modulation Transfer Function）を合わせるためのＭＴＦ補正処理または前記入力地表面画像と前記参照用画像とのＳＮＲ（Signal to Noise Ratio）を合わせるためのノイズ付加／除去処理の少なくとも一方を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、地表面を上空から撮影した地表面画像の画像処理を行う画像処理装置、画像処理装置の制御方法およびプログラムに関する。

【背景技術】

【0002】

近年、地表面を上空から撮影した地表面画像が、種々の用途に用いられており、その用途に応じて、画像処理が施されることがある。地表面画像に施される画像処理の一例として、撮影範囲が重複する複数の地表面画像について、基準点が一致するように位置合わせを行い、位置合わせが行われた複数の地表面画像を合成する合成処理がある。

【0003】

上述した合成処理は、地表面画像に、雲により地表面が覆われ、地表面に関する情報が取得できない覆雲領域が含まれる場合に、その覆雲領域に対応する地表面の画像を復元する際などに用いられる。

【0004】

特許文献１（特許第４３６５８８７号公報）および特許文献２（特開２００１−１４３０５４号公報）には、予め記憶されている複数の地表面画像のうち、覆雲領域を含む復元対象の地表面画像と撮影範囲が重複し、かつ、覆雲領域の位置が異なる地表面画像を参照用画像として抽出し、復元対象の地表面画像と参照用画像との位置合わせを行い、復元対象の地表面画像における覆雲領域に、その覆雲領域に対応する参照用画像における領域の画像を合成することで、その覆雲領域に対応する地表面の画像を復元した合成画像を生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第４３６５８８７号

【特許文献2】特開２００１−１４３０５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

複数の地表面画像を合成する場合に、その複数の地表面画像の画質が異なると、合成画像における、複数の地表面画像を合成した合成領域と他の領域とで見た目が大きく異なってしまうという問題がある。特許文献１および特許文献２に開示の技術においては、合成する複数の画像間の画質の差異については考慮されていない。

【0007】

本発明の目的は、合成画像の画質の均一化を図ることができる画像処理装置、画像処理装置の制御方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するために本発明の画像処理装置は、
地表面を上空から撮影した地表面画像の画像データが入力されると、前記画像データに示される入力地表面画像の画質と、該入力地表面画像と重複する範囲を上空から撮影した参照用画像の画質とを合わせる画質補正処理を行う画質補正部と、
前記画質補正部による画質補正処理後の前記入力地表面画像と前記参照用画像との位置合わせを行う位置合わせ部と、
前記位置合わせ部による位置合わせ後の前記入力地表面画像と前記参照用画像とを合成した合成画像を生成する画像合成部と、を有し、
前記画質補正部は、
前記画質補正処理として、前記入力地表面画像と前記参照用画像とのＭＴＦ（Modulation Transfer Function）を合わせるためのＭＴＦ補正処理または前記入力地表面画像と前記参照用画像とのＳＮＲ（Signal to Noise Ratio）を合わせるためのノイズ付加／除去処理の少なくとも一方を実行することを特徴とする。

【0009】

上記目的を達成するために本発明の画像処理装置の制御方法は、
画像処理装置の制御方法であって、
地表面を上空から撮影した地表面画像の画像データが入力されると、前記画像データに示される入力地表面画像の画質と、該入力地表面画像と重複する範囲を上空から撮影した参照用画像の画質とを合わせる画質補正を行う画質補正ステップと、
前記画質補正処理後の前記入力地表面画像と前記参照用画像との位置合わせを行う位置合わせステップと、
前記位置合わせ後の前記入力地表面画像と前記参照用画像とを合成した合成画像を生成する画像合成ステップと、を有し、
前記画質補正ステップでは、
前記画質補正として、前記入力地表面画像と前記参照用画像とのＭＴＦ（Modulation Transfer Function）を合わせるためのＭＴＦ補正処理または前記入力地表面画像と前記参照用画像とのＳＮＲ（Signal to Noise Ratio）を合わせるためのノイズ付加／除去処理の少なくとも一方を実行することを特徴とする。

【0010】

上記目的を達成するために本発明のプログラムは、
コンピュータに、
地表面を上空から撮影した地表面画像の画像データが入力されると、前記画像データに示される入力地表面画像の画質と、該入力地表面画像と重複する範囲を上空から撮影した参照用画像の画質とを合わせる画質補正処理と、
前記画質補正処理後の前記入力地表面画像と前記参照用画像との位置合わせを行う位置合わせ処理と、
前記位置合わせ処理後の前記入力地表面画像と前記参照用画像とを合成した合成画像を生成する画像合成処理と、を実行させ、
前記画質補正処理として、前記入力地表面画像と前記参照用画像とのＭＴＦ（Modulation Transfer Function）を合わせるためのＭＴＦ補正処理または前記入力地表面画像と前記参照用画像とのＳＮＲ（Signal to Noise Ratio）を合わせるためのノイズ付加／除去処理の少なくとも一方を実行させるためのものである。

【発明の効果】

【0011】

本発明によれば、合成画像の画質の均一化を図ることができる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態の画像処理装置の要部構成を示すブロック図である。

【図2】図１に示す画像処理装置の動作を概念的に示す図である。

【図3】図１に示す画像処理装置の動作を概念的に示す図である。

【発明を実施するための形態】

【0013】

以下に、本発明を実施するための形態について図面を参照して説明する。

【0014】

（第１の実施形態）
図１は、本発明の第１の実施形態の画像処理装置１００の要部構成を示すブロック図である。

【0015】

図１に示す画像処理装置１００は、画質補正部１１０と、位置合わせ部１２０と、画像合成部１３０と、を有する。また、画質補正部１１０は、記憶部１１１と、覆雲領域検出部１１２と、参照用画像抽出部１１３と、画質合わせ部１１４と、を有する。

【0016】

画質補正部１１０は、画像処理装置１００の外部から地表面画像の画像データとその地表面画像の撮影条件とが入力されると、その画像データに示される入力地表面画像の画質と、入力地表面画像と重複する範囲を上空から撮影した参照用画像の画質を合わせる画質補正処理を行う。

【0017】

記憶部１１１は、予め入力された、人工衛星に搭載されたカメラにより撮影された地表面画像と、その地表面画像の撮影条件とを対応させて記憶する。ここで、地表面画像の撮影条件としては、撮影日、撮影時刻、撮影時のポインティング角などが含まれる。なお、地表面画像の撮影日、撮影時刻、撮影時のポインティング角などは、人工衛星の状態を監視して得られるテレメトリデータから取得することができる。また、地表面画像の撮影条件としては、撮影時の天候なども含まれる。

【0018】

覆雲領域検出部１１２は、入力地表面画像における覆雲領域を検出する。一般に、地表面画像における覆雲領域内の画素値は、地表面が撮影されている領域の画素値よりも大きな値となるという特性がある。また、覆雲領域内の画素値は、地表面が撮影されている領域の画素値よりも変化が小さいという特性がある。覆雲領域検出部１１２は、これらの特性を考慮して、入力地表面画像の各画素値を二値化し、二値化した値のうち、値が大きい領域が閾値以上の面積を有する場合に、その領域を覆雲領域として検出する。覆雲領域検出部１１２は、検出結果を、参照用画像抽出部１１３および画像合成部１３０に出力する。

【0019】

参照用画像抽出部１１３は、記憶部１１１に記憶されている地表面画像のうち、撮影範囲が入力地表面画像の撮影範囲と重複するとともに、覆雲領域の位置異なり、かつ、撮影条件が入力地表面画像の撮影条件と類似する地表面画像を、参照用画像として抽出する。

【0020】

参照用画像抽出部１１３は、抽出した参照用画像の画像データを画質合わせ部１１４に出力する。

【0021】

画質合わせ部１１４は、入力地表面画像の画質と参照用画像抽出部１１３により抽出された参照用画像の画質と、を合わせるように、参照用画像の画質補正処理を行う。なお、地表面画像の画質とは、地表面画像の特性を示す指標であり、例えば、光学系の点像強度分布の二次元フーリエ変換であるＯＴＦの絶対値を示すＭＴＦ（Modulation Transfer Function）、地上分解能（地表面画像における識別可能な最小距離および面積）を示すＧＳＤ（Ground Sampled Distance）、信号量と雑音量との比を示すＳＮＲ（Signal to Noise Ratio）などがある。

【0022】

画質合わせ部１１４は、画質補正処理として、ＭＴＦを合わせるためのＭＴＦ補正処理、ＧＳＤを合わせるためのリサンプリング処理、ＳＮＲを合わせるためのノイズ付加／除去処理などを行う。また、画質合わせ部１１４は、入力地表面画像の画素値と参照用画像の画素値とでダイナミックレンジが異なる場合には、コントラスト変更処理を行う。

【0023】

なお、地表面画像の画質に関する情報は、その地表面画像を撮影したカメラのスペックや、そのカメラを搭載する人工衛星の状態を監視したテレメトリデータから求めることができる。したがって、画質合わせ部１１４は、地表面画像を撮影したカメラのスペックや、そのカメラを搭載する人工衛星の状態を監視したテレメトリデータを取得し、これらを用いて、画質補正処理を行うための種々のパラメータを決定する。

【0024】

ここで、画質合わせ部１１４は、例えば、以下のようにして、ＭＴＦ処理を行う。まず、画質合わせ部１１４は、入力地表面画像を撮影したカメラおよび参照用画像を撮影したカメラそれぞれのスペックからＭＴＦ特性を取得し、参照用画像のＭＴＦを入力地表面画像のＭＴＦに合わせるための周波数ごとの補正量を決定する。次に、画質合わせ部１１４は、参照用画像をフーリエ変換し、フーリエ変換した参照用画像を決定した補正量で補正し、逆フーリエ変換を行うことで、ＭＴＦ補正後の参照用画像を取得する。また、画質合わせ部１１４は、例えば、ＮＮ（Nearest Neighbor）法、ＣＣ（Cubic Convolution）法、Ｌａｎｃｚｏｓ法などの一般に広く知られている方法を用いてリサンプリング処理を行う。

【0025】

なお、参照用画像としては、入力地表面画像と撮影範囲が重複するとともに、覆雲領域の位置が異なっていれば、任意の画像を用いることができるが、入力地表面画像よりも高画質の画像を用いることが望ましい。参照用画像の画質が入力地表面画像の画質よりも劣っている場合、画質を合わせることが困難となる。例えば、ＭＴＦが悪い低画質の画像を高画質化する場合、ＭＴＦ補正処理によりノイズが増加するといった副作用が生じる。また、ＧＳＤの大きな画像をＧＳＤの小さな画像にする場合、元々１画素しかない情報をリサンプリング処理や超解像処理によって、複数画素分の情報とする必要があるため、正確に地表面の画像を復元することが困難になる。そのため、参照用画像の画質が、入力地表面画像よりも優れていることが望ましい。

【0026】

位置合わせ部１２０は、画質合わせ部１１４による画質補正処理後の参照用画像と入力地表面画像との位置合わせを行う。具体的には、位置合わせ部１２０は、入力地表面画像と参照用画像とで同一のＧＣＰ（Ground Control Point）を基準とし、各画像のＧＣＰの位置ずれがなくなるように、参照用画像を平行移動させたり、回転させたりして、入力地表面画像と参照用画像との位置合わせを行う。ここで、ＧＣＰとしては、例えば、橋、道路の交差点、岬といった特徴的な形状の対象物を用いる。なお、入力地表面画像と参照用画像とで同一のＧＣＰは、例えば、手動により選択される。また、入力地表面画像よび参照用画像のいずれか一方の画像におけるＧＣＰを手動により選択し、他方の画像からテンプレートマッチングなどを用いて、手動により選択されたＧＣＰに対応するＧＣＰを自動で選択するようにしてもよい。

【0027】

画像合成部１３０は、位置合わせ部１２０による位置合わせ後の入力地表面画像と参照用画像とを合成し、合成画像を生成する。具体的には、画像合成部１３０は、覆雲領域検出部１１２により検出された入力地表面画像における覆雲領域の画像を、その覆雲領域に対応する、位置合わせ部１２０による入力地表面画像との位置合わせ後の参照用画像における領域の画像に置き換えて、合成画像を生成する。入力地表面画像における覆雲領域の画像を、その覆雲領域に対応する参照用画像における領域の画像に置き換えることで、その覆雲領域に対応する地表面の画像が合成画像において復元される。なお、入力地表面画像における覆雲領域の画像の、その覆雲領域に対応する参照用画像における領域の画像への置き換えは、入力地表面画像における覆雲領域内の画素の画素値に、その画素に対応する参照用画像内の画素の画素値を割り当てることで行われる。

【0028】

図２は、画像処理装置２０の動作を概念的に示した図である。

【0029】

図２に示す入力地表面画像２１の画像データおよび入力地表面画像２１の撮影条件が画像処理装置１００に入力されたとする。

【0030】

覆雲領域検出部１１２は、入力地表面画像２１に含まれる覆雲領域２２を検出する。

【0031】

参照用画像抽出部１１３は、記憶部１１１に記憶されている地表面画像のうち、撮影範囲が入力地表面画像２１と重複するとともに、覆雲領域の位置が異なり、かつ、撮影条件が入力地表面画像２１と類似する地表面画像を参照用画像２３として抽出する。

【0032】

入力地表面画像と参照用画像とで撮影日が類似していれば（近ければ）、同じ撮影範囲上で建物の建造の有無の差異が生じる可能性を低減することができる。また、入力地表面画像と参照用画像とで撮影時刻が近ければ、建物などによって生じる影の方向の差異を小さくすることができる。また、入力地表面画像と参照用画像とで撮影時のポインティング角が近ければ、建物の倒れこみ角の差異を小さくすることができる。したがって、参照用画像として抽出する地表面画像の撮影条件が入力地表面画像の撮影条件と類似することは、必ずしも必須ではないが、合成画像における合成領域と他の領域との見た目上の差異を小さくすることができる点で有効である。

【0033】

画質合わせ部１１４は、入力地表面画像２１の画質と参照用画像２３の画質とを合わせるように参照用画像２３の画質補正処理を行い、画質補正処理後の参照用画像２４を生成する。

【0034】

位置合わせ部１２０は、入力地表面画像２１と画質補正後の参照用画像２４との位置合わせを行う。

【0035】

画質合成部１３０は、位置合わせ部１２０による位置合わせ後、入力地表面画像２１における覆雲領域の画像を、その覆雲領域に対応する参照用画像２４における領域の画像に置き換えることで、合成画像２５を生成する。

【0036】

このように本実施形態によれば、画像処理装置１００は、入力地表面画像の画質と、その入力地表面画像と撮影範囲が重複するとともに覆雲領域の位置が異なり、かつ、撮影条件が類似する参照用画の画質とを合わせるように参照用画像の画質補正処理を行う。さらに、画像処理装置１００は、画質補正処理後、入力地表面画像と参照用画像との位置合わせを行い、入力地表面画像における覆雲領域の画像を、その覆雲領域に対応する参照用画像における領域の画像に置き換えることで、合成画像を生成する。

【0037】

そのため、覆雲領域に対応する地表面の画像が復元された合成画像を生成することができる。また、入力地表面画像の画質と参照用画像の画質とを合わせるように、参照用画像に画質補正処理を行った後に、これらの画像の位置合わせおよび合成を行うため、合成画像におけるこれらの画像の合成領域と他の領域とで見た目が異なるのを防ぎ、合成画像の画質の均一化を図ることができる。

【0038】

なお、本実施形態においては、参照用画像として人工衛星に搭載されたカメラにより撮影された地表面画像を用いる例を説明したが、これに限られるものではなく、航空機に搭載されたカメラにより撮影された地表面画像を用いてもよい。

【0039】

上述したように、入力地表面画像の覆雲領域に対応する地表面の画像を精度よく復元するためには、入力地表面画像の画質よりも、参照用画像の画質の方が優れていることが望ましい。

【0040】

人工衛星に搭載されたカメラにより撮影された地表面画像を参照用画像として用いると、例えば、梅雨の季節に地表面画像が撮影された場合には、その地表面画像には多くの覆雲領域が含まれ、また、類似した撮影日の地表面画像にも多くの覆雲領域が含まれる可能性が高い。そのため、適切な参照用画像を抽出することができないことがある。

【0041】

ここで、人工衛星と比べて、航空機が飛行する高度は低く、雲が存在する高度よりも低い高度からの地表面画像の撮影が可能となる。雲が存在する高度よりも低い高度で飛行する航空機に搭載されたカメラにより撮影された地表面画像には、覆雲領域が含まれない。また、人工衛星に搭載されたカメラにより撮影する場合と比べて、航空機に搭載されたカメラにより撮影する場合の方が、高解像度の地表面画像を取得することができる。そのため、航空機に搭載されたカメラにより撮影された地表面画像を参照用画像として用いることで、人工衛星に搭載されたカメラにより撮影された地表面画像を参照用画像として用いる場合よりも、容易に、また、精度よく、入力地表面画像の覆雲領域に対応する地表面の画像を復元することができる。

【0042】

なお、通常、航空機に搭載されたカメラにより撮影された地表面画像の撮影範囲は、人工衛星に搭載されたカメラにより撮影された地表面画像の撮影範囲よりも小さい。そのため、人工衛星に搭載されたカメラにより撮影された入力地表面画像における覆雲領域に、その覆雲領域に対応する地表面の画像を復元するためには、その覆雲領域を撮影範囲に含む複数の参照用画像が必要となる場合がある。この場合、参照用画像抽出部１１３は、図３に示すように、入力地表面画像における覆雲領域全体が参照用画像の撮影範囲に含まれるように、複数の参照用画像を抽出する。

【0043】

図３においては、入力地表面画像３１の画像データおよび入力地表面画像３１の撮影条件が画像処理装置１００に入力されたとする。

【0044】

覆雲領域検出部１１２は、入力地表面画像３１に含まれる覆雲領域３２を検出する。

【0045】

参照用画像抽出部１１３は、記憶部１１１に記憶されている地表面画像のうち、撮影範囲が入力地表面画像３１の撮影範囲と重複するとともに覆雲領域の位置が異なり、かつ、撮影条件が入力地表面画像３１の撮影条件と類似する地表面画像を参照用画像として抽出する。ここで、覆雲領域３２全体が含まれるようにするためには、図３に示すように、２つの地表面画像３３，３４が必要であったとする。参照用画像抽出部１１３は、この地表面画像３３，３４を参照用画像として抽出する。以下では、地表面画像４３，４４をそれぞれ、参照用画像３３，３４と称する。

【0046】

画質合わせ部１１４は、入力地表面画像３１の画質と、参照用画像３３および参照用画像３４の画質と、を合わせるように、参照用画像３３および参照用画像３４の画質補正処理を行う。

【0047】

位置合わせ部１２０は、入力地表面画像３１と、画質補正後の参照用画像３３および参照用画像３４と、の位置合わせを行う。

【0048】

画像合成部１３０は、位置合わせ部１２０による位置合わせ後、入力地表面画像３１における覆雲領域の画像を、その覆雲領域に対応する参照用画像３３および参照用画像３４における領域の画像に置き換えることで、合成画像を生成する。

【0049】

一般に、航空機に搭載されたカメラにより撮影された地表面画像は、覆雲領域が含まれる可能性が低く、また、航空機に搭載されたカメラにより撮影された地表面画像よりも高解像度である。そのため、航空機に搭載されたカメラにより撮影された地表面画像を参照用画像として用いることで、容易に、また、正確に、覆雲領域に対応する地表面の画像を復元した合成画像を容易に生成することができ、また、精度よく、入力地表面画像の覆雲領域に対応する地表面の画像を復元することができる。

【0050】

なお、本発明の画像処理装置にて行われる方法は、コンピュータに実行させるためのプログラムに適用してもよい。また、そのプログラムを記憶媒体に格納することも可能であり、ネットワークを介して外部に提供することも可能である。

【0051】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0052】

（付記１）
地表面を上空から撮影した地表面画像の画像データが入力されると、前記画像データに示される入力地表面画像の画質と、該入力地表面画像と重複する範囲を上空から撮影した参照用画像の画質とを合わせる画質補正処理を行う画質補正部と、
前記画質補正部による画質補正処理後の前記入力地表面画像と前記参照用画像との位置合わせを行う位置合わせ部と、
前記位置合わせ部による位置合わせ後の前記入力地表面画像と前記参照用画像とを合成した合成画像を生成する画像合成部と、を有することを特徴とする画像処理装置。

【0053】

（付記２）
付記１記載の画像処理装置において、
前記画質補正部は、
複数の地表面画像を記憶する記憶部と、
前記入力地表面画像に含まれる、地表面が雲により覆われた覆雲領域を検出する覆雲領域検出部と、
前記記憶部に記憶されている複数の地表面画像のうち、前記入力地表面画像と撮影範囲が重複し、かつ、前記覆雲領域の位置が前記入力地表面画像と異なる地表面画像を前記参照用画像として抽出する参照用画像抽出部と、
前記参照用画像抽出部が抽出した前記参照用画像の画質を前記入力地表面画像の画質に合わせる画質補正処理を行う画質合わせ部と、を有し、
前記画像合成部は、前記覆雲領域検出部が検出した前記入力地表面画像における前記覆雲領域の画像を、前記覆雲領域に対応する前記位置合わせ部による位置合わせ後の前記参照用画像における領域の画像に置き換えて、前記合成画像を生成することを特徴とする画像処理装置。

【0054】

（付記３）
付記２記載の画像処理装置において、
前記記憶部は、前記地表面画像に対応して、該地表面画像の撮影条件をさらに記憶し、
前記参照用画像抽出部は、前記入力地表面画像の画像データおよび該入力地表面画像の撮影条件が入力されると、前記記憶部に記憶されている地表面画像のうち、前記入力地表面画像と撮影範囲が重複するとともに、前記覆雲領域の位置が異なり、かつ、撮影条件が前記入力地表面画像の撮影条件と類似する地表面画像を前記参照用画像として抽出することを特徴とする画像処理装置。

【0055】

（付記４）
付記２または３記載の画像処理装置において、
前記記憶部に記憶される地表面画像は、航空機に設けられたカメラにより撮影された地表面画像であることを特徴とする画像処理装置。

【0056】

（付記５）
付記１から３のいずれか１つに記載の画像処理装置において、
前記地表面画像は、衛星に設けられたカメラにより撮影された地表面画像であることを特徴とする画像処理装置。

【0057】

（付記６）
画像処理装置の制御方法であって、
地表面を上空から撮影した地表面画像の画像データが入力されると、前記画像データに示される入力地表面画像の画質と、該入力地表面画像と重複する範囲を上空から撮影した参照用画像の画質とを合わせる画質補正を行う画質補正ステップと、
前記画質補正処理後の前記入力地表面画像と前記参照用画像との位置合わせを行う位置合わせステップと、
前記位置合わせ後の前記入力地表面画像と前記参照用画像とを合成した合成画像を生成する画像合成ステップと、を有することを特徴とする画像処理装置の制御方法。

【0058】

（付記７）
付記６記載の画像処理装置の制御方法において、
前記画質補正ステップは、
複数の地表面画像を記憶する記憶ステップと、
前記入力地表面画像に含まれる、地表面が雲により覆われた覆雲領域を検出する覆雲領域検出ステップと、
前記記憶されている複数の地表面画像のうち、前記入力地表面画像と撮影範囲が重複し、かつ、前記覆雲領域の位置が前記入力地表面画像と異なる地表面画像を前記参照用画像として抽出する参照用画像抽出ステップと、
前記抽出された前記参照用画像の画質を前記入力地表面画像の画質に合わせる画質補正処理を行う画質合わせステップと、を有し、
前記画像合成ステップでは、前記検出された前記入力地表面画像における前記覆雲領域の画像を、前記覆雲領域に対応する前記位置合わせ後の前記参照用画像における領域の画像に置き換えて、前記合成画像を生成することを特徴とする画像処理装置の制御方法。

【0059】

（付記８）
付記７記載の画像処理装置の制御方法において、
前記記憶ステップでは、前記地表面画像に対応して、該地表面画像の撮影条件をさらに記憶し、
前記参照用画像抽出ステップでは、前記入力地表面画像の画像データおよび該入力地表面画像の撮影条件が入力されると、前記記憶されている地表面画像のうち、前記入力地表面画像と撮影範囲が重複するとともに、前記覆雲領域の位置が異なり、かつ、撮影条件が前記入力地表面画像の撮影条件と類似する地表面画像を前記参照用画像として抽出することを特徴とする画像処理装置の制御方法。

【0060】

（付記９）
付記７または８記載の画像処理装置の制御方法において、
前記記憶される地表面画像は、航空機に設けられたカメラにより撮影された地表面画像であることを特徴とする画像処理装置の制御方法。

【0061】

（付記１０）
付記６から８のいずれか１つに記載の画像処理装置の制御方法において、
前記地表面画像は、衛星に設けられたカメラにより撮影された地表面画像であることを特徴とする画像処理装置の制御方法。

【0062】

（付記１１）
コンピュータに、
地表面を上空から撮影した地表面画像の画像データが入力されると、前記画像データに示される入力地表面画像の画質と、該入力地表面画像と重複する範囲を上空から撮影した参照用画像の画質とを合わせる画質補正処理と、
前記画質補正処理後の前記入力地表面画像と前記参照用画像との位置合わせを行う位置合わせ処理と、
前記位置合わせ処理後の前記入力地表面画像と前記参照用画像とを合成した合成画像を生成する画像合成処理と、を実行させるプログラム。

【符号の説明】

【0063】

１００ 画像処理装置
１１０ 画質補正部
１１１ 記憶部
１１２ 覆雲領域検出部
１１３ 参照用画像抽出部
１１４ 画質合わせ部
１２０ 位置合わせ部
１３０ 画像合成部

【図1】

【図2】

【図3】