(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-10
(45)【発行日】2024-06-18
(54)【発明の名称】画像処理装置および画像処理方法
(51)【国際特許分類】
G01S 13/90 20060101AFI20240611BHJP
G06T 7/00 20170101ALI20240611BHJP
【FI】
G01S13/90 191
G06T7/00 640
(21)【出願番号】P 2022538501
(86)(22)【出願日】2020-07-20
(86)【国際出願番号】 JP2020028065
(87)【国際公開番号】W WO2022018791
(87)【国際公開日】2022-01-27
【審査請求日】2022-12-22
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103090
【氏名又は名称】岩壁 冬樹
(74)【代理人】
【識別番号】100124501
【氏名又は名称】塩川 誠人
(72)【発明者】
【氏名】金子 瑛士
(72)【発明者】
【氏名】戸田 真人
【審査官】小川 浩史
(56)【参考文献】
【文献】特開2016-57092(JP,A)
【文献】国際公開第2017/126547(WO,A1)
【文献】特開平7-72244(JP,A)
【文献】特開2000-275338(JP,A)
【文献】特開2014-164579(JP,A)
【文献】特開2010-278963(JP,A)
【文献】特開2003-44996(JP,A)
【文献】米国特許第10553020(US,B1)
【文献】LEBEDEV, M. A.; VIZILTER, Yu. V.; VYGOLOV, O. V.; KNYAZ, V. A.; RUBIS, A. Yu.,“CHANGE DETECTION IN REMOTE SENSING IMAGES USING CONDITIONAL ADVERSARIAL NETWORKS”,The International Archives of the Photogrammetry, Remote Sensing Spatial Information Sciences,Vol. XLII-2,2018年06月04日,pp. 565-571,DOI: https://doi.org/10.5194/isprs-archives-XLII-2-565-2018
【文献】IMAI, Haruki; ITO, Koichi; AOKI, Takafumi; UEMOTO, Jyunpei; URATSUKA, Seiho,“A METHOD FOR OBSERVING SEISMIC GROUND DEFORMATION FROM AIRBORNE SAR IMAGES”,PROCEEDINGS of 2019 IEEE International Geoscience and Remote Sensing Symposium,2019年07月28日,pp. 1506-1509,DOI: 10.1109/IGARSS.2019.8900352
【文献】BRUZZONE, Lorenzo; BOVOLO, Francesca,“A Novel Framework for the Design of Change-Detection Systems for Very-High-Resolution Remote Sensing Images”,PROCEEDINGS OF THE IEEE,Vol. 101, No. 3,2013年03月,pp. 609-630,DOI: 10.1109/JPROC.2012.2197169
(58)【調査した分野】(Int.Cl.,DB名)
G01S 13/00-13/95
G01S 7/00-7/42
G06T 7/00
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
2つの観測画像の各々の観測角度と前記2つの観測画像の各々に現れる対象物の大きさとに基づいて、前記2つの観測画像の各々から得られる画像であって1つまたは複数の対象物が存在する2つの対象物存在画像における対象物存在領域を変形して2つの変形画像を生成する画像変形手段と、
前記2つの変形画像を合成して合成画像を生成し、前記合成画像を用いて前記2つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する画像生成手段とを備え
、
前記画像変形手段は、前記2つの対象物存在画像の各々において、前記対象物存在領域を所定量膨張させる
画像処理装置。
【請求項2】
前記画像変形手段は、前記2つの対象物存在画像のうちの第1の対象物存在画像における前記対象物存在領域を、前記2つの対象物存在画像のうちの第2の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させ、前記第2の対象物存在画像における前記対象物存在領域を、前記第1の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させる
請求項
1記載の画像処理装置。
【請求項3】
前記2つの観測画像のメタデータに含まれる観測角度と対象物の高さとを用いて前記倒れ込み量を算出し、観測画像のメタデータに含まれる観測方位に基づいて倒れ込みの方位を決定する倒れ込みパラメタ決定手段をさらに備えた
請求項
2記載の画像処理装置。
【請求項4】
対象物の幅に基づいて決定される所定値よりも小さいサイズの領域を
前記対象物存在領域から除去する除去手段をさらに備えた
請求項1から請求項
3のうちのいずれか1項に記載の画像処理装置。
【請求項5】
コンピュータが、
2つの観測画像の各々の観測角度と前記2つの観測画像の各々に現れる対象物の大きさとに基づいて、前記2つの観測画像の各々から得られる画像であって1つまたは複数の対象物が存在する2つの対象物存在画像における対象物存在領域を変形して2つの変形画像を生成し、
前記2つの変形画像を合成して合成画像を生成し、前記合成画像を用いて前記2つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成
し、
前記2つの対象物存在画像の各々において、前記対象物存在領域を変形するために、前記対象物存在領域を所定量膨張させる
画像処理方法。
【請求項6】
コンピュータが、
前記2つの対象物存在画像のうちの第1の対象物存在画像における前記対象物存在領域を、前記2つの対象物存在画像のうちの第2の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させ、前記第2の対象物存在画像における前記対象物存在領域を、前記第1の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させる
請求項
5記載の画像処理方法。
【請求項7】
コンピュータが、
対象物の幅に基づいて決定される所定値よりも小さいサイズの領域を
前記対象物存在領域から除去する
請求項
5または請求項
6に記載の画像処理方法。
【請求項8】
コンピュータに、
2つの観測画像の各々の観測角度と前記2つの観測画像の各々に現れる対象物の大きさとに基づいて、前記2つの観測画像の各々から得られる画像であって1つまたは複数の対象物が存在する2つの対象物存在画像における対象物存在領域を変形して2つの変形画像を生成する処理と、
前記2つの変形画像を合成して合成画像を生成し、前記合成画像を用いて前記2つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する処理とを実行させ
、
前記2つの対象物存在画像の各々において、前記対象物存在領域を変形するために、前記対象物存在領域を所定量膨張させる
ための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一の画像において他の画像に対する変化領域を特定可能な画像を生成する画像処理装置および画像処理方法に関する。
【背景技術】
【0002】
洪水、森林火災、火山噴火、地震、津波、干ばつ等の災害による被害の状況や、都市開発の状況、貨物や人の移動や滞留の状況を把握するために、人工衛星で撮影された画像などの高所から撮影された画像を基に地表の状態が変化した領域を検出する変化検出技術がある。
【0003】
また、合成開口レーダ(SAR:Synthetic Aperture Radar)技術は、人工衛星や航空機などの飛翔体が移動しながら電磁波を送受信し、大きな開口を持つアンテナによる画像と等価な画像(以下、SAR画像ともいう。)を得るための技術である。合成開口レーダは、例えば、地表からの反射波を信号処理して、地表変位を解析する等のために利用される。
【0004】
以下、人工衛星などで撮影された画像を観測画像という。なお、特に断らない限り、観測画像は、光学画像とSAR画像とを包含する。
【0005】
一般に、変化検出では、異なる時刻に同一の領域が観測されて得られた2枚の画像が比較される。2枚の画像が比較されることによって、領域内での1つ以上の物体(対象物)の変化が検知される。なお、対象物の変化として、例えば、新たな対象物の出現や、対象物の消失がある。以下、2枚の画像の各々を対象物存在画像または対象物マップといい、2枚の画像を画像ペアということがある。また、2枚の画像の比較結果に基づく2枚の画像の差異部分を特定可能な画像を、変化マップまたは合成変化マップということがある。
【先行技術文献】
【特許文献】
【0006】
【非特許文献】
【0007】
【文献】M. A. Lebedev, et al., "CHANGE DETECTION IN REMOTE SENSING IMAGES USING CONDITIONAL ADVERSARIAL NETWORKS", The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLII-2, 2018
【発明の概要】
【発明が解決しようとする課題】
【0008】
図14は、非特許文献1に記載された合成変化マップ333の作成方法を示す説明図である。
図14において、第1の画像331は、第1の入力画像である対象物マップに相当する。第2の画像332は、第2の入力画像である対象物マップに相当する。非特許文献1に記載された方法では、第1の画像331と第2の画像332との間での数画素のずれを許容しつつ第1の画像331と第2の画像332とを合成することによって、合成変化マップ333が生成される。合成変化マップ333には、第1の画像331と第2の画像332との差異部分が現れている。
【0009】
特許文献1には、干渉SAR画像から生成された2種類の画像(画像ペア)と正解データとを学習データ(訓練データ)として分類器(学習済みモデル)を作成する方法が記載されている。なお、特許文献1では、学習済みモデルを用いて、地表変動が判定される。
【0010】
図15は、学習済みモデルを用いて変化マップを生成する一般的なシステムの構成を示すブロック図である。
図15に示すシステムにおいて、訓練段階で、学習モデルは、画像ペア401と正解データ(例えば、正解変化マップ)402とを学習データ(訓練データ)として、機械学習403によって訓練される。訓練の結果、学習済みモデル410ができる。そして、運用段階で、学習済みモデル410を使用して、画像ペア411から変化マップ412が生成される。正解変化マップは、正解データとして用いられる変化マップである。
【0011】
特許文献1に記載された方法が使用されるときに、特許文献1の[0019]に記載されているように、正解データは、人手で作成される。したがって、多数の正解データを得るのに時間がかかる。また、ある作成者が作成した正解データと他の作成者が作成した正解データとが異なることが生じうる。すなわち、正解データの客観性が保証されない。換言すれば、個人差が反映された正解データが生成される可能性がある。
【0012】
非特許文献1に記載された方法が使用されるときに、合成変化マップ333の元になる第1の画像331および第2の画像332は、人手で作成される。正解データとして使用されうる合成変化マップ333が、第1の画像331と第2の画像332とから自動生成される場合でも、合成変化マップ333は、実際の観測画像から得られる変化マップからかけ離れる可能性がある。元になる第1の画像331および第2の画像332が人為的に作成されるからである。その結果、合成変化マップ333を正解変化マップとして使用する場合に、実際の観測画像から得られる正解変化マップからかけ離れる可能性がある。
【0013】
本発明は、個人差に影響されることなく、2つの入力画像における差異部分を特定可能な画像を短時間で生成でき、かつ、当該画像が実際の観測画像から得られる画像からかけ離れることを排除できる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0014】
本発明による画像処理装置は、2つの観測画像の各々の観測角度と2つの観測画像の各々に現れる対象物の大きさとに基づいて、2つの観測画像の各々から得られる画像であって1つまたは複数の対象物が存在する2つの対象物存在画像における対象物存在領域を変形して2つの変形画像を生成する画像変形手段と、2つの変形画像を合成して合成画像を生成し、合成画像を用いて2つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する画像生成手段とを含み、画像変形手段は、2つの対象物存在画像の各々において、対象物存在領域を所定量膨張させる。
【0015】
本発明による画像処理方法は、コンピュータが、2つの観測画像の各々の観測角度と2つの観測画像の各々に現れる対象物の大きさとに基づいて、2つの観測画像の各々から得られる画像であって1つまたは複数の対象物が存在する2つの対象物存在画像における対象物存在領域を変形して2つの変形画像を生成し、2つの変形画像を合成して合成画像を生成し、合成画像を用いて2つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成し、2つの対象物存在画像の各々において、対象物存在領域を変形するために、対象物存在領域を所定量膨張させる方法である。
【0016】
本発明による画像処理プログラムは、コンピュータに、2つの観測画像の各々の観測角度と2つの観測画像の各々に現れる対象物の大きさとに基づいて、2つの観測画像の各々から得られる画像であって1つまたは複数の対象物が存在する2つの対象物存在画像における対象物存在領域を変形して2つの変形画像を生成する処理と、2つの変形画像を合成して合成画像を生成し、合成画像を用いて2つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する処理とを実行させ、2つの対象物存在画像の各々において、対象物存在領域を変形するために、対象物存在領域を所定量膨張させる。
【発明の効果】
【0017】
本発明によれば、個人差に影響されることなく、2つの入力画像における差異部分を特定可能な画像を短時間で生成でき、かつ、当該画像が実際の観測画像から得られる画像からかけ離れることを排除できる。
【図面の簡単な説明】
【0018】
【
図1】画像処理装置の実施形態の主要な構成要素を示すブロック図である。
【
図2】正解変化マップの生成方法の一例を示す説明図である。
【
図3】電磁波の入射角およびレンジ方位角を説明するための説明図である。
【
図6】対象物の変化を説明するための説明図である。
【
図7】ノイズ除去処理を説明するための説明図である。
【
図8】正解変化マップ生成手段の構成例を示すブロック図である。
【
図9】正解変化マップ生成手段の動作を示すフローチャートである。
【
図10】画像処理装置の機能を実現可能な情報処理装置の構成例を示すブロック図である。
【
図11】画像処理装置の主要部を示すブロック図である。
【
図12】他の画像処理装置の主要部を示すブロック図である。
【
図13】さらに他の画像処理装置の主要部を示すブロック図である。
【
図14】変化マップの作成方法の概念を示す説明図である。
【
図15】学習済みモデルを用いて変化マップを生成する一般的なシステムの構成を示すブロック図である。
【発明を実施するための形態】
【0019】
図1は、画像処理装置の実施形態における主要な構成要素を示すブロック図である。
図1に示す画像処理装置1は、対象物マップ生成手段10と正解変化マップ生成手段20とを含む。
【0020】
対象物マップ生成手段10には、観測画像の組が入力される。対象物マップ生成手段10は、観測画像の各々から、変化検出の対象である対象物が存在する対象物存在領域を含む画像(対象物存在画像)を抽出する。すなわち、対象物マップ生成手段10は、対象物マップの組を生成する。対象物マップの組は、上述した画像ペアに相当する。なお、対象物マップ生成手段10は、例えば、あらかじめ決められている領域を観測画像から抽出するが、観測画像から人手によって領域を抽出することも可能である。
【0021】
正解変化マップ生成手段20には、観測画像の各々の観測角(方位角および入射角)と、対象物の大きさ(高さおよび幅)が入力される。対象物の大きさは、変化検出の対象である対象物に応じてあらかじめ定められる。
【0022】
正解変化マップ生成手段20は、観測画像の各々の観測角と対象物の大きさとに基づいて、それぞれの対象物マップを変形する。さらに、正解変化マップ生成手段20は、変形された対象物マップを合成して合成画像を生成することによって、2つの対象物マップの間で対象物が変化した領域を示す画像すなわち変化マップを生成する。正解変化マップ生成手段20が生成した変化マップは、正解変化マップとして出力される。
【0023】
次に、対象物マップの生成方法および正解変化マップの生成方法の一例を説明する。以下、観測画像としてSAR画像を例にする。また、対象物として自動車を例にする。
【0024】
図2は、正解変化マップの生成方法の一例を示す説明図である。
図2の上段の左側には、時刻t1において、軌道Aを通過する人工衛星100が駐車場120を含む領域を撮影する様子が示されている。
図2の下段の左側には、時刻t1とは異なる時刻t2において、軌道Aとは異なる軌道Bを通過する人工衛星100が駐車場120を含む領域を撮影する様子が示されている。時刻t2は、時刻t1よりも後の時刻である。
【0025】
図2の上段の中央には、時刻t1における観測画像から得られる画像A(第1の対象物マップ111)の一例が示されている。画像Aには3台の自動車91,92,93が存在する。
図2の下段の中央には、時刻t2における観測画像から得られる画像B(第2の対象物マップ121)の一例が示されている。画像Bには2台の自動車93,94が存在する。時刻t2において、時刻t1では存在した自動車91,92が消失している。また、時刻t2において、新たな自動車94が現われている。すなわち、時刻t1と時刻t2との間に、新たな自動車94が出現した。
【0026】
なお、この例では、第1の対象物マップ111および第2の対象物マップ121は、駐車場200の画像に相当する。
【0027】
正解変化マップ生成手段20は、画像Aと画像Bとを用いて正解変化マップ150を生成する。なお、正解変化マップ150において、実線で囲まれた楕円は、時刻t1から時刻t2まで変化しなかった自動車93が存在する領域を示す。すなわち、変化がない領域を示す。黒い楕円は、新たに出現した自動車94が存在する領域を示す。破線で囲まれた楕円は、消失した自動車91,92が存在している領域を示す。すなわち、黒い楕円および破線で囲まれた楕円は、変化領域を示す。
【0028】
なお、正解変化マップ150において、
図2に例示された表現とは異なる表現で、変化領域と非変化領域とが区別可能にされてもよい。一例として、色の違いによって、変化領域と非変化領域とが区別可能にされてもよい。
【0029】
図3は、電磁波の入射角および方位角(レンジ方位角)を説明するための説明図である。
図3には、軌道Aで得られた第1の観測画像101と、軌道Aとは異なる軌道Bで得られた第2の観測画像102とが示されている。第1の観測画像101および第2の観測画像102に関して、入射角θ
A,θ
Bは、天頂方向から人工衛星100の方向に対する角度に相当する。レンジ方位角α
A,α
Bは、基準となる方向(例えば、北方向)に対するレンジ方向の角度に相当する。
【0030】
図4は、倒れ込みの距離(倒れ込み量)l
Aを説明するための説明図である。対象物(この例では、自動車)の高さをh、電磁波の入射角をθ
Aとすると、倒れ込み量l
Aは、下記の(1)式で表される。
【0031】
lA=h/tanθA (1)
【0032】
なお、観測画像が光学画像である場合には、太陽光の入射角をθAとすると、倒れ込み量lAは、下記の(2)式で表される。
【0033】
lA=h・tanθA (1)
【0034】
本実施形態では、SAR画像を用いる場合を例にしているので、以下、画像Aに関する倒れ込み量をlAとし、画像Bに関する倒れ込み量をlB(lB=h/tanθB)とする。なお、光学画像が用いられる場合には、画像Bに関する倒れ込み量は、lB(lB=h・tanθB)である。
【0035】
図5は、正解変化マップ生成手段20が実行する膨張処理を説明するための説明図である。
【0036】
図5に示すように、正解変化マップ生成手段20は、軌道Aで得られた第1の観測画像101(
図3参照)に基づく画像A(第1の対象物マップ111)に対して膨張処理を行う。本実施形態では、正解変化マップ生成手段20は、画像Aに現れている対象物(この例では、自動車)を、画像Bにおいて対応する対象物の倒れ込み方向に、画像Bにおける対象物の倒れ込み量に相当する長さ分膨張させる。その結果、膨張処理後の画像A(対象物が膨張された第1の対象物マップ112)が得られる。また、正解変化マップ生成手段20は、軌道Bで得られた第2の観測画像102(
図3参照)に基づく画像B(第2の対象物マップ121)に対して膨張処理を行う。本実施形態では、画像Bに現れている対象物を、画像Aにおいて対応する対象物の倒れ込み方向に、画像Aにおける対象物の倒れ込み量に相当する長さ分膨張させる。その結果、膨張処理後の画像B(対象物が膨張された第2の対象物マップ122)が得られる。
【0037】
なお、
図5に示された第1の対象物マップ112および第2の対象物マップ121において、黒領域は、膨張した領域すなわち膨張領域を示す。
【0038】
図6は、対象物の変化を説明するための説明図である。
【0039】
正解変化マップ生成手段20は、膨張処理後の画像Aすなわち第1の対象物マップ112と膨張処理後の画像Bすなわち第2の対象物マップ122とを重ね合わせる。
図6には、重ね合わせ後の合成画像(変化マップ)140が模式的に表されている。
【0040】
なお、画像Bの元になる観測画像は、画像Aの元になる観測画像よりも、時間的に後に得られたとする。
【0041】
図6において、領域[F,B]は、対象物が第1の対象物マップ112には存在したが第2の対象物マップ122には存在しない領域を示す。すなわち、領域[F,B]は、対象物が消失した領域を示す。領域[F,F]は、対象物が第1の対象物マップ112に存在し、かつ、第2の対象物マップ122に存在する領域を示す。すなわち、領域[F,F]は、変化が生じていない領域を示す。領域[B,F]は、対象物が第1の対象物マップ112には存在しなかったが第2の対象物マップ122には存在する領域を示す。すなわち、領域[B,F]は、新たに対象物が出現した領域を示す。領域[B,B]は、対象物が第1の対象物マップ112にも第2の対象物マップ122にも存在しない領域を示す。すなわち、領域[B,B]は、変化が生じていない領域を示す。
【0042】
正解変化マップ生成手段20は、
図6に例示されたような考え方に基づいて変化マップ140を生成する。具体的には、正解変化マップ生成手段20は、変化領域(対象物が消失または出現した領域)と非変化領域とを区別可能な変化マップ140を生成する。
【0043】
図7は、ノイズ除去処理を説明するための説明図である。
【0044】
図7に示された変化マップ140および正解変化マップ150において、黒領域は、
図6に例示された領域[B,F]に対応する。すなわち、黒領域は、対象物が消失した領域を示す。破線で囲まれた領域は、
図6に例示された領域[F,B]に対応する。すなわち、破線で囲まれた領域は、対象物が消失した領域を示す。実線で囲まれた領域は、
図6に例示された領域[F,F]または領域[B,B]に対応する。すなわち、実線で囲まれた領域は、変化が生じていない領域を示す。
【0045】
正解変化マップ生成手段20は、変化マップ140にノイズ除去処理を施す。ノイズ除去処理は、対象物に比べて小さい領域をノイズと見なして除去する処理である。
図7に示される例では、正解変化マップ生成手段20は、変化マップ140に対してオープニング処理を施す。オープニング処理は、収縮と膨張とが組み合わされた処理である。正解変化マップ生成手段20は、オープニング処理における収縮処理を実行するときに、対象物の大きさに応じた画素数分、対象物を収縮させる。
【0046】
なお、本実施形態では、ノイズが除去された変化マップが正解変化マップ150とされているが、ノイズ除去処理が施される前の変化マップ140を、ノイズが残存しているものの、正解変化マップとして使用してもよい。
【0047】
図8は、正解変化マップ生成手段20の具体的な構成例を示すブロック図である。
図8に示す正解変化マップ生成手段20は、第1の倒れ込みパラメタ算出手段21、第2の倒れ込みパラメタ算出手段22、第1の膨張手段31、第2の膨張手段32、変化マップ生成手段41および雑音除去手段51を含む。
【0048】
第1の倒れ込みパラメタ算出手段21には、画像A(第1の対象物マップ111)に関するレンジ方位角および入射角と対象物の高さとが入力される。第1の倒れ込みパラメタ算出手段21は、入射角と対象物の高さとを用いて画像Aにおける対象物の倒れ込み量を算出する。また、第1の倒れ込みパラメタ算出手段21は、レンジ方位角を用いて画像Aにおける対象物の倒れ込み方向を決定する。倒れ込み方向は、レンジ方位角αAで示される方向と同じである。第1の倒れ込みパラメタ算出手段21は、第1の倒れ込みパラメタを第2の膨張手段32に出力する。第1の倒れ込みパラメタは、少なくとも対象物の倒れ込み量を示すデータと対象物の倒れ込み方向を示すデータとを含む。
【0049】
第2の倒れ込みパラメタ算出手段22には、画像B(第2の対象物マップ121)に関するレンジ方位角および入射角と対象物の高さとが入力される。第2の倒れ込みパラメタ算出手段22は、入射角と対象物の高さとを用いて画像Bにおける対象物の倒れ込み量を算出する。また、第2の倒れ込みパラメタ算出手段22は、レンジ方位角を用いて画像Bにおける対象物の倒れ込み方向を決定する。倒れ込み方向は、レンジ方位角αBで示される方向と同じである。第2の倒れ込みパラメタ算出手段22は、第2の倒れ込みパラメタを第1の膨張手段31に出力する。第2の倒れ込みパラメタは、少なくとも対象物の倒れ込み量を示すデータと対象物の倒れ込み方向を示すデータとを含む。
【0050】
なお、観測画像として光学画像が用いられる場合には、第1の倒れ込みパラメタ算出手段21は、レンジ方位角αA+180度(または、レンジ方位角αA-180度)で示される方向を、第1の倒れ込みパラメタにおける倒れ込み方向として算出する。第2の倒れ込みパラメタ算出手段22は、レンジ方位角αB+180度(または、レンジ方位角αB-180度)で示される方向を、第2の倒れ込みパラメタにおける倒れ込み方向として算出する。
【0051】
第1の膨張手段31には、画像Aと第2の倒れ込みパラメタとが入力される。第1の膨張手段31は、第2の倒れ込みパラメタを用いて画像Aにおける対象物を膨張させて、対象物が膨張された画像A(第1の対象物マップ112)を生成する。第1の膨張手段31は、第1の対象物マップ112を変化マップ生成手段41に出力する。
【0052】
第2の膨張手段32には、画像Bと第1の倒れ込みパラメタとが入力される。第2の膨張手段32は、第1の倒れ込みパラメタを用いて画像Bにおける対象物を膨張させて、対象物が膨張された画像B(第2の対象物マップ122)を生成する。第2の膨張手段32は、第2の対象物マップ122を変化マップ生成手段41に出力する。
【0053】
変化マップ生成手段41は、第1の対象物マップ112と第2の対象物マップ122とを重ね合わせる。すなわち、変化マップ生成手段41は、第1の対象物マップ112と第2の対象物マップ122とを合成する。そして、変化マップ生成手段41は、第1の対象物マップ112における対象物と、当該対象物に対応する第2の対象物マップ122における対象物との変化(消失または出現)を判定する。変化マップ生成手段41は、第1の対象物マップ112と第2の対象物マップ122とが重ね合わされた合成画像を、変化領域と非変化領域とを区別可能な画像にして、その画像を変化マップ140として雑音除去手段51に出力する。
【0054】
雑音除去手段51は、変化マップ140に対してオープニング処理を施し、ノイズが除去された画像を正解変化マップとして出力する。
【0055】
次に、
図9のフローチャートを参照して正解変化マップ生成手段20の動作を説明する。
【0056】
図9に示すように、対象物マップ生成手段10(
図8において図示せず)は、入力された観測画像の組におけるそれぞれの観測画像から、変化検出の対象である対象物が存在する対象物存在領域を含む画像(対象物存在画像)を抽出する。抽出された2つの対象物存在画像は、対象物マップの組を構成する(ステップS11)。なお、本実施形態では、観測画像の組を構成する2つの観測画像は、例えば、異なる時刻に異なる軌道で人工衛星100から撮影された画像に基づくSAR画像である。また、ステップS11の処理で生成される対象物マップは、
図5に示された第1の対象物マップ111と第2の対象物マップ121とに相当する。
【0057】
第1の倒れ込みパラメタ算出手段21には、一方の観測画像のメタ情報が入力される。第2の倒れ込みパラメタ算出手段22には、他方の観測画像のメタ情報が入力される。一般に、入手可能な観測画像には、撮影時刻、撮影地点(例えば、観測画像の中心の緯度や経度)、電磁波照射方向(観測方位)などのメタ情報(メタデータ)が付随している。第1の倒れ込みパラメタ算出手段21は、一方の観測画像のメタ情報からレンジ方位角αAおよび入射角θAを抽出し、第2の倒れ込みパラメタ算出手段22は、他方の観測画像のメタ情報からレンジ方位角αBおよび入射角θBを抽出する(ステップS12)。
【0058】
なお、第1の倒れ込みパラメタ算出手段21および第2の倒れ込みパラメタ算出手段22がメタ情報からレンジ方位角および入射角を抽出することは必須のことではない。例えば、第1の倒れ込みパラメタ算出手段21および第2の倒れ込みパラメタ算出手段22以外の手段が、メタ情報からレンジ方位角および入射角を抽出してもよい。その場合、当該手段は、抽出したレンジ方位角および入射角を、第1の倒れ込みパラメタ算出手段21および第2の倒れ込みパラメタ算出手段22に供給する。
【0059】
また、第1の倒れ込みパラメタ算出手段21および第2の倒れ込みパラメタ算出手段22には、対象物の高さhを示すデータが入力される(ステップS13)。
【0060】
なお、ステップS11~S13の処理順は任意である。つまり、ステップS11~S13の処理順は、必ずしも、
図9に示された順でなくてもよい。また、対象物の高さhは、あらかじめ設定されている。例えば、対象物が自動車である場合は、一般的な自動車の高さの値、またはそれに余裕を持たせた値が、対象物の高さhとして対象物マップ生成手段10に入力される。
【0061】
第1の倒れ込みパラメタ算出手段21および第2の倒れ込みパラメタ算出手段22は、倒れ込みパラメタを算出する(ステップS14)。ステップS14において、第1の倒れ込みパラメタ算出手段21は、ステップS12の処理で得た入射角θAと対象物の高さhとを用いて上記の(1)式によって画像Aにおける対象物の倒れ込み量lAを算出する。また、第1の倒れ込みパラメタ算出手段21は、ステップS12の処理で得たレンジ方位角αAを対象物の倒れ込み方向とする。第1の倒れ込みパラメタ算出手段21は、得られた倒れ込み量および倒れ込み方向を第1の倒れ込みパラメタとする。なお、画像Aに複数の対象物が存在する場合には、第1の倒れ込みパラメタ算出手段21は、それぞれの対象物の倒れ込み量と対象物の倒れ込み方向とを決定し、それぞれの倒れ込み量と倒れ込み方向とを第1の倒れ込みパラメタに含める。
【0062】
ステップS14において、第2の倒れ込みパラメタ算出手段22は、ステップS12の処理で得た入射角θBと対象物の高さhとを用いて上記の(1)式によって画像Bにおける対象物の倒れ込み量lBを算出する。また、第2の倒れ込みパラメタ算出手段22は、ステップS12の処理で得たレンジ方位角αBを対象物の倒れ込み方向とする。第2の倒れ込みパラメタ算出手段22は、得られた倒れ込み量および倒れ込み方向を第2の倒れ込みパラメタとする。なお、画像Bに複数の対象物が存在する場合には、第2の倒れ込みパラメタ算出手段22は、それぞれの対象物の倒れ込み量と対象物の倒れ込み方向とを決定し、それぞれの倒れ込み量と倒れ込み方向とを第2の倒れ込みパラメタに含める。
【0063】
なお、観測画像として光学画像が用いられる場合には、第1の倒れ込みパラメタ算出手段21は、レンジ方位角αAに対して180度の方向を、第1の倒れ込みパラメタにおける倒れ込み方向として決定する。第2の倒れ込みパラメタ算出手段22は、レンジ方位角αBに対して180度の方向を、第2の倒れ込みパラメタにおける倒れ込み方向として決定する。
【0064】
第1の膨張手段31および第2の膨張手段32は、対象物マップ(画像Aまたは画像B)における対象物を膨張させる(ステップS15)。ステップS15において、第1の膨張手段31は、画像Aにおける対象物を、第2の倒れ込みパラメタに含まれる倒れ込み方向に、倒れ込み量lBだけ膨張させる。また、第2の膨張手段32は、画像Bにおける対象物を、第1の倒れ込みパラメタに含まれる倒れ込み方向に、倒れ込み量lAだけ膨張させる。
【0065】
変化マップ生成手段41は、対象物が膨張した画像A(第1の対象物マップ112:
図5参照)と対象物が膨張した画像B(第2の対象物マップ122:
図5参照)とを重ね合わせる(ステップS16)。
【0066】
変化マップ生成手段41は、ステップS16の処理で作成された合成画像における対象物の重なり具合に基づいて、対象物が変化した否か判定する。例えば、変化マップ生成手段41は、第1の対象物マップ112と第2の対象物マップ122とを画素ごとに(画素単位で)比較することにとって、対象物が変化した否か判定する。そして、変化マップ生成手段41は、
図6に例示されたように、画像Aには存在したが画像Bには存在しない対象物を、消失した対象物(変化した対象物)であると判定する。また、変化マップ生成手段41は、画像Aには存在しなかったが画像Bには存在する対象物を、新たに出現した対象物(変化した対象物)であると判定する。変化マップ生成手段41は、その他の対象物を、変化しない対象物であると判定する。
【0067】
変化マップ生成手段41は、ステップS16の処理で作成された合成画像に、変化したか否かの判定結果を反映して、変化マップ140(
図7参照)を生成する(ステップS17)。
【0068】
雑音除去手段51には、対象物の幅を示すデータが入力される(ステップS18)。対象物の幅は、あらかじめ設定されている。例えば、対象物が自動車である場合は、一般的な自動車の幅の値、またはそれに余裕を持たせた値が、対象物の幅として雑音除去手段51に入力される。なお、ステップS18の処理が
図9に示されたタイミングで実行されなくてもよい。すなわち、対象物の幅は、ステップS19の処理の実行が開始されるまでに入力されていればよい。
【0069】
雑音除去手段51は、変化マップ140に対してオープニング処理を施し、ノイズが除去された画像を正解変化マップとして出力する(ステップS19)。ステップS19の処理において、雑音除去手段51は、オープニング処理における収縮処理で、対象物の大きさ(具体的には、幅)に応じた画素数だけ対象物を収縮させる。なお、収縮される画素数は、対象物の大きさに応じてあらかじめ決められる。すなわち、対象物ではないと判定されるべき画素の集まりが除去可能な数に設定される。一例として、対象物の最大幅が3画素である場合、雑音除去手段51は、3画素未満すなわち2画素以下のサイズのブロックが取り除かれるように、オープニング処理で2回の収縮処理を実行する。
【0070】
以上に説明したように、本実施形態の画像処理装置は、機械学習の訓練データとして用いられる正解としての変化マップを、実際の観測画像を元に生成する。よって、人手で変化マップを作成する場合のように個人差に影響されることなく、変化マップを短時間で生成できる。また、変化マップが実際の観測画像から得られる画像からかけ離れることを排除できる。
【0071】
また、画像処理装置は、上述したように、第1の対象物マップ111における対象物存在領域を、第2の対象物マップ121における対象物の倒れ込みの方位と倒れ込み量に従って膨張させ、第2の対象物マップ121における対象物存在領域を、第1の対象物マップ111における対象物の倒れ込みの方位と倒れ込み量に従って膨張させるように構成されていることが好ましい。そのように構成されている場合には、観測方向が異なる2つの対象物マップのうちの一方の対象物マップにおける対象物の見え方に、他方の対象物マップにおける対象物の見え方を近づけることができる。よって、第1の対象物マップ111と第2の対象物マップ121との合成画像を用いた対象物存在領域の変化/非変化の検出の精度が向上する。
【0072】
また、画像処理装置は、上述したように、合成画像において、対象物の幅に基づいて決定される所定値よりも小さいサイズの領域を除去するように構成されていることが好ましい。そのように構成されている場合には、合成画像において、小さいサイズの領域が変化領域であると判定されているときに、最終的に得られる変化マップ(正解変化マップとして用いられる変化マップ)が、対象物以外の変化領域を含まないマップになる。よって、正解変化マップの信頼性を高くすることができる。
【0073】
上記の実施形態の画像処理装置を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【0074】
図10は、上記の実施形態の画像処理装置の機能を実現可能な情報処理装置の構成例を示すブロック図である。
図10に示す情報処理装置は、1つまたは複数のCPU(Central Processing Unit )などのプロセッサ、プログラムメモリ1002およびメモリ1003を含む。
図10には、1つのプロセッサ1001を有する情報処理装置が例示されている。
【0075】
プログラムメモリ1002は、例えば、非一時的なコンピュータ可読媒体(non-transitory computer readable medium )である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium )を含む。例えば、プログラムメモリ1002として、フラッシュROM(Read Only Memory)などの半導体記憶媒体やハードディスク等の磁気記憶媒体が使用可能である。プログラムメモリ1002は、上記の実施形態の画像処理装置における各ブロック(対象物マップ生成手段10、正解変化マップ生成手段20、第1の倒れ込みパラメタ算出手段21、第2の倒れ込みパラメタ算出手段22、第1の膨張手段31、第2の膨張手段32、変化マップ生成手段41、雑音除去手段51)の機能を実現するための画像処理プログラムが格納される。
【0076】
プロセッサ1001は、プログラムメモリ1002に格納されている画像処理プログラムに従って処理を実行することによって、画像処理装置の機能を実現する。複数のプロセッサが搭載されている場合には、複数のプロセッサが共働して画像処理装置の機能を実現することもできる。
【0077】
メモリ1003として、例えば、RAM(Random Access Memory)が使用可能である。メモリ1003には、画像処理装置が処理を実行しているときに発生する一時的なデータなどが記憶される。メモリ1003に画像処理プログラムが転送され、プロセッサ1001がメモリ1003内の画像処理プログラムに基づいて処理を実行するような形態も想定しうる。なお、プログラムメモリ1002とメモリ1003とは、一体であってもよい。
【0078】
図11は、画像処理装置の主要部を示すブロック図である。
図11に示す画像処理装置60は、2つの観測画像の各々の観測角度(例えば、レンジ方位角および入射角)と2つの観測画像の各々に現れる対象物の大きさ(例えば、対象物の高さ)とに基づいて、2つの観測画像の各々から得られる画像であって1つまたは複数の対象物が存在する2つの対象物存在画像(例えば、第1の対象物マップ111と第2の対象物マップ121)における対象物存在領域を変形して2つの変形画像(例えば、第1の対象物マップ112と第2の対象物マップ122)を生成する画像変形部(画像変形手段)61(実施形態では、第1の膨張手段31および第2の膨張手段32で実現される。)と、2つの変形画像を合成して合成画像を生成し、合成画像を用いて2つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像(例えば、変化マップ140)を生成する画像生成部(画像生成手段)62(実施形態では、変化マップ生成手段41で実現される。)とを備えている。
【0079】
図12に示すように、画像処理装置60は、2つの観測画像のメタデータに含まれる観測角度と対象物の高さとを用いて倒れ込み量を算出する倒れ込みパラメタ決定部(倒れ込みパラメタ決定手段)63(実施形態では、第1の倒れ込みパラメタ算出手段21および第2の倒れ込みパラメタ算出手段22で実現される。)をさらに備えていてもよい。
【0080】
図13に示すように、画像処理装置60は、対象物の幅に基づいて決定される所定値よりも小さいサイズの領域を除去する除去部(除去手段)64(実施形態では、雑音除去手段51で実現される。)をさらに備えていてもよい。
【0081】
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、本発明は、以下の構成に限定されるわけではない。
【0082】
(付記1)2つの観測画像の各々の観測角度と前記2つの観測画像の各々に現れる対象物の大きさとに基づいて、前記2つの観測画像の各々から得られる画像であって1つまたは複数の対象物が存在する2つの対象物存在画像における対象物存在領域を変形して2つの変形画像を生成する画像変形手段と、
前記2つの変形画像を合成して合成画像を生成し、前記合成画像を用いて前記2つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する画像生成手段と
を備えた画像処理装置。
【0083】
(付記2)前記画像変形手段は、前記2つの対象物存在画像の各々において、前記対象物存在領域を所定量膨張させる
付記1の画像処理装置。
【0084】
(付記3)前記画像変形手段は、前記2つの対象物存在画像のうちの第1の対象物存在画像における前記対象物存在領域を、前記2つの対象物存在画像のうちの第2の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させ、前記第2の対象物存在画像における前記対象物存在領域を、前記第1の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させる
付記2の画像処理装置。
【0085】
(付記4)前記2つの観測画像のメタデータに含まれる観測角度と対象物の高さとを用いて前記倒れ込み量を算出し、観測画像のメタデータに含まれる観測方位に基づいて倒れ込みの方位を決定する倒れ込みパラメタ決定手段をさらに備えた
付記3の画像処理装置。
【0086】
(付記5)対象物の幅に基づいて決定される所定値よりも小さいサイズの領域を除去する除去手段をさらに備えた
付記1から付記4のうちのいずれかの画像処理装置。
【0087】
(付記6)2つの観測画像の各々の観測角度と前記2つの観測画像の各々に現れる対象物の大きさとに基づいて、前記2つの観測画像の各々から得られる画像であって1つまたは複数の対象物が存在する2つの対象物存在画像における対象物存在領域を変形して2つの変形画像を生成し、
前記2つの変形画像を合成して合成画像を生成し、前記合成画像を用いて前記2つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する
画像処理方法。
【0088】
(付記7)前記2つの対象物存在画像の各々において、前記対象物存在領域を所定量膨張させる
付記6の画像処理方法。
【0089】
(付記8)前記2つの対象物存在画像のうちの第1の対象物存在画像における前記対象物存在領域を、前記2つの対象物存在画像のうちの第2の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させ、前記第2の対象物存在画像における前記対象物存在領域を、前記第1の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させる
付記7の画像処理方法。
【0090】
(付記9)対象物の幅に基づいて決定される所定値よりも小さいサイズの領域を除去する
付記6から付記8のうちのいずれかの画像処理方法。
【0091】
(付記10)画像処理プログラムが格納されたコンピュータ読み取り可能な記録媒体であって、
前記画像処理プログラムは、コンピュータに、
2つの観測画像の各々の観測角度と前記2つの観測画像の各々に現れる対象物の大きさとに基づいて、前記2つの観測画像の各々から得られる画像であって1つまたは複数の対象物が存在する2つの対象物存在画像における対象物存在領域を変形して2つの変形画像を生成する処理と、
前記2つの変形画像を合成して合成画像を生成し、前記合成画像を用いて前記2つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する処理とを実行させる
記録媒体。
【0092】
(付記11)前記画像処理プログラムは、コンピュータに、
前記2つの対象物存在画像の各々において、前記対象物存在領域を所定量膨張させる処理を実行させる
付記10の記録媒体。
【0093】
(付記12)前記画像処理プログラムは、コンピュータに、
前記2つの対象物存在画像のうちの第1の対象物存在画像における前記対象物存在領域を、前記2つの対象物存在画像のうちの第2の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させ、前記第2の対象物存在画像における前記対象物存在領域を、前記第1の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させる処理を実行させる
付記11の記録媒体。
【0094】
(付記13)前記画像処理プログラムは、コンピュータに、
対象物の幅に基づいて決定される所定値よりも小さいサイズの領域を除去する処理を実行させる
付記10から付記12のうちのいずれかの記録媒体。
【0095】
(付記14)コンピュータに、
2つの観測画像の各々の観測角度と前記2つの観測画像の各々に現れる対象物の大きさとに基づいて、前記2つの観測画像の各々から得られる画像であって1つまたは複数の対象物が存在する2つの対象物存在画像における対象物存在領域を変形して2つの変形画像を生成する処理と、
前記2つの変形画像を合成して合成画像を生成し、前記合成画像を用いて前記2つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する処理と
を実行させるための画像処理プログラム。
【0096】
(付記15)コンピュータに、
前記2つの対象物存在画像の各々において、前記対象物存在領域を所定量膨張させる処理を実行させる
付記14の画像処理プログラム。
【0097】
(付記16)コンピュータに、
前記2つの対象物存在画像のうちの第1の対象物存在画像における前記対象物存在領域を、前記2つの対象物存在画像のうちの第2の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させ、前記第2の対象物存在画像における前記対象物存在領域を、前記第1の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させる処理を実行させる
付記15の画像処理プログラム。
【0098】
(付記17)コンピュータに、
対象物の幅に基づいて決定される所定値よりも小さいサイズの領域を除去する処理を実行させる
付記14から付記16のうちのいずれかの画像処理プログラム。
【0099】
(付記18)付記6から付記9のうちのいずれかの画像処理方法を実現するための画像処理プログラム。
【0100】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0101】
1 画像処理装置
10 対象物マップ生成手段
20 正解変化マップ生成手段
21 第1の倒れ込みパラメタ算出手段
22 第2の倒れ込みパラメタ算出手段
31 第1の膨張手段
32 第2の膨張手段
41 変化マップ生成手段
51 雑音除去手段
60 画像処理装置
61 画像変形部
62 画像生成部
63 倒れ込みパラメタ決定部
64 除去部
100 人工衛星
1001 プロセッサ
1002 プログラムメモリ
1003 メモリ