(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-05
(45)【発行日】2022-12-13
(54)【発明の名称】画像処理装置および画像処理方法
(51)【国際特許分類】
G01S 13/90 20060101AFI20221206BHJP
【FI】
G01S13/90 191
G01S13/90 127
(21)【出願番号】P 2021532642
(86)(22)【出願日】2019-07-18
(86)【国際出願番号】 JP2019028264
(87)【国際公開番号】W WO2021009904
(87)【国際公開日】2021-01-21
【審査請求日】2022-01-06
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103090
【氏名又は名称】岩壁 冬樹
(74)【代理人】
【識別番号】100124501
【氏名又は名称】塩川 誠人
(72)【発明者】
【氏名】田中 大地
(72)【発明者】
【氏名】宝珠山 治
【審査官】藤田 都志行
(56)【参考文献】
【文献】国際公開第2019/106850(WO,A1)
【文献】特表2012-533051(JP,A)
【文献】中国特許出願公開第103645476(CN,A)
【文献】国際公開第2018/123748(WO,A1)
【文献】特開2011-211437(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/00- 7/42
G01S 13/00-13/95
G06T 1/00-19/20
(57)【特許請求の範囲】
【請求項1】
複数のSAR画像からサンプル画素の位相を特定する位相特定手段と、
SAR画像における2つの前記サンプル画素の位相の相関に基づいて前記サンプル画素をクラスタリングして複数のクラスタを生成するクラスタリング手段と、
前記クラスタ毎に、画素に関する位相統計量を把握可能なデータを算出する位相統計量データ算出手段と
、
前記サンプル画素の強度を算出する強度算出手段と、
前記サンプル画素の強度に基づいて、前記サンプル画素と強度の統計的性質が類似する周辺画素を選択する周辺画素選択手段と、
前記統計的性質が類似する周辺画素を接続してグラフ化する画素接続手段とを備え
、
前記位相特定手段は、選択された前記周辺画素の位相も特定し、
前記クラスタリング手段は、前記画素接続手段が作成したグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断することによって前記クラスタを生成する
画像処理装置。
【請求項2】
位相統計量を把握可能なデータは、コヒーレント行列で表される
請求項1記載の画像処理装置。
【請求項3】
周辺画素のノイズの統計的性質を推定するノイズ推定手段を備え、
前記クラスタリング手段は、前記ノイズの統計的性質を参照してクラスタリングを実行する
請求項
1または請求項
2記載の画像処理装置。
【請求項4】
位相統計量データ算出手段が算出したデータを地表の変位に変換して、地表の変位を解析する変位解析手段を備えた
請求項1から請求項
3のうちのいずれか1項に記載の画像処理装置。
【請求項5】
位相統計量データ算出手段が算出したデータを標高に変換して、標高を解析する標高解析手段を備えた
請求項1から請求項
4のうちのいずれか1項に記載の画像処理装置。
【請求項6】
複数のSAR画像からサンプル画素の位相を特定し、
SAR画像における2つの前記サンプル画素の位相の相関に基づいて前記サンプル画素をクラスタリングして複数のクラスタを生成し、
前記クラスタ毎に、画素に関する位相統計量を把握可能なデータを算出
し、
前記サンプル画素の強度を算出し、
前記サンプル画素の強度に基づいて、前記サンプル画素と強度の統計的性質が類似する周辺画素を選択し、
前記統計的性質が類似する周辺画素を接続してグラフ化し、
前記サンプル画素の位相を特定するときに、選択された前記周辺画素の位相も特定し、
前記クラスタを生成するときに、前記周辺画素を接続して作成されたグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断する
画像処理方法。
【請求項7】
位相統計量を把握可能なデータは、コヒーレント行列で表される
請求項
6記載の画像処理方法。
【請求項8】
コンピュータに、
複数のSAR画像からサンプル画素の位相を特定する処理と、
SAR画像における2つの前記サンプル画素の位相の相関に基づいて前記サンプル画素をクラスタリングして複数のクラスタを生成する処理と、
前記クラスタ毎に、画素に関する位相統計量を把握可能なデータを算出する処理と
、
前記サンプル画素の強度を算出する処理と、
前記サンプル画素の強度に基づいて、前記サンプル画素と強度の統計的性質が類似する周辺画素を選択する処理と、
前記統計的性質が類似する周辺画素を接続してグラフ化する処理とを実行させ
、
前記サンプル画素の位相を特定するときに、選択された前記周辺画素の位相も特定させ、
前記クラスタを生成するときに、前記周辺画素を接続して作成されたグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断させる
ための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、合成開口レーダの受信電磁波から生成される干渉画像に基づく位相統計量を把握可能なデータを算出する合成開口レーダの画像処理装置および画像処理方法に関する。
【背景技術】
【0002】
合成開口レーダ(SAR:Synthetic Aperture Radar)技術は、人工衛星や航空機などの飛翔体が移動しながら電磁波を送受信し、大きな開口を持つアンテナと等価な観測画像が得られる技術である。合成開口レーダは、例えば、地表からの反射波を信号処理して、標高や地表変位を解析するために利用される。SAR技術が用いられる場合、解析装置は、合成開口レーダによって得られる時系列のSAR画像(SARデータ)を入力とし、入力されたSAR画像を時系列解析する。
【0003】
標高や地表変位を解析するための有効な手法として、干渉SAR解析がある。干渉SAR解析では、違う時期に撮影された複数(例えば、2枚)のSAR画像を構成する電波信号の位相差が計算される。そして、撮影時期間で生じた飛翔体と地面間の距離の変化が検出される。
【0004】
特許文献1には、位相統計量を把握可能なデータとしてのコヒーレンス行列を用いる解析手法が記載されている。
【0005】
コヒーレンスは、N(N≧2)枚のSAR画像における複数のSAR画像の同じ位置にあたる画素の複素相関で計算される。SAR画像のペアを(m,n)とし、コヒーレンス行列の成分をcm,nとする。m,nは、それぞれ、N以下の値であり、N枚のSAR画像のいずれかを示す。SAR画像のペアについて、位相θm,n(具体的には、位相差)が算出される。そして、コヒーレンス算出対象の画素を含む所定領域内の複数の画素についてexp(-jθm,n)が平均化された値が、コヒーレンス行列の成分cm,nとなる。また、SAR画像m における強度をAm、SAR画像n における強度をAnとして、Am・An・exp(-jθm,n)を平均化してもよい。
【0006】
cm,nの偏角∠cm,nは、平均的な位相(具体的には、位相差)に相当する。cm,nの絶対値||cm,n||から、位相θm,nの分散の大きさを把握可能である。
【0007】
コヒーレンス行列は、ノイズが除去された場合の位相を推測可能な情報を含む。また、位相ノイズ量の程度を推測可能な情報(すなわち、分散)を含む。
【0008】
地表等の変位解析のために、位相θm,nが変位速度および撮影時刻差に相関することが利用される。例えば、位相差の平均値に基づいて変位が推定される。なお、位相ノイズ量を使用して変位解析の精度を検証することが可能である。したがって、コヒーレンス行列は、変位解析のために使用可能である。
【0009】
標高解析のために、位相θm,nが解析対象物の標高および飛翔体間距離(例えば、飛翔体の2つの撮影位置の間の距離)に相関することが利用される。例えば、位相差の平均値に基づいて標高が推定される。なお、位相ノイズ量を使用して標高解析の精度を検証することが可能である。したがって、コヒーレンス行列は、標高解析のために使用可能である。
【0010】
例えば、干渉SAR時系列解析が実行される場合、解析精度を確保するために、一般に、計測点としてPS(Persistent Scatterer)点が使用される。しかし、PSのみを使用する場合、計測点が少ないことがある。そこで、計測点として、例えば、複数の時点における統計的な性質があまり変化しない画素も利用されることがある。
【0011】
特許文献2には、ある画素と統計的に均質な画素を検出する方法が記載されている。
【0012】
また、非特許文献1には、複数時期でノイズの性質が変わらない画素としてのSHP(Statistically Homogeneous Pixel )と呼ばれる画素を活用する解析方法が記載されている。SHPとして、強度(反射強度)に関して類似性がある画素が選定される。
【先行技術文献】
【特許文献】
【0013】
【文献】国際公開第2011/003836号
【文献】国際公開第2010/112426号
【非特許文献】
【0014】
【文献】A. Ferretti et.al., "A New Algorithm for Processing Interferometric Data-Stacks: SqueeSAR", IEEE Transactions on Geoscience and Remote Sensing, Vol. 49, No. 9, pp.3460-3470, September 2011
【発明の概要】
【発明が解決しようとする課題】
【0015】
上述したように、コヒーレンス行列の成分cm,nの∠cm,nは、位相θm,nの平均に相当する。また、cm,nの||cm,n||は、位相θm,nの分散に相当する。コヒーレンス行列を算出するときに、平均や分散の性質が異なる画素が混在すると、算出されるコヒーレンス行列が不正確になる。
【0016】
特許文献2や非特許文献1に記載された手法では、ある画素に対して統計的に均質な画素が活用されるが、統計的に均質であるか否かは、画素の振幅値または強度に基づいて判定される。したがって、判定された画素(例えば、SHP)を使用してコヒーレンス行列が算出されると、不正確なコヒーレンス行列が生成される可能性がある。コヒーレンス行列を算出するために使用される複数の画素に、平均や分散の性質が異なる画素が存在する可能性があるからである。その結果、コヒーレンス行列に基づいて変位解析や標高解析が行われるときに、解析の信頼性が低下するおそれがある。
【0017】
本発明は、位相統計量を把握可能なデータの精度を向上させることができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0018】
本発明による画像処理装置は、複数のSAR画像からサンプル画素の位相を特定する位相特定手段と、SAR画像における2つのサンプル画素の位相の相関に基づいてサンプル画素をクラスタリングして複数のクラスタを生成するクラスタリング手段と、クラスタ毎に、画素に関する位相統計量を把握可能なデータを算出する位相統計量データ算出手段と、サンプル画素の強度を算出する強度算出手段と、サンプル画素の強度に基づいて、サンプル画素と強度の統計的性質が類似する周辺画素を選択する周辺画素選択手段と、統計的性質が類似する周辺画素を接続してグラフ化する画素接続手段とを含み、位相特定手段は、選択された周辺画素の位相も特定し、クラスタリング手段は、画素接続手段が作成したグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断することによってクラスタを生成する。
【0019】
本発明による画像処理方法は、複数のSAR画像からサンプル画素の位相を特定し、SAR画像における2つのサンプル画素の位相の相関に基づいてサンプル画素をクラスタリングして複数のクラスタを生成し、クラスタ毎に、画素に関する位相統計量を把握可能なデータを算出し、サンプル画素の強度を算出し、サンプル画素の強度に基づいて、サンプル画素と強度の統計的性質が類似する周辺画素を選択し、統計的性質が類似する周辺画素を接続してグラフ化し、サンプル画素の位相を特定するときに、選択された周辺画素の位相も特定し、クラスタを生成するときに、周辺画素を接続して作成されたグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断する。
【0020】
本発明による画像処理プログラムは、コンピュータに、複数のSAR画像からサンプル画素の位相を特定する処理と、SAR画像における2つのサンプル画素の位相の相関に基づいてサンプル画素をクラスタリングして複数のクラスタを生成する処理と、クラスタ毎に、画素に関する位相統計量を把握可能なデータを算出する処理と、サンプル画素の強度を算出する処理と、サンプル画素の強度に基づいて、サンプル画素と強度の統計的性質が類似する周辺画素を選択する処理と、統計的性質が類似する周辺画素を接続してグラフ化する処理とをを実行させ、サンプル画素の位相を特定するときに、選択された周辺画素の位相も特定させ、クラスタを生成するときに、周辺画素を接続して作成されたグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断させる。
【発明の効果】
【0021】
本発明によれば、位相統計量を把握可能なデータの精度が向上する。
【図面の簡単な説明】
【0022】
【
図1】第1の実施形態の画像処理装置の構成例を示すブロック図である。
【
図2】クラスタリング部の構成例を示すブロック図である。
【
図3】距離特定部の構成例を示すブロック図である。
【
図4】第1の実施形態の画像処理装置の動作を示すフローチャートである。
【
図5】最小全域木生成部の動作を示すフローチャートである。
【
図6】クラスタリングを説明するための説明図である。
【
図7】コヒーレンス行列の算出結果を説明するための説明図である。
【
図8】コヒーレンス行列の算出結果を説明するための説明図である。
【
図9】コヒーレンス行列の算出結果を説明するための説明図である。
【
図10】第2の実施形態の画像処理装置の構成例を示すブロック図である。
【
図11】第2の実施形態の画像処理装置の動作を示すフローチャートである。
【
図12】第3の実施形態の画像処理装置の構成例を示すブロック図である。
【
図13】第3の実施形態の画像処理装置の動作を示すフローチャートである。
【
図14】画素接続部の作用を説明するための説明図である。
【
図15】第4の実施形態の画像処理装置の構成例を示すブロック図である。
【
図16】第4の実施形態の画像処理装置の動作を示すフローチャートである。
【
図17】第5の実施形態の画像処理装置の構成例を示すブロック図である。
【
図18】第5の実施形態の画像処理装置の動作を示すフローチャートである。
【
図19】変位解析または標高解析に使用される画像処理装置の構成例を示すブロック図である。
【
図20】変位解析または標高解析に使用される画像処理装置の他の構成例を示すブロック図である。
【
図21】変位解析または標高解析に使用される画像処理装置のさらに他の構成例を示すブロック図である。
【
図22】変位解析または標高解析に使用される画像処理装置のさらに他の構成例を示すブロック図である。
【
図23】CPUを有するコンピュータの一例を示すブロック図である。
【
図24】画像処理装置の主要部を示すブロック図である。
【
図25】他の態様の画像処理装置の主要部を示すブロック図である。
【発明を実施するための形態】
【0023】
以下、本発明の実施形態を図面を参照して説明する。
【0024】
実施形態1.
図1は、第1の実施形態の画像処理装置の構成例を示すブロック図である。
図1に示す画像処理装置1は、SAR画像格納部100、位相特定部101、クラスタリング部102およびコヒーレンス行列算出部103を含む。
【0025】
SAR画像格納部100には、N枚のSAR画像が格納されている。位相特定部101は、複数のSAR画像に基づいて、複数のサンプル画素(対象画素)の各々における位相を特定する。クラスタリング部102は、少なくともサンプル画素の位相の相関に基づいて、サンプル画素をクラスタリングする。
【0026】
コヒーレンス行列算出部103は、クラスタ内の画素の位相を用いて、サンプル画素のコヒーレンス行列を算出する。
【0027】
図2は、クラスタリング部102の構成例を示すブロック図である。
図2に示す例では、クラスタリング部102は、距離特定部121、最小全域木生成部122および分離部123を含む。
【0028】
距離特定部121は、2つのサンプル画素の間の距離(例えば、ユークリッド距離)および2つのサンプル画素の位相の相関に基づいて、2つのサンプル画素の関係を示す距離を算出する。最小全域木生成部122は、距離特定部121算出した距離に基づいて、サンプル画素に関する最小全域木を生成する。分離部123は、あらかじめ定められたしきい値を用いて、最小全域木を分離する。分離されて生成された木に属するサンプル画素の集合が、サンプル画素のクラスタになる。 一般に、複数のクラスタが生成される。以下、画像における画素の間の距離としてユークリッド距離が使用される場合を例にするが、距離は、それに限定される訳ではない。
【0029】
図3は、距離特定部121の構成例を示すブロック図である。距離特定部121は、相関係数算出部1211、距離算出部1212および統合部1213を含む。
【0030】
相関係数算出部1211は、2つのサンプル画素に関して位相特定部101によって特定された位相の相関係数を求める。相関係数算出部1211は、2つのサンプル画素に関する位相(たとえば位相配列の各々)についての相関係数を算出する。
【0031】
相関係数算出部1211は、例えば、次のようにして位相の相関に関する計算を行う。すなわち、位相特定部101が絶対値1の複素数として位相を特定する場合には、相関係数算出部1211は、下記の(1)式を用いて位相の相関の強さを計算してもよい。(1)式において、位相特定部101が算出したサンプル画素a に対する位相配列の各々の要素がsan とされ、サンプル画素b に対する位相配列の各々の要素がsbn とされている。Nは画像の数を示す。n は画像の番号を示す。上付き線は複素共役を表す。
【0032】
【0033】
また、位相特定部101が偏角の形で位相を特定する場合には、相関係数算出部1211は、ピアソンの積率相関係数を位相の相関係数としてもよい。
【0034】
距離算出部1212は、2つのサンプル画素に関するユークリッド距離を求める。距離算出部1212は、2つのサンプル画素の座標等の位置情報を用いて、公知の手法等によってSAR画像におけるユークリッド距離を求める。
【0035】
統合部1213は、相関係数算出部1211が算出した2つのサンプル画素に関する相関係数と、距離算出部1212が算出した2つのサンプル画素に関するユークリッド距離とに基づいて、2つのサンプル画素の関係を定める。関係を、距離と表現する。なお、2つのサンプル画素の間の距離は、2つのサンプル画素の相関関係が強い場合に小さい値になる。しかし、相関係数は、一般に、相関が強い場合に大きい値になる。そこで、統合部1213は、変換部を備えてもよい。変換部は、相関が強い場合に大きい値となる相関係数を、相関が強い場合に小さい値になるように変換する。
【0036】
なお、距離は、2つのサンプル画素の関係の程度を示す指標であればよく、統合部1213は、上述した処理とは異なる処理によって距離を求めてもよい。
【0037】
また、例えば、統合部1213は、相関係数とユークリッド距離とのうちの少なくとも一方に重みを付与して距離を求めてもよい。重みを用いる場合には、相関係数とはユークリッド距離とのうち、重視する方が強く反映された距離が求められる。例えば、ユークリッド距離に重み0を付与すると、位相の相関係数のみに基づく距離が算出される。
【0038】
次に、
図4および
図5のフローチャートを参照して画像処理装置1の動作を説明する。
図4は、画像処理装置1の動作を示すフローチャートである。
【0039】
位相特定部101は、SAR画像におけるサンプル画素を選択する(ステップS101)。サンプル画素は、PS点の画素であってもよいし、PS点の画素およびSHPであってもよい。
【0040】
位相特定部101は、各々のサンプル画素における位相を特定する(ステップS102)。位相特定部101において、位相特定部101は、例えば、位相配列を作成することによって位相を特定する。具体的には、位相特定部101は、サンプル画素毎に、複数のSAR画像の各々の当該画素における位相を要素とする配列、すなわち位相配列を作成する。
【0041】
位相特定部101は、サンプル画素における位相の一例として、基準となるSAR画像と他のSAR画像との間での位相の変化(位相差)を求めてもよい。この場合には、同じ領域を撮影した複数のSAR画像のうち、基準となるSAR画像があらかじめ定められる。そして、位相特定部101は、位相差を位相配列の要素とする。また、他の例として、位相特定部101は、基準となるSAR画像を定めずに、複数のSAR画像における当該画素の位相を時系列順等で配列することによって位相配列を作成してもよい。
【0042】
なお、位相は、例えば絶対値が1となるように正規化された複素数の形式で表される。
【0043】
本実施形態では、クラスタリング部102において、最小全域木生成部122は、サンプル画素をクラスタリングするために、最小全域木を生成する(ステップS103)。最小全域木は、ステップS101の処理で選択された全てのサンプル画素が、距離特定部121によって算出される距離の総和が最小になるような枝によって、閉路が構成されないように接続された木構造である。なお、本実施形態では、最小全域木における枝の各々には、枝に接続される2つのサンプル画素の間の距離が重みとして付される。
【0044】
図5は、最小全域木生成部122の動作を示すフローチャートである。
【0045】
なお、
図5に示す例では、最小全域木生成部122は、クラスタリングのために、プリム法で最小全域木を生成するが、クラスカル法で最小全域木を生成してもよい。
【0046】
また、クラスタリング部102は、少なくともサンプル画素の位相の相関が用いられるのであれば、他のクラスタリング方法を用いてもよい。他のクラスタリング方法の一例として、サンプル画素と各々のクラスタのセントロイドとの距離に基づいて、サンプル画素をいずれかのクラスタに分類する方法がある。また、クラスタリング方法の他の例として、カーネルと呼ばれる関数によって算出される画素間の類似度に基づいて、サンプル画素をいずれかのクラスタに分類する方法がある。カーネルを用いる手法として、画素間の類似度を計算してグラフを作成し、類似度が最小となるような辺を分割するような手法が用いられてもよいし、類似度に基づいて定義されるセントロイドと各画素との類似度を最大化するような手法が用いられてもよい。
【0047】
図5に示す例では、最小全域木生成部122は、サンプル画素のうち、1つのサンプル画素をランダムに選択して重み付きグラフを生成する(ステップS121)。次に、最小全域木生成部122は、重み付きグラフに属するいずれかのサンプル画素と重み付きグラフに属さない複数のサンプル画素との間の距離を確認する。最小全域木生成部122は、重み付きグラフに属するサンプル画素との距離が最短である2つのサンプル画素の組を決定する(ステップS122)。なお、距離は、上述したように、相関係数算出部1211、距離算出部1212および統合部1213を含む距離特定部121によって算出される。
【0048】
最小全域木生成部122は、決定された組におけるサンプル画素のうち、重み付きグラフに属さないサンプル画素を重み付きグラフに追加する(ステップS123)。なお、最小全域木生成部122は、組に含まれる2つのサンプル画素を接続する枝を、重み付きグラフに加える。
【0049】
次に、最小全域木生成部122は、全てのサンプル画素が重み付きグラフに属するかを判定する(ステップS124)。全てのサンプル画素が重み付きグラフに属する場合には、処理を終了する。重み付きグラフに属さないサンプル画素が存在する場合には、ステップS122に戻る。
【0050】
分離部123は、サンプル画素をクラスタリングする(ステップS104)。すなわち、分離部123は、あらかじめ定められたしきい値を用いて最小全域木を分離する。重み付きグラフが分離されて生成された各々のグラフにおけるサンプル画素の集合がクラスタとなる。しきい値は、最小全域木において枝で接続されている2つのサンプル画素の間の距離の平均値または距離の標準偏差に基づいて決定される。一例として、分離部123は、クラスタに属する画素間の距離がしきい値以下になるように、クラスタを定める。また、分離部123は、クラスタに属する画素の間の距離の標準偏差がしきい値以下になるように、クラスタを定めてもよい。
【0051】
なお、分離部123は、クラスタを生成するときに、各々のクラスタのサイズ(属する画素の数)に制限を付けるようにしてもよい。
【0052】
そして、コヒーレンス行列算出部103は、クラスタリングされたサンプル画素の位相を用いてコヒーレンス行列を算出する(ステップS105)。コヒーレンス行列の算出方法は、既に説明された通りである。
【0053】
図6は、本実施形態でのクラスタリングを説明するための説明図である。
図6に示す例では、SAR画像に、建物Aおよび道路Bが含まれる。
図6(A)において、丸印は、サンプル画素を示す。白抜き丸印は、建物Aの壁面に関連する画素を示す。黒塗り丸印は、道路Bに関連する画素を示す。
【0054】
建物Aの壁面に関連する複数のサンプル画素に関して、あるサンプル画素の位相と他のサンプル画素の位相との距離は短い。よって、それらは、
図6(B)に示すように、クラスタAに分類される。また、道路Bに関連する複数のサンプル画素に関して、各サンプル画素の位相と他のサンプル画素の位相との距離は短い。よって、それらは、
図6(B)に示すように、クラスタBに分類される。
【0055】
以上に説明したように、本実施形態の画像処理装置1は、少なくともサンプル画素の位相の相関に基づいて、サンプル画素をクラスタリングする。よって、位相θm,nの平均や位相θm,nの分散の大きさが揃ったサンプル画素が含まれるクラスタが生成され、正確なコヒーレンス行列が算出される。
【0056】
図7~
図9の説明図を参照して、本実施形態の効果をより詳しく説明する。
【0057】
図7(A)に示すように、位相が変化する画素a,b,c,dがあるとする。そして、特許文献2に記載されているように強度に基づいて類似する画素c,dが選択されたとする(
図7(B)参照)。
図7(C)に示すように、画素c,dの各々の位相の平均的な変動は同程度であり、かつ、画素c,dの位相の分散が小さい場合には、算出されるコヒーレンス行列の精度は低くない。
【0058】
しかし、
図8(A)に示すように、強度に基づいて類似すると判定された画素a,b,c,dのうちに、位相の分散を大きくする画素が存在する場合には(
図8(A)における枠X内の画素に対するそれ以外の画素を参照)、
図8(B)に示すように、統計的性質が異なる画素に基づいてコヒーレンス行列が算出されるので、算出されるコヒーレンス行列の精度は低くなる。
【0059】
図9は、本実施形態の画像処理装置1において実施される画像処理方法によるコヒーレンス行列の算出結果を説明するための説明図である。
【0060】
本実施形態では、
図9(A),(B)に示すように、1つのクラスタ(クラスタ#1とクラスタ#2のそれぞれ)には、位相の統計的性質(例えば、分散および平均)が類似する画素が属する。そして、クラスタ毎にコヒーレンス行列が算出される。よって、算出されるコヒーレンス行列の精度は高い。
【0061】
実施形態2.
図10は、第2の実施形態の画像処理装置の構成例を示すブロック図である。
図10に示す画像処理装置2は、SAR画像格納部100、位相特定部101、クラスタリング部102、コヒーレンス行列算出部103、強度算出部104、周辺画素抽出部105および類似検証部106を含む。
【0062】
強度算出部104は、画素の強度を算出する。周辺画素抽出部105は、SAR画像においてサンプル画素を含む窓領域を設定し、窓領域内の画素を抽出する。類似検証部106は、サンプル画素の強度と抽出された画素の強度とに基づいて、サンプル画素と統計的に均質な画素(SHP)を特定する。
【0063】
SAR画像格納部100、位相特定部101、クラスタリング部102およびコヒーレンス行列算出部103の機能は、第1の実施形態における機能と同じである。
【0064】
次に、
図11のフローチャートを参照して画像処理装置2の動作を説明する。
図11は、画像処理装置2の動作を示すフローチャートである。
【0065】
強度算出部104は、SAR画像からサンプル画素を選択し(ステップS121)、サンプル画素の強度(振幅値でもよい。)を算出する(ステップS122)。サンプル画素は、例えば、PS点の画素であるが、SAR画像における全ての画素であってもよい
【0066】
周辺画素抽出部105は、SAR画像においてサンプル画素を含む窓領域、例えば、その重心位置から最も近い画素がサンプル画素であるような窓領域を設定する(ステップS123)。そして、周辺画素抽出部105は、窓領域内の画素を周辺画素として抽出する。なお、窓領域のサイズは任意であるが、一例として、窓領域のサイズとして、縦横10×10画素や、100×100画素が用いられる。窓領域のサイズは偶数に限られない。また、窓領域の形状は、正方形に限られない。窓領域の形状は、長方形(一例として、11×21画素)でもよいし、楕円などの非矩形であってもよい。窓領域の形状は、地形などに応じて、サンプル画素ごとに異なるようにしてもよい。また、窓領域は、連続する複数の画素で構成されるのではなく、離散的な複数の画素で構成される(例えば、一画素おきに選択された複数の画素で窓領域が形成される。)ようにしてもよい。
【0067】
類似検証部106は、周辺画素の強度を算出する(ステップS124)。類似検証部106は、例えば、サンプル画素の強度と周辺画素の強度とが同じ確率分布関数によって生成されるか否か検証する(ステップS125)。そして、類似検証部106は、サンプル画素と同じ確率分布関数によって生成される周辺画素を、サンプル画素と統計的に均質な画素とする(ステップS126)。類似検証部106は、サンプル画素と統計的に均質な複数の画素(サンプル画素も含まれる。)を位相特定部101に出力する。
【0068】
位相特定部101、クラスタリング部102およびコヒーレンス行列算出部103は、第1の実施形態の場合と同様に動作する。ただし、位相特定部101は、サンプル画素と統計的に均質な複数の画素(類似検証部106が抽出した画素)を対象として、位相を特定する。また、クラスタリング部102は、類似検証部106が抽出した画素を対象にしてクラスタリングを実行する。
【0069】
本実施形態では、画像処理装置2は、強度に基づく画素の同一性(統計的に均質であること)に基づいてコヒーレンス行列の生成に使用する画素を増やすとともに、位相に基づくクラスタリングを行うので、より正確なコヒーレンス行列が算出される可能性が高まる。なお、同一性は、統計的に均質であるか否かを意味する。換言すれば、同一性があるということは、画素が類似していることを示す。
【0070】
実施形態3.
図12は、第3の実施形態の画像処理装置の構成例を示すブロック図である。
図12に示す画像処理装置3の構成は、第2の実施形態の画像処理装置2に画素接続部107が追加され、クラスタリング部102がクラスタリング部110に置換された構成である。
【0071】
画素接続部107は、強度に基づく同一性がある画素を、接続してグラフ化する。後述するように、クラスタリング部110は、第2の実施形態におけるクラスタリング部102の処理とは異なる処理によって、クラスタリングを実行する。
【0072】
図13は、画像処理装置3の動作を示すフローチャートである。
図13に示すように、画像処理装置3は、第2の実施形態の画像処理装置2の処理(
図11に示された処理)に加えて、ステップS131の処理を実行する。また、
図11に示されステップS103,S104の処理に代えて、ステップS110の処理を実行する。その他の処理は、第2の実施形態の画像処理装置2が実行する処理と同じである。
【0073】
ステップS131において、画素接続部107は、類似検証部106によって同一性があると判定された画素を接続することによってグラフを作成する。ステップS110において、クラスタリング部110は、位相の相関が所定のしきい値以下である画素間の辺を切断することによってクラスタを生成する。しきい値は、所望されるクラスタのサイズ等に応じて設定される。
【0074】
本実施形態でも、第2の実施形態と同様に、画像処理装置3は、強度に基づく画素の同一性に基づいてコヒーレンス行列の生成に使用する画素を増やすとともに、位相に基づくクラスタリングを行うので、より正確なコヒーレンス行列が算出される可能性が高まる。
【0075】
図14は、画素接続部107の作用を説明するための説明図である。
【0076】
周辺画素抽出部105および類似検証部106は、
図14(A)に例示されるようなSAR画像におけるサンプル画像の強度に基づく同一性を検証する(
図14(B)参照)。画素接続部107は、同一性がある(類似する)と判定された画素同士を接続してSAR画像中の画素をグラフ化する(
図14(C)参照)。なお、
図14(C)には、接続の様子が模式的に表され、
図14(B)に示された状態とは整合していない。
【0077】
クラスタリング部110は、位相の相関が弱い画素間の辺を切断することによって、クラスタを生成する(
図14(D)参照)。
図14(D)には、4つのクラスタが例示されている。
【0078】
実施形態4.
図15は、第4の実施形態の画像処理装置の構成例を示すブロック図である。
図15に示す画像処理装置4の構成は、第2の実施形態の画像処理装置2にノイズ推定部108が追加された構成である。
【0079】
ノイズ推定部108は、周辺画素におけるノイズに関する統計的性質を推定する。SAR画像におけるノイズとして、例えば、画素間で強度が揺らぐことに起因するノイズがある。その場合、画素の強度の分散がノイズに反映される。
【0080】
図16は、画像処理装置4の動作を示すフローチャートである。
図16に示すように、画像処理装置4は、第2の実施形態の画像処理装置2の処理(
図11参照)に加えて、ステップS141の処理を実行する。その他の処理は、第2の実施形態の画像処理装置2が実行する処理と同じである。ただし、後述するように、クラスタリング部102は、画素をクラスタリングするときに、ノイズ推定部108の処理結果を参照する。
【0081】
ステップS141において、ノイズ推定部108は、例えば、類似検証部106による検証の結果に応じて選択された各々の画素の強度の分散を算出する。ノイズ推定部108は、算出結果をクラスタリング部102に出力する。
【0082】
クラスタリング部102は、クラスタリングの処理で、例えば、クラスタリングの対象の画素に関する強度の分散が大きいときには、同じクラスタに分類される基準を緩めてもよい。一例として、クラスタリング部102は、同じクラスタに分類するためのしきい値を小さくする。また、強度の分散が小さい(すなわち、ノイズが小さい)画素については、同じクラスタに分類される基準を高くするができる。そのような処理をクラスタリング部102が実行することによって、位相の相関が大きい複数の画素が、同じクラスタに分類される。
【0083】
なお、本実施形態では、ノイズに関する統計的性質として画素の強度の分散を例にしたが、ノイズに関する統計的性質は画素の強度の分散に限られない。ノイズに関する統計的性質として、画素の強度の平均など他の統計的性質が用いられてもよい。
【0084】
また、本実施形態では、ノイズに関する統計的性質に基づいてクラスタリングのしきい値が変更されることを例にしたが、ノイズに関する統計的性質は、他の用途に用いられてもよい。例えば、ノイズに関する統計的性質は、画素の位相の相関に基づいて画素がクラスタリングされるときに、一のクラスタに属することに決定されるための相関の程度(尺度)を変更するために使用可能である。
【0085】
本実施形態の画像処理装置4が使用される場合、コヒーレンス行列の所望の精度を得るために、ノイズ推定部108の処理結果を使用することができる。例えば、コヒーレンス行列の所望の精度を得るために、ノイズに関する統計的性質に基づいてクラスタリングのためのパラメータ(例えば、しきい値)が変更されるようにしてもよい。
【0086】
実施形態5.
図17は、第5の実施形態の画像処理装置の構成例を示すブロック図である。
図17に示す画像処理装置5の構成は、
図12に示された第3の実施形態の画像処理装置3にノイズ推定部108が追加された構成である。
【0087】
図18は、画像処理装置5の動作を示すフローチャートである。
図18に示すように、画像処理装置5は、第3の実施形態の画像処理装置3の処理(
図13参照)に加えて、ステップS141の処理を実行する。その他の処理は、
図15に示された第4の実施形態の画像処理装置4が実行する処理と同じである。ただし、クラスタリング部110は、画素をクラスタリングするときに、ノイズ推定部108の処理結果を参照する。クラスタリング部110は、第4の実施形態におけるクラスタリング部102がノイズ推定部108の処理結果を参照する方法と同様の方法で、ノイズ推定部108の処理結果を参照する。
【0088】
ステップS141の処理は、第4の実施形態におけるノイズ推定部108が実行する処理と同じであるが、画素接続部107によるステップS131の処理とノイズ推定部108によるステップS141の処理とは、同時に実行されることが可能である。
【0089】
本実施形態では、第3の実施形態の場合と同様に、より正確なコヒーレンス行列が算出される可能性が高まるとともに、第4の実施形態の場合と同様に、コヒーレンス行列の所望の精度を得るために、ノイズ推定部108の処理結果を使用することができる。
【0090】
なお、上記の各実施形態では、位相統計量を把握可能なデータとしてコヒーレンス行列が用いられたが、画素の平均的な位相(具体的には、位相差)と、位相(具体的には、位相差)の分散の大きさを把握可能な情報が含まれるのであれば、位相統計量を把握可能なデータとしてコヒーレンス行列以外のデータが用いられてもよい。
【0091】
図19は、変位解析または標高解析に使用される画像処理装置の構成例を示すブロック図である。
図19に示す画像処理装置21の構成は、
図10に示された第2の実施形態の画像処理装置2に変位解析/標高解析部109が追加された構成である。変位解析/標高解析部109は、コヒーレンス行列に基づいて地表の変位解析または標高解析を行う。
【0092】
なお、画像処理装置21は、変位解析を行う変位解析部を含む(標高解析部は含まれない。)構成であってもよい。また、画像処理装置21は、標高解析を行う標高解析部を含む(変位解析部は含まれない。)構成であってもよい。
【0093】
上述したように、SAR画像のペアを(m,n)とした場合、コヒーレンス行列の成分cm,nは、exp(-jθm,n)が平均化された値に相当する。したがって、変位解析/標高解析部109における変位解析部(または、独立した変位解析部)は、変位解析を行う場合に、コヒーレンス行列の成分を変位に変換し、変換後に得られる変位を解析することによって、正確な変位解析を行うことができる。
【0094】
また、変位解析/標高解析部109における変位解析部(または、独立した標高解析部)は、標高解析を行う場合に、コヒーレンス行列の成分を標高に変換し、変換後に得られる標高を解析することによって、正確な標高解析を行うことができる。
【0095】
第2の実施形態の画像処理装置2は、より正確なコヒーレンス行列を算出する可能性が高いので、変位解析部による変位解析の精度および標高解析部による標高解析の精度も向上する。
【0096】
図20は、変位解析または標高解析に使用される画像処理装置の他の構成例を示すブロック図である。
図20に示す画像処理装置31の構成は、
図12に示された第3の実施形態の画像処理装置3に変位解析/標高解析部109が追加された構成である。変位解析/標高解析部109は、コヒーレンス行列に基づいて変位解析または標高解析を行う。
図20に示す変位解析/標高解析部109の動作は、
図19に示された変位解析/標高解析部109の動作と同じである。
【0097】
第3の実施形態の画像処理装置3では、より正確なコヒーレンス行列が算出される可能性が高まるので、変位解析の精度および標高解析の精度も向上する。
【0098】
図21は、変位解析または標高解析に使用される画像処理装置のさらに他の構成例を示すブロック図である。
図21に示す画像処理装置41の構成は、
図15に示された第4の実施形態の画像処理装置4に変位解析/標高解析部109が追加された構成である。変位解析/標高解析部109は、コヒーレンス行列に基づいて変位解析または標高解析を行う。
図21に示す変位解析/標高解析部109の動作は、
図19に示された変位解析/標高解析部109の動作と同じである。
【0099】
第4の実施形態の画像処理装置4では、コヒーレンス行列の精度を所望の程度に調整可能であるから、変位解析の精度および標高解析の精度も所望の程度にすることができる。
【0100】
図22は、変位解析または標高解析に使用される画像処理装置のさらに他の構成例を示すブロック図である。
図22に示す画像処理装置51の構成は、
図17に示された第5の実施形態の画像処理装置5に変位解析/標高解析部109が追加された構成である。変位解析/標高解析部109は、コヒーレンス行列に基づいて変位解析または標高解析を行う。
図22に示す変位解析/標高解析部109の動作は、
図19に示された変位解析/標高解析部109の動作と同じである。
【0101】
第5の実施形態の画像処理装置5では、より正確なコヒーレンス行列が算出される可能性が高まるとともに、コヒーレンス行列の精度を所望の程度に調整可能であるから、変位解析の精度および標高解析の精度が向上するとともに、変位解析の精度および標高解析の精度も所望の程度にすることができる。
【0102】
一般に、ノイズが大きいとコヒーレンスは低下する。よって、コヒーレンス行列の成分からノイズ量を知ることができる。そこで、
図19~
図22に示された変位解析/標高解析部109が、さらに、コヒーレンス行列の成分から得られるノイズ量を考慮して、コヒーレンス行列の成分を変位または標高に変換することによって、変位解析の精度および標高解析の精度がより向上する。
【0103】
上記の各実施形態における各構成要素は、1つのハードウェアで構成可能であるが、1つのソフトウェアでも構成可能である。また、各構成要素は、複数のハードウェアでも構成可能であり、複数のソフトウェアでも構成可能である。また、各構成要素のうちの一部をハードウェアで構成し、他部をソフトウェアで構成することもできる。
【0104】
上記の実施形態における各機能(各処理)を、CPU(Central Processing Unit )等のプロセッサやメモリ等を有するコンピュータで実現可能である。例えば、記憶装置(記憶媒体)に上記の実施形態における方法(処理)を実施するためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをCPUで実行することによって実現してもよい。
【0105】
図23は、CPUを有するコンピュータの一例を示すブロック図である。コンピュータは、画像処理装置に実装される。CPU1000は、記憶装置1001に格納されたプログラムに従って処理を実行することによって、上記の実施形態における各機能を実現する。すなわち、
図1,
図10,
図15,
図17,
図19~
図22に示された画像処理装置における、位相特定部101、クラスタリング部102,110、コヒーレンス行列算出部103、強度算出部104、周辺画素抽出部105、類似検証部106、画素接続部107、ノイズ推定部108および変位解析/標高解析部109の機能を実現する。
【0106】
記憶装置1001は、例えば、非一時的なコンピュータ可読媒体(non-transitory computer readable medium )である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium )を含む。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM(Compact Disc-Read Only Memory )、CD-R(Compact Disc-Recordable )、CD-R/W(Compact Disc-ReWritable )、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM )、フラッシュROM)がある。
【0107】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium )に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。
【0108】
メモリ1002は、例えばRAM(Random Access Memory)で実現され、CPU1000が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ1002に、記憶装置1001または一時的なコンピュータ可読媒体が保持するプログラムが転送され、CPU1000がメモリ1002内のプログラムに基づいて処理を実行するような形態も想定しうる。
【0109】
図24は、画像処理装置の主要部を示すブロック図である。
図24に示す画像処理装置10Aは、複数のSAR画像からサンプル画素の位相を特定する位相特定手段11(実施形態では、位相特定部101で実現される。)と、SAR画像における2つのサンプル画素の位相の相関に基づいてサンプル画素をクラスタリングして複数のクラスタを生成するクラスタリング手段12(実施形態では、クラスタリング部102またはクラスタリング部110で実現される。)と、クラスタ毎に、画素に関する位相統計量を把握可能なデータを算出する位相統計量データ算出手段13(実施形態では、コヒーレンス行列算出部103で実現される。)とを備える。
【0110】
図25は、他の態様の画像処理装置の主要部を示すブロック図である。
図25に示す画像処理装置10Bは、さらに、サンプル画素の強度を算出する強度算出手段14(実施形態では、強度算出部104で実現される。)と、サンプル画素の強度に基づいて、サンプル画素と強度の統計的性質が類似する周辺画素を選択する周辺画素選択手段15(実施形態では、周辺画素抽出部105および類似検証部106で実現される。)とを備え、位相特定手段11は、選択された周辺画素の位相も特定する。
【0111】
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
【0112】
(付記1)複数のSAR画像からサンプル画素の位相を特定する位相特定手段と、
SAR画像における2つの前記サンプル画素の位相の相関に基づいて前記サンプル画素をクラスタリングして複数のクラスタを生成するクラスタリング手段と、
前記クラスタ毎に、画素に関する位相統計量を把握可能なデータを算出する位相統計量データ算出手段と
を備えた画像処理装置。
【0113】
(付記2)位相統計量を把握可能なデータは、コヒーレント行列で表される
付記1の画像処理装置。
【0114】
(付記3)サンプル画素の強度を算出する強度算出手段と、
前記サンプル画素の強度に基づいて、サンプル画素と強度の統計的性質が類似する周辺画素を選択する周辺画素選択手段とを備え、
前記位相特定手段は、選択された前記周辺画素の位相も特定する
付記1または付記2の画像処理装置。
【0115】
(付記4)統計的性質が類似する周辺画素を接続してグラフ化する画素接続手段(実施形態では、画素接続部107で実現される。)を備え、
前記クラスタリング手段は、前記画素接続手段が作成したグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断することによってクラスタを生成する
付記3の画像処理装置。
【0116】
(付記5)周辺画素のノイズの統計的性質を推定するノイズ推定手段(実施形態では、ノイズ推定部108で実現される。)を備え、
前記クラスタリング手段は、前記ノイズの統計的性質を参照してクラスタリングを実行する
付記3または付記4の画像処理装置。
【0117】
(付記6)位相統計量データ算出手段が算出したデータを地表の変位に変換して、地表の変位を解析する変位解析手段を備えた
付記1から付記5のうちのいずれかの画像処理装置。
【0118】
(付記7)位相統計量データ算出手段が算出したデータを標高に変換して、標高を解析する標高解析手段を備えた
付記1から付記5のうちのいずれかの画像処理装置。
【0119】
(付記8)複数のSAR画像からサンプル画素の位相を特定し、
SAR画像における2つの前記サンプル画素の位相の相関に基づいて前記サンプル画素をクラスタリングして複数のクラスタを生成し、
前記クラスタ毎に、画素に関する位相統計量を把握可能なデータを算出する
画像処理方法。
【0120】
(付記9)位相統計量を把握可能なデータは、コヒーレント行列で表される
付記8の画像処理方法。
【0121】
(付記10)サンプル画素の強度を算出し、
前記サンプル画素の強度に基づいて、サンプル画素と強度の統計的性質が類似する周辺画素を選択し、
選択された前記周辺画素の位相も特定する
付記8または付記9の画像処理方法。
【0122】
(付記11)統計的性質が類似する周辺画素を接続してグラフ化し、
作成されたグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断することによってクラスタを生成する
付記10の画像処理方法。
【0123】
(付記12)周辺画素のノイズの統計的性質を推定し、
前記ノイズの統計的性質を参照してクラスタリングを実行する
付記10または付記11の画像処理方法。
【0124】
(付記13)コンピュータに、
複数のSAR画像からサンプル画素の位相を特定する処理と、
SAR画像における2つの前記サンプル画素の位相の相関に基づいて前記サンプル画素をクラスタリングして複数のクラスタを生成する処理と、
前記クラスタ毎に、画素に関する位相統計量を把握可能なデータを算出する処理と
を実行させるための画像処理プログラム。
【0125】
(付記14)コンピュータに、
サンプル画素の強度を算出する処理と、
前記サンプル画素の強度に基づいて、サンプル画素と強度の統計的性質が類似する周辺画素を選択する処理と、
選択された前記周辺画素の位相も特定する処理と
を実行させる付記13の画像処理プログラム。
【0126】
(付記15)コンピュータに、
統計的性質が類似する周辺画素を接続してグラフ化する処理と、
作成されたグラフにおいて位相の相関が所定のしきい値以下である画素間の辺を切断することによってクラスタを生成する処理と
を実行させる付記14の画像処理プログラム。
【0127】
(付記16)コンピュータに、
周辺画素のノイズの統計的性質を推定する処理と、
前記ノイズの統計的性質を参照してクラスタリングを実行する処理と
を実行させる付記14または付記15の画像処理プログラム。
【0128】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0129】
1,2,3,4,5,10A,10B,21,31,41,51 画像処理装置
11 位相特定手段
12 クラスタリング手段
13 位相統計量データ算出手段
14 強度算出手段
15 周辺画素選択手段
100 SAR画像格納部
101 位相特定部
102,110 クラスタリング部
103 コヒーレンス行列算出部
104 強度算出部
105 周辺画素抽出部
106 類似検証部
107 画素接続部
108 ノイズ推定部
109 変位解析/標高解析部
1000 CPU
1001 記憶装置
1002 メモリ