IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

<>
  • 特許-画像解析装置および画像解析方法 図1
  • 特許-画像解析装置および画像解析方法 図2
  • 特許-画像解析装置および画像解析方法 図3
  • 特許-画像解析装置および画像解析方法 図4
  • 特許-画像解析装置および画像解析方法 図5
  • 特許-画像解析装置および画像解析方法 図6
  • 特許-画像解析装置および画像解析方法 図7
  • 特許-画像解析装置および画像解析方法 図8
  • 特許-画像解析装置および画像解析方法 図9
  • 特許-画像解析装置および画像解析方法 図10
  • 特許-画像解析装置および画像解析方法 図11
  • 特許-画像解析装置および画像解析方法 図12
  • 特許-画像解析装置および画像解析方法 図13
  • 特許-画像解析装置および画像解析方法 図14
  • 特許-画像解析装置および画像解析方法 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-09
(45)【発行日】2024-01-17
(54)【発明の名称】画像解析装置および画像解析方法
(51)【国際特許分類】
   G01S 13/90 20060101AFI20240110BHJP
【FI】
G01S13/90 191
G01S13/90 127
【請求項の数】 10
(21)【出願番号】P 2022553249
(86)(22)【出願日】2020-09-29
(86)【国際出願番号】 JP2020036843
(87)【国際公開番号】W WO2022070242
(87)【国際公開日】2022-04-07
【審査請求日】2023-03-09
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103090
【弁理士】
【氏名又は名称】岩壁 冬樹
(74)【代理人】
【識別番号】100124501
【弁理士】
【氏名又は名称】塩川 誠人
(72)【発明者】
【氏名】田中 大地
【審査官】藤田 都志行
(56)【参考文献】
【文献】特表2012-533051(JP,A)
【文献】国際公開第2019/106850(WO,A1)
【文献】特開2014-095585(JP,A)
【文献】米国特許出願公開第2019/0353779(US,A1)
【文献】中国特許出願公開第103439708(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/00- 7/51
G01S 13/00-13/95
G01S 17/00-17/95
G06T 1/00
G06T 7/00
JSTPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
同一地域が記録された複数画像のうちの1枚の画像における複数の位置の画素を選択する画素選択手段と、
評価値を、空間相関位相推定値と、前記画素選択手段によって選択された位置の画素の画素値とに近づけることによって、評価関数を最適化する処理を行う最適化手段と、
前記評価関数を最適化する処理によって得られる前記評価値としての複素ベクトルを低次元空間に低次元圧縮する低次元圧縮手段と、
前記低次元圧縮手段による圧縮結果を元の画素空間に戻し、前記空間相関位相推定値を算出する展開手段と
を備える画像解析装置。
【請求項2】
前記評価関数は、前記画素選択手段によって選択された位置の画素の値を表す複素数とその共役複素数との積を重み付けして前記複数画像に亘って加算される項を含み、
前記最適化手段は、当該評価関数を最適化して得られる値を非線形変換して所定値以内に制限する制限手段を含む
請求項1に記載の画像解析装置。
【請求項3】
前記低次元圧縮手段は、前記複素ベクトルに低次元圧縮するための行列を乗算し、
前記展開手段は、前記低次元圧縮手段による圧縮結果に展開のための行列を乗算して前記空間相関位相推定値を導出する
請求項1または請求項2に記載の画像解析装置。
【請求項4】
前記低次元圧縮手段による圧縮結果を過去の圧縮結果で平滑化してから前記展開手段に供給する平滑化手段をさらに備える
請求項1から請求項3のうちのいずれか1項に記載の画像解析装置。
【請求項5】
前記展開手段の出力の絶対値を保存する絶対値保存手段をさらに備える
請求項1から請求項4のうちのいずれか1項に記載の画像解析装置。
【請求項6】
前記展開手段の出力の位相を保存する位相保存手段をさらに備える
請求項1から請求項5のうちのいずれか1項に記載の画像解析装置。
【請求項7】
前記最適化手段の出力の絶対値を保存する絶対値保存手段をさらに備える
請求項1から請求項4のうちのいずれか1項に記載の画像解析装置。
【請求項8】
前記最適化手段の出力の位相を保存する位相保存手段をさらに備える
請求項1から請求項4のうちのいずれか1項または請求項7に記載の画像解析装置。
【請求項9】
同一地域が記録された複数画像のうちの1枚の画像における複数の位置の画素を選択し、
評価値を、空間相関位相推定値と、選択された位置の画素の画素値とに近づけることによって、評価関数を最適化する処理を行い、
前記評価関数を最適化する処理によって得られる前記評価値としての複素ベクトルを低次元空間に低次元圧縮し、
前記低次元圧縮された結果を元の画素空間に戻し、空間相関位相推定値を算出する
画像解析方法。
【請求項10】
コンピュータに、
同一地域が記録された複数画像のうちの1枚の画像における複数の位置の画素を選択する処理と、
評価値を、空間相関位相推定値と、選択された位置の画素の画素値とに近づけることによって、価関数を最適化する処理と、
前記評価関数を最適化する処理によって得られる前記評価値としての複素ベクトルを低次元空間に低次元圧縮する処理と、
前記低次元圧縮された結果を元の画素空間に戻し、空間相関位相推定値を算出する処理と
を実行させるための画像解析プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、合成開口レーダの受信電磁波の位相に基づいて画像解析を行う画像解析システムに適用可能な画像解析装置および画像解析方法に関する。
【背景技術】
【0002】
合成開口レーダ(SAR:Synthetic Aperture Radar)技術は、人工衛星や航空機などの飛翔体が移動しながら電磁波を送受信し、大きな開口を持つアンテナと等価な観測画像を得るための技術である。合成開口レーダは、例えば、地表からの反射波を信号処理して、標高や地表変位等を解析するために利用される。特に、精度が必要である場合等に、解析装置は、合成開口レーダによって得られる時系列のSAR画像(SARデータ)を入力とし、入力されたSAR画像を時系列解析する。
【0003】
標高や地表変位を解析するための有効な手法として、干渉SAR解析がある。干渉SAR解析では、違う時期に撮影された複数(例えば、2枚)のSAR画像を構成する電波信号の位相差が計算される。そして、位相差に基づいて撮影時期間で生じた飛翔体と地面間の距離の変化が検出される。
【0004】
特許文献1には、コヒーレンス行列を用いる解析手法が記載されている。コヒーレンス行列は、複数の複素画像の同じ位置にあたる画素の相関を表す。
【0005】
コヒーレンスは、S(S≧2)枚のSAR画像のうちの複数のSAR画像における同じ位置にあたる画素の複素相関で計算される。SAR画像のペアを(p、q)とし、コヒーレンス行列の成分をcp,qとする。p,qは、それぞれ、S以下の値であり、S枚のSAR画像のいずれかを示す。SAR画像のペアについて、位相θp,q(具体的には、位相差)が算出される。そして、コヒーレンス算出対象の画素を含む所定領域内の複数の画素についてexp(-jθp,q)が平均化された値の絶対値が、コヒーレンス行列の成分cp,qとなる。
【0006】
p,qの絶対値|cp,q|から、位相θp,qの分散の大きさを把握可能である。
【0007】
コヒーレンス行列は、分散のように位相ノイズ量の程度を推測可能な情報を含む。
【0008】
地表等の変位解析のために、位相θp,qが変位速度および撮影時刻差に相関することが利用される。例えば、位相差の平均値に基づいて変位が推定される。なお、位相ノイズ量を利用して変位解析の精度を検証することが可能である。したがって、コヒーレンス行列は、変位解析のために使用可能である。
【0009】
標高解析のために、位相θp,qが解析対象物の標高および飛翔体間距離(例えば、飛翔体の2つの撮影位置の間の距離)に相関することが利用される。例えば、位相差の平均値に基づいて標高が推定される。なお、位相ノイズ量を利用して標高解析の精度を検証することが可能である。したがって、コヒーレンス行列は、標高解析のために使用可能である。
【0010】
特許文献1には、コヒーレンス行列に対して変位等のモデルをフィッティングし、ノイズの影響を除外した位相を復元する手法が記載されている。また、非特許文献1にも、類似の手法が開示されている。
【先行技術文献】
【特許文献】
【0011】
【文献】国際公開第2011/003836号
【非特許文献】
【0012】
【文献】A. M. Guarnieri et.al., "On the Exploitation of Target Statistics for SAR Interferometry Applications", IEEE Transactions on Geoscience and Remote Sensing, Vol. 46, No. 11, pp.3436-3443, November 2008
【発明の概要】
【発明が解決しようとする課題】
【0013】
特許文献1に記載された手法および非特許文献1に記載された手法によれば、位相差に含まれるノイズを減らすことができる。しかし、変位解析および標高解析が実行されるときに、位相差に含まれるノイズはできるだけ少ないことが好ましいので、より多くのノイズが除去されることが要望される。
【0014】
本発明は、位相ノイズ低減の程度をより大きくすることができる画像解析装置および画像解析方法を提供することを目的とする。
【課題を解決するための手段】
【0015】
本発明による画像解析装置は、同一地域が記録された複数画像のうちの1枚の画像における複数の位置の画素を選択する画素選択手段と、評価値を、空間相関位相推定値と、画素選択手段によって選択された位置の画素の画素値とに近づけることによって、評価関数を最適化する処理を行う最適化手段と、評価関数を最適化する処理によって得られる評価値としての複素ベクトルを低次元空間に低次元圧縮する低次元圧縮手段と、低次元圧縮手段による圧縮結果を元の画素空間に戻し、空間相関位相推定値を算出する展開手段とを含む。
【0016】
本発明による画像解析方法は、同一地域が記録された複数画像のうちの1枚の画像における複数の位置の画素を選択し、評価値を、空間相関位相推定値と、選択された位置の画素の画素値とに近づけることによって、評価関数を最適化する処理を行い、評価関数を最適化する処理によって得られる評価値としての複素ベクトルを低次元空間に低次元圧縮し、低次元圧縮された結果を元の画素空間に戻し、空間相関位相推定値を算出する。
【0017】
本発明による画像解析プログラムは、コンピュータに、同一地域が記録された複数画像のうちの1枚の画像における複数の位置の画素を選択する処理と、評価値を、空間相関位相推定値と、選択された位置の画素の画素値とに近づけることによって、評価関数を最適化する処理と、評価関数を最適化する処理によって得られる評価値としての複素ベクトルを低次元空間に低次元圧縮する処理と、低次元圧縮された結果を元の画素空間に戻し、空間相関位相推定値を算出する処理とを実行させる。
【発明の効果】
【0018】
本発明によれば、位相ノイズ低減の程度をより大きくすることができる。
【図面の簡単な説明】
【0019】
図1】第1の実施形態の画像解析装置を示すブロック図である。
図2】第1の実施形態の画像解析装置の動作を示すフローチャートである。
図3】低次元圧縮部、展開部、および最適化部の処理結果の一例を示す説明図である。
図4】第1の実施形態の画像解析装置の変形例を示すブロック図である。
図5】第2の実施形態の画像解析装置を示すブロック図である。
図6】第2の実施形態の画像解析装置の動作を示すフローチャートである。
図7】第3の実施形態の画像解析装置の構成例を示すブロック図である。
図8】第3の実施形態の画像解析装置における最適化部の動作を示すフローチャートである。
図9】第3の実施形態の効果を説明するための説明図である。
図10】第3の実施形態の応用例を示す説明図である。
図11】第4の実施形態の画像解析装置の構成例を示すブロック図である。
図12】第5の実施形態の画像解析装置の構成例を示すブロック図である。
図13】CPUを有するコンピュータの一例を示すブロック図である。
図14】画像解析装置の主要部を示すブロック図である。
図15】他の態様の画像解析装置の主要部を示すブロック図である。
【発明を実施するための形態】
【0020】
以下、本発明の実施形態を図面を参照して説明する。
【0021】
下記の実施形態では、画像解析装置は、重みづけられた観測信号(観測画素値)とノイズがない画素値とに基づく第1の評価関数(観測信号評価関数)と、画像内で位相差が滑らかに分布することを表す第2の評価関数(空間相関評価関数)とを使用する。そして、画像解析装置は、観測信号評価関数と空間相関評価関数とを統合した評価関数を使用して、ノイズがないと推定される位相を算出する。「統合」は、例えば「和」である。以下、単に「評価関数」と表現された場合に、それは、観測信号評価関数と空間相関評価関数とが統合された評価関数を意味する。
【0022】
本実施形態の画像解析装置は、重みとしてコヒーレンス行列の絶対値の逆行列に負号を付けたものを用いる。ただし、コヒーレンス行列の絶対値の逆行列に負号を付けたものは一例であり、画像解析装置は、重みとして、他のパラメータを用いてもよい。重みとしてコヒーレンス行列の絶対値の逆行列に負号を付けたものが用いられる場合に、画像解析装置は、コヒーレンス行列算出部を含んでいてもよい。コヒーレンス行列算出部は、例えば、以下のようにコヒーレンス行列を算出する。
【0023】
すなわち、コヒーレンス行列算出部は、例えばSAR画像格納部に格納されているS枚のSAR画像(複素画像:振幅および位相情報を含む。)を対象としてコヒーレンス行列Cを算出する。例えば、SAR画像のペアを(p,q)とし、コヒーレンス行列Cの成分をcp,qとする。p,qは、それぞれ、S以下の値であり、S枚のSAR画像のいずれかを示す。コヒーレンス行列算出部は、SAR画像のペアについて、位相θp,q(具体的には、位相差)を算出する。そして、コヒーレンス行列算出部は、コヒーレンス算出対象の画素を含む所定領域内の複数の画素についてexp(-jθp,q)を平均化した値を、コヒーレンス行列Cの成分cp,qとする。
【0024】
また、SAR画像pにおける強度をAp、SAR画像qにおける強度をAqとして、Ap・Aq・exp(-jθp, q)を平均化してもよい。また、Ap・Aq・exp(-jθp, q)の平均として得られた行列に対して、その対角成分の総和をSで割った値によって、行列の要素それぞれを割ってもよい。また、Ap・Aq・exp(-jθp, q)の平均として得られた行列に対して、その対角成分の-1/2乗を対角成分として持つ対角行列を左右から乗算してもよい。
【0025】
なお、このようなコヒーレンス行列の算出方法は一例であり、コヒーレンス行列算出部は、種々の手法でコヒーレンス行列を算出できる。
【0026】
観測信号評価関数として、様々に表現可能な関数のいずれも採用しうる。以下の実施形態では、観測信号評価関数は、一例として、少なくとも、評価値としての、ノイズがない画素値xすなわち推定される画素値xに加えて、重みW(以下の実施形態では、コヒーレンス行列Cの絶対値|C|の逆行列|C|-1に負号を付けたものである-|C|-1)、および観測画素値yをパラメータとする評価関数(例えば、積和演算式)である。
【0027】
画像解析装置は、空間相関予測部を含んでいてもよい。空間相関予測部は、画像における画素の相関係数を予測し、相関係数を要素とする行列である空間相関行列Kを生成する。空間相関行列Kは、画素の相関係数を要素とする行列である。ただし、空間相関行列Kは空間相関の表現の一例であって、他の表現が用いられてもよい。
【0028】
例えば、空間相関予測部は、SAR画像における解析対象領域(全領域でもよい。)に関する事前情報(既知のデータ)に基づいて、空間相関(解析対象領域における画素の相関)を作成(算出)する。事前情報は、事前に空間相関予測部に与えられる。事前情報として、例えば、以下のような情報が例示される。
【0029】
・画像解析装置10が適用された画像解析システムの解析対象物(例えば、変位解析の対象である構造物)の概略形状。一例として、鉄塔などの細長い形状の構造物が対象物である場合には、構造物の延伸方向に画素が滑らかな相関を持つように空間相関を作成する。
・相関が既知であるグラフ(ノード:画素、エッジ(重み):相関)における重み。この事前情報を使用する場合、重みに基づく値を要素とする空間相関行列Kを作成する。
・過去に得られたSAR画像から得られる情報。すなわち、解析対象領域の既知画像における画素の相関。
【0030】
事前情報に基づいて生成される空間相関行列Kを含む空間相関評価関数は、画像内で位相差が滑らかに分布することを表す関数に相当する。
【0031】
なお、事前情報は、上記の例示に限られず、解析対象物の空間相関を予測可能であれば、他の類いの情報でもよい。
【0032】
空間相関評価関数として、様々に表現可能な関数のいずれも採用しうる。以下の実施形態では、空間相関評価関数は、一例として、少なくとも、評価値としての画素値xに加えて、一種の重みに相当する空間相関行列K(実際には、空間相関行列Kの逆行列K-1)をパラメータとする評価関数(例えば、積和演算式)である。
【0033】
そして、以下の実施形態では、画像解析装置は、所定領域内の全画素(画素1~画素N)について観測信号評価価数を用いた最適化処理を実行するのではなく、全画素から選択されたM個(M<N)画素について観測信号評価価数を用いた最適化処理を実行する。
【0034】
また、上述したように評価関数には観測信号評価関数と空間相関評価関数とが含まれるが、画像解析装置は、空間相関評価関数における空間相関行列Kを低次元分解(低ランク近似)して最適化処理を実行する。なお、詳しくは、画像解析装置は、空間相関行列Kの逆行列K-1を実質的に低次元分解する。画像解析装置は、例えば、Nystrom 近似と呼ばれる手法を用いて低次元分解を行うことができる。その場合、画像解析装置は、(1)式を用いて空間相関行列Kの逆行列K-1を低次元分解する。
【0035】
【数1】
【0036】
(1)式において、Gは、d×dの行列である(d<N)。Vは、S×dの行列(V=v,v,・・・,v)である。Λは、N×Nの対角行列である。
【0037】
実施形態1.
図1は、第1の実施形態の画像解析装置の構成例を示すブロック図である。図1に示す画像解析装置10は、画素選択部110、低次元圧縮部120、展開部130、および最適化部140を含む。なお、上述したように、画像解析装置10が、コヒーレンス行列算出部および空間相関予測部を含むことがある(図1において図示せず)。
【0038】
SAR画像格納部200には、あらかじめSAR画像が格納される。重み行列格納部300には、最適化処理で用いられる重みがあらかじめ格納される。本実施形態では、重み行列格納部300に、重みとしての重み行列が格納される。なお、SAR画像格納部200および重み行列格納部300は、画像解析装置10の外部に設置されていてもよいし、画像解析装置10に含まれていてもよい。
【0039】
画素選択部110は、同一地域が記録された複数のSAR画像から、ある1枚のSAR画像中の画素を複数選択する。そして、画素選択部110は、他のSAR画像における、上記の1枚のSAR画像中の画素と同一の位置の画素を特定する。画素選択部110は、特定した画素の位置を指定する。低次元圧縮部120は、画素選択部110が指定した位置の画素を低次元空間に写像する。展開部130は、画素選択部110が指定した位置の画素を低次元空間から元の画素空間に写像する。
【0040】
最適化部140は、上記の1枚のSAR画像と他のSAR画像とのペアについての重み行列を用いる。なお、画素選択部110は、1枚のSAR画像と他のSAR画像との中での共通した位置を指定する。そして、最適化部140は、展開部130から出力された演算結果と画素選択部110が指定した位置の観測画素の画素値(観測画素値)との両方に対して近くなるような位相を持つ画素(複素ベクトルで表される。後述するxsamp,sに相当する。)を導出する。
【0041】
なお、最適化部140は、空間相関評価関数を最適化(例えば、最大化)することによって、位相を持つ複素ベクトルを展開部130から出力された演算結果に近づける。また、最適化部140は、観測信号評価関数を最適化(例えば、最大化)することによって、複素ベクトルを画素選択部110が指定した位置の観測画素の画素値に近づける。また、観測信号評価関数が最適化されるときに、複素ベクトルは、ノイズが比較的小さい領域における観測画素の画素値に近づく。
【0042】
また、本実施形態では、画素選択部110は、画素の位置を指定したが、SAR画像格納部200から該当する画素(具体的には、画素値)を読み出して、読み出した画素を、低次元圧縮部120、展開部130、および最適化部140に供給してもよい。
【0043】
次に、図2のフローチャートを参照して本実施形態の画像解析装置10の動作を説明する。なお、重み行列格納部300には、重みWがあらかじめ格納される。また、(1)式で表される空間相関行列Kの逆行列K-1が画像解析装置10にあらかじめ設定される。なお、低次元圧縮部120は、空間相関行列Kの逆行列K-1の一部である行列GVTを使用する。また、展開部130は、空間相関行列Kの逆行列K-1の一部である行列Vを使用する。よって、行列GVTと行列Vとが、画像解析装置10に設定されてもよい。
【0044】
画素選択部110は、M個(M<N)の乱数を生成する(ステップS101)。Nは、SAR画像の総画素数を示す。なお、Mは2以上の値である。
【0045】
以下、選択される画素の画素番号をnとする(m:1~M)。なお、nは、1~のうちのいずれかになる。Sは、総SAR画像数を示す。画像番号をsとする(s:1~S)。また、nをsampと表現することがある。画素選択部110は、生成した複数の乱数のそれぞれを、選択される画素の画素番号とする。すなわち、画素選択部110は、ランダムに画素を選択する。
【0046】
展開部130は、前回のfs にVsampを乗算する(ステップS102)。前回のfs は、直前に実行されたステップS104の処理の演算結果を意味する。Vsampのそれぞれ(samp:1~)は、行列Vから、n行、n行、・・・、n行を取り出して生成される行ベクトルである。すなわち、展開部130は、画素番号n,n,・・・,nに対応する行のそれぞれの画素について、行列Vにおける対応する行ベクトルを用いてVsamps を算出する。以下、Vsamps を、空間相関位相推定値ということがある。
【0047】
なお、後述するように、fs は、上記の(1)式におけるGVTにxsamp,sが乗算されて得られた値(複素数のデータ)に相当する。よって、Vsamps は、(1)式におけるVGVTにxsamp,sが乗算されて得られた値(複素数のデータ)に相当する。"samp,s"における"s"は、画像番号であるから、例えば、"samp,1"は、画像番号1のSAR画像における選択された画素を指定するインデックスである。
【0048】
最適化部140は、評価関数を最適化(例えば、最大化)する(ステップS103)。評価関数が最適化されることによって、xsamp,sは最適値に近づく。上述したように、評価関数は、少なくとも評価値としてのノイズがないと想定された画素値xに加えて、重みW、および観測画素値yをパラメータとして含む観測信号評価関数と、空間相関行列K(実際には、空間相関行列Kの逆行列K-1)をパラメータとする空間相関評価関数とが統合された評価関数である。
【0049】
最適化部140は、ステップS103の処理で、xsamp,sを、観測信号評価関数に関して、Wsamp(本実施形態では、選択された画素に対応するS×S個のコヒーレンス行列の逆行列)で重み付けられたysamp,sに近づけ、かつ、空間相関評価関数に関して、空間相関位相推定値であるVsamps に近づける処理を実行することになる。
【0050】
低次元圧縮部120は、最適化部140によって最適化されたxsamp,sを、GVT sampを用いて圧縮する(ステップS104)。すなわち、低次元圧縮部120は、xsamp,sとGVT sampとを乗算する。低次元圧縮部120は、さらに、乗算結果を(N/M)倍する。乗算結果が(N/M)倍された値を、fs と表現する。なお、N個の全画素から選択されたM個の画素を対象としてステップS102~S104の処理が実行されるので、xsamp,sとGVT sampとの乗算結果は、本来の値の(M/N)倍になっている。低次元圧縮部120は、乗算結果を(N/M)倍して本来の値に戻す。
【0051】
例えば、低次元圧縮部120は、メモリを内蔵する。低次元圧縮部120は、fsをメモリ(図1において図示せず)に一時保存して展開部130に渡すように構成されている。
【0052】
終了条件が成立した場合には、処理を終了する(ステップS106)。終了条件が成立していない場合には、ステップS101に戻る。なお、画素選択部110は、次に実行されるステップS101の処理において、前回に選択した画素群とは別の画素群(一部重複していてもよい。)を選択する。
【0053】
終了条件は、例えば、展開部130から出力される空間相関位相推定値としてのVsamps が、前回のステップS102の処理で得られた値に対して、あらかじめ定められた所定値未満であることである。すなわち、終了条件は、Vsamps の変動量が小さくなっていることである。換言すれば、終了条件は、Vsamps が最適値に収束したと判定されたことである。また、終了条件は、最適化部140から出力されるxsamp,sが、前回のステップS103の処理で得られた値に対して、あらかじめ定められた所定値未満であることでもよい。すなわち、終了条件は、xsamp,sの変動量が小さくなっていることでもよい。換言すれば、終了条件は、xsamp,sが最適値に収束したと判定されたことでもよい。なお、そのような終了条件は一例であって、他の条件、例えば、S101~S104の処理が所定回実行されるという条件が用いられてもよい。
【0054】
以上に説明したように、本実施形態では、低次元圧縮部120は、GVT sampsamp,sを算出する。展開部130は、GVT sampsamp,sが(N/M)倍された値(fs )をVによって展開する。最適化部140は、観測信号評価関数に関して、前回選択された画素群とは異なる画素群を用いて空間相関評価関数を最適化する。低次元圧縮部120、展開部130および最適化部140が処理を繰り返すことによって、xsamp,sは最適値に収束する。
【0055】
すなわち、画像解析装置10は、空間相関評価関数を最適化することによって位相差が滑らかに分布し、かつ、観測信号評価関数を最適化することによって観測信号の位相に近い位相を得る。よって、位相ノイズ低減の程度をより大きくすることができる。
【0056】
また、空間相関行列Kの逆行列K-1が低次元分解されているので、低次元分解されていない場合に比べてメモリの使用量を削減できる。具体的には、メモリの使用量は、(fs の次元数×画像数)+選択された画素の数×画像数)である。
【0057】
また、最適化部140は、観測信号評価関数に関して、全画素からランダムに選択された画素を対象として最適化処理を実行する。よって、最適化部140の演算量が削減される。
【0058】
なお、本実施形態では、画素選択部110は、ランダムに画素を選択するが、ランダムに選択しなくてもよい。例えば、あらかじめ定められている所定のルールに従って、所定の領域内のN個の画素からM個の画素を選択してもよい。
【0059】
図3は、画像解析装置10における低次元圧縮部120、展開部130、および最適化部140の処理結果の一例を示す説明図である。図3の左側には、ノイズが含まれる3枚の入力SAR画像が例示されている。例えば、縦方向に帯状に伸びる領域が、比較的高いノイズが含まれる領域である。展開部130は、入力SAR画像のデータと比較して、位相が滑らかに変化するようなデータを出力する(図3における中央部参照)。最適化部140が評価関数を用いて最適化処理を実行すると、観測画素値も考慮されるので、処理結果には、ある程度のノイズの影響が反映される(図3における右側参照)。
【0060】
しかし、低次元圧縮部120および展開部130による処理が繰り返されると、空間相関位相推定値は、位相が滑らかに変化するような最適な位相に収束する。
【0061】
本実施形態は、例えば、空間的に低周波の位相成分をノイズに頑健に抽出するような用途に好適に適用可能である。空間的に低周波の位相成分として、例えば、大気中の水分による位相遅延がある。この位相遅延は、変位と無関係な位相であるので、例えば変位解析の際には本実施形態による推定を行い、観測された位相から除外することによって変位解析の性能を向上させることができる。
【0062】
[変形例]
図4は、本実施形態の画像解析装置の変形例を示すブロック図である。図4に示す画像解析装置10Aは、図1に示された画像解析装置10の構成要素に加えて、保存部131と保存部141とをさらに含む。
【0063】
画像解析装置10Aにおいて、展開部130は、空間相関位相推定値Vsamps の絶対値もしくは位相またはそれら双方を保存部131に出力する。保存部131は、空間相関位相推定値Vsamps の絶対値もしくは位相またはそれら双方を保存する。展開部130が、1回のループ処理(ステップS101~S104の処理)が実行される度に空間相関位相推定値Vsamps の絶対値もしくは位相またはそれら双方を保存部131に出力し、保存部131が、例えば、最新の空間相関位相推定値Vsamps の絶対値もしくは位相またはそれら双方を保存するようにしてもよい。また、展開部130が、所定回のループ処理が実行された場合に、空間相関位相推定値Vsamps の絶対値もしくは位相またはそれら双方を出力するようにしてもよい。その場合、保存部131は、展開部130からデータが出力されたときにそれを保存する。
【0064】
また、最適化部140は、xsamp,sの絶対値もしくは位相またはそれら双方を保存部141に出力する。保存部141は、xsamp,sの絶対値もしくは位相またはそれら双方を保存する。最適化部140が、1回のループ処理が実行される度にxsamp,sの絶対値もしくは位相またはそれら双方を保存部141に出力し、保存部141が、例えば、最新のxsamp,sの絶対値もしくは位相または双方を位相を保存するようにしてもよい。また、最適化部140が、所定回のループ処理が実行された場合に、xsamp,sの絶対値もしくは位相または双方を出力するようにしてもよい。その場合、保存部141は、最適化部140からデータが出力されたときにそれを保存する。
【0065】
保存部131または保存部141に保存された絶対値または位相は、種々の用途に使用可能である。例えば、位相は、ノイズが除去された位相として活用される。また、絶対値を、ノイズ除去の信頼性を表す値(信頼度)として使用可能である。
【0066】
なお、図4には、保存部131と保存部141との双方が設けられていることが例示されているが、保存部131と保存部141とのうちの一方のみが設けられていてもよい。
【0067】
実施形態2.
図5は、第2の実施形態の画像解析装置の構成例を示すブロック図である。図5に示す画像解析装置20は、図1に示された画像解析装置10の構成要素に加えて、平滑化部150をさらに含む。平滑化部150は、低次元圧縮部120の出力を平滑化する。なお、本実施形態において、平滑化は、低次元圧縮部120の出力を時間的に滑らかにすることを意味する。
【0068】
次に、図6のフローチャートを参照して本実施形態の画像解析装置20の動作を説明する。ステップS101~S104,S106の処理は、第1の実施形態における処理と同じである。図6では、ステップS104の処理において、"fs "ではなく"fnew"と表記されているが、ステップS104の処理内容が変更されているわけではない。
【0069】
平滑化部150は、例えば下記の(2)式を用いて、fnewを平滑化した値をfs とする。(2)式において、fnewは、低次元圧縮部120の出力である。すなわち、fnewは、第1の実施形態におけるfs に相当する。foldは、1回前のループ処理(ステップS101~S104の処理)での低次元圧縮部120の出力である。すなわち、foldは、前回の処理で低次元圧縮部120が算出したfs に相当する。foldは、低次元圧縮部120において保存されている。ρ(0<ρ<1)は、foldの反映率である。ρは、あらかじめ定められた値である。
【0070】
s =(1-ρ)fold+ρfnew (2)
【0071】
第1の実施形態では、各々のループ処理において、画素選択部110がランダムに画素を選択する。その結果、1回のループ処理におけるステップS104の処理で算出されたfs の値が、前回のループ処理におけるステップS104の処理で算出されたfs の値から大幅に変わっている可能性がある。
【0072】
本実施形態では、展開部130に渡されるfs の値が前回渡されたfs の値に近くなることが期待される。よって、早めに適切な空間相関位相推定値に収束する可能性が高まる。
【0073】
実施形態3.
図7は、第3の実施形態の画像解析装置の構成例を示すブロック図である。図7に示す画像解析装置30の構成は、基本的に、第1の実施形態の画像解析装置10と同じである。ただし、第3の実施形態では、最適化部140が具体化されている。すなわち、第3の実施形態では、最適化部140の一具体例が示される。画素選択部110、低次元圧縮部120および展開部130の処理は、第1の実施形態における処理と同じである。
【0074】
図7に示すように、本実施形態では、最適化部140は、位相平均化部142と活性化部143とを含む。位相平均化部142は、第1の実施形態で使用された観測信号評価関数の値と空間相関評価関数の値とを、下記の(3)式に例示するように加算する。
【0075】
【数2】
【0076】
(3)式において、右辺の第2項(χmeans,nm,s)は、展開部130の出力に相当する。すなわち、χは、第1の実施形態における空間相関位相推定値としてのVsamps に相当する。
【0077】
(3)式において、右辺の第1項は、第1の実施形態における観測信号評価関数の一具体例に相当する。第1項において、sおよびs’は、S枚のSAR画像から選択される画像の画像番号に相当する。なお、上述したように、nは、第1の実施形態における"samp"と同義である。
【0078】
次に、図8のフローチャートを参照して本実施形態における最適化部140の動作を説明する。以下、展開部130が出力する位相が滑らかに変化するようなデータを用いる位相平均化部142の処理を、位相平均化処理と呼ぶ。
【0079】
最適化部140は、変数iを0に初期化する(ステップS131)。そして、最適化部140は、変数iを+1する(ステップS132)。最適化部140における位相平均化部142は、(3)式を用いた位相平均化処理を実行し、一時的な値であるxtempを得る(ステップS133)。
【0080】
活性化部143は、xtempに活性化処理を施して、xnm,sを得る。(ステップS134)。なお、xnm,sは、第1の実施形態におけるxsamp,sと同義である。また、(3)式では、xnm,sにおける"n"が下付文字で表されているが、xnm,sは、(3)式における"n"が下付文字で表されている変数と同じである。
【0081】
活性化部143は、ステップS134の処理で、下記の(4)式のように、非線形関数g(a)を用いて、xtempを非線形変換する。
【0082】
【数3】
【0083】
非線形関数g(a)として、以下のような関数を使用可能である。
【0084】
g(a)=I1(2a)/I0(2a) (5)
【0085】
【数4】
【0086】
g(a)=tanh(a) (7)
【0087】
(5)式におけるIおよびIは、それぞれ、0次と1次の第一種変形ベッセル関数である。(5)式を用いる場合、g(a)の値は、aの値が大きくなるほど1に近づく。(6)式を用いる場合にも(7)式を用いる場合にも、g(a)の値は、aの値が大きくなるほど1に近づく。つまり、本実施形態では、xnm,sの最大値(絶対値で)は、1に制限される。
【0088】
なお、(5)~(7)式に例示した関数に限られず、活性化部143は、出力値が、aの増加に伴って0から特定の正値に漸近するような他の関数を使用可能である。
【0089】
ステップS134の処理が実行された後、最適化部140は、i=Sになっているか否か確認する(ステップS135)。すなわち、全SAR画像について、ステップS133,S134の処理が実行されたか否か確認する。i=Sになっている場合には、処理を終了する。そうでない場合には、ステップS132に戻る。
【0090】
なお、位相平均化部142および活性化部143が、逐次的にステップS133,S134の処理を実行してもよいし、複数のiについて同時に(並列的に)ステップS133,S134の処理を実行してもよい。並列的に実行する方式は、GPU(Graphics Processing Unit)やCPU(Central Processing Unit)等による並列計算に適し、最適化処理を高速化することができる。
【0091】
また、本実施形態の画像解析装置30に、図4に示されたような保存部131もしくは保存部141またはそれら双方が追加されてもよい。また、本実施形態の画像解析装置30に、図5に示されたような平滑化部150が追加されてもよい。また、本実施形態の画像解析装置30に、保存部131もしくは保存部141またはそれら双方と平滑化部150とが追加されてもよい。
【0092】
本実施形態における最適化部140の出力(xnm,s)の絶対値を、ノイズ除去の信頼性を表す値(信頼度)として活用可能である。画像解析装置30が、空間的滑らかさの程度と、評価値としてのx(xnm,s)と観測画素値y(ynm,s)との合致度との双方が高くなる場合に、xtempの絶対値を大きくするように構成されているからである。すなわち、(3)式において、第1項の値は、観測画素値yの位相とxの位相とが近いほど大きくなる。また、第2項の値は、前回のループ処理(ステップS101~S104の処理)で計算されたxが滑らかにされた値である。第2項の値と第1項の値とが加算されると、第2項に基づく値と第1項に基づく値とが近い位相を持つ場合に、xtempの値は大きくなる。よって、xtempの絶対値は、信頼度が高いほど大きくなる。よって、xnm,sの絶対値も、信頼度が高いほど大きくなる。
【0093】
なお、特に、保存部142が設けられている場合には、保存部142に保存されたxnm,sの絶対値を信頼度として有効活用できる。
【0094】
図9は、本実施形態の効果を説明するための説明図である。画像解析装置30による位相の推定値が、図9における右上に例示されている。位相の推定値と正解とを比較すると、一致していない箇所が存在する。位相の推定値の信頼度が、図9における右下に例示されている。上述したように、信頼度は、xnm,sの絶対値である。絶対値が大きくなるほど、信頼度は高くなっている。
【0095】
図10は、本実施形態の応用例を示す説明図である。一例として、推定結果において信頼度が低い領域を除外して、何らかの解析などに使用することができる。図10において、黒領域が、除外される領域である。
【0096】
さらに、位相の推定値に基づいて変位解析等が実行された後、解析結果を信頼できないような領域を可視表示するような用途にも、本実施形態による信頼度を応用可能である。
【0097】
実施形態4.
図11は、第4の実施形態の画像解析装置の構成例を示すブロック図である。図11に示す画像解析装置40は、図7に示された画像解析装置30の構成要素に加えて、前フィルタ部160をさらに含む。画像解析装置40において、画素選択部110、低次元圧縮部120、展開部130、および、位相平均化部142と活性化部143とを含む最適化部140は、第3の実施形態におけるそれらと同様に動作する。ただし、本実施形態では、位相平均化部142は、第3の実施形態における位相平均化部142とは異なる評価関数を使用する。
【0098】
前フィルタ部160は、例えば、下記の(8)式によって、行列Γを計算する。(8)式において、"Wfilter"は、あらかじめ決められている重みである。"n∈Ω(nm)は、選択されたM個の画素のうちのいずれかであることを示す。(8)式は、分子にyn,sとyn,s'の共役複素数との積を含むので、近傍観測画素の位相差をWfilterで平均化することを意味する。(8)式で示される行列(以下、添え字が略された行列Γと表現する。)は、観測画像における何らかのノイズの特徴を表している。そして、行列Γは、本実施形態における位相平均化部142が使用する評価関数に反映される。
【0099】
【数5】
【0100】
位相平均化部142は、図8におけるステップS133と同様の処理を実行する。しかし、本実施形態では、位相平均化部142は、以下の(9)式を用いて、xtempを算出する。その他の処理は、図7に示された画像解析装置30の処理と同じである。(9)式は、(3)式におけるyn,sとyn,s'の共役複素数との積が、行列Γで置き換えられた式に相当する。
【0101】
【数6】
【0102】
本実施形態では、前フィルタ部160が、近傍観測画素の位相差の平均が反映された重み行列を決定するので、観測画像内の情報から最適な重みを決めることができる。そして、位相平均化部142が、近傍観測画素の位相差の平均が反映された行列Γが含まれる評価関数を用いてxtempを算出するので、位相ノイズ低減の程度をさらに大きくすることができる。
【0103】
実施形態5.
図12は、第5の実施形態の画像解析装置の構成例を示すブロック図である。図11に示す画像解析装置50は、図11に示された画像解析装置40の構成要素に加えて、重み算出部170をさらに含む。
【0104】
重み算出部170は、下記の(10)式で示すように、重みWnmを算出する。すなわち、重み算出部170は、重みWnmを、行列Γに基づいて算出する。
【0105】
【数7】
【0106】
画像解析装置50における他の動作は、第4の実施形態における動作と同じである。
【0107】
図13は、CPUを有するコンピュータの一例を示すブロック図である。コンピュータは、上記の各実施形態の画像解析装置に実装される。CPU1000は、記憶装置1001に格納されたプログラム(ソフトウェア要素:コード)に従って処理を実行することによって、上記の実施形態における各機能を実現する。すなわち、図1図4図5図7図11図12に示された画像解析装置10,10A,20,30,40,50における、画素選択部110、低次元圧縮部120、展開部130、最適化部140、位相平均化部142、活性化部143、平滑化部150、前フィルタ部160、および重み算出部170の機能を実現する。なお、CPU1000に代えて、GPU、または、CPUとGPUとの組み合わせを使用することもできる。
【0108】
記憶装置1001は、例えば、非一時的なコンピュータ可読媒体(non-transitory computer readable medium )である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium )を含む。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体(例えば、ハードディスク)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM(Compact Disc-Read Only Memory )、CD-R(Compact Disc-Recordable )、CD-R/W(Compact Disc-ReWritable )、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM )、フラッシュROM)がある。また、記憶装置1001として、データを書き換え可能な記憶媒体が用いられる場合には、記憶装置1001は、SAR画像格納部200および重み行列格納部300としても使用可能である。また、記憶装置1001は、保存部131,141としても使用可能である。
【0109】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium )に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。
【0110】
メモリ1002は、例えばRAM(Random Access Memory)で実現され、CPU1000が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ1002に、記憶装置1001または一時的なコンピュータ可読媒体が保持するプログラムが転送され、CPU1000がメモリ1002内のプログラムに基づいて処理を実行するような形態も想定しうる。
【0111】
図14は、画像解析装置の主要部を示すブロック図である。図14に示す画像解析装置100は、同一地域が記録された複数画像のうちの1枚の画像における複数の位置の画素を選択する画素選択部(画素選択手段)11(実施形態では、画素選択部110で実現される。)と、評価関数を最適化したときの評価値としての複素ベクトルを低次元空間に低次元圧縮する低次元圧縮部(低次元圧縮手段)12(実施形態では、低次元圧縮部120で実現される。)と、低次元圧縮部12による圧縮結果を元の画素空間に戻し、空間相関位相推定値を算出する展開部(展開手段)13(実施形態では、展開部130で実現される。)と、評価値を、空間相関位相推定値と、画素選択部11によって選択された位置の画素とに近づけることによって、評価関数を最適化する最適化部(最適化手段)14(実施形態では、最適化部140で実現される。)とを備えている。
【0112】
図15は、他の態様の画像解析装置の主要部を示すブロック図である。図15に示す画像解析装置101において、最適化部14が使用する評価関数は、画素選択部11によって選択された位置の画素の値を表す複素数とその共役複素数との積を重み付けして複数画像に亘って加算される項を含み、最適化部14は、当該評価関数を最適化して得られる値を非線形変換して所定値以内に制限する制限部(制限手段)15(実施形態では、活性化部143で実現される。)を含む。
【0113】
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
【0114】
(付記1)同一地域が記録された複数画像のうちの1枚の画像における複数の位置の画素を選択する画素選択手段と、
評価関数を最適化したときの評価値としての複素ベクトルを低次元空間に低次元圧縮する低次元圧縮手段と、
前記低次元圧縮手段による圧縮結果を元の画素空間に戻し、空間相関位相推定値を算出する展開手段と、
前記評価値を、前記空間相関位相推定値と、前記画素選択手段によって選択された位置の画素とに近づけることによって、前記評価関数を最適化する最適化手段と
を備える画像解析装置。
【0115】
(付記2)前記評価関数は、前記画素選択手段によって選択された位置の画素の値を表す複素数とその共役複素数との積を重み付けして前記複数画像に亘って加算される項を含み、
前記最適化手段は、当該評価関数を最適化して得られる値を非線形変換して所定値以内に制限する制限手段を含む
付記1の画像解析装置。
【0116】
(付記3)前記低次元圧縮手段は、前記複素ベクトルに低次元圧縮するための行列を乗算し、
前記展開手段は、前記低次元圧縮手段による圧縮結果に展開のための行列を乗算して前記空間相関位相推定値を導出する
付記1または付記2の画像解析装置。
【0117】
(付記4)前記低次元圧縮手段による圧縮結果を過去の圧縮結果で平滑化してから前記展開手段に供給する平滑化手段(実施形態では、平滑化部150で実現される。)をさらに備える
付記1から付記3のうちのいずれかの画像解析装置。
【0118】
(付記5)前記展開手段の出力の絶対値を保存する絶対値保存手段(実施形態では、保存部131で実現される。)をさらに備える
付記1から付記4のうちのいずれかの画像解析装置。
【0119】
(付記6)前記展開手段の出力の位相を保存する位相保存手段(実施形態では、保存部131で実現される。)をさらに備える
付記1から付記5のうちのいずれかの画像解析装置。
【0120】
(付記7)前記最適化手段の出力の絶対値を保存する絶対値保存手段(実施形態では、保存部141で実現される。)をさらに備える
付記1から付記4のうちのいずれかの画像解析装置。
【0121】
(付記8)前記最適化手段の出力の位相を保存する位相保存手段(実施形態では、保存部141で実現される。)をさらに備える
付記1から付記4のうちのいずれかまたは付記7の画像解析装置。
【0122】
(付記9)同一地域が記録された複数画像のうちの1枚の画像における複数の位置の画素を選択し、
評価関数を最適化したときの評価値としての複素ベクトルを低次元空間に低次元圧縮し、
前記低次元圧縮された結果を元の画素空間に戻し、空間相関位相推定値を算出し、
前記評価値を、前記空間相関位相推定値と、前記選択された位置の画素とに近づけることによって、前記評価関数を最適化する
画像解析方法。
【0123】
(付記10)前記評価関数は、前記画素選択手段によって選択された位置の画素の値を表す複素数とその共役複素数との積を重み付けして前記複数画像に亘って加算された項を含み、
当該評価関数を最適化して得られる値を非線形変換して所定値以内に制限する
付記9の画像解析方法。
【0124】
(付記11)コンピュータに、
同一地域が記録された複数画像のうちの1枚の画像における複数の位置の画素を選択する処理と、
評価関数を最適化したときの評価値としての複素ベクトルを低次元空間に低次元圧縮する処理と、
前記低次元圧縮された結果を元の画素空間に戻し、空間相関位相推定値を算出する処理と、
前記評価値を、前記空間相関位相推定値と、前記選択された位置の画素とに近づけることによって、前記評価関数を最適化する処理と
を実行させる画像解析プログラムが格納されたコンピュータ読み取り可能な記録媒体。
【0125】
(付記12)前記評価関数は、前記画素選択手段によって選択された位置の画素の値を表す複素数とその共役複素数との積を重み付けして前記複数画像に亘って加算された項を含み、
コンピュータに、当該評価関数を最適化して得られる値を非線形変換して所定値以内に制限する処理
を実行させる画像解析プログラムが格納された付記11のコンピュータ読み取り可能な記録媒体。
【0126】
(付記13)コンピュータに、
同一地域が記録された複数画像のうちの1枚の画像における複数の位置の画素を選択する処理と、
評価関数を最適化したときの評価値としての複素ベクトルを低次元空間に低次元圧縮する処理と、
前記低次元圧縮された結果を元の画素空間に戻し、空間相関位相推定値を算出する処理と、
前記評価値を、前記空間相関位相推定値と、前記選択された位置の画素とに近づけることによって、前記評価関数を最適化する処理と
を実行させるための画像解析プログラム。
【0127】
(付記14)前記評価関数は、前記画素選択手段によって選択された位置の画素の値を表す複素数とその共役複素数との積を重み付けして前記複数画像に亘って加算された項を含み、
コンピュータに、当該評価関数を最適化して得られる値を非線形変換して所定値以内に制限する処理
を実行させる付記13の画像解析プログラム。
【0128】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0129】
11 画素選択部
12 低次元圧縮部
13 展開部
14 最適化部
15 制限部
10,10A,20,30,40,50 画像解析装置
100,101 画像解析装置
110 画素選択部
120 低次元圧縮部
131,141 保存部
130 展開部
140 最適化部
142 位相平均化部
143 活性化部
150 平滑化部
160 前フィルタ部
170 重み算出部
200 SAR画像格納部
300 重み行列格納部
1000 CPU
1001 記憶装置
1002 メモリ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15