【文献】
HE, Jun 外2名,“Incremental Gradient on the Grassmannian for Online Foreground and Background Separation in Subsampled Video”,2012 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION,2012年,Pages 1568-1575,<URL: https://doi.org/10.1109/CVPR.2012.6247848 >
【文献】
IDE, Tsuyoshi 外1名,“Knowledge Discovery from Heterogeneous Dynamic Systems using Change-Point Correlations”,PROCEEDINGS OF THE 2005 SIAM INTERNATIONAL CONFERENCE ON DATA MINING (SDM),2005年,Pages 571-575,<URL: https://doi.org/10.1137/1.9781611972757.63 >
(58)【調査した分野】(Int.Cl.,DB名)
レーダの観測電波に基づいて生成された画像のうち、比較対象期間の画像の左特異ベクトルを基底とする第1の部分空間と、前記比較対象期間と異なる期間である変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間とを受けると、前記第1の部分空間と前記第2の部分空間との変化度を算出する変化度算出部と、
前記変化度算出部により算出された変化度に基づいて、前記変化検出期間の画像が、前記比較対象期間の画像から変化しているか否かを判定する判定部と、
前記判定部により変化していないと判定されると、前記第2の部分空間に近づくように前記第1の部分空間を回転させることによって、前記第1の部分空間を更新する部分空間更新部とを備え、
前記変化度算出部は、前記判定部により変化していないと判定されると、前記部分空間更新部による更新後の第1の部分空間と、前記変化検出期間の次の変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間との変化度を算出し、
前記判定部は、前記変化度算出部により算出された変化度が閾値以上であれば、前記変化検出期間の画像が、前記比較対象期間の画像から変化していると判定し、前記変化度が前記閾値未満であれば、前記変化検出期間の画像が、前記比較対象期間の画像から変化していないと判定する
ことを特徴とする画像変化検出装置。
前記部分空間更新部は、前記変化度算出部により算出された変化度が大きいほど、前記第1の部分空間を大きく回転させることによって、前記第1の部分空間を更新することを特徴とする請求項1記載の画像変化検出装置。
前記変化検出期間の次の変化検出期間の画像の左特異ベクトルを算出して、算出した左特異ベクトルを基底とする第2の部分空間を生成し、生成した第2の部分空間を前記変化度算出部に出力する部分空間生成部を備えたことを特徴とする請求項1記載の画像変化検出装置。
レーダの観測電波に基づいて生成された画像のうち、比較対象期間の画像の左特異ベクトルを基底とする第1の部分空間と、前記比較対象期間と異なる期間である変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間とを受けると、変化度算出部が、前記第1の部分空間と前記第2の部分空間との変化度を算出し、
判定部が、前記変化度算出部により算出された変化度に基づいて、前記変化検出期間の画像が、前記比較対象期間の画像から変化しているか否かを判定し、
部分空間更新部が、前記判定部により変化していないと判定されると、前記第2の部分空間に近づくように前記第1の部分空間を回転させることによって、前記第1の部分空間を更新し、
前記変化度算出部は、前記判定部により変化していないと判定されると、前記部分空間更新部による更新後の第1の部分空間と、前記変化検出期間の次の変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間との変化度を算出し、
前記判定部は、前記変化度算出部により算出された変化度が閾値以上であれば、前記変化検出期間の画像が、前記比較対象期間の画像から変化していると判定し、前記変化度が前記閾値未満であれば、前記変化検出期間の画像が、前記比較対象期間の画像から変化していないと判定する
することを特徴とする画像変化検出方法。
【発明を実施するための形態】
【0009】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
【0010】
実施の形態1.
図1は、実施の形態1に係る画像変化検出装置4を示す構成図である。
図2は、実施の形態1に係る画像変化検出装置4のハードウェアを示すハードウェア構成図である。
図1において、画像生成部1は、レーダの観測電波に基づいて、電波画像を生成する。
画像生成部1は、生成した電波画像のうち、例えば、比較対象期間T
1の電波画像を、後述する部分空間生成部11の比較対象行列生成部12に出力する。以下、画像生成部1から比較対象行列生成部12に出力される電波画像を比較対象画像2と称する。
画像生成部1は、生成した電波画像のうち、例えば、変化検出期間T
2,T
4,・・・におけるそれぞれの電波画像を、部分空間生成部11の後述する検出対象行列生成部15に出力する。以下、画像生成部1から検出対象行列生成部15に出力される電波画像を検出対象画像3と称する。
画像生成部1は、後述する判定部19から出力された判定結果が、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化している旨を示していれば、比較対象期間T
1の次の比較対象期間T
3の比較対象画像2を比較対象行列生成部12に出力し、変化検出期間T
2の次の変化検出期間T
4の検出対象画像3を検出対象行列生成部15に出力する。
画像生成部1は、判定部19から出力された判定結果が、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化していない旨を示していれば、比較対象期間T
3の比較対象画像2を比較対象行列生成部12に出力せずに、変化検出期間T
4の検出対象画像3を検出対象行列生成部15に出力する。
図1に示す画像変化検出装置4では、画像生成部1が画像変化検出装置4の外部に設けられている。しかし、これは一例に過ぎず、画像生成部1が画像変化検出装置4の内部に設けられていてもよい。
【0011】
画像変化検出装置4は、部分空間生成部11、変化度算出部18、判定部19及び部分空間更新部20を備えている。
画像変化検出装置4は、画像生成部1により生成された比較対象画像2と、画像生成部1により生成された検出対象画像3とを比較して、検出対象画像3が比較対象画像2から変化しているか否かを判定する。
また、画像変化検出装置4は、部分空間更新部20による更新後の比較対象画像2と、画像生成部1により生成された検出対象画像3とを比較して、検出対象画像3が更新後の比較対象画像2から変化しているか否かを判定する。
【0012】
部分空間生成部11は、比較対象行列生成部12、第1のベクトル算出部13、第1の空間生成処理部14、検出対象行列生成部15、第2のベクトル算出部16及び第2の空間生成処理部17を備えている。
部分空間生成部11は、画像生成部1から比較対象期間T
1の比較対象画像2を受けると、比較対象画像2の左特異ベクトルLSV
1を算出して、左特異ベクトルLSV
1を基底とする第1の部分空間span(U
1)を生成する。
部分空間生成部11は、第1の部分空間span(U
1)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
また、部分空間生成部11は、画像生成部1から、変化検出期間T
2,T
4,・・・におけるそれぞれの検出対象画像3を受けると、それぞれの検出対象画像3の左特異ベクトルLSV
2,LSV
4,・・・を算出して、それぞれの左特異ベクトルLSV
2,LSV
4,・・・を基底とする第2の部分空間span(U
2),span(U
4),・・・を生成する。
部分空間生成部11は、生成したそれぞれの第2の部分空間span(U
2),span(U
4),・・・を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
【0013】
部分空間生成部11は、判定部19により変化していると判定されると、画像生成部1から、比較対象期間T
1の次の比較対象期間T
3の比較対象画像2を取得する。
部分空間生成部11は、比較対象期間T
3の比較対象画像2の左特異ベクトルLSV
3を算出して、左特異ベクトルLSV
3を基底とする第1の部分空間span(U
3)を生成し、第1の部分空間span(U
3)を変化度算出部18に出力する。
部分空間生成部11は、判定部19により変化していないと判定されると、画像生成部1から比較対象期間T
3の比較対象画像2を取得しない。したがって、部分空間生成部11は、左特異ベクトルLSV
3を基底とする第1の部分空間span(U
3)を生成しない。
比較対象期間T
1,T
3と、変化検出期間T
2,T
4,・・・とは、互いに異なる期間である。比較対象期間T
1,T
3と、変化検出期間T
2,T
4との中で、例えば、比較対象期間T
1が最も古い期間であり、次に変化検出期間T
2が古い期間であり、次に比較対象期間T
3が古い期間であり、変化検出期間T
4が最も新しい期間である。
【0014】
比較対象行列生成部12は、例えば、
図2に示す比較対象行列生成回路31によって実現される。
比較対象行列生成部12は、画像生成部1から出力された比較対象期間T
1の比較対象画像2を示す比較対象行列U
1を生成し、比較対象行列U
1を第1のベクトル算出部13に出力する。
比較対象行列生成部12は、画像生成部1から、比較対象期間T
3の比較対象画像2を受けると、比較対象期間T
3の比較対象画像2を示す比較対象行列U
3を生成し、比較対象行列U
3を第1のベクトル算出部13に出力する。
【0015】
第1のベクトル算出部13は、例えば、
図2に示す第1のベクトル算出回路32によって実現される。
第1のベクトル算出部13は、比較対象行列生成部12から出力された比較対象行列U
1に対する特異値分解を行うことで、比較対象画像2の左特異ベクトルLSV
1を算出する。
第1のベクトル算出部13は、左特異ベクトルLSV
1を第1の空間生成処理部14に出力する。
第1のベクトル算出部13は、比較対象行列生成部12から、比較対象行列U
3を受けると、比較対象行列U
3に対する特異値分解を行うことで、比較対象画像2の左特異ベクトルLSV
3を算出する。
第1のベクトル算出部13は、左特異ベクトルLSV
3を第1の空間生成処理部14に出力する。
【0016】
第1の空間生成処理部14は、例えば、
図2に示す第1の空間生成処理回路33によって実現される。
第1の空間生成処理部14は、第1のベクトル算出部13から、例えば、左特異ベクトルLSV
1を受けると、左特異ベクトルLSV
1を基底とする第1の部分空間span(U
1)を生成する。
第1の空間生成処理部14は、第1の部分空間span(U
1)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
第1の空間生成処理部14は、第1のベクトル算出部13から、例えば、左特異ベクトルLSV
3を受けると、左特異ベクトルLSV
3を基底とする第1の部分空間span(U
3)を生成する。
第1の空間生成処理部14は、第1の部分空間span(U
3)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
【0017】
検出対象行列生成部15は、例えば、
図2に示す検出対象行列生成回路34によって実現される。
検出対象行列生成部15は、画像生成部1から、変化検出期間T
2,T
4,・・・におけるそれぞれの検出対象画像3を取得する。
検出対象行列生成部15は、それぞれの検出対象画像3を示す検出対象行列U
2,U
4,・・・を生成し、それぞれの検出対象行列U
2,U
4,・・・を第2のベクトル算出部16に出力する。
【0018】
第2のベクトル算出部16は、例えば、
図2に示す第2のベクトル算出回路35によって実現される。
第2のベクトル算出部16は、検出対象行列生成部15から出力されたそれぞれの検出対象行列U
2,U
4,・・・に対する特異値分解を行うことで、それぞれの検出対象画像3の左特異ベクトルLSV
2,LSV
4,・・・を算出する。
第2のベクトル算出部16は、それぞれの左特異ベクトルLSV
2,LSV
4,・・・を第2の空間生成処理部17に出力する。
【0019】
第2の空間生成処理部17は、例えば、
図2に示す第2の空間生成処理回路36によって実現される。
第2の空間生成処理部17は、第2のベクトル算出部16から出力されたそれぞれの左特異ベクトルLSV
2,LSV
4,・・・を基底とする第2の部分空間span(U
2),span(U
4),・・・を生成する。
第2の空間生成処理部17は、それぞれの第2の部分空間span(U
2),span(U
4),・・・を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
【0020】
変化度算出部18は、例えば、
図2に示す変化度算出回路37によって実現される。
変化度算出部18は、部分空間生成部11の第1の空間生成処理部14により生成された第1の部分空間span(U
1)と、部分空間生成部11の第2の空間生成処理部17により生成された第2の部分空間span(U
2)とを取得する。
変化度算出部18は、第1の部分空間span(U
1)と第2の部分空間span(U
2)との変化度c(t
2)を算出する。
t
2は、変化検出期間T
2に含まれる時刻である。時刻t
2は、変化検出期間T
2の開始時刻であってもよいし、変化検出期間T
2の終了時刻であってもよい。また、時刻t
2は、変化検出期間T
2の開始時刻と終了時刻との間の時刻であってもよい。
変化度算出部18は、変化度c(t
2)を判定部19に出力する。
【0021】
変化度算出部18は、判定部19により、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化していないと判定されると、部分空間更新部20による更新後の第1の部分空間span(U
1)である第1の部分空間span(U
3’)と、第2の空間生成処理部17により生成された第2の部分空間span(U
4)とを取得する。
変化度算出部18は、第1の部分空間span(U
3’)と第2の部分空間span(U
4)との変化度c(t
4)を算出する。
仮に、第1の空間生成処理部14によって、比較対象期間T
3に係る第1の部分空間span(U
3)が生成されたとすると、第1の部分空間span(U
3’)は、第1の部分空間span(U
3)と類似している。
第2の空間生成処理部17により生成された第2の部分空間span(U
4)は、変化検出期間T
4の検出対象画像3の左特異ベクトルLSV
4を基底とする第2の部分空間である。
【0022】
変化度算出部18は、判定部19により、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化していると判定されると、第1の空間生成処理部14により生成された第1の部分空間span(U
3)と、第2の空間生成処理部17により生成された第2の部分空間span(U
4)とを取得する。
変化度算出部18は、第1の部分空間span(U
3)と第2の部分空間span(U
4)との変化度c(t
4)を算出する。
部分空間生成部11により生成された第1の部分空間span(U
3)は、比較対象期間T
3の比較対象画像2の左特異ベクトルLSV
3を基底とする部分空間である。
【0023】
判定部19は、例えば、
図2に示す判定回路38によって実現される。
判定部19は、変化度算出部18により算出された変化度に基づいて、変化検出期間の検出対象画像3が、比較対象期間の比較対象画像2から変化しているか否かを判定する。
即ち、判定部19は、変化度算出部18により算出された変化度c(t
2)が閾値θ以上であれば、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化していると判定し、変化度c(t
2)が閾値θ未満であれば、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化いないと判定する。
また、判定部19は、変化度算出部18により算出された変化度c(t
4)が閾値θ以上であれば、変化検出期間T
4の検出対象画像3が、比較対象期間T
3の比較対象画像2から変化していると判定し、変化度c(t
4)が閾値θ未満であれば、変化検出期間T
4の検出対象画像3が、比較対象期間T
3の比較対象画像2から変化いないと判定する。
閾値θとして、例えば、0.5の値又は0.6の値が用いられる。閾値θは、判定部19の内部メモリに格納されていてもよいし、画像変化検出装置4の外部から与えられるものであってもよい。
判定部19は、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化していると判定すると、変化検出期間T
2中に電波画像の変化点がある旨を示す情報を外部に出力する。また、判定部19は、変化検出期間T
4の検出対象画像3が、比較対象期間T
3の比較対象画像2から変化していると判定すると、変化検出期間T
4中に電波画像の変化点がある旨を示す情報を外部に出力する。
【0024】
判定部19は、検出対象画像3が比較対象画像2から変化しているか否かを示す判定結果を変化度算出部18及び画像生成部1のそれぞれに出力する。
また、判定部19は、例えば、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化していないと判定すると、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化していない旨を示す判定結果を部分空間更新部20に出力する。
図1に示す画像変化検出装置4では、判定部19が変化度c(t
2)等と閾値θとを比較することで、検出対象画像3が比較対象画像2から変化しているか否かを判定している。しかし、これは一例に過ぎず、判定部19は、例えば、変化度c(t
2)等の微分値と閾値とを比較することで、検出対象画像3が比較対象画像2から変化しているか否かを判定するようにしてもよい。
【0025】
部分空間更新部20は、例えば、
図2に示す部分空間更新回路39によって実現される。
部分空間更新部20は、判定部19により、例えば、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化していないと判定されると、第2の部分空間span(U
2)に近づくように第1の部分空間span(U
1)を回転させることによって、第1の部分空間span(U
1)を更新する。
部分空間更新部20は、更新後の第1の部分空間span(U
1)を、第1の部分空間span(U
3’)として、変化度算出部18に出力する。
部分空間更新部20は、判定部19により、例えば、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化していると判定されると、第1の部分空間span(U
1)の更新を行わない。
【0026】
図1では、画像変化検出装置4の構成要素である比較対象行列生成部12、第1のベクトル算出部13、第1の空間生成処理部14、検出対象行列生成部15、第2のベクトル算出部16、第2の空間生成処理部17、変化度算出部18、判定部19及び部分空間更新部20のそれぞれが、
図2に示すような専用のハードウェアによって実現されるものを想定している。即ち、画像変化検出装置4が、比較対象行列生成回路31、第1のベクトル算出回路32、第1の空間生成処理回路33、検出対象行列生成回路34、第2のベクトル算出回路35、第2の空間生成処理回路36、変化度算出回路37、判定回路38及び部分空間更新回路39によって実現されるものを想定している。
【0027】
ここで、比較対象行列生成回路31、第1のベクトル算出回路32、第1の空間生成処理回路33、検出対象行列生成回路34、第2のベクトル算出回路35、第2の空間生成処理回路36、変化度算出回路37、判定回路38及び部分空間更新回路39のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、又は、これらを組み合わせたものが該当する。
【0028】
画像変化検出装置4の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、画像変化検出装置4が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、CPU(Central Processing Unit)、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、DSP(Digital Signal Processor)が該当する。
【0029】
図3は、画像変化検出装置4が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
画像変化検出装置4が、ソフトウェア又はファームウェア等によって実現される場合、比較対象行列生成部12、第1のベクトル算出部13、第1の空間生成処理部14、検出対象行列生成部15、第2のベクトル算出部16、第2の空間生成処理部17、変化度算出部18、判定部19及び部分空間更新部20の処理手順をコンピュータに実行させるためのプログラムがメモリ41に格納される。そして、コンピュータのプロセッサ42がメモリ41に格納されているプログラムを実行する。
【0030】
また、
図2では、画像変化検出装置4の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、
図3では、画像変化検出装置4がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、画像変化検出装置4における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
【0031】
次に、
図1に示す画像変化検出装置4の動作について説明する。
図4は、画像変化検出装置4の処理手順である画像変化検出方法を示すフローチャートである。
図5は、レーダの観測電波に基づいて生成された電波画像の一例を示す説明図である。
図5に示す電波画像は、例えば、プロペラ式の小型ドローンにより得られた電波がマイクロドップラースペクトルグラムとして可視化されている画像である。
図5において、横軸は、時刻を示し、縦軸は、周波数を示している。
例えば、縦軸の中心付近において、横軸方向に延びている赤色の画素は、振幅が大きい画素であり、青色に近い画素ほど、振幅が小さい画素である。
図5に示す電波画像を構成している複数の画素のうち、目標を表している画素は、目標を表していない画素と比べて、振幅の時間的な変化が大きい。
図5に示す電波画像のうち、青色から赤色に急激に変化し、赤色から青色に急激に変化している範囲内の画素群は、目標を表している。
【0032】
画像生成部1は、レーダの観測電波に基づいて、
図5に示すような電波画像を生成する。
画像生成部1は、生成した電波画像のうち、比較対象期間T
1の電波画像を比較対象画像2(
図6を参照)として、部分空間生成部11の比較対象行列生成部12に出力する。
画像生成部1は、生成した電波画像のうち、変化検出期間T
2の電波画像を検出対象画像3(
図6を参照)として、部分空間生成部11の検出対象行列生成部15に出力する。
図6は、部分空間生成部11による第1の部分空間span(U
1)及び第2の部分空間span(U
2)の生成処理を示す説明図である。
図6では、便宜上、第1の部分空間span(U
1)及び第2の部分空間span(U
2)のそれぞれを円錐の形で表現している。実際には、第1の部分空間span(U
1)は、比較対象行列U
1に対する複数の左特異ベクトルLSV
1の集合が張る部分空間である。また、第2の部分空間span(U
2)は、検出対象行列U
2に対する複数の左特異ベクトルLSV
2の集合が張る部分空間である。
第1の部分空間span(U
1)及び第2の部分空間span(U
2)のそれぞれを含む全体の空間R
Dは、半球で表現している。
【0033】
比較対象行列生成部12は、画像生成部1から比較対象期間T
1の比較対象画像2を受けると、比較対象期間T
1の比較対象画像2を示す比較対象行列U
1を生成する(
図4のステップST1)。
比較対象画像2が、例えば、(x
1×y
1)個の画素値を有する2次元画像であれば、比較対象行列生成部12は、比較対象行列U
1として、x
1個の行方向の要素を有し、y
1個の列方向の要素を有する行列を生成する。x
1及びy
1のそれぞれは、1以上の整数である。
比較対象行列生成部12は、比較対象行列U
1を第1のベクトル算出部13に出力する。
【0034】
第1のベクトル算出部13は、比較対象行列生成部12から比較対象行列U
1を受けると、比較対象行列U
1に対する特異値分解を行うことで、比較対象画像2の左特異ベクトルLSV
1を算出する(
図4のステップST2)。
比較対象行列U
1に対する特異値分解を行うことによる左特異ベクトルLSV
1の算出処理自体は、公知の技術であるため詳細な説明を省略する。
第1のベクトル算出部13により算出される左特異ベクトルLSV
1の最大数は、比較対象行列U
1のランクによって決まる。第1のベクトル算出部13は、任意の数だけ、左特異ベクトルLSV
1を算出すればよい。任意の数は、第1のベクトル算出部13の内部メモリに格納されていてもよいし、外部から与えられるものであってもよい。
あるいは、第1のベクトル算出部13は、算出可能な複数の左特異ベクトルLSV
1の中から、特異値の累積寄与率が、或る閾値よりも大きい左特異ベクトルLSV
1を選択するようにしてもよい。
第1のベクトル算出部13は、算出した左特異ベクトルLSV
1を第1の空間生成処理部14に出力する。
【0035】
第1の空間生成処理部14は、第1のベクトル算出部13から左特異ベクトルLSV
1を受けると、左特異ベクトルLSV
1を基底とする第1の部分空間span(U
1)を生成する(
図4のステップST3)。
第1の部分空間span(U
1)は、比較対象画像2における複数の左特異ベクトルLSV
1のうち、比較対象行列U
1に対する特異値が大きい上位n本の左特異ベクトルLSV
1の集合が張る部分空間である。nは、2以上の整数である。なお、比較対象画像2における複数の左特異ベクトルLSV
1は、互いに直交しており、ノルムが1であるため、第1の部分空間span(U
1)の基底は、正規直交基底である。
第1の空間生成処理部14は、第1の部分空間span(U
1)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
【0036】
検出対象行列生成部15は、画像生成部1から変化検出期間T
2の検出対象画像3を受けると、検出対象画像3を示す検出対象行列U
2を生成する(
図4のステップST4)。
検出対象画像3が、例えば、(x
2×y
2)個の画素値を有する2次元画像であれば、検出対象行列生成部15は、検出対象行列U
2として、x
2個の行方向の要素を有し、y
2個の列方向の要素を有する行列を生成する。x
2及びy
2のそれぞれは、1以上の整数である。
図1に示す画像変化検出装置4では、x
1>x
2、y
1=y
2である。
検出対象行列生成部15は、検出対象行列U
2を第2のベクトル算出部16に出力する。
【0037】
第2のベクトル算出部16は、検出対象行列生成部15から検出対象行列U
2を受けると、検出対象行列U
2に対する特異値分解を行うことで、検出対象画像3の左特異ベクトルLSV
2を算出する(
図4のステップST5)。
検出対象行列U
2に対する特異値分解を行うことによる左特異ベクトルLSV
2の算出処理自体は、公知の技術であるため詳細な説明を省略する。
第2のベクトル算出部16により算出される左特異ベクトルLSV
2の最大数は、検出対象行列U
2のランクによって決まる。第2のベクトル算出部16は、任意の数だけ、左特異ベクトルLSV
2を算出すればよい。任意の数は、第2のベクトル算出部16の内部メモリに格納されていてもよいし、外部から与えられるものであってもよい。
あるいは、第2のベクトル算出部16は、算出可能な複数の左特異ベクトルLSV
2の中から、特異値の累積寄与率が、或る閾値よりも大きい左特異ベクトルLSV
2を選択するようにしてもよい。
第2のベクトル算出部16は、算出した左特異ベクトルLSV
2を第2の空間生成処理部17に出力する。
【0038】
第2の空間生成処理部17は、第2のベクトル算出部16から左特異ベクトルLSV
2を受けると、左特異ベクトルLSV
2を基底とする第2の部分空間span(U
2)を生成する(
図4のステップST6)。
第2の部分空間span(U
2)は、検出対象画像3における複数の左特異ベクトルLSV
2のうち、検出対象行列U
2に対する特異値が大きい上位m本の左特異ベクトルLSV
2の集合が張る部分空間である。mは、2以上の整数である。なお、検出対象画像3における複数の左特異ベクトルLSV
2は、互いに直交しており、ノルムが1であるため、第2の部分空間span(U
2)の基底は、正規直交基底である。
第2の空間生成処理部17は、第2の部分空間span(U
2)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
【0039】
変化度算出部18は、第1の空間生成処理部14から出力された第1の部分空間span(U
1)と、第2の空間生成処理部17から出力された第2の部分空間span(U
2)とを取得する。
変化度算出部18は、第1の部分空間span(U
1)と第2の部分空間span(U
2)との変化度c(t
2)を算出する(
図4のステップST7)。
変化度c(t
2)は、第1の部分空間span(U
1)と第2の部分空間span(U
2)との距離(
図6を参照)に相当する。変化度c(t
2)は、以下の式(1)のように表される。
変化度算出部18は、変化度c(t
2)を判定部19に出力する。
【0040】
判定部19は、変化度算出部18により算出された変化度c(t
2)と閾値θとを比較する。
判定部19は、変化度c(t
2)が閾値θ以上であれば(
図4のステップST8:YESの場合)、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化していると判定する(
図4のステップST9)。
判定部19は、変化していると判定すると、変化検出期間T
2中に電波画像の変化点がある旨を示す情報を外部に出力する。
判定部19は、変化度c(t
2)が閾値θ未満であれば(
図4のステップST8:NOの場合)、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化していないと判定する(
図4のステップST10)。
判定部19は、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化しているか否かを示す判定結果を変化度算出部18及び画像生成部1のそれぞれに出力する。
判定部19は、変化していないと判定すると、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化していない旨を示す判定結果を部分空間更新部20に出力する。
【0041】
画像生成部1は、判定部19から出力された判定結果が、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化している旨を示していれば、比較対象期間T
3の比較対象画像2を比較対象行列生成部12に出力し、変化検出期間T
4の検出対象画像3を検出対象行列生成部15に出力する。
画像生成部1は、判定部19から出力された判定結果が、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化していない旨を示していれば、比較対象期間T
3の比較対象画像2を比較対象行列生成部12に出力せずに、変化検出期間T
4の検出対象画像3を検出対象行列生成部15に出力する。
図7は、比較対象期間T
1,T
3,T
5の比較対象画像2及び変化検出期間T
2,T
4,T
6の検出対象画像3を示す説明図である。
ここでは説明の便宜上、判定部19から出力された判定結果が、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化していない旨を示しているものとする。したがって、画像生成部1は、比較対象期間T
3の比較対象画像2を比較対象行列生成部12に出力せずに、変化検出期間T
4の検出対象画像3を検出対象行列生成部15に出力する。
【0042】
部分空間更新部20は、判定部19から、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化していない旨を示す判定結果を受けると、第1の部分空間span(U
1)を更新する(
図4のステップST11)。
即ち、部分空間更新部20は、第1の部分空間生成処理部14から出力された第1の部分空間span(U
1)を取得し、第2の部分空間生成処理部17から出力された第2の部分空間span(U
2)を取得する。
部分空間更新部20は、第2の部分空間span(U
2)に近づくように第1の部分空間span(U
1)を回転させることによって、第1の部分空間span(U
1)を更新する。
判定部19が既に2回以上判定を行っている場合、部分空間更新部20は、判定部19から今回の判定結果を受ける前に、前回の判定結果を受けていることがある。部分空間更新部20は、判定部19から出力された前回の判定結果が変化していない旨を示しているために、既に第1の部分空間span(U
1)を更新している場合、第1の部分空間生成処理部14から出力された第1の部分空間span(U
1)の代わりに、更新後の第1の部分空間span(U
1)を更に更新する。
以下の式(2)は、第1の部分空間span(U
1)に係る比較対象行列U
1の更新式である。式(2)は、第1の部分空間span(U
1)に係る比較対象行列U
1と、第2の部分空間span(U
2)に係る検出対象行列U
2と、更新後の第1の部分空間span(U
1)である第1の部分空間span(U
3’)に係る比較対象行列U
3’との関係を示している。
式(2)において、μは、回転係数、Iは、単位行列である。
orth()は、正規直交化を行う関数である。正規直交化としては、例えば、グラムシュミットの直交化法を用いることができる。
部分空間更新部20は、更新後の第1の部分空間span(U
1)を、第1の部分空間span(U
3’)として、変化度算出部18に出力する。
【0043】
図8は、部分空間更新部20による第1の部分空間span(U
1)の更新処理を示す説明図である。
図8では、部分空間更新部20が、第2の部分空間span(U
2)に近づくように第1の部分空間span(U
1)を回転させている。
第2の部分空間span(U
2)に近づくように、第1の部分空間span(U
1)が回転されることで、第2の部分空間span(U
2)が有する情報が、第1の部分空間span(U
3’)に反映されるようになる。したがって、第1の部分空間span(U
3’)は、比較対象期間T
3に係る第1の部分空間span(U
3)と類似している部分空間となる。比較対象期間T
3に係る第1の部分空間span(U
3)は、部分空間生成部11によって、比較対象期間T
3の比較対象画像2から生成されたと仮定した場合の部分空間である。
【0044】
検出対象行列生成部15は、画像生成部1から変化検出期間T
4の検出対象画像3を受けると、検出対象画像3を示す検出対象行列U
4を生成し、検出対象行列U
4を第2のベクトル算出部16に出力する(
図4のステップST4)。
【0045】
第2のベクトル算出部16は、検出対象行列生成部15から検出対象行列U
4を受けると、検出対象行列U
4に対する特異値分解を行うことで、検出対象画像3の左特異ベクトルLSV
4を算出する(
図4のステップST5)。
第2のベクトル算出部16は、算出した左特異ベクトルLSV
4を第2の空間生成処理部17に出力する。
【0046】
第2の空間生成処理部17は、第2のベクトル算出部16から左特異ベクトルLSV
4を受けると、左特異ベクトルLSV
4を基底とする第2の部分空間span(U
4)を生成する(
図4のステップST6)。
第2の部分空間span(U
4)は、検出対象画像3における複数の左特異ベクトルLSV
4のうち、検出対象行列U
4に対する特異値が大きい上位m本の左特異ベクトルLSV
4の集合が張る部分空間である。
第2の空間生成処理部17は、第2の部分空間span(U
4)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
【0047】
変化度算出部18は、部分空間更新部20から出力された更新後の第1の部分空間span(U
1)である第1の部分空間span(U
3’)と、第2の空間生成処理部17から出力された第2の部分空間span(U
4)とを取得する。
変化度算出部18は、第1の部分空間span(U
3’)と第2の部分空間span(U
4)との変化度c(t
4)を算出する(
図4のステップST7)。
変化度c(t
4)は、第1の部分空間span(U
3’)と第2の部分空間span(U
4)との距離に相当する。変化度c(t
4)は、以下の式(3)のように表される。
変化度算出部18は、変化度c(t
4)を判定部19に出力する。
【0048】
判定部19は、変化度算出部18により算出された変化度c(t
4)と閾値θとを比較する。
判定部19は、変化度c(t
4)が閾値θ以上であれば(
図4のステップST8:YESの場合)、変化検出期間T
4の検出対象画像3が、比較対象期間T
3の比較対象画像2から変化していると判定する(
図4のステップST9)。
判定部19は、変化していると判定すると、変化検出期間T
4中に電波画像の変化点がある旨を示す情報を外部に出力する。
判定部19は、変化度c(t
4)が閾値θ未満であれば(
図4のステップST8:NOの場合)、変化検出期間T
4の検出対象画像3が、比較対象期間T
3の比較対象画像2から変化していないと判定する(
図4のステップST10)。
判定部19は、変化検出期間T
4の検出対象画像3が、比較対象期間T
3の比較対象画像2から変化しているか否かを示す判定結果を変化度算出部18及び画像生成部1のそれぞれに出力する。
判定部19は、変化していないと判定すると、変化検出期間T
4の検出対象画像3が、比較対象期間T
3の比較対象画像2から変化していない旨を示す判定結果を部分空間更新部20に出力する。
【0049】
画像生成部1は、判定部19から出力された判定結果が、変化検出期間T
4の検出対象画像3が、比較対象期間T
3の比較対象画像2から変化している旨を示していれば、比較対象期間T
5の比較対象画像2を比較対象行列生成部12に出力し、変化検出期間T
6の検出対象画像3を検出対象行列生成部15に出力する。
画像生成部1は、判定部19から出力された判定結果が、変化検出期間T
4の検出対象画像3が、比較対象期間T
3の比較対象画像2から変化していない旨を示していれば、比較対象期間T
5の比較対象画像2を比較対象行列生成部12に出力せずに、変化検出期間T
6の検出対象画像3を検出対象行列生成部15に出力する。
ここでは説明の便宜上、判定部19から出力された判定結果が、変化検出期間T
4の検出対象画像3が、比較対象期間T
3の比較対象画像2から変化している旨を示しているものとする。したがって、画像生成部1は、比較対象期間T
5の比較対象画像2を比較対象行列生成部12に出力し、変化検出期間T
6の検出対象画像3を検出対象行列生成部15に出力する。
【0050】
比較対象行列生成部12は、画像生成部1から比較対象期間T
5の比較対象画像2を受けると、比較対象期間T
5の比較対象画像2を示す比較対象行列U
5を生成し、比較対象行列U
5を第1のベクトル算出部13に出力する(
図4のステップST1)。
【0051】
第1のベクトル算出部13は、比較対象行列生成部12から比較対象行列U
5を受けると、比較対象行列U
5に対する特異値分解を行うことで、比較対象画像2の左特異ベクトルLSV
5を算出する(
図4のステップST2)。
第1のベクトル算出部13は、算出した左特異ベクトルLSV
5を第1の空間生成処理部14に出力する。
【0052】
第1の空間生成処理部14は、第1のベクトル算出部13から左特異ベクトルLSV
5を受けると、左特異ベクトルLSV
5を基底とする第1の部分空間span(U
5)を生成する(
図4のステップST3)。
第1の部分空間span(U
5)は、比較対象画像2における複数の左特異ベクトルLSV
5のうち、比較対象行列U
5に対する特異値が大きい上位n本の左特異ベクトルLSV
1の集合が張る部分空間である。
第1の空間生成処理部14は、第1の部分空間span(U
5)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
【0053】
検出対象行列生成部15は、画像生成部1から変化検出期間T
6の検出対象画像3を受けると、検出対象画像3を示す検出対象行列U
6を第2のベクトル算出部16に出力する(
図4のステップST4)。
【0054】
第2のベクトル算出部16は、検出対象行列生成部15から検出対象行列U
6を受けると、検出対象行列U
6に対する特異値分解を行うことで、検出対象画像3の左特異ベクトルLSV
6を算出する(
図4のステップST5)。
第2のベクトル算出部16は、算出した左特異ベクトルLSV
6を第2の空間生成処理部17に出力する。
【0055】
第2の空間生成処理部17は、第2のベクトル算出部16から左特異ベクトルLSV
6を受けると、左特異ベクトルLSV
6を基底とする第2の部分空間span(U
6)を生成する(
図4のステップST6)。
第2の部分空間span(U
6)は、検出対象画像3における複数の左特異ベクトルLSV
6のうち、検出対象行列U
6に対する特異値が大きい上位m本の左特異ベクトルLSV
6の集合が張る部分空間である。
第2の空間生成処理部17は、第2の部分空間span(U
6)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
【0056】
変化度算出部18は、第1の空間生成処理部14から出力された第1の部分空間span(U
5)と、第2の空間生成処理部17から出力された第2の部分空間span(U
6)とを取得する。
変化度算出部18は、第1の部分空間span(U
5)と第2の部分空間span(U
6)との変化度c(t
6)を算出する(
図4のステップST7)。
変化度c(t
6)は、第1の部分空間span(U
5)と第2の部分空間span(U
6)との距離に相当する。変化度c(t
6)は、以下の式(4)のように表される。
変化度算出部18は、変化度c(t
6)を判定部19に出力する。
【0057】
判定部19は、変化度算出部18により算出された変化度c(t
6)と閾値θとを比較する。
判定部19は、変化度c(t
6)が閾値θ以上であれば(
図4のステップST8:YESの場合)、変化検出期間T
6の検出対象画像3が、比較対象期間T
5の比較対象画像2から変化していると判定する(
図4のステップST9)。
判定部19は、変化していると判定すると、変化検出期間T
6中に電波画像の変化点がある旨を示す情報を外部に出力する。
判定部19は、変化度c(t
6)が閾値θ未満であれば(
図4のステップST8:NOの場合)、変化検出期間T
6の検出対象画像3が、比較対象期間T
5の比較対象画像2から変化していないと判定する(
図4のステップST10)。
判定部19は、変化検出期間T
6の検出対象画像3が、比較対象期間T
5の比較対象画像2から変化しているか否かを示す判定結果を変化度算出部18及び画像生成部1のそれぞれに出力する。
判定部19は、変化していないと判定すると、変化検出期間T
6の検出対象画像3が、比較対象期間T
5の比較対象画像2から変化していない旨を示す判定結果を部分空間更新部20に出力する。
図1に示す画像変化検出装置4は、画像生成部1から検出対象画像3が出力されなくなるまで、
図4に示す処理手順を実行する。
【0058】
以上の実施の形態1では、判定部19により変化していないと判定されると、第2の部分空間に近づくように第1の部分空間を回転させることによって、第1の部分空間を更新する部分空間更新部20を備え、変化度算出部18が、判定部19により変化していないと判定されると、部分空間更新部20による更新後の第1の部分空間と、変化検出期間の次の変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間との変化度を算出するように、画像変化検出装置4を構成した。したがって、画像変化検出装置4は、或る変化検出期間の画像が、比較対象期間の画像から変化していなければ、当該比較対象期間の次の比較対象期間の画像については特異値分解することなく、或る変化検出期間の次の変化検出期間の画像が、当該比較対象期間の次の比較対象期間の画像から変化しているか否かを判定することができる。
【0059】
実施の形態2.
実施の形態2では、部分空間更新部21が、変化度算出部18により算出された変化度が大きいほど、第1の部分空間を大きく回転させることによって、第1の部分空間を更新する画像変化検出装置4について説明する。
【0060】
図9は、実施の形態2に係る画像変化検出装置4を示す構成図である。
図10は、実施の形態2に係る画像変化検出装置4のハードウェアを示すハードウェア構成図である。
図9及び
図10において、
図1及び
図2と同一符号は同一又は相当部分を示すので詳細な説明を省略する。
部分空間更新部21は、例えば、
図10に示す部分空間更新回路40によって実現される。
部分空間更新部21は、判定部19により、例えば、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化していないと判定されると、
図1に示す部分空間更新部20と同様に、第2の部分空間span(U
2)に近づくように第1の部分空間span(U
1)を回転させることによって、第1の部分空間span(U
1)を更新する。
ただし、部分空間更新部21は、
図1に示す部分空間更新部20と異なり、変化度算出部18により算出された変化度c(t
2)が大きいほど、第1の部分空間span(U
1)を大きく回転させることによって、第1の部分空間span(U
1)を更新する。
部分空間更新部21は、更新後の第1の部分空間span(U
1)を、第1の部分空間span(U
3’)として、変化度算出部18に出力する。
【0061】
図9では、画像変化検出装置4の構成要素である比較対象行列生成部12、第1のベクトル算出部13、第1の空間生成処理部14、検出対象行列生成部15、第2のベクトル算出部16、第2の空間生成処理部17、変化度算出部18、判定部19及び部分空間更新部21のそれぞれが、
図10に示すような専用のハードウェアによって実現されるものを想定している。即ち、画像変化検出装置4が、比較対象行列生成回路31、第1のベクトル算出回路32、第1の空間生成処理回路33、検出対象行列生成回路34、第2のベクトル算出回路35、第2の空間生成処理回路36、変化度算出回路37、判定回路38及び部分空間更新回路40によって実現されるものを想定している。
部分空間更新回路40は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、又は、これらを組み合わせたものが該当する。
【0062】
画像変化検出装置4の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、画像変化検出装置4が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
画像変化検出装置4が、ソフトウェア又はファームウェア等によって実現される場合、比較対象行列生成部12、第1のベクトル算出部13、第1の空間生成処理部14、検出対象行列生成部15、第2のベクトル算出部16、第2の空間生成処理部17、変化度算出部18、判定部19及び部分空間更新部21の処理手順をコンピュータに実行させるためのプログラムが、
図3に示すメモリ41に格納される。そして、
図3に示すプロセッサ42がメモリ41に格納されているプログラムを実行する。
【0063】
また、
図9では、画像変化検出装置4の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、
図3では、画像変化検出装置4がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、画像変化検出装置4における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
【0064】
次に、
図9に示す画像変化検出装置4の動作について説明する。
部分空間更新部21以外は、
図1に示す画像変化検出装置4と同様であるため、ここでは、主に、部分空間更新部21の動作を説明する。
【0065】
変化度算出部18は、実施の形態1と同様に、例えば、第1の部分空間span(U
1)と第2の部分空間span(U
2)との変化度c(t
2)を算出する。
変化度算出部18は、変化度c(t
2)を判定部19及び部分空間更新部21のそれぞれに出力する。
【0066】
部分空間更新部21は、判定部19から、例えば、変化検出期間T
2の検出対象画像3が、比較対象期間T
1の比較対象画像2から変化していない旨を示す判定結果を受けると、
図1に示す部分空間更新部20と同様に、第1の部分空間span(U
1)を更新する。
ただし、部分空間更新部21は、
図1に示す部分空間更新部20と異なり、変化度算出部18により算出された変化度c(t
2)に基づいて、式(2)に含まれている回転係数μを算出する。回転係数μは、変化度算出部18により算出された変化度c(t
2)が大きいほど、第1の部分空間span(U
1)を大きく回転させるための係数である。
したがって、部分空間更新部21は、
図1に示す部分空間更新部20と異なり、変化度算出部18により算出された変化度c(t
2)が大きいほど、第1の部分空間span(U
1)を大きく回転させることによって、第1の部分空間span(U
1)を更新する。
なお、第1の部分空間span(U
1)の最大の回転は、第2の部分空間span(U
2)と重なる位置までの回転である。部分空間更新部21は、更新後の第1の部分空間span(U
1)である第1の部分空間span(U
3’)が、第1の部分空間span(U
1)と第2の部分空間span(U
2)との間に存在するように、第1の部分空間span(U
1)を回転させる。
【0067】
部分空間更新部21は、以下の式(5)に示すように、回転係数μを算出する。
【0068】
式(5)に示す回転係数μは、
図11に示すように、第2の部分空間span(U
2)に対する第1の部分空間span(U
1)の射影長L
1と、直交補空間span(U
1/2)に対する第1の部分空間span(U
1)の射影長L
2との比によって算出されるものである。
図11は、第2の部分空間span(U
2)に対する第1の部分空間span(U
1)の射影長L
1と、直交補空間span(U
1/2)に対する第1の部分空間span(U
1)の射影長L
2とを示す説明図である。
【0069】
以上の実施の形態2では、部分空間更新部21が、変化度算出部18により算出された変化度が大きいほど、第1の部分空間を大きく回転させることによって、第1の部分空間を更新するように、
図9に示す画像変化検出装置4を構成した。したがって、
図9に示す画像変化検出装置4は、
図1に示す画像変化検出装置4よりも、更新後の第1の部分空間を、第1の空間生成処理部14により生成される第1の部分空間に近づけることができる。
【0070】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。