IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エヌイーシー ラボラトリーズ アメリカ インクの特許一覧

<>
  • 特許-異常検出のための背景抑制 図1
  • 特許-異常検出のための背景抑制 図2
  • 特許-異常検出のための背景抑制 図3
  • 特許-異常検出のための背景抑制 図4
  • 特許-異常検出のための背景抑制 図5
  • 特許-異常検出のための背景抑制 図6
  • 特許-異常検出のための背景抑制 図7
  • 特許-異常検出のための背景抑制 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-27
(45)【発行日】2022-10-05
(54)【発明の名称】異常検出のための背景抑制
(51)【国際特許分類】
   G06T 7/00 20170101AFI20220928BHJP
【FI】
G06T7/00 600
【請求項の数】 20
(21)【出願番号】P 2021530106
(86)(22)【出願日】2020-02-14
(65)【公表番号】
(43)【公表日】2022-01-26
(86)【国際出願番号】 US2020018298
(87)【国際公開番号】W WO2020172063
(87)【国際公開日】2020-08-27
【審査請求日】2021-05-27
(31)【優先権主張番号】16/790,242
(32)【優先日】2020-02-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/807,002
(32)【優先日】2019-02-18
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】504080663
【氏名又は名称】エヌイーシー ラボラトリーズ アメリカ インク
【氏名又は名称原語表記】NEC Laboratories America, Inc.
(74)【代理人】
【識別番号】100123788
【弁理士】
【氏名又は名称】宮崎 昭夫
(74)【代理人】
【識別番号】100127454
【弁理士】
【氏名又は名称】緒方 雅昭
(72)【発明者】
【氏名】チェン、 ユンコン
(72)【発明者】
【氏名】ソン、 ドンジン
(72)【発明者】
【氏名】チェン、 ハイフォン
【審査官】藤原 敬利
(56)【参考文献】
【文献】特開2008-161157(JP,A)
【文献】特開2016-070676(JP,A)
【文献】特開2013-072772(JP,A)
【文献】特開2014-096138(JP,A)
【文献】叶 旭君,酒井 憲司,異業種での映像情報メディア利用〔第5回〕ハイパースペクトルイメージングの農業への応用,映像情報メディア学会誌,日本,一般社団法人映像情報メディア学会,2015年,第69巻,第5号,464-469頁
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06T 7/00 - 7/90
G06V 10/00 -20/90
G06V 30/418
G06V 40/16 、40/20
(57)【特許請求の範囲】
【請求項1】
マルチチャネル時空間系列を4次元アレイとして構築することと(610)、
背景信号を表す低ランク成分と、前記マルチチャネル時空間系列の各時点に関する異常を表す残余成分とを形成するために前記4次元アレイを分解することと(620)、
全ての時点における残余成分を一体に積み重ねることで、異常マップの系列を判定することと(630)、
前記異常マップの系列に基づいて異常を特定することと(640)、
を有する異常検出方法。
【請求項2】
前記異常マップの系列に基づいて前記異常を特定することが、ハイパースペクトルイメージングの系列における異常を特定することをさらに有する、請求項1に記載の方法。
【請求項3】
異なる空間的位置と異なるチャネルとの間の依存性を考慮して平坦化を実施することをさらに有する、請求項1に記載の方法。
【請求項4】
前記4次元アレイを分解することが、入力信号アレイXを低ランク成分Lと残余成分Rの2つの成分に分解することをさらに有し、
X=L+Rであり、Lが背景の部分空間に対する元の信号の投影を表し、Rが異常ターゲットの背景抑制された信号を表す、請求項1に記載の方法。
【請求項5】
前記4次元アレイを分解することが、各次元に関して前記背景信号の推定される変化の程度を示す正の整数を割り当てることをさらに有する、請求項1に記載の方法。
【請求項6】
前記4次元アレイを分解することが、
各次元における入力信号の変化を特徴づける基底のセットを決定することと、
元の信号を基底のセットに関して係数表現に簡略化することと、をさらに有する、請求項1に記載の方法。
【請求項7】
背景の部分空間に対する元の信号の投影から入力信号を含むアレイを復元することをさらに有し、
前記復元されたアレイが、基底のセットの情報に限定される、請求項6に記載の方法
【請求項8】
前記マルチチャネル時空間系列を構築することが、2次元空間シーンのハイパースペクトルイメージングの系列を構築することをさらに有する、請求項1に記載の方法。
【請求項9】
前記マルチチャネル時空間系列を構築することが、農作物の栄養不足または水不足、ガスパイプラインの漏洩のうちの少なくとも1つを検出することに基づく、農業及び環境における監視を実施することをさらに有する、請求項8に記載の方法。
【請求項10】
1日のまたは季節の気温変動及び空間的位置とスペクトルバンドの間の相互依存性の少なくとも1つを決定することをさらに有する、請求項1に記載の方法。
【請求項11】
前記4次元アレイが、距離、角度、周波数チャネル及び時間の次元を含む、請求項1に記載の方法。
【請求項12】
異常検出のためのコンピュータシステムであって、
マルチチャネル時空間系列を4次元アレイとして構築し(610)、
背景信号を表す低ランク成分と、前記マルチチャネル時空間系列の各時点に関する異常を表す残余成分とを形成するために前記4次元アレイを分解し(620)、
全ての時点における残余成分を一体に積み重ねることで、異常マップの系列を判定し(630)、
前記異常マップの系列に基づいて異常を特定する(640)ように構成されたプロセッサ装置を有する、コンピュータシステム。
【請求項13】
前記プロセッサ装置は、前記異常マップの系列に基づいて前記異常を特定するとき、ハイパースペクトルイメージングの系列で異常を特定するようにさらに構成された、請求項12に記載のシステム。
【請求項14】
前記プロセッサ装置は、異なる空間的位置と異なるチャネルとの間の依存性を考慮して平坦化を実施するようにさらに構成された、請求項12に記載のシステム。
【請求項15】
前記4次元アレイを分解するとき、前記プロセッサ装置は、
入力信号アレイXを低ランク成分Lと残余成分Rの2つの成分に分解するようにさらに構成され、
X=L+Rであり、Lが背景の部分空間に対する元の信号の投影を表し、Rが異常ターゲットの背景抑制された信号を表す、請求項12に記載のシステム。
【請求項16】
前記4次元アレイを分解するとき、前記プロセッサ装置は、各次元に関して前記背景信号の推定される変化の程度を示す正の整数を割り当てるようにさらに構成された、請求項12に記載のシステム。
【請求項17】
前記4次元アレイを分解するとき、前記プロセッサ装置は、
各次元における入力信号の変化を特徴づける基底のセットを決定し、
元の信号を基底のセットに関して係数表現に簡略化するようにさらに構成された、請求項12に記載のシステム。
【請求項18】
前記プロセッサ装置は、背景の部分空間に対する元の信号の投影から入力信号を含むアレイを復元するようにさらに構成され、前記復元されたアレイが基底のセットの情報に限定される、請求項17に記載のシステム。
【請求項19】
前記マルチチャネル時空間系列を構築するとき、前記プロセッサ装置は、2次元空間シーンのハイパースペクトルイメージングの系列を構築するようにさらに構成された、請求項12に記載のシステム。
【請求項20】
異常検出のためのコンピュータプログラム製品であって、
前記コンピュータプログラム製品は、プログラム命令が実装された非一時的にコンピュータで読み取り可能な記録媒体を有し、前記プログラム命令はコンピュータ装置によって実行可能であり、
前記コンピュータ装置に、
マルチチャネル時空間系列を4次元アレイとして構築することと(610)、
背景信号を表す低ランク成分と、前記マルチチャネル時空間系列の各時点に関する異常を表す残余成分とを形成するために前記4次元アレイを分解することと(620)、
全ての時点における残余成分を一体に積み重ねることで、異常マップの系列を判定することと(630)、
前記異常マップの系列に基づいて異常を特定することと(640)、
を有する方法を実行させる、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
この出願は、2019年2月18日に出願された米国特許仮出願第62/807,002号及び2020年2月13日に出願された米国特許出願第16/790,242号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【0002】
本発明は、異常検出に関し、特にマルチチャネル時空間データにおける異常検出に関する。
【背景技術】
【0003】
マルチチャネル時空間系列は、時間の経過に伴う空間的位置について記録された2つ以上のチャネルを有するデータである。スキャナによって記録されたハイパースペクトルイメージング等のマルチチャネル時空間データは、各時点の3次元データアレイを形成する。3次元は2つの空間次元とチャネル次元(ハイパースペクトルイメージングのコンテキストにおけるスペクトルバンド)である。そのようなデータを処理する多くの現実世界のアプリケーションでは、正常信号からの異常の特定に使用されることが知られている。
【発明の概要】
【0004】
本発明の一態様によれば、異常検出のための方法が提供される。本方法は、マルチチャネル時空間系列を4次元アレイとして構築することを含む。また、本方法は、背景信号を表す低ランク成分と、マルチチャネル時空間系列の各時点に関する異常を表す残余成分とを形成するために4次元アレイを分解することを含む。さらに、本方法は、全ての時点における残余成分を一体に積み重ねることで、異常マップの系列を決定することを含む。異常は、異常マップの系列に基づいて異常を特定される。
【0005】
本発明の別の態様によれば、異常検出のためのシステムが提供される。システムは、メモリ装置に動作可能に接続されたプロセッサ装置を含む。プロセッサ装置は、マルチチャネル時空間系列を4次元アレイとして構築するように構成される。また、プロセッサ装置は、背景信号を表す低ランク成分と、マルチチャネル時空間系列の各時点に関する異常を表す残余成分とを形成するために4次元アレイを分解する。さらに、プロセッサ装置は、全ての時点における残余成分を一体に積み重ねることで、異常マップの系列を決定する。異常は、異常マップの系列に基づいて特定される。
【0006】
これらの及び他の特徴並びに利点は、以下の典型的な実施形態の詳細な説明を添付の図面と併せて読むことで明らかになるであろう。
【0007】
本開示では、以下の図面を参照しながら好ましい実施形態について、以下で詳細に説明する。
【図面の簡単な説明】
【0008】
図1図1は、本発明の一実施形態による、例示的な処理システムを示すブロック図である。
【0009】
図2図2は、本発明の一実施形態による、マルチチャネル時空間データにおける背景分離及び異常検出のための高レベルシステムを示す概略及びブロック図である。
【0010】
図3図3は、本発明の一実施形態による、4次元アレイとして構築された入力マルチチャネル時空間系列を受信するための構成要素を示すブロック図である。
【0011】
図4図4は、本発明の一実施形態による、マルチチャネル時空間系列を分解するための構成要素を示すブロック図である。
【0012】
図5図5は、本発明の一実施形態による、異常マップの系列をコンパイルするためのコンポーネントを示すブロック図である。
【0013】
図6図6は、本発明の一実施形態による、マルチチャネル時空間データにおける異常検出のための方法を示すフロー図である。
【0014】
図7図7は、本発明の一実施形態による、低ランク成分及び残余成分を生成するための方法を示すフロー図である。
【0015】
図8図8は、本発明の一実施形態による、ハイパースペクトルマルチチャネル時空間データにおける異常を検出するための装置を示すブロック図である。
【発明を実施するための形態】
【0016】
本発明の実施形態によれば、マルチチャネル時空間データにおける異常検出のためのシステム及び方法が提供される。本システムは、4次元(4-D)構成(距離、角度、周波数チャネル及び時間)で入力信号を受信し、この4次元アレイ上で直接分解を行う。通常、背景信号は変化の程度が限られているという仮定に基づいて、本システムは、入力信号アレイXを低ランク成分Lと残余成分Rの2つの成分に分解する。
【0017】
一実施形態において、本システムは、本システムから出力する異常マップの系列を取得するために、全ての時点で推定される残余成分を一体に積み重ねる。実施形態において、本システムは、2次元(2-D)シーンが走査され、各画素が広範囲の波長帯で記録される、ハイパースペクトルイメージングに適用される。本システムは、農作物の栄養不足または水不足を検出することを含む、あるいはガスパイプラインの漏洩等の危険を検出することを含む、農業及び環境監視のための用途に組み込むことができる
【0018】
本明細書で記載する実施形態は、全てハードウェアで実現してもよく、全てソフトウェアで実現してもよく、ハードウェアとソフトウェアの両方の要素を含んでいてもよい。好ましい実施形態において、本発明は、ファームウェア、常駐ソフトウェア、マイクロコード等を含むが、これらに限定されないソフトウェアでも実現可能である。
【0019】
実施形態には、コンピュータもしくは任意の命令実行システムによって使用される、または関連して使用されるプログラムコードを提供する、コンピュータで使用可能な、またはコンピュータで読み取り可能な媒体からアクセスできる、コンピュータプログラム製品を含んでもいてよい。コンピュータで使用可能な、またはコンピュータで読み取り可能な媒体には、命令実行システム、機器、もしくは装置によって使用される、または関連して使用されるプログラムを格納、伝達、伝搬または転送する任意の機器を含んでいてもよい。該媒体は、磁気媒体、光学媒体、電子媒体、電磁気媒体、赤外線媒体または半導体システム(または機器もしくは装置)、あるいは伝搬媒体であってもよい。該媒体には、半導体または固体メモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、リジッド磁気ディスク及び光ディスク等のコンピュータで読み取り可能な媒体を含んでいてもよい。
【0020】
各コンピュータプログラムは、汎用または特別な目的を持つプログラム可能なコンピュータで読み取ることができる、機械で読み取り可能なストレージメディアまたは装置(例えば、プログラムメモリまたは磁気ディスク)に格納される。該コンピュータプログラムは、ストレージメディアまたは装置から本明細書に記載された手順を実行するコンピュータで読み出される、該コンピュータの設定及び制御動作のためのものである。本発明のシステムには、本明細書に記載した機能を実行する、特定の及び事前に定義された方法をコンピュータに動作させるように構成されたコンピュータプログラムを含む、コンピュータで読み取り可能なストレージメディアも考慮される。
【0021】
プログラムコードを記憶及び/または実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接または間接的に接続された少なくとも1つのプロセッサを備えていてもよい。このメモリ要素には、処理の実行中にバルクメモリ装置からコードが検索される回数を減らすために、プログラムコードの実際の実行中に用いられるローカルメモリ、バルクメモリ装置及び少なくともいくつかのプログラムコードを一時的に記憶するキャッシュメモリを備えていてもよい。入出力またはI/O装置(限定されるものではないが、キーボード、ディスプレイ、ポインティング装置等を含む)は、直接またはI/Oコントローラを介してシステムに接続されてもよい。
【0022】
ネットワークアダプタは、データ処理システムが、プライベートネットワークまたは公衆ネットワークを介して、他のデータ処理システムまたはリモートプリンタもしくはメモリ装置に接続されることを可能にするために、上記システムと接続されていてもよい。モデム、ケーブルモデム及びイーサネット(登録商標)カードは、現在利用可能なタイプのネットワークアダプタのほんの一例である。
【0023】
図1は、本発明の一実施形態による、例示的な処理システム100を示すブロック図である。処理システム100は、1組の処理ユニット(例えば、CPU)101と、1組のGPU102と、1組のメモリ装置103と、1組の通信装置104と、1組の周辺装置105とを含む。CPU101は、シングルコアまたはマルチコアCPUとすることができる。GPU102は、シングルコアまたはマルチコアGPUとすることができる。1つまたは複数のメモリ装置103は、キャッシュ、RAM、ROM及び他のメモリ(フラッシュ、光、磁気等)を含むことができる。通信装置104は、無線及び/または有線通信装置(例えば、ネットワーク(例えば、WIFIなど)アダプタ等)を含むことができる。周辺機器105は、表示装置、ユーザ入力装置、プリンタ、撮像装置等を含むことができる。処理システム100の各要素は、1つまたは複数のバスまたはネットワーク(まとめて参照番号110で示す)によって接続される。
【0024】
一実施形態において、メモリ装置103は、コンピュータ処理システムを、本発明の様々な態様を実施するように構成された特別な目的のコンピュータに変換する、特別にプログラムされたソフトウェアモジュールを保存できる。一実施形態において、本発明の様々な態様を実施するために、専用のハードウェア(例えば、特定用途向け集積回路、FPGA(Field Programmable Gate Arrays)等)を用いることができる。
【0025】
一実施形態において、メモリ装置103は、マルチチャネル時空間入力の4次元(4-D)アレイ構築170、背景分離180、異常検出190等のうち、1つまたは複数を実現するためのプログラムコードを格納する。マルチチャネル時空間入力の4-Dアレイ構築170は、入力マルチチャネル時空間系列を4次元アレイとして構築することを含む。背景分離180は、高次元アレイを低ランク成分と残余成分とに分解する。異常検出190は、例えばハイパースペクトルイメージングにおいて異常検出を実施する。
【0026】
もちろん、処理システム100は、当業者であれば容易に思いつくような他の要素(不図示)を含んでいてもよく、特定の要素を除いてもよい。例えば、当業者であれば容易に理解できるが、処理システム100には、その詳細な実装に応じて他の様々な入力デバイス及び/または出力デバイスを含むことができる。例えば、無線及び/または有線による種々の入力デバイス及び/または出力デバイスを使用できる。さらに、当業者であれば容易に理解できるが、様々な構成において追加のプロセッサ、コントローラ、メモリ等を用いることも可能である。処理システム100の上記及び他の変形例は、本明細書で提供される本原理の教示によって当業者であれば容易に考えられるであろう。
【0027】
さらに、本発明に関連する様々な要素及びステップに関して以下で説明するように、システム100の要素のうちの1つまたは複数によって、全体的にまたは部分的に実施できることは、様々な図によって理解される。
【0028】
次に図2を参照すると、図2には、本発明の一実施形態による、背景分離及び異常検出システム200のブロック図が例示的に示されている。
【0029】
図2で示すように、背景分離及び異常検出システム200は、マルチチャネル時空間入力の4-Dアレイ構築210、背景分離220及び異常検出230を実施する。システム200は、背景信号の特性を学習し、背景信号を元の信号から排除するために、データ駆動処理を実施する。
【0030】
背景分離及び異常検出システム200は、(例えば、元の)4次元構成(距離、角度、周波数チャネル及び時間)の信号を受信及び入力し(これとは対照的に、入力信号を2次元(2D)マトリクス(例えば、図3に関連して以下で説明するように)に再成形し)、この4次元アレイで直接分解を行う。システム200は、通常、背景信号の変化の程度が限られているという仮定で動作できる。システム200は、図4に関連して以下で説明するように、背景分離220を用いて入力信号アレイ(「X」)を2つの成分、すなわち低ランク成分(「L」)と残余成分(「R」)とに分解する。これは、X=L+Rとしてフォーマット化できる。この場合、Lは背景の部分空間に対する元の信号の投影を表し、Rは異常ターゲットの背景抑制された信号を表す。
【0031】
システム200は、例えば図5に関して以下で説明するように、(例えば、全ての)時点で一体に積み重ねられた、推定された残余成分に基づいて、(例えば、ハイパースペクトルイメージングにおける)異常検出230を実行する。システム200は、2-dシーンをスキャンし、広範囲の波長帯において各画素を記録するハイパースペクトルイメージングに適用できる。例えば、システム200は、農作物の栄養不足または水不足を検出すること、ガスパイプラインの漏洩等の危険を検出することを含む、農業及び環境監視のハイパースペクトルイメージングにおける異常を検出できる。システム200は、背景信号が、1日の時間経過または季節の気温変動によって、並びに空間的位置とスペクトルバンドとの間の相互依存性によって変化する場合でも、これらの異常を検出できる。
【0032】
次に、図3を参照すると、図3には、本発明の一実施形態による、マルチチャネル時空間入力の4-Dアレイ構築210のための構成要素のブロック図が例示的に示されている。
【0033】
図3で示すように、マルチチャネル時空間入力の4-Dアレイ構築210は、4次元アレイとして構築された入力マルチチャネル時空間系列を受信できる。
【0034】
4-Dマルチチャネル時空間入力のアレイ構築210は、各時点でスキャナによって記録されたハイパースペクトルイメージング等のマルチチャネル時空間データを処理することが可能であり、3次元データアレイを形成する。3次元は、2つの空間次元310及びチャネル次元320(ハイパースペクトルイメージングのコンテキストにおけるスペクトルバンド)である。
【0035】
4-Dマルチチャネル時空間入力のアレイ構築210は、2-Dシーンを走査し、広範囲の波長帯で各画素を記録する、ハイパースペクトルイメージングを受信できる。
【0036】
次に図4を参照すると、図4には、本発明の一実施形態による、背景分離220のためのコンポーネントのブロック図が例示的に示されている。
【0037】
背景分離220は、入力系列の各時点に関する3次元アレイを取得し、背景信号を表す低ランク成分410と異常を表す残余成分420とを生成する。背景分離220は、背景信号410(例えば、通常)の変化の程度が限られているという仮定に基づいて動作できる。背景分離220は、以下のようなプロセスを実行できる。
【0038】
【数1】
【0039】
Xは、入力ハイパースペクトルデータを表す4次元アレイである。このプロセスにおいて、X(i)はアレイXのモードi展開を示し、i次元を固定し、残りの次元を平坦化することでXを2次元行列に再形成することとして定義される。Uは基底行列である。Uの列はX(i)の左特異ベクトルである。Sは、「コア」行列と呼ばれ、基底を用いて表される入力データの係数を表す。Lは、入力データの復元であり、背景を表す。Rは、復元された背景を除去した後のデータの残余である。これは、異常マップを形成する。多次元配列Xのモードi展開は、X(i)で表される、以下のようにXを再形成することで得られる2次元行列であり、Xが形状dxdx...xNのアレイである場合、Xの要素(u,u,...u)は、
【0040】
【数2】
でX(i)の要素(u,v)にマップされる。
【0041】
演算子Xiは、n元アレイの平坦化「ファイバ」と2-d行列とを掛けたiモード積を表す。背景分離220は、n元アレイを、その形状がi番目の次元を除いて元と同じである別のn元アレイに変化させる。
【0042】
このプロセスへの入力は、マルチチャネル時空間系列Xである。Xの次元数はdで表す。2次元空間シーンのハイパースペクトルイメージングの場合、d=4である。
【0043】
例示的な実施形態によれば、背景分離220は、最初に各次元に関して背景信号の推定される変化の程度を示す正の整数(例えば、ユーザまたはデバイスによって提供される)のセットを受信する。装置(またはユーザ)は、経験的にこれらの数値を決定できる
【0044】
次に、入力アレイの展開されたバージョンの主要な特異ベクトルが各次元に関して見出される(例えば、特定される)。背景分離220は、それによって各次元における入力信号の変化を適切に特徴付ける(例えば、小さい、十分な等々)基底のセットを取得できる。基底のセットは、次元(例えば、時空間の次元)のそれぞれに関するアレイのベクトル空間におけるベクトルを記述できる。
【0045】
背景分離220は、入力信号を全ての次元に関して基底のセットに投影できる。この動作を実行することで、背景分離220は、推定された基底のセットに関して元の信号を係数表現(「S」)に簡略化する。
【0046】
背景分離220は、投影から入力信号の復元を実行する。復元されたアレイ(「L」)は選択された基底のセットに関する情報のみを含み、その結果、低ランクである。これは背景信号410を表す。背景分離220は、ロウ信号から背景を減算することで残余420を取得する。
【0047】
次に図5を参照すると、図5には、本発明の一実施形態による、異常検出コンポーネント230のブロック図が例示的に示されている。
【0048】
全ての時点における推定された残余成分510は、本システムの出力である異常マップの系列を得るために一体に積み重ねられる。異常検出230は、ハイパースペクトルイメージングに適用できる。例えば、農業及び環境監視におけるハイパースペクトルイメージングの用途は、農作物の栄養不足または水不足を検出すること、ガスパイプラインの漏洩等の危険を検出することを含む。システム200は、背景信号が、1日の時間経過または季節の気温変動によって、並びに空間的位置とスペクトルバンドとの間の相互依存性によって、しばしば変化するにもかかわらず(例えば、判定し、それにより調整することで)、これらの異常を検出する。システム200は、異なる空間的位置と異なるチャネルとの間の依存性を考慮して、背景をロバストに特徴付ける。
【0049】
上述した例示的な実施形態は、入力信号Xを多次元アレイとして扱い、結果として、背景信号の次元間の依存性をモデル化し、背景をより正確に特徴付けて、異常検出をよりロバストにすることができる。
【0050】
依存性をモデル化しない代替の実施形態によれば、システムは、入力信号Xを、行が異なる時間ステップに対応し、列が異なる空間的位置及びスペクトルバンドに対応する2次元行列として扱う。この場合、列、または異なる空間的位置及びスペクトルバンドは、互いに独立していることが示唆される。しかしながら、実際の状況では、空間次元とスペクトル次元とを相関させる隠れた要因がしばしば存在する。例えば、ある種の植生は、特定の地域で成長する傾向があり、特定のスペクトルシグネチャを有する。
【0051】
例示的な実施形態において、システム200は、異常マップの系列に基づいて異常(例えば、農作物の栄養不足または水不足、ガスパイプラインの漏洩等の危険を検出する)を特定520する。システム200は、異常に基づいて処置を開始することができる。例示的な実施形態によれば、システム200は、例えば、閾値未満の要素をゼロに設定する閾値処理を行うことで、実数の異常マップをバイナリマップに変換できる。このバイナリマップは、デジタル画面上でレンダリングして、エンドユーザに提示できる。バイナリマップから、エンドユーザは異常を特定し、処置できる。例えば、作物の水需要の監視では、マップ上のある地域が高い値を示す場合、これはその地域の作物が異常な水のレベルにより苦しんでいることを示唆している。エンドユーザ(農家)は、その地域に対する潅漑設備を調整して状況を改善できる。
【0052】
次に図6を参照すると、図6には、本発明の一実施形態による、マルチチャネル時空間データにおける異常検出のための方法600が例示的に示されている。
【0053】
ブロック610において、システム200は、入力として、4次元アレイ(入力系列の複数の時点に関する3次元アレイを含む)として構築されたマルチチャネル時空間系列を受信する。
【0054】
ブロッ620において、システム200は、入力系列の各時点に関する3次元アレイを取得し、背景信号を表す低ランク成分及び異常を表す残余成分を生成するプロセス(例えば、以下の図7に関して説明するように)を実施する。例えば、本プロセスは、2次元(2-D)シーンがスキャンされ、各画素が広範囲の波長帯で記録されたハイパースペクトルイメージングに関して実施できる。
【0055】
ブロック630において、システム200は、本システムの出力である異常マップの系列を得るために、全ての時点で推定された残余成分を一体に積み重ねる。
【0056】
ブロック640において、システム200は、異常マップの系列に基づいて異常を特定する。システム200は、関連する装置のグラフィカルユースインタフェースで異常に関する情報をフォーマット化して、提供できる。システムは、異常マップ(実数値またはバイナリ)をエンドユーザに提示する。代替的にまたは追加的に、システム200は、検出された異常に基づいて処置を開始できる。
【0057】
次に図7を参照すると、図7には、本発明の一実施形態による、低ランク成分及び残余成分を生成するための方法700が例示的に示されている。
【0058】
ブロック710において、システム200は、各次元に関して背景信号の推定される変化の程度を示す正の整数のセットを受信する。
【0059】
ブロック720において、システム200は、各次元に関して入力アレイの展開バージョンの主要な特異ベクトルを見出す。
【0060】
ブロック730において、システム200は、入力信号を全ての次元に関して基底のセットに投影する。この動作は、元の信号を推定された基底のセットに対する係数表現Sに簡略化する。
【0061】
ブロック740において、システム200は、投影から入力信号の復元を実行する。復元されたアレイLは選択された基底のセットに関する情報のみを含み、その結果低ランクである。これは背景信号を表す。
【0062】
ブロック750において、システム200は、ロウ信号から背景を減算することで残余を取得する。
【0063】
次に図8を参照すると、図8には、本発明の一実施形態による、ハイパースペクトルマルチチャネル時空間データにおける異常を検出するための装置のブロック図が例示的に示されている。
【0064】
図8で示すように、装置800は、ハイパースペクトルマルチチャネル時空間データを受信する。スキャナによって記録されるハイパースペクトルイメージング等のマルチチャネル時空間データは、各時点で3次元データアレイを形成する。3次元は2つの空間次元とチャネル次元(ハイパースペクトルイメージングのコンテキストにおけるスペクトルバンド)である。
【0065】
システム800は、この4次元アレイを元の4次元構成(距離、角度、周波数チャネル及び時間)で直接分解を行う。通常、背景信号の変化の程度が限られているという仮定に基づいて、システム800は、入力信号アレイXを2つの成分、すなわち低ランク成分Lと残余成分Rに分解する。この場合、Lは背景の部分空間に対する元の信号の投影を表し、Rは異常ターゲットの背景抑制された信号を表す。
【0066】
システム800は、残余に基づいて、検出された異常830を(例えば、装置800または関連する装置の)グラフィカルユーザインターフェース840で提示してもよい。異常は、用途にかかわらず、異常が白色画素で示され、シーンの残りが黒色(または他の方法で区別された)で示されるバイナリマップとして提示できる。
【0067】
本明細書で用いる「ハードウェアプロセッササブシステム」または「ハードウェアプロセッサ」という用語は、1つ以上の特定のタスクを実行するために協働するプロセッサ、メモリ、ソフトウェアまたはそれらの組み合わせを指すことができる。有用な実施形態において、ハードウェアプロセッササブシステムは、1つまたは複数のデータ処理要素(例えば、論理回路、処理回路、命令実行デバイス等)を含むことができる。1つまたは複数のデータ処理要素は、中央処理装置、グラフィックス処理装置及び/または個別のプロセッサまたはコンピューティング要素ベースのコントローラ(例えば、論理ゲート等)を含めることができる。ハードウェアプロセッササブシステムは、1つ以上のオンボードメモリ(例えば、キャッシュ、専用メモリアレイ、読み出し専用メモリ等)を含むことができる。任意の実施形態において、ハードウェアプロセッササブシステムは、オンボードまたはオフボードとすることができる、またはハードウェアプロセッササブシステム(例えば、ROM、RAM、基本入出力システム(BIOS)等)で用いるための専用の1つ以上のメモリを含むことができる。
【0068】
任意の実施形態において、ハードウェアプロセッササブシステムは、1つ以上のソフトウェア要素を含み実行できる。1つ以上のソフトウェア要素は、特定の結果を達成するためにオペレーティングシステム及び/または1つ以上のアプリケーション及び/または特定のコードを含むことができる。
【0069】
他の実施形態において、ハードウェアプロセッササブシステムは、指定された結果を達成するために1つまたは複数の電子処理機能を実行する専用回路を含むことができる。そのような回路は、1つまたは複数の特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)及び/またはプログラマブルロジックアレイ(PLA)を含むことができる。
【0070】
ハードウェアプロセッササブシステムのこれら及び他の変形例もまた、本発明の実施形態によって考えられる。
【0071】
本明細書で、本発明の「1つの実施形態」または「実施形態」だけでなく、それらの他のバリエーションに言及することは、該実施形態と共に説明する、個別の特徴、構成、特性等々が、本発明の少なくとも1つの実施形態に含まれることを意味する。そのため、「1つの実施形態において」または「一実施形態において」という語句、任意の他のバリエーションの記載は、本明細書の全体を通して様々な場所で現れるが、それらは必ずしも全てが同じ実施形態に言及しているわけではない。しかしながら、本明細書で提供される本発明の教示を前提として、1つまたは複数の実施形態の特徴を組み合わせることができることを理解されたい。
【0072】
例えば、「A/B」、「A及び/またはB」、並びに「A及びBのうちの少なくとも1つ」の場合における「/」、「及び/または」、並びに「うちの少なくとも1つ」のうちのいずれかの使用は、第1に挙げた選択肢(A)のみの選択、第2に挙げた選択肢(B)のみの選択、または両方の選択肢(A及びB)の選択を含むことを意図したものと理解すべきである。さらに例を挙げれば、「A、B及び/またはC」、並びに「A、B及びCのうちの少なくとも1つ」の場合、このような表現法は、第1に挙げた選択肢(A)のみの選択、第2に挙げた選択肢(B)のみの選択、第3に挙げた選択肢(C)のみの選択、第1及び第2に挙げた選択肢(A及びB)のみの選択、第1及び第3に挙げた選択肢(A及びC)のみの選択、第2及び第3に挙げた選択肢(B及びC)のみの選択、または3つの選択肢全て(A及びB及びC)の選択を含むことを意図したものである。上述した例は、当業者に容易に明らかとなるように、列挙される多数の項目に応じて拡大適用される。
【0073】
上記は、あらゆる観点において説明的(illustrative)かつ例示的(exemplary)であって限定的でないものと理解されるべきであり、本明細書で開示する本発明の範囲は、詳細な説明から決定されるべきではなく、特許法で認められた最大限の広さに基づいて解釈される特許請求の範囲から決定されるべきである。本明細書中に図示及び記載されている実施形態は、本発明の原理を説明するものにすぎず、本発明の範囲及び主旨から逸脱することなく当業者は様々な変更を実施することができることを理解されたい。当業者は、本発明の範囲及び精神から逸脱することなく、様々な他の特徴の組み合わせを実施できる。以上、本発明の態様について、特許法で要求される細部及び詳細な事項と共に説明したが、特許証で保護されることを要求する特許請求の範囲は、添付の特許請求の範囲に記載されている。
図1
図2
図3
図4
図5
図6
図7
図8