特許 7488645 標的を撮像するための撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-14

(45)【発行日】2024-05-22

(54)【発明の名称】標的を撮像するための撮像システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240515BHJP

   H04N 23/55 20230101ALI20240515BHJP

   H04N 5/33 20230101ALI20240515BHJP

   H04N 23/20 20230101ALI20240515BHJP

   H04N 25/78 20230101ALI20240515BHJP

【ＦＩ】

H04N23/60 500

H04N23/60

H04N23/55

H04N5/33

H04N23/20

H04N25/78

【請求項の数】 11

【外国語出願】

(21)【出願番号】P 2019225863

(22)【出願日】2019-12-13

(65)【公開番号】P2021061573

(43)【公開日】2021-04-15

【審査請求日】2022-06-17

(31)【優先権主張番号】16/591,310

(32)【優先日】2019-10-02

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】516320322

【氏名又は名称】センサーズ・アンリミテッド・インコーポレーテッド

(74)【代理人】

【識別番号】100086232

【弁理士】

【氏名又は名称】小林 博通

(74)【代理人】

【識別番号】100092613

【弁理士】

【氏名又は名称】富岡 潔

(72)【発明者】

【氏名】サニル エル．ククレジャ

(72)【発明者】

【氏名】ジョセフ ヴィー．マンテセ

(72)【発明者】

【氏名】オルセキン ティー．オシン

(72)【発明者】

【氏名】ジョン リオベ

(72)【発明者】

【氏名】ジョン エス．マーフィー

【審査官】高野 美帆子

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０２２５５２１（ＵＳ，Ａ１）

【文献】特開２０１８－０２３０９２（ＪＰ，Ａ）

【文献】特表２０１７－５３５９９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／５５

Ｈ０４Ｎ ５／３３

Ｈ０４Ｎ ２３／２０

Ｈ０４Ｎ ２５／７８

(57)【特許請求の範囲】

【請求項1】

標的を撮像するための撮像システムであって、
赤外線スペクトルで動的情景から反射されるまたは発散される光を集束し、集束光を形成するように構成された単一光学モジュールと、
前記集束光を受け取り、前記受け取った集束光から高空間分解能及び低時間分解能を有する強度画像を同期的に取得する同期焦点面アレイであって、この同期焦点面アレイは、短波赤外線（ＳＷＩＲ）スペクトルで作動する、前記同期焦点面アレイと、
前記集束光を受け取り、高時間分解能を有するイベントデータを非同期的に取得するように構成された非同期ニューロモーフィックビジョンシステムと、
前記強度画像と前記イベントデータの両方を読み出すように構成された読み出し集積回路（ＲＯＩＣ）であって、前記焦点面アレイ及び前記ＲＯＩＣは最初に、低フレームレートで前記強度画像を取得し読み出すように構成される、前記ＲＯＩＣと、
少なくとも１つの処理モジュールと、
を備え、前記少なくとも１つの処理モジュールは、
イベントを検出するために、前記イベントデータを非同期的に監視することと、
前記イベントの検出に応じて、前記焦点面アレイ及び前記ＲＯＩＣのうちの少なくとも１つを制御して、前記強度画像を取得するまたは読み出す前記フレームレートを、第１のフレームレートから第２のフレームレートへ増加させることと、
前記強度画像を処理して、２つの連続する強度画像及び前記イベントデータを取得することであって、各強度画像及びイベントデータは、それが取得された時の取得時間を有し、前記２つの連続する強度画像の前記取得時間は、検出されたイベントに対応するイベントデータの取得時間を含む時間ウィンドウを定義する、前記強度画像を処理して、前記２つの連続する強度画像及び前記イベントデータを取得することと、
機械学習の適用により、前記ウィンドウに含まれる理論上の取得時間を有する新たな強度画像を生成することであって、前記機械学習の適用では、前記少なくとも１つの処理モジュールが、既知の標的に対応付けられた訓練強度画像及び訓練イベントデータを用いて機械学習技術により訓練された、前記機械学習の適用により、前記ウィンドウに含まれる前記理論上の取得時間を有する前記新たな強度画像を生成することと、
を実行するように構成される、標的を撮像するための撮像システム。

【請求項2】

前記少なくとも１つの処理モジュールはさらに、検出された前記イベントに対応付けられた標的が追跡されなくなると、前記フレームレートを第３のフレームレートに減少させるように構成される、請求項１に記載の標的を撮像するための撮像システム。

【請求項3】

前記少なくとも１つの処理モジュールはさらに、
前記既知の標的に対応付けられた前記訓練強度画像及び前記訓練イベントデータを受信することを含む、機械学習訓練を受けることと、
前記訓練強度画像のうちの２つの連続する訓練強度画像の取得時間の間である訓練ウィンドウに含まれる理論上の訓練取得時間を有する新たな訓練強度画像を推定することと、
前記推定した新たな訓練強度画像を、前記理論上の訓練取得時間に取得された実際の画像と比較することと、
前記比較結果に応じて、機械学習に使用されている少なくとも１つのパラメータを調節することと、
を実行するように構成される、請求項１に記載の標的を撮像するための撮像システム。

【請求項4】

前記少なくとも１つの処理モジュールは、前記強度画像を前記２つの連続する強度画像のうちの１つとして使用して画面再構成を繰り返し行うことにより、再帰的に前記画面再構成を行う、請求項１に記載の標的を撮像するための撮像システム。

【請求項5】

前記少なくとも１つの処理モジュールはさらに、
機械学習訓練により特定された訓練済みイベントデータのテンプレートを受信することであって、前記テンプレートは、訓練済みイベントデータを、１つ以上のそれぞれの可能性のある関心標的に対応付けられた訓練済み強度画像に相互に対応付ける、前記機械学習訓練により特定された前記訓練済みイベントデータのテンプレートを受信することと、
前記取得されたイベントデータの一部を、前記テンプレートと比較することと、
前記比較の結果に応じて、前記取得されたイベントデータの前記一部に相互に対応付けられた前記テンプレート内の訓練済み強度画像を特定することと、
を実行するように構成される、請求項１に記載の標的を撮像するための撮像システム。

【請求項6】

前記少なくとも１つの処理モジュールはさらに、
前記テンプレートを生成することを含む前記機械学習訓練を受けるように構成され、
前記テンプレートを生成することは、
それぞれの既知の標的に対応付けられた訓練イベントデータ及び訓練強度画像を受信することと、
前記それぞれの既知の標的ごとに受信した前記訓練イベントデータ及び前記訓練強度画像を相互に対応付けることと、
を含む、請求項５に記載の標的を撮像するための撮像システム。

【請求項7】

前記訓練イベントデータは、カーネル密度推定を適用することでフィルタリングされる、請求項６に記載の標的を撮像するための撮像システム。

【請求項8】

前記訓練済みイベントデータは、形状記述子を使用して符号化される、請求項６に記載の標的を撮像するための撮像システム。

【請求項9】

前記取得されたイベントデータの前記一部に相互に対応付けられた前記訓練済み強度画像を特定することは、前記特定に関する信頼性を表す信頼性スコアを出力することを含む、請求項５に記載の標的を撮像するための撮像システム。

【請求項10】

前記イベントデータを取得した時の標的の遮蔽は、前記信頼性スコアに影響を与える、請求項９に記載の標的を撮像するための撮像システム。

【請求項11】

前記テンプレートを生成することはさらに、
前記標的が少なくとも１つの異なる姿勢に配置され、及び／または前記標的が前記撮像システムから異なる距離に配置されている時、前記それぞれの既知の標的のうちの１つの標的に対応付けられた訓練イベントデータ及び訓練強度画像を繰り返し受信することと、
前記訓練イベントデータを前記標的に関して受信した前記訓練強度画像に対応付けることと、
を含む、請求項６に記載の標的を撮像するための撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、フレームレート撮像を伴うニューロモーフィックビジョンに関し、より詳細には、ニューロモーフィックビジョンとフレームレート撮像の組み合わせを使用した標的検出及び追跡に関する。

【背景技術】

【0002】

フレームレート撮像システムは、所定のフレームレートで強度画像を感知し出力する同期（フレーム化）センサを採用する。強度画像は、高空間分解能及び低時間分解能を有し、これは大量の電力、メモリ、及び帯域幅を消費する。時間分解能のわずかな増加は、メモリ及び帯域幅の消費を急激に増加させ得る。

【0003】

ニューロモーフィックビジョンは、標的の動きにより生じる局所のピクセルレベルの変化を発生時に出力する受動的感知には、非同期（すなわちフレームなし）センサを採用する。ニューロモーフィックビジョンは、非常に高い時間分解能で動きを感知したことに応じて少量のデータを出力する、低電力及び低帯域幅のソリューションを提供する。空間分解能は将来的に向上し得るが、現在、ニューロモーフィックビジョンデータの空間分解能は低い。少量のデータ出力は、標的に関して限られた情報を提供することになるが、ニューロモーフィックビジョンは、動きの検出及び追跡に関する利点を提供する。

【0004】

しかしながら、ニューロモーフィックビジョンの開発は、制約のある室内実験に限定されている。このような実験は、（１）最小限の情景クラッタ、（２）単一の低速移動対象の識別及び追跡、（３）狭い視野、及び／または（４）極めて近接または既知の場所にある関心対象のように、展開状況を仮定する傾向がある。しかし、情報、監視、偵察（ＩＳＲ）などのアプリケーションの現実世界のシナリオでは、雲、地形、及びカモフラージュなどの影響力が高くあり得る背景クラッタを伴いながら、高い高度から複数の高速の標的を追跡する必要がある。

【0005】

従来の方法及びシステムは一般に、その所期目的に十分であるとみなされてきたが、制約のあるリソースを用いるＩＳＲのために、フレームレート撮像システムとニューロモーフィックビジョンシステムを組み合わせて、現実世界の条件で高い高度からＩＳＲを行うことができるシステム及び方法が、依然として当該技術分野で求められている。

【発明の概要】

【課題を解決するための手段】

【0006】

後述される例示の実施形態の目的及び利点は、下記の説明に記述され、そこから明らかになるであろう。例示される実施形態の追加利点は、本明細書及びその特許請求の範囲において具体的に指摘されるデバイス、システム、及び方法により、並びに添付図面からのデバイス、システム、及び方法により、理解され獲得されるだろう。

【0007】

これらの利点及び他の利点を得るために、例示される実施形態の目的に従って、本開示の一態様に従って、撮像システムが提供される。撮像システムは、赤外線スペクトルで動的情景から反射されるまたは発散される光を集束するように構成された単一光学モジュールと、集束光を受け取り、受け取った集束光から高空間分解能及び低時間分解能を有する赤外線画像を取得する同期焦点面アレイとを含む。撮像システムはさらに、集束光を受け取り、高時間分解能を有するニューロモーフィックイベントデータを取得するように構成された非同期ニューロモーフィックビジョンシステムを含む。赤外線とニューロモーフィックを組み合わせたシステムは、赤外線画像とイベントデータの両方を読み出すように構成された読み出し集積回路（ＲＯＩＣ）を有する。

【0008】

本開示の別の態様によれば、撮像方法が提供される。方法は、赤外線スペクトルで動的情景から反射されるまたは発散される光を集束することと、集束光から、受け取った集束光の高空間分解能及び低時間分解能を有する赤外線画像を同期的に取得することと、を含む。方法はさらに、集束光から高時間分解能を有するイベントデータを非同期的に取得することと、赤外線画像とイベントデータの両方を読み出すことと、を含む。

【0009】

本開示のさらなる態様によれば、標的を撮像するための撮像システムが提供される。撮像システムは、集束光を受け取り、強度画像を同期的に取得する同期焦点面アレイを含み、強度画像は、受け取った集束光の高空間分解能及び低時間分解能を有する。撮像システムはさらに、集束光を受け取り、高時間分解能を有するイベントデータを非同期的に取得するように構成された非同期ニューロモーフィックビジョンシステムを含む。強度画像とイベントデータの両方を読み出すように構成されたＲＯＩＣが提供され、焦点面アレイ及びＲＯＩＣは最初に、低フレームレートで強度画像を取得し読み出すように構成される。撮像システムはさらに、イベントを検出するために、イベントデータを非同期的に監視するように構成された少なくとも１つの処理モジュールを含む。イベントの検出に応じて、処理モジュールはさらに、焦点面アレイ及びＲＯＩＣのうちの少なくとも１つを制御して、強度画像を取得するまたは読み出すフレームレートを、第１のフレームレートから第２のフレームレートへ増加させるように構成される。

【0010】

本開示のさらに別の態様によれば、テンプレートを用いて取得された動的情景の強度画像、及び非同期的に取得されたイベントデータを処理する方法が提供され、イベントデータは、ニューロモーフィックビジョンシステムを用いて情景から反射されるまたは発散される光に応じて取得され、取得されたイベントデータは、高時間分解能を有する。方法は、テンプレートを受信することを含み、テンプレートは、機械学習訓練により特定される。さらに、テンプレートは複数のエントリを含み、各エントリは、１つ以上の訓練済み強度画像と相互に対応付けられた訓練済みイベントデータを含む。相互に対応付けられた訓練済みイベントデータと１つ以上の訓練済み強度画像は、同じ情景から同時に反射されたまたは発散された光に応じて取得され、訓練済み強度画像は、１つ以上のそれぞれの可能性のある関心標的に対応付けられている。訓練済み強度画像は、ＦＰＡから同期的に取得され、高空間分解能及び低時間分解能を有する。訓練済みイベントデータは、ニューロモーフィックビジョンシステムから非同期的に取得され、高時間分解能を有する。方法は、クエリイベントデータまたはクエリ強度画像データを含むクエリを受信することと、クエリに最も類似する訓練済みイベントデータまたは訓練済み強度画像を含むテンプレートのエントリを特定することと、エントリの相互に対応付けられた訓練済み強度画像または訓練済みイベントデータを使用して、標的の識別、検出、または追跡を行うことと、を含む。

【0011】

本開示が属する技術分野の当業者が、不要な実験をすることなく本開示のデバイス及び方法の作り方及び使い方を容易に理解できるように、本開示の実施形態が、特定の図を参照して本明細書に詳しく後述される。

【図面の簡単な説明】

【0012】

【図1】本開示の一実施形態による、動作環境で展開されるビジョンシステムの概略図である。

【図2】本開示の一実施形態による、ビジョンシステムのブロック図である。

【図3】本開示の別の実施形態による、ビジョンシステムの概略図である。

【図4】本開示の一実施形態による、ビジョンシステム及びそのコンポーネントにより実行される例示的な方法のフローチャートである。

【図5】本開示の一実施形態による、ビジョンシステム及びそのコンポーネントにより実行される例示的な方法のフローチャートである。

【図6】本開示の一実施形態による、強度画像フレームレートの調整の概略図である。

【図7A】本開示の一実施形態による、訓練モード及び訓練済みモードのビジョンシステムの融合アルゴリズムモジュールのブロック図である。

【図7B】本開示の一実施形態による、訓練モード及び訓練済みモードのビジョンシステムの融合アルゴリズムモジュールのブロック図である。

【図8】本開示の一実施形態による、ビジョンシステム及びそのコンポーネントにより実行される例示的な方法のフローチャートである。

【図9】本開示の一実施形態による、ビジョンシステム及びそのコンポーネントにより実行される例示的な方法のフローチャートである。

【図10】本開示の一実施形態による、ビジョンシステム及びそのコンポーネントにより実行される例示的な方法のフローチャートである。

【図11】本開示の一実施形態による、ビジョンシステム及びそのコンポーネントにより実行される例示的な方法のフローチャートである。

【図12A】ニューラルネットワークを訓練する方法のフロー図である。

【図12B】ニューラルネットワークを訓練する方法のフロー図である。

【図13】本開示の一実施形態による、ビジョンシステムのコンポーネントを実施するように構成された例示的なコンピュータシステムのブロック図である。

【発明を実施するための形態】

【0013】

図示された実施形態は、ここで添付図面を参照してより完全に説明され、類似の参照番号は、類似の構造的／機能的特徴を識別する。後述する図示された実施形態は、単なる例示であり、当業者によって理解されるように多様な形態で具現化され得るため、図示された実施形態は、いかなるやり方でも図示されたものに限定されない。したがって、本明細書に開示される任意の構造的及び機能的詳細は、限定として解釈されるべきではなく、単に特許請求の範囲のための基礎として、及び説明される実施形態を多様に採用するように当業者に教示するための表現として解釈されるべきであると理解されるべきである。さらに、本明細書において用いられる用語及び語句は、限定することを意図するものではなく、むしろ図示された実施形態の理解可能な説明を提供することを意図するものである。

【0014】

特段の定義がない限り、本明細書で用いられる全ての技術的及び科学的用語は、この本開示が属する技術分野の当業者によって共通して理解されるものと同一の意味を有する。本明細書において説明されるものに類似の、または等価な任意の方法及び物質も、図示される実施形態の実施またはテストにおいて使用され得るが、例示的な方法及び物質は、ここで説明される。

【0015】

本明細書において使用されるように、添付の特許請求の範囲において、文脈が特段明確に指示しない限り、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、複数の指示物を含むことに留意されなければならない。したがって、例えば、「信号」に対する参照は、１つまたは複数の信号、及び当業者に既知のその等価物などに対する参照を含む。

【0016】

後述する図示された実施形態は、コンピュータプロセッサを有する機械上での実行を可能にするための制御ロジックを有するコンピュータ使用可能媒体上に存在する、ソフトウェアアルゴリズム、プログラム、またはコードであることが好ましいと理解されるべきである。機械は、典型的には、コンピュータアルゴリズムまたはプログラムの実行から出力を提供するように構成されるメモリ記憶装置を含む。

【0017】

本明細書で使用されるように、「ソフトウェア」という用語は、実施態様がハードウェア、ファームウェアにあるか、またはディスク、メモリ記憶デバイス上で利用可能な、もしくはリモートマシンからのダウンロード用のソフトウェアコンピュータ製品としてであるかにかかわらず、ホストコンピュータのプロセッサ内にあり得る任意のコードまたはプログラムと同義であるように意味される。本明細書で説明される実施形態は、上述した式、関係、及びアルゴリズムを実施するためのそのようなソフトウェアを含む。当業者は、上述の実施形態に基づく図示された実施形態のさらなる特徴及び利点を理解するものとする。したがって、図示された実施形態は、添付の特許請求の範囲によって示されるものを除いて、具体的に図示され説明されているものによって限定されるべきではない。

【0018】

ここで、類似の参照文字が複数の図全体を通して類似の要素を示す図面を記述的に参照すると、図１は、後述される実施形態が実施され得る例示的な視覚システム１００を示す。視覚システム１００は、固定または可動プラットフォーム１０に搭載され得る。視覚システム１００によって見ることができる情景の物体２０は、固定または可動であってもよい。情景は、プラットフォーム１０または物体２０の動きに起因して動的であってもよい。実施例において、視覚システム１００のプラットフォーム１０は、有人もしくは無人空輸艇、衛星搭載艇、陸上輸送艇、または海上輸送艇であってもよい。

【0019】

視覚システム１００は、イベントを検出するイベントベース視覚を使用し、プラットフォーム１０及び／または標的２０が、高速移動する物体を含む、固定または移動物体であるときでも、物体２０（標的とも呼ばれる）を高時間分解能で検出し追跡する能力を提供する。視覚システム１００は、イベント検出に基づいて制御され得る、ならびに／または標的検出、標的追跡、及び／もしくは情景再構成を拡張するために機械学習に結合され得る焦点面アレイによって感知される、同期強度画像を使用する。これらの拡張によって、視覚システム１００は、標的２０が部分的に閉塞されているときを含む、高所などの遠距離から標的２０を検出し追跡することが可能となる。イベントベース視覚を強度画像の同期取得と組み合わせることによって、視覚システム１００は、電力消費を最小化するように構成され、低いデータ処理及びデータ移送要件に対応し得る。

【0020】

図２を参照すると、視覚システム１００は、光学モジュール１０２、取得及び読み出しブロック１０４、処理ブロック１０６、ならびに融合アルゴリズムモジュール１０８を含む。標的検出データ、標的追跡データ、及び／または情景再構成データなどの融合アルゴリズムモジュール１０８からの出力は、決定、例えば戦術的決定を行う決定モジュール１１２に情報を適用し得る分析１１０に提供され得る。

【0021】

光学モジュール１０２は、動的情景から反射され、または発散される光を集束するレンズ及び／または光学系を、取得及び読み出しブロック１０４の１つまたは複数のコンポーネント上に含む。取得及び読み出しブロック１０４は、焦点面アレイ（ＦＰＡ）及び読み出し集積回路（ＲＯＩＣ）１２０、ならびに動的視覚システム（ＤＶＳ）及びＲＯＩＣ１３０を含む。

【0022】

ＦＰＡ／ＲＯＩＣ１２０は、光学モジュール１０２から受け取られる集束光の感知光に基づく強度画像の同期取得、及び強度画像の読み出しのために構成される。ＦＰＡ／ＲＯＩＣによる画像取得及び読み出しは、ＤＶＳ／ＲＯＩＣ１３０と比較して高い空間分解能であるが低い時間分解能を有する。ＦＰＡ／ＲＯＩＣ１２０は、例えば、可視スペクトル、長波赤外線（ＬＷＩＲ）スペクトル、中波赤外線（ＭＷＩＲ）スペクトル、近赤外線（ＮＩＲ）、及び短波赤外線（ＳＷＩＲ）スペクトルを限定ではなく含む、異なるスペクトルで画像を取得するためのＦＰＡを含み得る。ＦＰＡ／ＲＯＩＣ１２０は、ＦＰＡによって感知される信号を読み出すためのＲＯＩＣをさらに含む。

【0023】

ＦＰＡ／ＲＯＩＣ１２０は、フレームごとに比較的大量のデータをキャプチャするフレームベース撮像システムである。時間分解能（フレームレート）または空間分解能が増加するとき、生成されるデータ量は、指数関数的に増加し得る。大量のデータは、大量のメモリ、電力、及び帯域幅を消費する。フレームからフレームへのデータの多くは冗長である。従来のＦＰＡ／ＲＯＩＣの空間分解能及び時間分解能は、制限されたメモリ、電力、及び／またはデータ帯域幅ケイパビリティを有するアプリケーションにおいて制限され得る。

【0024】

ＤＶＳ／ＲＯＩＣ１３０は、光学モジュール１０２から受け取られる集束光の感知光に基づくイベントデータの非同期取得及びイベントデータの読み出し、ならびにイベントデータの読み出しのために構成される。非同期データは、それが送信または受信されるときに同期されないデータである。このタイプの送信では、信号は、コンピュータと外部システムとの間、またはその逆に非同期で送信される。これは、通常、一定したストリームにおいてではなく間欠周期で送信されるデータを指す。ＤＶＳ／ＲＯＩＣ１３０は、ニューロモーフィックビジョンを可能にするために動的視覚センサまたは非同期時間ベース画像センサ（ＡＴＩＳ）などの、ＦＰＡを有するイベント駆動センサを含む。

【0025】

ＤＶＳは、離れた物体（例えば、標的）の詳細を撮像するのに十分な分解能を有するように構成される。赤外線カメラシステム（例えば、ＳＷＩＲ、ＭＷＩＲ、ＬＷＩＲなど）からの光学系の使用は、物体のビューをＤＶＳの「撮像面」に近づけるために使用されて、それが物体を撮像することを可能にする。例えば、カメラは、１２０ｄＢのダイナミックレンジ、１２Ｍイベント／秒の帯域幅、１８．５×１８．５ｕｍのピクセルサイズ、及び構成可能なシャッタ（グローバルまたはローリング）と共に、３４６×２６０ピクセルの分解能（ＶＧＡ分解能の半分）を有し得る。これは、別の光学システムが物体をＤＶＳの撮像面に近づけるために協力して使用される場合に、ＤＶＳが物体を上手く撮像することを可能にする。ＤＶＳ／ＲＯＩＣ１３０は、センサからイベントデータを読み出し、融合アルゴリズムモジュール１０８にイベントデータを提供するために構成されるＲＯＩＣをさらに含む。

【0026】

処理ブロック１０６は、グラフィック処理ユニット（ＧＰＵ）１２２及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはそれぞれが専用ニューラルネットワークに適用するニューロモーフィック処理ユニット（ＮＰＵ）１３２を含む。ニューラルネットワークは、畳み込みニューラルネットワークＣＮＮ及び／または深層ニューラルネットワークＤＮＮを含み得る。ＧＰＵ１２２は、第１のニューラルネットワークを使用して、ＦＰＡ／ＲＯＩＣ１２０から受信される強度画像を処理する。ＧＰＵ１２２によって実行される処理は、フレーム単位である。ＦＰＧＡまたはＮＰＵ１３２は、第２のニューラルネットワークを使用して、ＤＶＳ／ＲＯＩＣ１３０から受信されるイベントデータを処理する。ＮＰＵ１３２によって実行される処理は、イベント単位である。ＧＰＵ１２２及びＦＰＧＡまたはＮＰＵ１３２からの出力は、訓練済み機械学習プロセスの機械学習訓練及び適用などのために、矢印１１３によって示されるように融合アルゴリズムモジュール１０８に提供される。

【0027】

ＧＰＵ１２２及びＦＰＧＡまたはＮＰＵ１３２は、ＩＳＲアルゴリズム、例えば、限定ではなく、標的検出（ＴＤ）、標的追跡（ＴＴ）、及び情景再構成を実行するアルゴリズムを実行する。ＧＰＵ１２２及びＦＰＧＡまたはＮＰＵ１３２から出力される結果は、融合出力１１５である。融合出力は、検出された標的を識別し、標的を追跡することについての情報を提供し得る。検出されたミサイルについての高レベル融合出力１５の非限定的な実施例は、「ミサイル、進行方向北、速度１０ｍ／ｓ」または「民間車両、白のＳｕｂａｒｕ（商標）Ｆｏｒｅｓｔｅｒ（商標）、進行方向北、速度５ｍ／ｓ」である。このような高レベル融合出力１１５は、分析が決定または推奨を迅速に行うために使用し得るアクション可能なデータを提供する。

【0028】

ＳＷＩＲ、ＬＷＩＲ、ＭＷＩＲ、ＮＩＲスペクトルのいずれかにおいて動作するカメラは、ＦＰＡ／ＲＯＩＣ１２０として動作するように改造され得る。実施形態において、必要がない間は、ＤＶＳ／ＲＯＩＣ１３０は、ＦＰＡのフォトダイオードアレイ（ＰＤＡ）内のセンサによって使用される物質の先験的知識を用いて設計され得る。これは、ＰＤＡと組み合わせてカメラ性能を最適化し得る。ＩｎＧａＡベースのＰＤＡの場合、ＰＤＡの基板は、その吸収波長を、したがってＳＷＩＲ、ＮＩＲ、及び可視波長を含むＥＭスペクトルの可視部分まで下に延ばすために、薄型化され得る。ＰＤＡに対するそのような修正は、ＤＶＳ／ＲＯＩＣ１３０に対する修正を必要としない。しかしながら、より長い波長（即ち、ＭＷＩＲからＬＷＩＲ）をサポートするためには、ＤＶＳ／ＲＯＩＣ１３０は、これらの特定の波長を用いた最適な動作のために構成される必要がある。

【0029】

図３を参照すると、視覚システム１００が示され、取得及び読み出しブロック１０４は、動的視覚センサまたは非同期時間ベース画像センサ（ＡＴＩＳ）などの１つまたは複数のイベント駆動センサと統合された、ＦＰＡなどの強度画像取得用センサを含む単一モジュールとして構成される。ＦＰＡは、可視、ＳＷＩＲ、ＮＩＲ、ＭＷＩＲ、またはＬＷＩＲなどの特定のスペクトルにおける光を感知するように構成され得る。取得及び読み出しブロック１０４は、同期強度画像及び非同期イベントベースデータの両方を読み出すように構成される、１つのＲＯＩＣを含む。例えば、米国特許ＵＳ９６４１７８１及びＵＳ９６９８１８２は、イベント駆動センサとのＦＰＡの統合、ならびに同期強度画像及び非同期イベントベースデータの両方を読み出すための単一ＲＯＩＣの提供の実施例を開示し、その主題は、全体が本明細書に組み込まれる。

【0030】

処理ブロック１０６は、ＣＮＮ及び／またはＤＮＮなどのニューラルネットワーク（ＮＮ）を用いて取得及び読み出しブロック１０４によって出力される、同期統合画像及び非同期イベントデータの両方を受信し処理する。ニューラルネットワークは、典型的には、複数の階層型相互接続レイヤの重み付きフィルタから構成される。ニューラルネットワークは、読み出しブロック１０４からの同期画像及び非同期イベントデータを引き取り、特徴マップという、この入力データの新たに学習された表現を出力する。特徴マップ内のあらゆるエントリが、ＮＮのレイヤ内の１つのニューロンと等価である。各レイヤは、前のレイヤの特徴抽出の上に構築する。これらの階層型特徴抽出器の出力は、読み出しブロック１０４からの同期画像及び非同期イベントデータを用いて分類タスクを実行する完全接続型ＮＮに供給される。

【0031】

融合アルゴリズムモジュール１０８は、（図２の）ＧＰＵ１２２及びＦＰＧＡもしくはＮＰＵ１３２、または（図３において統合ブロックとして示される）処理ブロック１０６からの出力を受信する。データは、さらに後述するように、１つまたは複数のモデルを訓練するために使用され得る。データは、標的検出、標的追跡、または情景再構成などのために、モデルへの入力としてさらに使用され得る。

【0032】

標的検出、標的追跡、または情景再構成は、機械学習によって拡張されるため、強度画像を使用せずに、または比較的低速のフレームレートで取得された強度画像を用いて、大量の知識が少量のイベントデータから導き出され得る。より低速のフレームレートは、メモリ、電力、及び／またはデータ帯域幅の消費を減少させる。

【0033】

図２及び図３の両方に示される実施形態において、同一ソースからの光が、強度画像及びイベントデータの両方の取得及び読み出しのための取得及び読み出しモジュール１０４上に同時に入射する。図２に示される実施形態（複数可）では、同一ソースからの光が、ＦＰＡ／ＲＯＩＣ１２０及びＤＶＳ／ＲＯＩＣ１３０両方の上に同時に入射する。実施形態において、同一ソースからの光は、ＦＰＡ／ＲＯＩＣ１２０及びＤＶＳ／ＲＯＩＣ１３０両方の上で、１つの光学モジュール１０２によって同時に集束される。図３に示される実施形態（複数可）において、取得及び読み出しブロック１０４上に入射する光は、強度画像及びイベントデータの両方の取得のために同時に処理される。実施形態において、同一ソースからの光は、強度画像及びイベントデータの同時取得のために、１つの光学モジュール１０２によって取得及び読み出しブロック１０４上で集束される。

【0034】

図４、５、及び７～１０は、例示的かつ非限定的なフローチャートを示す。図４、５、及び７～１０の説明を参照する前に、図４、５、及び７～１０のフローチャートは、動作ステップがブロックを接続する線で示されるように特定の順序で実行されるが、この図に示される多様なステップが、異なる順序、または異なる組み合わせもしくは部分的組み合わせで実行され得る実施例を示すことに留意されたい。いくつかの実施形態において、後述するステップのうちのいくつかは、単一のステップに結合されてもよいと理解されるべきである。いくつかの実施形態では、１つまたは複数の追加ステップが、含まれてもよい。いくつかの実施形態では、ステップのうちの１つまたは複数が、省略されてもよい。

【0035】

図４を参照すると、フローチャート４００は、ある図示される実施形態に従って、撮像のための方法を示す。方法は、図１～３に示される視覚システム１００などの視覚システムによって実行され得る。動作４０２は、短波赤外線（ＳＷＩＲ）スペクトルで動的情景から反射されるまたは発散される光を集束することを含む。動作４０４は、集束光から、受け取った集束光の高空間分解能及び低時間分解能を有するＳＷＩＲ画像を取得することを含む。動作４０６は、集束光から、高時間分解能を有するイベントデータを取得することを含む。動作４０８は、ＳＷＩＲ画像及びイベントデータの両方を読み出すことを含む。フローチャート４００に示される方法は、任意選択で動作４１０～４１２をさらに含み得る。動作４１０は、イベントデータ内にイベントを検出することを含む。動作４１２は、標的検出、標的追跡、情景再構成のうちのいずれかなどの動作を実行するため、標的検出、標的追跡、情景再構成のうちのいずれかなどの動作を実行するために使用され得るモデルを生成するために訓練を実行するためなどの、イベント検出の機能としてＳＷＩＲ画像及びイベントデータを処理することを含み得る。

【0036】

図５を参照すると、フローチャート５００は、ある図示された実施形態に従って、標的を撮像する方法を示す。方法は、図１～３に示される視覚システム１００などの視覚システムによって実行され得る。動作５０２は、イベントを検出するために、イベントデータを監視することを含む。動作５０４は、イベントの検出に応じて、焦点面アレイ及びＲＯＩＣのうちの少なくとも１つを制御して、強度画像を取得するまたは読み出すフレームレートを増加させることを含む。１つまたは複数の実施形態において、ＦＰＡは、短波赤外線（ＳＷＩＲ）スペクトルで動作する。１つまたは複数の実施形態において、ＦＰＡは、ＮＩＲ、ＭＷＩＲ、ＬＷＩＲ、または可視スペクトルで動作する。強度画像取得のフレームレートを制御するための制御信号は、図２及び図３において矢印１１１として表される。図２において、ＦＰＧＡまたはＮＰＵ１３２は、イベント検出を実行し、矢印１１１で表されるように、ＦＰＡ／ＲＯＩＣ１２０に制御信号を送信する。図３において、処理ブロック１０６は、イベント検出を実行し、矢印１１１で表されるように、取得及び読み出しブロック１０４に制御信号を送信する。

【0037】

フローチャート５００に示される方法は、任意選択で動作５０１、５０６、及び５０８をさらに含み得る。動作５０１は、図２及び図３に示される光学モジュール１０２などの光学モジュールによって、動的情景から反射されるまたは発散される光を集束することを含む。この光学モジュールは、単一の光学モジュールであってもよい。

【0038】

動作５０６は、検出されたイベントに対応付けられた標的がもはや追跡されないことに応じて、フレームレートを第３のフレームレートに減少させることを含み得る。動作５０８は、開示に従って、標的検出、標的追跡、情景再構成のうちのいずれかなどの動作を実行するため、標的検出、標的追跡、情景再構成のうちのいずれかなどの動作を実行するために使用され得るモデルを生成するために訓練を実行するためなどに、強度画像及びイベントデータを処理することを含み得る。

【0039】

図６は、取得及び読み出しブロック１０４に含まれるＦＰＡ／ＲＯＩＣ１２０またはＦＰＡなどのＦＰＡによって生成される強度画像のフレーム６００の図を示す。フレーム６００は、矢印１１１によって表される制御信号に従って、低フレームレートで取得される第１のフレーム６０２、及び高速フレームレートで取得される第２のフレーム６０４を含む。第１のフレーム６０２が取得される間、ＤＶＳ／ＲＯＩＣ１３０または取得及び読み出しブロック１０４によって出力されるイベントデータは、強度画像が第２のフレーム６０４としてより高速レートで取得され、または読み出される時間６０６において、イベントの検出のために監視される。検出されたイベントに対応付けられた標的がもはや追跡されていないとき、強度画像は、より低速のフレームレートで第１のフレーム６０２として取得され、または読み出される。１つまたは複数の実施形態において、フレームレートは、第１のフレーム６０２を取得するためのフレームレートと同一のフレームレートまで減少される。１つまたは複数の実施形態において、フレームレートは、第１のフレーム６０２を取得するために使用されるフレームレートよりも低速または高速であるが、第２のフレーム６０４を取得するために使用されるフレームレートよりも低速である、異なるフレームレートまで減少される。

【0040】

図７Ａ及び７Ｂをそれぞれ参照すると、融合アルゴリズムモジュール１０８は、オフライン訓練段階及びオンライン適用段階において示される。図７Ａを参照すると、融合アルゴリズムモジュール１０８は、訓練データを受信し、訓練アルゴリズムを実行し、訓練済みデータを生成する。訓練済みデータは、モデル及び／またはテンプレートであってもよい。訓練データは、取得した強度画像及びイベントデータである。訓練済みデータは、情景再構成を実行するために構成されるモデル、ならびに／または標的識別、検出、及び／もしくは追跡のために構成されるテンプレートを含み得る。

【0041】

図７Ｂを参照すると、融合アルゴリズムモジュール１０８は、クエリデータを受信し、訓練済みデータを使用して出力を生成する。訓練済みデータが情景再構成を実行するために構成された再構成モデルを含む、１つまたは複数の実施形態において、クエリは、ウィンドウを定義する取得時間を有する２つの連続する強度画像であってもよく、出力は、再構成モデルを適用することによって２つの連続する強度画像から再構成される、ウィンドウ内に取得時間を有する新たな強度画像であってもよい。異なる適用における再構成のための例としての方法が、Ｓｃｈｅｅｒｌｉｎｃｋ，Ｃ．，Ｂａｒｎｅｓ，Ｎ．，＆ Ｍａｈｏｎｅｙ，Ｒ．、Ｃｏｎｔｉｎｕｏｕｓ－ｔｉｍｅ ｉｎｔｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ ｅｖｅｎｔ ｃａｍｅｒａｓ、Ａｓｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ｐｐ．３０８－３２４）、Ｓｐｒｉｎｇｅｒ，Ｃｈａｍ（Ｄｅｃｅｍｂｅｒ，２０１８）において見出され得る。

【0042】

訓練済みデータがテンプレートを含む１つまたは複数の実施形態において、クエリは、画像クエリまたは取得したイベントデータクエリのセグメントであり得る。出力は、クエリに合致するように特定されたテンプレート内のエントリに相互に対応付けられた、訓練済み強度画像または訓練済みイベントデータであり得る。クエリが、画像クエリであるとき、画像クエリに（合致閾値に基づいて）合致する訓練済み画像データを有するテンプレート内のエントリが、特定される。融合アルゴリズムモジュール１０８は、特定されたエントリの訓練済みイベントデータを出力する。クエリが、取得したイベントデータクエリのセグメントであるとき、取得したイベントデータクエリのセグメントに（合致閾値に基づいて）合致する訓練済みイベントデータを有するテンプレート内のエントリが、特定される。融合アルゴリズムモジュール１０８は、特定されたエントリの訓練済み強度画像を出力する。

【0043】

図８を参照すると、フローチャート８００は、ある図示された実施形態に従って、取得したイベントデータを用いて強度画像の情景再構成を実行する方法を示す。強度画像及びイベントデータは、同じ情景から同時に反射され、及び／または発散される集束光から取得される。強度画像は、ＦＰＡから取得され、イベントデータは、ニューロモーフィック視覚システムから取得される。強度画像は、高空間分解能及び低時間分解能を有し、一方、イベントデータは、高時間分解能を有する。方法は、図２及び図３に示される融合アルゴリズムモジュール１０８などの融合アルゴリズムモジュールによって実行され得る。動作８０２は、取得した強度画像を処理して、ウィンドウを定義する取得時間を有する２つの連続する強度画像と、検出されたイベントに対応する、ウィンドウに含まれる時間に取得されたイベントデータとを得ることを含む。動作８０４は、機械学習を適用して、ウィンドウに含まれる理論上の取得時間を有する新たな強度画像を生成することを含む。動作８０６は、新たな強度画像を２つの連続する画像の間に挿入することを含む。動作８０８において、２つの連続する強度画像について情景再構成が完了したかどうかの判定が行われる。この判定は、実行される繰り返しの数、新たな強度画像と、前の繰り返しにおいて生成された新たな強度画像もしくは２つの連続する強度画像のうちの１つなどの異なる画像との間の取得時間の差、または新たな強度画像のパラメータに基づき得る。

【0044】

図９を参照すると、フローチャート９００は、ある図示された実施形態に従って、訓練強度画像及び訓練イベントデータを使用して情景再構成を実行するためにモデルを訓練する方法を示す。訓練強度画像及び訓練イベントデータは、同じソースから同時に受け取られた集束光から取得される。訓練強度画像は、ＦＰＡから取得され、訓練イベントデータは、ニューロモーフィック視覚システムから取得される。訓練強度画像は、高空間分解能及び低時間分解能を有し、一方、訓練イベントデータは、低空間分解能及び高時間分解能を有する。方法は、図２及び図３に示される融合アルゴリズムモジュール１０８などの融合アルゴリズムモジュールによって実行され得る。

【0045】

動作９０２は、既知の標的に対応付けられた訓練強度画像及び訓練イベントデータを受信することを含む。動作９０４は、訓練強度画像のうちの２つの連続する訓練強度画像の取得時間の間の訓練ウィンドウに含まれる理論上の訓練取得時間を有する新たな訓練強度画像を推定することを含む。動作９０６は、推定した新たな訓練強度画像を、理論上の訓練取得時間に取得された実際の画像と比較することを含む。動作９０８は、比較結果に応じて、機械学習に使用される少なくとも１つのパラメータを調整することを含む。

【0046】

図１０を参照すると、フローチャート１０００は、テンプレート及び取得したイベントデータを用いて、ある図示された実施形態に従って標的を検出及び／または追跡する方法を示す。イベントデータは、図２及び図３に示される視覚システム１００などのニューロモーフィック視覚システムを用いて、情景から反射され、または発散される光に応じて取得される。動作１００２は、テンプレートを受信することを含む。複数のエントリを含むテンプレートは、機械学習訓練によって特定される。各エントリは、１つまたは複数の訓練済み強度画像と相互に対応付けられた訓練済みイベントデータを含む。相互に対応付けられた訓練済みイベント及び１つまたは複数の訓練済み強度画像は、同じ情景から同時に反射され、または発散される光に応じて取得された。訓練済み強度画像は、対象の１つまたは複数のそれぞれの可能性のある標的に対応付けられた。訓練済み強度画像は、ＦＰＡから取得され、高空間分解能及び低時間分解能を有しており、訓練済みイベントデータは、ニューロモーフィック視覚システムから取得され、低空間分解能及び高時間分解能を有する。動作１００４は、クエリイベントデータまたはクエリ強度画像データを含むクエリを受信することを含む。動作１００６は、クエリに最も類似する訓練済みイベントデータまたは訓練済み強度画像を含むテンプレートのエントリを特定することを含む。動作１００８は、エントリの相互に対応付けられた訓練済み強度画像または訓練済みイベントデータを使用して、標的の識別、検出、または追跡を行うことを含む。

【0047】

１つまたは複数の実施形態によれば、クエリが、クエリ強度画像を含み、特定されたイベントが、クエリ強度画像に最も類似する訓練済み強度画像を含み、エントリの相互に対応付けられた訓練済みイベントデータが特定される。方法は、動作１０１０において取得したイベントデータを受信し続けることをさらに含み得る。動作１００８は、取得したイベントデータの、相互に対応付けられた訓練済みイベントデータとの類似性を判定することを含み得る。類似性の判定は、新たな標的が検出されたか、または以前検出された標的が再び検出されたかを判定するために使用されてもよく、それは、標的を追跡するため、及び新たな標的を検出するために使用され得る。

【0048】

１つまたは複数の実施形態によれば、クエリは、取得したイベントデータのセグメントを含み、特定されたイベントは、取得したイベントデータのクエリのセグメントに最も類似する訓練済みイベントデータを含み、相互に対応付けられた訓練済み強度画像が特定される。動作１００８において、動作１００６で特定された相互に対応付けられた訓練済み強度画像が、取得したイベントデータのセグメントに対応付けられ、取得したイベントデータクエリのセグメントに対応付けられる標的を識別するために使用され得る。この識別は、標的を追跡するために、標的を繰り返し検出することに役立ち得る。

【0049】

方法は、動作１０１０において取得したイベントデータを受信し続けることをさらに含み得る。そこで、取得したイベントデータの別のセグメントが、クエリとして提供され得る。取得したイベントデータは、クエリとして提供されるセグメントに自動的にセグメント化され得る。このようなセグメント化は、ＣＮＮ／ＤＮＮ１０６または１３２において実行され得る。ノイズ低減は、ＤＶＳ／ＲＯＩＣ１３０において実行されてもよく、セグメント化は、イベントデータを小さな時間ウィンドウ内に空間的にクラスタリングすることによって実行され得る。その時間ウィンドウ内のクエリイベントが、クラスタの速度及び方向に基づいて背景からセグメント化され得る。複数の物体に関係するイベントは、類似の方法でセグメント化され得る。１つまたは複数の実施形態によれば、取得したイベントデータは、動き、大きさ、及び／または方向のうちの少なくとも１つによってクラスタリングされる。

【0050】

１つまたは複数の実施形態によれば、エントリを特定することは、エントリの特定の信頼性を表す信頼性スコアを出力することを含む。

【0051】

１つまたは複数の実施形態によれば、エントリを特定することは、エントリの特定の信頼性を表す信頼性スコアを出力することを含み、クエリ強度画像の排除は、信頼性スコアに影響を及ぼす。

【0052】

図１１を参照すると、フローチャート１１００は、ある図示された実施形態に従って、訓練強度画像及び訓練イベントデータを用いて、標的を検出及び／または追跡するために使用されるテンプレートを生成することによって、モデルを訓練する方法を示す。訓練強度画像及び訓練イベントデータは、同じソースから同時に受け取られる集束光から取得される。訓練強度画像は、ＦＰＡから取得され、訓練イベントデータは、ニューロモーフィック視覚システムから取得される。訓練強度画像は、高空間分解能及び低時間分解能を有し、一方、訓練イベントデータは、低空間分解能及び高時間分解能を有する。方法は、図２及び図３に示される融合アルゴリズムモジュール１１８などの融合アルゴリズムモジュールによって実行され得る。

【0053】

動作１１０２は、それぞれの既知の標的に対応付けられた訓練イベントデータ及び訓練強度画像を受信することを含む。動作１１０４は、それぞれの既知の標的ごとに受信した訓練イベントデータ及び訓練強度画像を相互に対応付けることを含む。動作１１０６は、相互に対応付けられた訓練イベントデータ及び訓練強度画像を、テンプレートの訓練済みイベントデータ及び訓練済み強度画像として出力することを含む。

【0054】

１つまたは複数の実施形態によれば、テンプレートを生成することは、標的が少なくとも１つの異なる姿勢で位置し、及び／または標的が撮像システムから異なる距離に位置するときにそれぞれの既知の標的の同一の標的に対応付けられた訓練イベントデータ及び訓練強度画像を受信することを繰り返すことをさらに含む。

【0055】

１つまたは複数の実施形態によれば、訓練イベントデータは、カーネル密度推定を適用することによりフィルタリングされる。

【0056】

１つまたは複数の実施形態によれば、訓練済みイベントデータは、形状記述子を用いることにより符号化される。

【0057】

図１２Ａ及び１２Ｂを参照すると、条件付き敵対的生成ネットワーク（ｃＧＡＮ）の例としての弁別器側１２００及び生成器側１２５０は、クエリ画像をそのイベントデータの等価物に変換するためのオフライン訓練段階中に、それぞれが訓練される。ｃＧＡＮは、特定のネットワークに対する限定ではなく、図２及び図３に示される融合アルゴリズムモジュール１０８などの融合アルゴリズムモジュールを訓練するために使用され得るネットワークの実施例として提供される。

【0058】

図１２Ａを参照すると、生成器（Ｇ）１２０２は、入力画像フレームを出力イベントセットに変換し、弁別器（Ｄ）１２０４は、入力画像フレームの未知のイベントセット（データセットからの標的イベントセット、または生成器１２０２からの出力イベントセットのいずれか）に対する類似度を測定し、これが生成器１２０２によって製作されたかどうかを推測しようとする。

【0059】

比較モジュール１２０６は、類似度を測定して、２つの入力間のエラーを計算する。オプティマイザ１２０８は、それにしたがって弁別器の重み１２１０を設定することにより、弁別器１２０４の推測と事実との間のエラーを最小化するように作動する。

【0060】

訓練中、生成器１２０２は、入力画像フレームから出力イベントセットを生成する。弁別器１２０４は、入力画像フレーム／標的イベントセットのペア及び入力画像フレーム／出力イベントセットのペアを見て、ペアがどのくらい現実的に見えるかについて推測を製作する。弁別器の重み１２１０の重みベクトルが、次いで、入力画像フレーム／標的イベントセットのペア及び入力画像フレーム／出力イベントセットのペアの分類エラーに基づいて調整される。

【0061】

図１２Ｂを参照すると、図１２Ａに関して既に説明したコンポーネントは、類似の参照番号で示される。さらに、図１２Ｂは、生成器の重み１２５２を示し、重み１２５２は、弁別器１２０４の出力及び出力イベントセットと標的画像フレームとの間の差異に基づいて、調整される。生成器の重み１２５２は、弁別器の出力に基づくため、弁別器１２０４の性能が向上すると、生成器１２０２の性能も同様に向上し、入力画像フレームを実際に表す出力イベントセットを徐々に生成する。

【0062】

その結果、画像からイベントへの変換は、任意の画像クエリをイベントデータの等価なイベントセットに変換するために訓練される。画像からイベントへの変換は、また、標的物体についての姿勢不変性を有効にするために、入力画像フレームの複数のビューの生成を含む。

【0063】

本開示の態様は、本開示の実施形態による、方法、装置（システム）、及びコンピュータプログラム製品のブロック図を参照して上述される。説明される方法の特徴は、ソフトウェア、ハードウェア、及び／またはファームウェアを用いて実行され得る式、変形、変換などの動作を含む。ソフトウェアの実施態様に関して、ブロック図の個々のブロック、及びブロック図内のブロックの組み合わせが、コンピュータプログラム命令によって実施され得ると理解される。コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行する命令が、ブロック図のブロックにおいて指定される機能／動作を実施する手段を作り出すように、これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または機械を製作するための他のプログラマブルデータ処理装置のプロセッサに提供され得る。

【0064】

図１３を参照すると、例としてのコンピューティングシステム１３００のブロック図が示され、コンピューティングシステム１３００は、コントローラ１０２、または視覚システム１００及び／もしくは融合アルゴリズムモジュール１０８の１つもしくは複数の部分の例としての構成を提供する。コンピューティングシステム１３００は、適当なシステムの単なる１つの実施例であり、本明細書で説明される開示の実施形態の使用または機能性の範囲に関するいかなる限定も示唆することを意図しない。コンピューティングシステム１３００は、ハードウェア、ソフトウェア、及び／またはファームウェアを用いて実施され得る。とにかく、コンピューティングシステム１３００は、開示に明記されるような機能性を実施されること、及び／または実行することが可能である。

【0065】

コンピューティングシステム１３００は、汎用コンピューティングデバイスの形態で示される。コンピューティングシステム１３００は、処理デバイス１３０２、メモリ１３０４、内部コンポーネント１３１０と通信し得る入力／出力（Ｉ／Ｏ）インターフェース（Ｉ／Ｆ）１３０６、及び任意選択で、外部コンポーネント１３０８を含む。

【0066】

処理デバイス１３０２は、例えば、ＰＬＯＤ、マイクロプロセッサ、ＤＳＰ、マイクロコントローラ、ＦＰＧＡ、ＡＳＣＩ、及び／または類似の処理ケイパビリティを有する他の離散もしくは集積論理回路を含み得る。

【0067】

処理デバイス１３０２及びメモリ１３０４は、例えば、ＦＰＧＡ、ＡＳＣＩ、マイクロコントローラ、またはマイクロプロセッサにおいて提供されるコンポーネントに含まれ得る。メモリ１３０４は、例えば、データを一時的に、または長期間記憶するため、及び処理デバイス１３０２によって実行可能なプログラマブル命令を記憶するための、揮発性及び不揮発性メモリを含み得る。Ｉ／Ｏ Ｉ／Ｆ１３０６は、１つまたは複数の内部コンポーネント１３０８及び／または外部コンポーネント１３１０に連結されるインターフェース及び／または導体を含み得る。

【0068】

コンピュータ可読媒体に記憶される命令が、フロー図及び／またはブロック図のブロックにおいて指定される機能／動作を実施する命令を含む製品を製作するように、これらのコンピュータプログラム命令は、また、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスが特定の方式で機能するように指示し得る、コンピュータ可読媒体に記憶され得る。

【0069】

コンピュータまたは他のプログラマブル装置上で実行する命令が、ブロック図のブロックにおいて指定される機能／動作を実施するためのプロセスを提供するように、コンピュータプログラム命令は、また、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行されるべき一連の操作上の動作にコンピュータ実施プロセスを製作させるために、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイス上にロードされ得る。

【0070】

視覚システム１００及び／もしくは融合アルゴリズムモジュール１０８（または視覚システム１００及び／もしくは融合アルゴリズムモジュール１０８の一部）の実施形態は、マイクロプロセッサなどの１つまたは複数のコンピュータシステムによって実施され、または実行され得る。各コンピュータシステム１３００は、コントローラ１０２、またはその複数のインスタンスを実施し得る。多様な実施形態において、コンピュータシステム１３００は、マイクロプロセッサ、ＦＰＧＡ、特定用途向け集積回路（ＡＳＣＩ）、マイクロコントローラのうちの１つまたは複数を含んでもよい。コンピュータシステム１３００は、組み込みデバイスとして提供されてもよい。コンピュータシステム１３００の全てまたは一部は、モバイルコンピューティングデバイス、スマートフォン、デスクトップコンピュータ、ラップトップなどを経由するなどして、外部から提供されてもよい。

【0071】

コンピューティングシステム１３００は、適当なシステムの単なる１つの実施例であり、本明細書で説明される開示の実施形態の使用または機能性の範囲に関するいかなる限定も示唆することを意図しない。とにかく、コンピューティングシステム１３００は、上述した機能性のいずれかを実施されること、及び／または実行することが可能である。

【0072】

コンピュータシステム１３００は、コンピュータシステムによって実行されている、プログラムモジュールなどのコンピュータシステム実行可能命令の一般的な文脈において説明され得る。概して、プログラムモジュールは、特定のタスクを実行し、または特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造などを含み得る。

【0073】

視覚システムは、非同期ニューロモーフィックイベントデータの取得を同期フレーム化強度画像と統合する。１つまたは複数の実施形態において、強度画像は、ＳＷＩＲ画像である。１つまたは複数の実施形態において、強度画像は、可視性の波長、ＮＩＲ、ＭＷＩＲ、またはＬＷＩＲスペクトルを有する。機械学習は、融合アルゴリズムモジュールを訓練して、情景再構成を実行し、及び／または標的の識別、検出、及び／または追跡を行うために使用される。融合アルゴリズムモジュールは、姿勢（例えば、向き）及びスケール不変性を提供するために、訓練強度画像の複数のビューを用いて訓練される。ノイズは、例えば、カーネル密度推定を使用することによって、訓練イベントデータから減少する。テンプレートは、訓練済みイベントデータ及び相互に対応付けられた強度画像データのエントリを記憶する。訓練済みイベントデータは、形状記述子を用いるなどによって、符号化され得る。一度訓練されると、クエリは、融合アルゴリズムモジュールに提出され得る。強度画像または取得したイベントデータは、クエリとして提出され得る。取得したイベントデータは、クエリとして提出する前に、動き、大きさ、及び／または方向によってクラスタリングされ得る。クエリは、類似度を判定するためにテンプレートエントリと比較され得る。類似度が、所定の閾値より高いか、またはテンプレートエントリについて最も高く判定されるとき、合致が判定され、標的識別、検出、及び／または追跡を実行するために使用され得る。

【0074】

したがって、イベントデータ及び強度画像を相互に対応付けるための機械学習の適用は、ニューロモーフィックイベント検出を使用して情景再構成及び／または標的識別、検出及び／または追跡を実行するために、制限された電力、メモリ、及び処理リソースを有するプラットフォームの能力を提供する。イベントデータのフィルタリング、クラスタリング、及び符号化などの技術は、信頼性及びクエリイベントデータをテンプレート内の訓練済みイベントデータと比較し、及び照合する能力を改善する。

【0075】

開示は、例示的な実施形態（複数可）を参照して説明されているが、開示の範囲から逸脱することなく、多様な変更が行われてもよく、均等物がその要素の代わりに用いられてもよいと、当業者により理解されるであろう。さらに、開示の本質的な範囲から逸脱することなく特定の状況または物質を開示の教示に適合させるために、多くの修正が行われ得る。したがって、開示は、開示された特定の実施形態（複数可）に限定されないが、開示は、添付の特許請求の範囲に入る全ての実施形態を含むと意図される。

【0076】

特段の定義がない限り、本明細書で用いられる全ての技術的及び科学的用語は、本開示が属する技術分野の当業者によって共通して理解されるものと同一の意味を有する。本明細書において説明されるものに類似の、または等価な任意の方法及び物質も、図示される実施形態の実施またはテストにおいて使用され得るが、例示的な方法及び物質は、ここで説明される。本明細書で言及した全ての刊行物は、刊行物が関連して引用された方法及び／または物質を開示及び説明するために、参照により本明細書に組み込まれる。

【0077】

本明細書において使用されるように、添付の特許請求の範囲において、文脈が特段明確に指示しない限り、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、複数の指示物を含むことに留意されなければならない。したがって、例えば、「刺激」に対する参照は、複数のそのような刺激を含み、「信号」に対する参照は、１つまたは複数の信号、及び当業者に既知のその等価物などに対する参照を含む。

【0078】

主題開示の装置及び方法は、実施形態を参照して図示及び説明されているが、当業者であれば、主題開示の思想及び範囲から逸脱することなくそれらに対して変更及び／または修正が行われ得ることを容易に理解するであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図13】