特表 2024-505977 アクティブイメージングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-08

(54)【発明の名称】アクティブイメージングシステム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240201BHJP

   G01S 17/10 20200101ALI20240201BHJP

   H04N 23/56 20230101ALI20240201BHJP

【ＦＩ】

H04N23/60 500

G01S17/10

H04N23/56

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023546532

(86)(22)【出願日】2022-02-02

(85)【翻訳文提出日】2023-09-14

(86)【国際出願番号】 EP2022052506

(87)【国際公開番号】W WO2022167496

(87)【国際公開日】2022-08-11

(31)【優先権主張番号】2101412.1

(32)【優先日】2021-02-02

(33)【優先権主張国・地域又は機関】GB

(81)【指定国・地域】

(71)【出願人】

【識別番号】306032578

【氏名又は名称】レオナルド・ユーケー・リミテッド

【氏名又は名称原語表記】Ｌｅｏｎａｒｄｏ ＵＫ Ｌｔｄ

【住所又は居所原語表記】１ Ｅａｇｌｅ Ｐｌａｃｅ，Ｓｔ．Ｊａｍｅｓ’ｓ，Ｌｏｎｄｏｎ，ＳＷ１Ｙ ６ＡＦ，Ｕｎｉｔｅｄ Ｋｉｎｇｄｏｍ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】バー、ジョン

【テーマコード（参考）】

5C122

5J084

【Ｆターム（参考）】

5C122DA15

5C122EA61

5C122FH09

5C122GG05

5C122GG14

5C122GG21

5C122HA88

5C122HB05

5C122HB09

5J084AA05

5J084AC02

5J084AC03

5J084AC04

5J084AD01

5J084BA05

5J084BA08

(57)【要約】

システムは、ターゲットを含むシーンを照明するために第１及び第２のレーザ照明器を備える。第１のレーザ照明器から放出される光のパルスは、第２のレーザ照明器からの光のパルスと比較して、相対的に広いスペクトル線幅及び相対的に長いパルス持続時間を有する。カメラシステムは、シーンの第１の画像を得るために第１のレーザ照明器から戻りを受信するのに、相対的に長いゲート期間を使用し、シーン内のターゲットではない要素を選択的に排除したターゲットの第２の画像を得るために第２のレーザ照明器からの戻りを受信するのに、ターゲットの距離情報と共に相対的に短いゲート期間を使用する。画像処理により、第２の画像は、第１の画像から、ターゲットではない要素を選択的に除去するためにテンプレートとして使用される。このようにして、最終画像は、第１の照明器の戻りからの可能な限り高い画像品質と、第２のレーザ照明器の戻りからの良好なクラッタ除去とから利益を得る。
【選択図】図６

【特許請求の範囲】

【請求項1】

アクティブイメージングシステムであって、
ターゲットを含むシーンを光のパルスで照明するように各々が適合された、第１のレーザ照明器及び第２のレーザ照明器と、ここで、前記第１のレーザ照明器から放出される光の前記パルスは、前記第２のレーザ照明器からの光のパルスと比較して、相対的に広いスペクトル線幅及び相対的に長いパルス持続時間を有し、
前記シーンによって反射された、前記第１のレーザ照明器と前記第２のレーザ照明器の両方からの光を受信するように配置されたカメラシステムと、ここで、前記カメラシステムは、
前記ターゲットを含む前記シーンの第１の画像を得るために前記第１のレーザ照明器からの戻りを受信するのに、相対的に長いゲート期間を使用するように適合され、
前記シーン内のターゲットではない要素を選択的に排除した前記ターゲットの第２の画像を得るために前記第２のレーザ照明器からの戻りを受信するのに、相対的に短いゲート期間を使用するように適合されており、
前記第１の画像から前記ターゲットではない要素を選択的に除去するためにテンプレートとして前記第２の画像を使用するように適合された画像処理手段と、
を備える、アクティブイメージングシステム。

【請求項2】

前記第１のレーザ照明器が、前記第２のレーザ照明器より高いパルス繰り返し率で動作するように構成される、請求項１に記載のアクティブイメージングシステム。

【請求項3】

前記第１のレーザ照明器が、少なくとも２ＫＨｚのパルス繰り返し率で動作するように配置される、請求項２に記載のアクティブイメージングシステム。

【請求項4】

前記アクティブイメージングシステムが、異なる時間で前記シーンを照明するように前記第１及び第２のレーザ照明器を動作させるように適合される、請求項１又は２に記載のアクティブイメージングシステム。

【請求項5】

前記第１及び第２のレーザ照明器が、実質的に同じ中心波長で動作する、請求項４に記載のアクティブイメージングシステム。

【請求項6】

前記第１及び第２のレーザ照明器が、異なる中心波長で動作する、請求項１から４のいずれか一項に記載のアクティブイメージングシステム。

【請求項7】

前記カメラシステムが、前記第１及び第２の画像を得るために前記第１のレーザ照明器と前記第２のレーザ照明器の両方からの戻りをキャプチャする単一の検出器を備える、請求項１から６のいずれか一項に記載のアクティブイメージングシステム。

【請求項8】

前記アクティブイメージングシステムが、前記シーンを同時に照明するように前記第１及び第２のレーザ照明器を動作させるように適合される、請求項６又は７に記載のアクティブイメージングシステム。

【請求項9】

前記カメラシステムが、前記第１のレーザ照明器からの戻りをキャプチャするように適合された第１のカメラと、前記第２のレーザ照明器からの戻りをキャプチャするように配置された第２のカメラとを備える、請求項６又は８に記載のアクティブイメージングシステム。

【発明の詳細な説明】

【背景技術】

【0001】

遠隔物体の検出（取得）、トラッキング、および識別のうちの１つまたは複数の目的で、いくつかのセンサを使用してローカル環境を監視するために、観察システムが使用されている。

【0002】

図１は、システム１の場所から１００ｍから２０ｋｍ以上の範囲内に位置し得るローカル環境内の物体を検出するように設計された代表的な従来技術の観察システム１の概略図を示す。システム１は、航空機もしくは他の空中プラットフォーム内、陸上車両上、または航洋船上に取り付けられ得る。

【0003】

観察システム１は、インターフェース２と、制御および処理サブシステム３と、取得およびトラックシステム４とを備える。

【0004】

制御および処理サブシステム３は、インターフェース２を介して、システム状況データならびに処理された画像、トラックデータ、およびターゲット情報を出力する。

【0005】

インターフェース２は、たとえば、分析およびアクションのために人の観察者に画像を提示するためのディスプレイを備え得る。代替的にまたは追加的に、インターフェースは、人の介入無しに、観察システム１からの出力データ、たとえば画像または一連の画像を処理し、適切なアクションをとることができる自律式システムに入力を提供する出力部を備え得る。

【0006】

制御および処理サブシステム３は、３つのシステム、すなわちターゲット検出センササブシステム５と、粗トラッキングサブシステム６と、アクティブイメージングサブシステム７とを備える取得およびトラックシステム４を制御する。サポートアンビリカル８は、制御および処理サブシステム３を取得およびトラックシステム４のサブシステムに相互接続し、電力およびデータケーブル（バス）、ならびに必要な場合（たとえば空気または液体の冷却）に熱管理サービスを備える。

【0007】

粗トラッキングサブシステム６は、ターゲットをトラッキングするための１つまたは複数のセンサを備える。センサは、広範囲の角度を検出することができ、限定された空間分解能でターゲットを素早く検出するのに有用である広視野（ＷＦＯＶ）トラッキングセンサと、ターゲットの分類、および場合によっては識別のために高い分解能を有する狭視野（ＮＦＯＶ）トラッキングセンサとを含み得る。正確な値は、システムアプリケーションによって決定される。

【0008】

広視野センサは、次の帯域、すなわち紫外光（ＵＶ）、可視光、近赤外光（ＮＩＲ）、短波赤外光（ＳＷＩＲ）、中波赤外光（ＭＷＩＲ）、および長波赤外光（ＬＷＩＲ）の１つまたは複数内で動作する１つまたは複数のカメラまたは検出器を含み得る。

【0009】

狭視野センサは、次の帯域、すなわち紫外光（ＵＶ）、可視光、近赤外光（ＮＩＲ）、短波赤外光（ＳＷＩＲ）、中波赤外光（ＭＷＩＲ）、および長波赤外光（ＬＷＩＲ）の１つまたは複数内で動作する１つまたは複数のカメラまたは検出器を含み得る。

【0010】

粗トラッキングサブシステム６はまた、レンジファインダ、たとえばレーザレンジファインダを含み得る。レンジファインダは、ターゲットの優先付けまたは識別を助け得る距離情報をターゲットに提供する。

【0011】

粗トラッキングサブシステム６は、たとえば、さまざまなセンサが固定されたジンバルシステムを制御するためにモータを使用して操縦可能である。動眼視野（ＦｏＲ）は、取得およびトラックシステム４が見ることができる空間内のすべての可能な方向を包含し、視野（ＦｏＶ）は、どの時点においても実際に見ることができる空間内の方向のより小さいセットを説明する。

【0012】

ターゲット検出センササブシステム５は、潜在的なターゲット物体を観察システム１が探し始めること可能にするための空間内の方向を導出するために、観察システム１の内部５Ａおよび／または外部５Ｂであり得る多くの可能なセンサ５Ａ、５Ｂの１つまたは複数からデータを得る。外部センサ５Ｂからのデータは、インターフェース２を通して受信される。代替的な配置では、ターゲット検出センササブシステム５の機能は、外部システムと、インターフェース２を通して受信されたその入力によって実行され得る。

【0013】

潜在的なターゲットが外部センサの１つまたは複数の出力から識別されるとき、制御および処理サブシステムは、潜在的なターゲットが粗トラッキングサブシステム６のシステムの動眼視野（ＦｏＲ）内にあることを確認する。そうでない場合、制御および処理サブシステム３は、何もせず、別様では、粗トラッキングサブシステム６に、潜在的なターゲットがそのセンサの視野（ＦｏＶ）の少なくとも１つ内にあるようにそのシステム自体が向くように命令する。ターゲットの位置における測定エラーが、ＮＦｏＶトラッキングセンサの動眼視野より小さいことが重要である。ＷＦｏＶおよびＮＦｏＶトラッキングセンサは、いくつかの知られているプロセスの１つを使用して位置合わせされるため、それらの視線は、調和または共照準合わせされる。

【0014】

外部ターゲット検出センサ５Ｂは、観察システム固有のものであってもよく、またはこれらは、観察システムから遠隔であってもよく、たとえば別個のプラットフォーム上もしくは近くの別個の観察システム上にあってもよい。カメラと称される、またはＩＲカメラの場合はＦＬＩＲＳ（順方向赤外線センサ）と称されるサブセットを有する外部ターゲット検出センサは、人の視野、レーダシステム、赤外線（ＩＲ）または熱カメラ、短波ＩＲカメラ、可視光カメラ、紫外線（ＵＶ）センサおよび／またはカメラ、ならびに音響センサの１つまたは複数を備え得る。

【0015】

例示的な観察システムは、赤外線対策（ＩＲＣＭ）システムである。ＩＲＣＭシステムは、しばしば、ミサイル発射警報装置（ＭＬＷ）としても知られている遠隔ターゲット検出センサで構成される。ＭＬＷは、ミサイルの発射サインを検出し、そしてＭＬＷプラットフォームに対する発射サイトの場所を提供するために、ＵＶカメラおよびＩＲカメラを使用し得る。この配置では、ＭＬＷは、観察システムの完全に外部にある。ＭＬＷは、制御および処理サブシステム３の役割を果たすプロセッサに発射の場所を報告する。プロセッサは、同じプラットフォーム上の別個の場所にあるタレットに、そのＦＯＶがＭＬＷによって識別されたミサイルの場所に向くように回転するように命令する。タレットは、粗トラッキングモジュール６に等しいＦＬＩＲを含む。ＦＬＩＲは、ミサイルの噴煙を検出することができ、したがって、ミサイルを取得し、トラッキングすることができる。プロセッサは、タレット上のセンサからのデータを分析する。

【0016】

図１を再度参照すれば、通常、ターゲットは、ＷＦｏＶセンサ内に存在することになり、ターゲットがＷＦｏＶ内で中心揃えされるように制御および処理サブシステム３が粗トラッキングサブシステム６の向きに対して小さい補正を施すことを可能にして、このシステムが連続的にターゲットをトラッキングできるようにする。ターゲットを検出し、トラッキングすることを開始した後、場合によってはまだこれを識別することなく、制御および処理サブシステム３は、ＷＦｏＶセンサと共照準合わせされているためにこれもまたターゲットを見ることができるＮＦｏＶセンサからの出力を分析する。ＮＦｏＶセンサによって提供される空間分解能が良好になると、制御および処理サブシステム３はターゲットを識別することができ得る。識別は、制御および処理サブシステム内の適切な自動ターゲット識別アルゴリズム（ＡＴＩ）によって、またはインターフェース２を介して識別のために人ユーザに画像を提示することによって達成され得る。この段階で、制御および処理サブシステム３または人は、ターゲットをそのミッションの関心対象か、ミッションの関心対象ではないかを分類する。潜在的なターゲットが関心対象ではない場合、制御および処理サブシステム３は、この潜在的なターゲットをクラッタとして分類する。ターゲットが関心対象である場合、これは、そのミッションが完了するまで物体をトラッキングし続けるように粗トラッキングサブシステム６に命令する。

【0017】

粗トラッキングサブシステム６のＮＦｏＶセンサが十分な空間分解能で潜在的なターゲットの画像を提供できないために、潜在的なターゲットを識別できない状況となる場合があり、この場合、アクティブイメージングサブシステム７が開始される。アクティブイメージングサブシステム７は、潜在的なターゲットのさらなる画像を得るために、アクティブ照明として知られている技術を使用する。

【0018】

アクティブイメージングは、光源、通常は連続波（ＣＷ）レーザ、またはより好ましくはパルス式レーザが遠隔物体を照明するために使用される技術である。適切なカメラが、物体によって反射された光を撮像する。最も現実的なターゲットは、ターゲットが構造化され、また異なる表面処理を有する多くの材料で構成される場合があるという点で複雑であるため、これらから反射された光は、同じターゲットから鏡面反射および拡散反射を受ける。反射された光はまた、いくらか偏光解消され得る。アクティブイメージングの利点は、以下の通りである。
１．レーザがＷＦｏＶおよびＮＦｏＶ熱センサより短い波長を使用する場合、ＷＦｏＶまたはＮＦｏＶセンサからよりも良好な空間分解能でキャプチャされた画像を得ることが可能であり、これはターゲットの認識の向上を助け得る。
２．カメラに達した光をレーザ波長周りの小範囲の波長にフィルタリングすることが可能であり、これによって、カメラ感度が向上し、カメラのＦｏＶ全体内でターゲットを局所化することが支援される。
３．アクティブイメージングは、局所的な熱サインによって制限される場合、熱画像と比較してイメージングコントラストを向上させることを可能にする。たとえば、早朝および夕方では、シーンの温度はほぼ等温になり得、それによって、いずれのターゲットも検出または識別するには背景に対するコントラストが低すぎることになる。アクティブイメージングは、シーン温度とは無関係のターゲットイメージングを可能にする。
４．アクティブイメージングは、ターゲットと比較してカメラにより近いおよび／またはカメラからより遠く離れた物体を画像から除去するために、タイムゲーティングイメージングを実施するために使用され得る。このプロセスは、しばしばクラッタ低減またはクラッタ除去と呼ばれる。これは、たとえば、綱ベースのカモフラージュ（netting based camouflage）内でまたは部屋内で観察者がターゲットを見ることを可能にするために使用され得る。

【0019】

タイムゲートイメージングは、ある時点（レーザ発射時間）にパルス式レーザを動作させ、レーザ発射時間より遅延したゲート開放時間にカメラゲートを開放することによって達成される。カメラゲートは、レーザ発射時間よりさらに遅延したゲート閉鎖時間に閉鎖される。

【0020】

このタイプのタイムゲートイメージングは、カメラピクセルサイズによって定められた空間分解能を有する二次元フォーマットで強度情報を提供する。これは、二次元（２Ｄ）イメージングと称され得る。

【0021】

レーザパルスの長さがターゲットと比較して短い場合、識別を助け得る、ターゲット形状についてのさらなる情報を取得することが可能である。この特徴は、ピクセルレベルレンジファインダに等しいピクセル単位ベースで、反射された光の到達時間に関する情報をカメラが提供することを必要とし、ターゲットサイズおよび形状の情報を提供するために分析され得る距離分解能のポイントクラウドを生成することが可能となる。時間分解能のタイムゲートカメラのこうした使用は、しばしば三次元情報（３Ｄ）を提供するものとみなされ、この場合二次元は、ピクセルによる強度データであり、三次元は、信号の到達時間である。

【0022】

２Ｄタイムゲートカメラはまた、３Ｄ情報を発展させるために使用され得る。１つの手法は、レーザ発射時間に対してわずかに異なる遅延で（ゲート開放時間に）ターゲットに問い合わせするためにいくつかのレーザパルスを使用することである。

【0023】

ＣＷレーザ照明器もまた、カメラの自然なフレームレートを通して２Ｄ画像を生み出すために使用され得る。各画像は、カメラのフレームレート（典型的には０．５から５ｍｓまたはそれ以上）にわたって統合される。レーザによって照明されたすべての物体は、照明されたシーン内で見ることができ、これは、意図されるターゲットではない物体を前景または背景に含むことがある。このタイプのカメラの出力は、時間に基づくクラッタ除去を可能にしない。

【0024】

図２を参照すると、アクティブイメージングサブシステム７は、アクティブイメージングコントローラ７Ａと、照明レーザ７Ｂと、プログラム可能な遅延発生器７Ｃと、タイムゲートカメラ７Ｄとを備える。

【0025】

アクティブイメージングコントローラ７Ａは、バス８を介して制御および処理サブシステムから命令を受信し、次いで、内部バス７Ｅを介して第１のパルス式照明レーザ７Ｂ、プログラム可能な遅延７Ｃ、およびタイムゲートカメラ７Ｄを制御するように適合される。

【0026】

アクティブイメージングコントローラ７Ａから受信した信号に応答して、照明レーザ７Ｂは、アクティブイメージングサブシステム７の第１の開口７Ｆを介して、パルス光１０でターゲット９を照明する。照明レーザ７Ｂはまた、時間遅延信号、すなわちゲート開放信号をゲートカメラ７Ｄに提供するプログラム可能な時間遅延発生器７Ｃにタイミング信号を提供する。ゲート開放信号の受信に応答して、カメラ７Ｄは、第２の開口７Ｇを通してターゲット９から反射された光１１を収集するために、そのゲートを開放する。カメラ７Ｄは、ゲート開放信号から所定の時間にそのゲートを閉鎖するようにプログラムされる。

【0027】

図３を参照すると、レーザ７Ｂは、記号ではＴ_FWHMである、半値全幅ＦＷＨＭによって説明される持続時間を有する光パルス１０を生み出す。多くの用途において、Ｔ_FWHMについて５から５０ｎｓの値が通常であるが、より長いパルスとより短いパルスの両方が使用されてもよい。安全上の理由により、照明レーザ７Ｂの好ましい波長は、１．５μｍから１．８μｍの範囲であるが、良好な大気透過率を有する他の波長が使用されてもよい。時間で測定されたレーザパルス長さは、光の速度、ｃ＝３×１０⁸ｍｓ^-1（近似値）をかけることによって物理的パルス長さに変換され得る。５ｎｓから５０ｎｓまでの範囲の物理的持続時間は、約１．５ｍから１５ｍに対応する。

【0028】

レーザ７Ｂは、レーザパルス繰り返し期間Ｔ_pによって繰り返しパルス化され得る。パルス繰り返し期間は、必要に応じて変えられ得る。Ｔ_pの典型的な値は、１００ｍｓから５００μｓの範囲内にある。レーザ７Ｂとタイムゲートカメラ７Ｄとの間のタイミング精度の向上のために、任意選択により、レーザ７Ｂ出力の小部分が、Ｔ₀検出器７Ｈに導かれてもよく、Ｔ₀検出器７Ｈは、これに応答して、プログラム可能な遅延７Ｃに入力を提供する、レーザパルス１０の放出に同期された信号を生成する。レーザパルスの放出時間は、Ｔ₀と称され得る。

【0029】

レーザパルスは、距離Ｌにあるターゲット９に伝播する。Ｌの値は、たとえば、粗トラッキングサブシステム６内のレンジファインダを使用することによって、観察システム１に知られ得る。そのような場合、パルスが時間Ｔ₀＋Ｌ／ｃにおいてターゲット９に達し、反射された光１１が時間Ｔ_o＋２Ｌ／ｃにおいてタイムゲートカメラ７Ｄに達することが知られている。コントローラ７Ａは、プログラム可能な遅延７ｃを２Ｌ／ｃ－ｔ₀のＴ₀に対する時間に設定するため、カメラゲートは、反射された光がカメラ７Ｄに到達する前に開放する。カメラゲートは、時間ｔ₀＋ｔ_cがゲート開放時間となるように、反射された光のパルスが２Ｌ／ｃ＋ｔ_cのＴ₀に対する時間にカメラ７Ｄに達した後に閉鎖する。ゲート時間は、Ｔ₀の測定値における不確実性を可能にするためにパルス持続時間、Ｔ_FWHMより長くなければならないが、システムのノイズに対する信号を向上させるために最小限にされ得る。

【0030】

カメラ７Ｄは、第２の開口７Ｇに入る光を収集し、これを焦点面アレイ（ＦＰＡ）７１上に撮像するレンズシステム７０を備える。焦点面アレイ７１は、十分な感度でレーザ光を検出することができる、適切にピクセル構成された検出器材料上に構成される。焦点面アレイ７１上の各ピクセルは、接続された読み取り集積回路（ＲＯＩＣ）７２上の電子装置によって処理される。ＲＯＩＣ７２は、各ピクセルからの光電流を収集および統合し、ＦＰＡ７１の感度がゲート開放時間にしたがって低感度から高感度、高感度から低感度に効果的に時間切り替えされるようなゲート回路を実装する。ゲート開放時間中に収集された画像データは、連番付けされ、バス７Ｅを介して制御および処理サブシステム３に渡される。

【0031】

ゲートカメラＤはまた、焦点面アレイ７１に達する非レーザ光の量を最小限にするために狭帯域フィルタ７３を含む。たとえば、アクティブイメージングシステム７は、１ｎｍ未満の線幅を有するソリッドステートレーザ７Ｂと、約１ｎｍの通過帯域を有する狭帯域フィルタ７３とを含み得る。代替的に、２５ｎｍ未満の線幅を有する半導体レーザ７Ｂが、約２５ｎｍの通過帯域を有するフィルタ７３と共に使用されてもよい。これらの例の両方のフィルタは、背景ノイズに関して、典型的には０．６から１．７μｍのスペクトル範囲に敏感であるＩｎＧａＡｓベースの短波赤外線検出器に非常にひけをとらないものである。

【0032】

図２に示されるアクティブイメージングシステムは、レーザ７Ｂおよびタイムゲートカメラ７Ｄが別々の送信および受信開口７Ｆ、７Ｇを有する場合のバイスタティックアーキテクチャを示す。

【0033】

モノスタティックとして知られている代替の光アーキテクチャが、図４に概略的に示される。この変形のアクティブイメージングシステム７は、レーザ光の送信およびターゲットからの反射された光の受信の両方に使用される単一の光開口７Ｇを備える。レーザ波長において大きく反射する鏡７Ｊが、レーザビーム１０を開口７Ｇに向かわせるように操縦するために使用される。偏光または開口共有などの光を空間的に多重化するための知られている技術を使用し得る光コンポーネント７Ｋが、送信されたレーザビーム１０と反射された光１１の経路を組み合わせる。

【0034】

図５は、図４のシステムを使用するクラッタ除去のプロセスを示すが、図２および３のシステムもまた、同様に使用され得る。ターゲット９（この例ではタンク）が、レーザ７Ｂによって照明され、その戻りが、タイムゲートカメラ７Ｄによって収集され、処理され、インターフェース２を介して、第１の画像２０または第２の画像２１としてユーザに提示される。第１の画像２０を得るとき、ゲートオンタイムは、レーザパルス持続時間と比較すると長く、したがって、画像は、ターゲット９の図に加えて、前景のいくらかおよび背景のいくらかの詳細を含む。その反対に、ゲート開放時間がターゲットの物理的深さに匹敵する場合、レーザパルス持続時間は、ゲートオンタイムより短く、ターゲットは、そのゲート開放時間内に正しく置かれ、その後、第２の画像２１が得られる。第２の画像２１内に表現されるターゲット９は、前景および背景からきれいに分けられる。物理的レーザパルス持続時間がターゲット寸法全体よりかなり短く、カメラ７Ｄが３Ｄ可能である場合、画像２１内の構造、たとえば、ターゲット９がタンクである場合にガンバレルの長さが測定されることが可能であり、これはターゲット識別に対する助けとなり得る。

【0035】

アクティブイメージングシステム７の有用性は、アクティブイメージングを観察システム１に統合することによって発生する追加コストと比較した、結果として得られる画像の品質に依存する。レーザ７Ｂとカメラ７Ｄの両方が、生み出される画像の品質に寄与することが知られている。さらに、たとえば半導体レーザと比較して、レーザタイプの種類などの選択、たとえばソリッドステートレーザ（たとえばＮｄ：ＹＡＧ、Ｅｒ：Ｙａｇ、またはＨｏ：Ｙａｇ）間の選択は、異なる電源要件をもたらす。ソリッドステートレーザはまた、波長および線幅が変えられ得る半導体レーザと比較して、相対的に固定された波長および相対的に狭い線幅になる。

【0036】

アクティブイメージングの理想的なレーザ源は、以下の特性を有する。
ａ．自然光の特性を模倣し、画像上のスペックルの影響を低減するために、大きい線幅、たとえば５ｎｍから５０ｎｍまたはそれ以上を有するビームを生み出すことができる。
ｂ．対象の物体がシステムの場所から１００ｍから２０ｋｍ、またはそれ以上に位置する長距離観察用途で安全に使用できる。この要件は、１．５μｍから１．８μｍの範囲内の波長を使用することによって最も容易に満たされる。
ｃ．レーザ波長に適切な感度を有するタイムゲートカメラが使用できる。
ｄ．ポイントｃで特定されたカメラを用いて、ポイントａで特定された線幅で使用されるとき、ポイントｂにおいて特定された、対象のターゲットに達するのに十分な１パルスあたりのエネルギーを生み出すことができる。典型的には、そのようなレーザは、使用に合わせて選択された正確なカメラに応じて、１パルスあたり１０から１００ｍＪの範囲内のパルスエネルギーを必要とする。そのようなレーザのパワーは、Ｐ＝Ｅ／Ｔ_p＝Ｅｖ_pとして、レーザの繰り返し率を使用して算出されてもよく、式中、Ｐはワット単位の電力であり、Ｅはジュール単位のパルスエネルギーであり、Ｔ_pは、パルス繰り返し期間であり、パルス周波数は、ｖ_p＝１／Ｔ_pであり、Ｈｚで測定される。具体的なレーザ選択について、２０Ｈｚから２０００Ｈｚまで繰り返し率を増大させると、出力電力および電力消費は、１００倍増大し得る。
ｅ．レーザは、観察システム内の電力消費および熱負荷を最小限にするのに十分に電気的に効率的でなければならない。現在利用可能な最適な壁プラグの効率は、パッケージ化された半導体レーザから４０％超である（個々の半導体デバイスは、５０％超の電力から光パワーへの変換を有し得る）。他方で、標準的なソリッドステートレーザは、２から５％未満の範囲の壁プラグ効率で動作する。壁プラグ効率は、レーザを動作させるために外部電源から導出される電力である。この数字は、即座の電気から光の変換ステップだけではなく、レーザのすべてのコンポーネント部分によって使用される電力を含む。したがって、壁プラグ効率は、レーザサブシステムを動作させるのに必要とされる任意の電子制御カード、レーザの一部によって必要とされる任意の熱制御、およびレーザ内の内部電圧変換もしくは電力調節における損失ならびに電気から光への変換における損失を含むが、それだけに限定されないこともある。通常、壁プラグ効率は、システムの動作温度範囲にわたって変化する。
ｆ．物理的レーザパルス持続時間は、ターゲットが前景および背景からきれいに分けられ得るようにターゲットの寸法より（距離的に）短くなければならない。数多くの用途では、これは、３ｍから７．５ｍのパルス長さに等しい１０から２５ｎｓの範囲内のパルス持続時間を必要とする。ターゲットの３Ｄ画像データが必要である場合、０．３ｍから１ｍの範囲内の空間分解能を提供するために、たとえば１ｎｍから３ｎｓの範囲内のより短いパルス持続時間がしばしば必要とされる。
ｈ．レーザは、たとえば、長距離イメージングにおいて大気乱流によって引き起こされる画像劣化を最小限にするために、相対的に高い繰り返し率（１０００Ｈｚ以上）で動作する。ポイントｄにおいて留意されるように、これは、数１０Ｈｚで動作する標準的なレーザ源よりも、電力消費がかなり増大することを表している。
ｉ）レーザは、低コストである。

【0037】

表１は、条件ｃを満たす知られている市販のさまざまなレーザタイプを示し、アクティブイメージング源に関して検討された基準とそれらの特性を比較している。

【0038】

【表1】

【0039】

短いパルス、高い電気効率、および大きい線幅を同時に提供することができる低コストレーザが、現在存在していないことが分かる。これらの要件を満たすように思われるこれらおよび他のレーザの短いパルス、高い繰り返し率の例は存在し得るが、一般的に、これらは実験室レベルでの実証であり、手頃な価格で効率的な信頼高いパッケージとしてすぐに利用可能にはなり得ない。

【発明の概要】

【0040】

本発明は、上記で説明された観察システムにおいて使用するための改良されたアクティブイメージングシステムを提供するために考えられた。

【0041】

本発明の第１の態様によれば、アクティブイメージングシステムであって、ターゲットを含むシーンを光のパルスで照明するように各々が適合された、第１のレーザ照明器および第２のレーザ照明器と；第１のレーザ照明器から放出される光のパルスは、第２のレーザ照明器からの光のパルスと比較して、相対的に広いスペクトル線幅および相対的に長いパルス持続時間を有する；シーンによって反射された、第１のレーザ照明器と第２のレーザ照明器の両方からの光を受信するように配置されたカメラシステムと、ここにおいて、カメラシステムは、ターゲットを含むシーンの第１の画像を得るために第１のレーザ照明器からの戻りを受信するのに、相対的に長いゲート期間を使用し、シーン内のターゲットではない要素を選択的に排除したターゲットの第２の画像を得るために第２のレーザ照明器からの戻りを受信するのに、ターゲットの距離情報と共に相対的に短いゲート期間を使用するように適合される；第１の画像からターゲットではない要素を選択的に除去するためにテンプレートとして第２の画像を使用するように適合された画像処理手段とを備える、アクティブイメージングシステムが提供される。

【0042】

ポイントａからｉにおいてリストされた要件を同時に満たすことは、従来技術の単一のレーザでは実行可能ではないことを認識して、本発明は、ターゲットの２つのソース画像のための画像データを得るために２つの照明器源を使用することによって、また、前景および背景クラッタを有さず、第１の画像によって提供されるターゲットの高い画像品質を備えるさらなる画像になるように画像データを合成するためにイメージング処理を使用することによって、理想的なレーザを複製する。

【0043】

そのより広い線幅により、より高い品質の画像、すなわちスペックルが少ない画像が、第２のレーザ照明器からの戻りよりも、第１のレーザ照明器からの戻りを使用して生み出され得る。第２の照明器のより短いパルス持続時間は、より良好なクラッタ除去、そして十分に短い場合はターゲットの３Ｄ画像詳細を可能にする。

【0044】

第１のレーザ照明器は、ターゲットの第１の画像、ひいては結果として得られる合成された画像が、大気乱流によって引き起こされるノイズをより少なく含むようにするために、第２のレーザ照明器と比較してより高い繰り返し率で動作してもよい。

【0045】

さらに有利には、広い線幅、短いパルス持続時間、および高い繰り返し率をレーザ単独で生み出す必要はないため、２つの比較的安価なレーザが使用可能であり、これらのレーザは、２つあるにも関わらず、すべての所望の特性を有する単一のレーザより、アクティブイメージングシステム内に実装するのに依然としてより安価であることができる。たとえば、システムは、（表１の）タイプＢのレーザ、すなわち光パラメトリック発振器（ＯＰＯ）付きＱスイッチ式Ｎｄ：ＹＡＧを第１のレーザとして、タイプＤのレーザ、すなわち複数の共パッケージ化された半導体レーザを第２のレーザとして備えてもよい。

【0046】

第１および第２のレーザ照明器の具体的な線幅および繰り返し率は、具体的な用途に応じて選択されるが、たとえば、第１のレーザ照明器は、少なくとも１０ｎｍ、好適には少なくとも２５ｎｍの線幅で動作してもよい。第１のレーザ照明器は、結果として得られる画像内の大気ノイズを低減するために、少なくとも１ｋＨｚ、好適には少なくとも２ＫＨｚの繰り返し率で動作してもよい。

【0047】

第２の画像内の大気ノイズは懸念することはない。第２のレーザ照明器は、１ＫＨｚを下回る、任意選択により１００Ｈｚ未満の繰り返し率で動作してもよい。これにより、第２のレーザについては比較的高価でないレーザの選択が可能になる。

【0048】

第２のレーザは、数メートル以下程度のサイズでターゲットを解像するために２０ｎｍ以下のパルス持続時間で動作してもよい。

【0049】

第２のレーザは、２ｎｍ以下の線幅で動作してもよい。

【0050】

レーザパルスエネルギーは、レーザ距離方程式に基づいて標準的な技術を使用して推定されてもよい。典型的には、これは、カメラ感度、ターゲット距離、ターゲットの反射性および偏光性、背景光、たとえば狭帯域フィルタ範囲内の太陽照明およびこの範囲外からの漏れ、レーザ分岐、受信開口サイズ、大気透過率、ならびにフィルタおよび他の光コンポーネント内の損失によって制御される。その結果、パルスエネルギーは、大きく変化することができる。実際的な経験により、短距離用途の１ｍＪから長距離用途の１００ｍＪまでの範囲のパルスエネルギーが有用なパフォーマンスを提供することが提案されている。

【0051】

アクティブイメージングシステムは、異なる時間において第１および第２のレーザ照明器を動作させるように適合されてもよい。

【0052】

カメラシステムは、第１および第２の画像を得るために、第１および第２のレーザ照明器からの戻りをキャプチャするために単一のカメラを備えてもよい。代替的には、システムは、第１のレーザ照明器からの戻りをキャプチャするように適合された第１のカメラと、第２の照明器からの戻りをキャプチャするように配置された第２のカメラとを備えてもよい。

【0053】

第１および第２のレーザ照明器からの光のパルスは、実質的に同じ中心波長を有してもよい。代替的には、第１および第２のレーザ照明器からの光のパルスは、重複しない線幅を有する異なる中心波長のものであってもよい。

【0054】

第１および第２のレーザ照明器が異なる中心波長で動作する場合、システムは、２つのレーザからの戻りを、これらが異なるカメラに導かれ得るように空間的に分離するために、光要素、たとえばダイクロイックスプリッタを備えてもよい。

【0055】

１つのカメラが使用される場合、第１および第２のレーザ照明器が、同じ波長で動作し、戻りが時間多重化式にキャプチャされることが好適である。これにより、カメラを非常に狭帯域のフィルタに合わせることが可能になり、それによって、レーザ光に対するカメラの感度が増大され、たとえば他の発光源からの背景光が低減される。

【0056】

代替的には、第１および第２のレーザ指示装置が、両方の波長をキャプチャするように適合された単一のカメラと共に、またはレーザ照明器の１つからの戻りをキャプチャするように各々が配置された２つのカメラと共に異なる波長で動作する場合、パルスおよび戻りは、同時に検出されてもよい。

【0057】

このシステムは、１ｍ未満程度の長さスケールでの空間分解能を提供するために、たとえば約２ｎｓの第２のレーザ照明器のものより小さい持続時間の光パルスでシーンを照明するように適合された第３のレーザ照明器を備えてもよい。

【0058】

第３のレーザ照明器からの戻りは、第１または第２のカメラの１つによって、または第３のカメラによって受信されてもよい。

【0059】

次に、本発明は、以下の図を参照しながら例として説明される。

【図面の簡単な説明】

【0060】

【図1】従来技術の観察システムの概略図。

【図2】図１の従来技術の観察システムのアクティブイメージングシステムの概略図。

【図3】追加の詳細を示す、図２のアクティブイメージングシステムの概略図。

【図4】従来技術の変形のアクティブイメージングシステムの概略図。

【図5】クラッタ除去のプロセスを示す従来技術の変形のアクティブイメージングシステムの概略図。

【図6】バイスタティック配置の２つのレーザ照明器および単一のタイムゲートカメラを含むアクティブイメージングシステムの概略図。

【図7】テンプレートとして第２の画像を使用して第１の画像内でターゲットを分離するためのフィルタ機能を適用するためのアルゴリズムを示す図。

【図8】バイスタティック配置の２つの照明器および２つのタイムゲートカメラを備えるアクティブイメージングシステムの概略図。

【発明を実施するための形態】

【0061】

図６は、インターフェース１１０と、制御および処理サブシステム１２０と、アクティブイメージングサブシステム１３０とを備える観察システム１００を示す。処理機能を備える制御および処理サブシステム１２０は、改良されたアクティブイメージングアルゴリズムを実行するように適合される。

【0062】

観察システム１００はまた、典型的には、これまでに説明されたように各々が機能する、図１のターゲット検出センササブシステムおよび粗トラッキングサブシステムを含む。

【0063】

アクティブイメージングサブシステム１３０は、コントローラ１３１と、第１のパルス式照明レーザ１３２と、第２のパルス式照明レーザ１３３と、第１の開口１３４と、第２の開口１３５と、プログラム可能な遅延１３６と、タイムゲートカメラ１３７とを備える。

【0064】

第１のレーザ１３２は、第２のレーザ１３３によって放出されるレーザパルスと比較して相対的に長い持続時間のレーザパルスを放出するように適合される。

【0065】

第１のレーザ１３２は、少なくとも２ＫＨｚの繰り返し率で動作するように適合される。第２のレーザ１３３は、２ＫＨｚを下回る、好適には１ＫＨｚを下回る、たとえば数１００ＭＨｚ未満の繰り返し率で動作するように適合される。

【0066】

動作において、それぞれの第１および第２のレーザ１３２、１３３からの光１５０、１６０のパルスは、第１の開口１３４を通してターゲット（図示されず）に導かれる。第２の別個の開口１３５は、シーンからの反射されたレーザ光１５０Ａ、１６０Ａを収集し、その光を、両方のレーザ１３２、１３３の戻り１５０Ａ、１６０Ａの波長を検出するように適合されたゲートカメラ１３７の焦点面アレイ（図示されず）上に導く。

【0067】

第１および第２のレーザの波長および線幅に適切な狭帯域フィルタ（図示されず）が、タイムゲートカメラ１３７の正面に配置される。

【0068】

第１および第２のレーザ１３２、１３３は、同じ中心波長または異なる中心波長を有する光のパルスを放出してもよい。第１および第２のレーザ１３２、１３３が同じまたは同様の波長のパルスを放出する場合、２つのレーザのパルスは、第２の開口１３５において同時に受信されないようにインターリーブ（時間多重化）される。パルスが異なる中心波長を有する場合、カメラが、スペクトル分離できず、スペクトル的に別々のパルスを受信するために異なるゲート時間を適用することができない限り、パルスをインターリーブ（時間多重化）することが、依然として通常好ましい。

【0069】

コントローラ１３１の制御下で動作するプログラム可能な遅延発生器１３６は、それぞれのレーザ１３２、１３３からの反射された光戻りを検出するためにタイムゲートカメラ１３７のゲートの開放にタイミングを合わせるために、いずれかのレーザ照明器１３２、１３３からの放出によってトリガされる。この遅延は、観察システム１００に知られているターゲットまでの距離Ｌを使用して決定される。

【0070】

ゲート開放時間は、レーザ照明器パルス持続時間を使用して、ゲート開放時間の全持続時間を、これがパルス持続時間より長いことを確実にしながら最小限にするように導出される。したがって、ゲート開放時間は、第１のレーザ照明器１３２からの戻りを受信するときの方が、レーザ照明器１３３からの戻りを受信する場合よりも長い。

【0071】

コントローラ３０１は、第２のレーザ照明器１３３によって生成されたレーザパルスごとに、第１のレーザ照明器１３２によって生成された１つまたは複数のパルスが存在し得るように、レーザ１３２、１３３を動作させてもよい。

【0072】

各戻りからの検出された画像は、タイムゲートカメラ１３７から、コントローラ１３１を介して制御および処理サブシステム１２０に渡される。

【0073】

第２のレーザ１３３の相対的に短いパルス持続時間により、第２のレーザ２からの戻りから導出されたターゲットの画像（これ以後、第２の画像または複数の第２の画像と称される）は、シーン内に、背景および前景の特徴の情報をあったとしても比較的少なく含む。

【0074】

対照的に、第１のレーザ１３２からの戻りから導出されたターゲットの画像（これ以後、第１の画像または複数の第１の画像と称される）は、第１のレーザのより長いパルス時間により、シーンの背景および前景特徴の情報をより多く含む。しかし、第１のレーザの相対的に広いスペクトル線幅および高い繰り返し率により、第１の画像は、空間ノイズをより少なく含み、したがって第２のレーザからのものよりも高品質になり得る。

【0075】

制御および処理サブシステム１２０は、第２の画像内に現れていない、シーンのターゲットでない特徴を、１つまたは複数の第１の画像から削除またはフィルタリングするためにテンプレートとして第２の画像を使用するアルゴリズム２００（図７を参照）を実行するように適合された画像プロセッサ１２１を備える。

【0076】

当業者によく知られている光機械式設計の原理は、通常、第１の照明器が第２の照明器に、典型的にはレーザ発散角の１／５から１／２０であり得る許容可能なレベルで共照準合わせされるように、標準的な技術を使用してシステムを構築し、位置合わせすることを可能にする。好適には、各照明器１３２、１３３は、通常の光機械許容値、たとえばレーザ発散角の１／５内で同じ発散角および方向を有さなければならない。ここでも、これを達成するための標準的な技術は、知られており、必要とされる精度に到達可能である。さらに、ターゲット上の照明スポットが明確に見えるため、カメラ自体が、実際にこの位置合わせが達成されているかを確認する。

【0077】

各照明器レーザの発射時間は、これまで説明されたように、反射された光がカメラ１３７に、これが開いている間に到達することを確実にするために、カメラのゲート時間に同期される。ゲート時間は、各照明器について異なっていてもよい（通常、第１の照明器１３２の方が第２の照明器１３３より長い）。ゲート開放前の各レーザ１３２、１３３の適切な発射時間は、レーザレンジファインダから導出された、ターゲットまでの知られている距離から算出される。

【0078】

図７は、例示的なアルゴリズムを示す。具体的なケースが考えられ、ここでは、ｍａｘｓの第１の照明器パルスが存在し、ここでｍａｘｓは、ｍａｘｎの１ごとに１以上であり、ｍａｘｎは、１以上の第２の照明器パルスであり、それによってｍａｘｎとｍａｘｓのパルスを掛け合わせるシーケンスを生み出す。通常、ｍａｘｓはｍａｘｎより大きい。

【0079】

ループ１の開始時、システムは、第２のレーザ照明器１３３、Ｂ（ｎ＝１）を使用して画像を取得する。画像処理機能が、いくつかの可能な画像処理技術を使用してこの画像をテンプレートＴＢ（ｎ＝１）に変換するために呼び出される。

【0080】

テンプレート、ＴＢ（ｎ＝１）を取得した後、第１のレーザ照明器１３２を使用して一連のｍａｘｓ画像が取得され、背景および前景を除去するためにＴＢ（ｎ＝１）を使用して処理され、次いで、画像として出力される。

【0081】

レーザ照明器１を使用して一連のｍａｘｓ画像を完成させた後、第２のレーザ照明器２の画像が取得され、次のｍａｘｓ画像を処理するために使用されるＴＢ（ｎ＝２）に変換され、その後同様に続けられる。

【0082】

このアルゴリズムを実施するために、画像プロセッサ１２１は、テンプレート発生器１２２およびフィルタ１２３の機能を備える。

【0083】

テンプレート発生器１２２は、ターゲットを含むシーンのアクティブイメージングサブシステム１３０から第２の画像２００を受信し、テンプレート２５０を作成するようにこの画像を処理するように適合される。このプロセスの例示的な方法は、第２の画像の各ピクセルに１または０の値を割り当てることを備える。意味のある値を保持する各ピクセルには、値１が割り当てられ、予想される背景ノイズ以外の値を実質的に保持しない各ピクセルには値０が割り当てられる。結果として得られるテンプレート２５０は、したがって、ターゲットのシルエットとして考えられ得る。

【0084】

テンプレート２５０は、フィルタ１２３に出力される。フィルタ１２３は、テンプレート２５０とのピクセル乗算によって、第１のレーザ照明器３１２によって生成された同じシーンの対応する第１の画像３００を処理する。このプロセスは、値０を有するテンプレート２５０のピクセルにマッピングした第１の画像３００のすべてのピクセルの値をゼロにし、それによって、出力された画像４００内にターゲットのみを残すように第１の画像３００からすべての背景および前景クラッタを除去する。このプロセスは、テンプレート２５０のシルエット内に含まれるピクセルの値には影響を与えず、したがって、結果として得られる画像４００は、第１の画像３００の高品質を保持する。

【0085】

ここで概説される具体的なテンプレート作成プロセスは、説明のためにすぎず、たとえばエッジ検出プロセスを含む、画像の対を操作するいくつかの他の方法が使用されてもよい。

【0086】

処理に続いて、背景および前景が除去された最終画像４００が、インターフェース１１０を介して、たとえば人ユーザまたは自律システムに出力される。

【0087】

図８は、アクティブイメージングサブシステムの変形アーキテクチャを示す。この変形は、これが第１のプログラム可能な遅延１３６および第２のプログラム可能な遅延１３６’と、第１のタイムゲートカメラ１３７および第２のタイムゲートカメラ１３７’とを備える点において、図６の実施形態とは異なる。

【0088】

第１のレーザ照明器１３２および第２のレーザ照明器１３３の波長は異なり、それらの線幅は重複しない。

【0089】

第１のレーザ１３２からの放出の小部分が、第１のプログラム可能な遅延１３６によって受信され、第２のレーザ１３３からの放出の小部分が、第２のカメラ１３７’のゲート開放時間を設定するために第２のプログラム可能な遅延１３６’によって受信される。

【0090】

第２の開口１３５において受信された２つのレーザ１３２、１３３からの反射された戻り１５０Ａ、１６０Ａは、第２のレーザ照明器１３３の波長用の高い反射性と、第１のレーザ照明器１３２の波長用の高い透過率とを有する鏡１３８に導かれる。これは、第１のレーザ照明器１３２からの戻り１５０Ａが第１のカメラ１３７において受信され、第２のレーザ照明器１３３からの戻り１６０Ａが第２のカメラ１３７’によって受信されるように、戻りを分割する。

【0091】

この配置により、戻り１５０Ａ、１６０Ａが同時に受信されるように、第１および第２のレーザ照明器１３２、１３３が同時に発射することが可能になる。

【0092】

１つまたは複数のフィルタ（図示されず）が、鏡１３８において受信された光を第１および第２のレーザ照明器１３２、１３３の波長に制限するために含まれてもよい。

【0093】

良好なフィルタリングを提供するために、各カメラ１３７、１３７’のピクセル間の位置合わせが知られていなければならない。たとえば、第１のタイムゲートカメラにおけるピクセルサイズが第２のタイムゲートカメラの場合よりも小さい場合、ピクセルの数およびサイズは、補間法または他の標準的な画像処理技術を使用して修正された画像を作成することによって、等しくされ得る。

【0094】

第１のタイムゲートカメラおよび第２のゲートカメラから導出された画像は、第１のゲートカメラから導出された画像を処理するために使用されるテンプレートを第２のレーザ照明器２の戻りから生成するように、前述されたようなやり方で処理される。

【0095】

第１のゲートカメラ１３７のＦｏＶが第２のタイムゲートカメラ１３７’のＦｏＶに許容可能な程度で重複することを確実にすることは、当業者によく知られている設計原理を使用して達成され得る。カメラ間のピクセルサイズが異なる場合、各タイムゲートカメラ上の等しいピクセルが定められ得るようにデータを補間するために、光または処理技術が使用されてもよい。最後に、第１のゲートカメラ内のピクセルが第２のタイムゲートカメラ内のどのピクセルに対応するかをシステムが知ることを確実にする必要がある。これは、受動的位置合わせによって一貫的に達成されにくいため、アクティブ共照準合わせプロセスを使用する必要があり得る。たとえば、２つのタイムゲートカメラがシーンを受動的に見て、ピクセル対ピクセルの関係の正確なマップを導出するのに適切な特徴を相関付け得るような例が知られている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】