【文献】
黒崎裕久,“イメージング分光技術”,画像ラボ,日本工業出版株式会社,2002年 9月 1日,Vol.13,No.9,pp.10−13
【文献】
JOHNSON et al,“A compact, active hyperspectral imaging system for the detection of concealed targets”,PROCEEDINGS OF SPIE,1999年 8月 2日,vol.3710,pp.144−153
(58)【調査した分野】(Int.Cl.,DB名)
集積回路は閾値モードで動作するように構成され、集積回路は、照明源で標的対象に照射する際、FPAに含まれる少なくとも1つのピクセルについての時間を計測する、請求項17に記載のシステム。
集積回路は、ゲートモードで動作するように構成され、標的領域の既存の知識は、FPAに含まれる少なくとも1つのピクセルについて計測時間が始まる時間を測定するために、集積回路によって用いられる、請求項17に記載のシステム。
【発明を実施するための形態】
【0007】
本発明は多くの様々な形態の実施形態を含むことができるが、本開示が本発明の原則の例示的なものとみなされるべきものであり、示されて記載された特定の実施形態に本発明を限定することを意図していないということを理解したうえで、1つ以上の特定の実施形態が図面に記載され、本明細書において詳細に記載されている。以下の記載と図面の複数の図において、類似の参照番号を用いて、図面の複数の図の同じ、類似した、または対応する部分が記載されている。
【0008】
マルチセンサーデータは、自動標的認識の可能性を高めるために、一つにまとめることができる。スペクトル3D撮像光検出および測距(LIDAR)は、多重スリットストリーク管撮像LIDAR(STIL)を用いて、ごく少数の波長に対してしか実証されていない。単色のSTIL技術では、一本の線に再フォーマットされたレーザーパルス源は標的を照らし、戻ってくる光のパルスは受け取られ、スリットを含む光電陰極の方に向けられる。受け取られた光パルスは電子に変換される。電位を増減させるプレートは、リン光体陽極上で電子の扇形(fan of electron)を掃引する。
【0009】
レーザーパルスの戻り時間は、リン光体陽極上での電子の位置を利用して決定される。陽極からの光信号は、電荷結合素子(CCD)アレイによって集められる。しかしながら、STILシステムは、対象の位置についてのある程度の予備的な知識を必要とする。さらに、ある光景内の領域における許容される変動は、CCDの大きさによって制限される。標的領域の予備的な知識は、STILシステムをだけを使用しても容易に得ることはできない。加えて、STILシステムにあまりにも多くのスリットを必要とする3Dのハイパースペクトル撮像システムを作成することは実用的ではない。
【0010】
ハイパースペクトルデータとLIDARデータを組み合わせることで得られる融合データセットにより、3次元での標的の構造を測定する機会が得られるだけでなく、対象を構成する材料が分類される。これらの種類のデータセットは、森林調査、森林破壊事象の地球規模の監視、および都市構造の観察に使用されてきた。こうした融合データセットは、一般に、異なる時間に得られたハイパースペクトルおよびLIDARデータセットから作成される。したがって、対象がデータセットの作成の間に移動したかもしれない可能性は、特にダイナミックな都市の景観について、データの有用性に影響を与えかねない。このような同時に起こる問題に加えて、ハイパースペクトルセンサーとLIDARセンサーは、異なるアレイフォーマット、異なる地上サンプル距離(ground sample distances)(GSD)、および、所望の標的の異なる透視図の1つ以上を有していることが多い。これらの違いにより、データ融合プロセスとその自動化が重要なものとなる。
【0011】
その結果、データ処理は、データ製品サイクルにおいて大量の資源を取り上げることが多く、再度データのサンプルを取り、それを空間的に重ねるのに膨大なヒトの介入を必要とする。一体型の器具を設計して飛ばせることにより、融合データ製品を生産する際の複雑さを軽減させることもあるが、ハイパースペクトル撮像装置−受動型の器具である−は、太陽が天底付近にある日に何度かデータを集めるだけである。さらに、ビルや木といった高い対象は影を落とすことがあり得、それによって、ハイパースペクトル画像に穴が形成される。
【0012】
本発明の実施形態は、3次元の空間情報、少なくとも1つの点での標的のスペクトルの特徴、および、レーザーパルスによって引き起こされた発光に関する一時的な情報を提供することができる、3次元(3D)のハイパースペクトル撮像システムおよび方法を提供する。
【0013】
本発明の実施形態によれば、広帯域パルスレーザー源は、m個の画素またはピクセルでFPA上の空間次元で撮像される標的対象上の線状照明(a line illumination)に空間的に再フォーマットされてもよい。これらのm個のピクセルからのスペクトル情報は、n個のピクセルを有するFPA上のスペクトル次元に沿って記録される。m×n個のピクセルの少なくとも1つは、戻りレーザーパルス(return laser pulse)の飛行時間と、多層を認識するピクセル用の多くの飛行時間を記録することができる。
【0014】
本発明の実施形態によれば、レーザーパルス誘導放出に関する一時的な情報は、戻りレーザーパルスの飛行時間(TOF)測定によって観察されてもよい。本発明のさらなる実施形態によれば、一時的な情報を使って、標的材料の励起状態の寿命を測定することができることもある。
【0015】
本発明の実施形態によれば、標的対象はレーザービームによって照らされてもよい。本発明のさらなる実施形態によれば、対物光学素子は対象から戻る光を受け取ってもよい。本発明の実施形態に係る戻り光は、m個の要素を備えたアレイへと戻り光を空間的にフィルターにかけるスリットを通って、焦点を合わせてもよい。
【0016】
本発明の他の実施形態によれば、追加の光学系は、n個の異なる波長の区間に光をスペクトル的に広げるために、分散要素上で光を平行してもよい。本発明のまたさらなる実施形態によれば、その後、スペクトル分散した光は、方向づけられ、m×n個の光検出および測距(LIDAR)焦点面アレイ(FPA)上に再度焦点を合わされてもよい。
【0017】
本発明の実施形態によれば、システムは、標的を走査する航空機上でプッシュブルーム(push−broom)方式で操作することができる。
【0018】
本発明のさらなる実施形態によれば、3D LIDAR FPAに含まれる少なくとも1つのピクセルは、反射したレーザーパルスのTOFを測定するために、独立して時間を計測する。レーザー源の空間プロファイル(spatial profile)は、一本の線に再フォーマットされ、標的照明を最適化するために、FPAの空間次元で視野に合わせる。レーザー源は広いスペクトル帯域幅のレーザーを含むこともある。
【0019】
本発明の実施形態は、3次元の標的をマッピングすることができる器具を提供する。本発明の実施形態は、標的のスペクトル情報を測定することができる器具を提供する。本発明の実施形態は、3次元の標的をマッピングして、同時にそのスペクトル情報を測定することができる器具を提供する。
【0020】
本発明の実施形態は、レーザーパルスによる励起の後に、標的材料の励起状態の寿命を測定することができる。
【0021】
本発明の実施形態は、キャノピーの下に隠された標的を測定し、対象に関する3D情報と少なくとも1つの3D点についてのスペクトル情報とを取得することができる。したがって、これは、対象とする標的を不明瞭にしている層をゲーティングアウトする(gating out)ことにより、3Dのハイパースペクトルの葉の透過(foliage penetration)が可能である。
【0022】
本発明の実施形態によれば、LIDAR焦点面アレイを使用するために、2つのシステムおよび方法が提示される。
【0023】
本発明の実施形態によれば、システムは、高パルスエネルギーで低繰返し率で動作することもある。本発明の実施形態によれば、FPAは多くの光子を検出するように構成される。
【0024】
本発明の実施形態によれば、FPAは単一光子を検出するように構成されてもよい。
【0025】
本発明の実施形態によれば、少なくとも2回の検出が行なわれてもよく、少なくとも2回の検出を用いて、標的対象の分光反射率を表わすヒストグラムを構築してもよい。
【0026】
図1は、LIDAR焦点面アレイを使用する、3Dのハイパースペクトル撮像装置の概略図である。対象風景(110)の3次元画像とスペクトル情報を作成するために、広帯域パルスレーザー源(115)は、FPA上の空間次元で撮像される標的(110)上のm個のピクセル(120)を挟むようにして線状照明に空間的に再フォーマットされる。これらのm個のピクセルからスペクトル情報は、n個のピクセル(130)を有する、FPA上のスペクトル次元に沿って記録される。n個のピクセル(130)は、垂直軸またはスペクトル軸に沿って、その異なる位置に対応する異なる波長を有する。m×n個のピクセルの少なくとも1つは、戻りレーザーパルスの飛行時間を記録することができる。多くの層を認識するピクセルは、多くの飛行時間を記録することができる。
【0027】
この線状照明の画像の幅と長さがセンサーの視野にぴったりと一致すると、最高の性能が発揮されることもある。レーザービームのプロファイルは、空間フィルターとして役立つことができるが、背景のノイズの量を制限するためにはスリットを使用することが望ましい。回折格子またはプリズムのような光学素子は、焦点面アレイ(140)のスペクトル方向に沿って、戻りレーザーパルス(115)を分散させて様々な色に分離する。1セットの焦点調整光学系は、平行にされた光を焦点面アレイに再度焦点を合わせる。格子またはプリズムによって分散された光を有すること、x軸に沿って標的(110)の様々な部分にあることから、焦点調整光学系によって集められる、階段状標的(step target)から戻った光のパルスは、空間方向とスペクトル方向に沿って、異なる時間に、焦点面アレイ(140)の様々な部分にとまる。LIDAR焦点面アレイ(140)上のそれぞれの画素要素についての戻りパルス(return pulse)の飛行時間を測定する能力によって、システムは、少なくとも1つのレーザーフラッシュによって少なくとも1つの画素要素に関するスペクトル情報と共に、x軸(150)およびz軸(160)に沿って空間情報を入手する。プッシュブルーム動作モードでy軸(170)に沿ってシステムを走査すると、空間的な3次元に関する標的(110)の空間情報が、それぞれの画素要素に関するスペクトル情報とともに集められる。スペクトル帯域幅はアレイのサイズと分散要素によって決定することができる。したがって、風景(110)は、3次元、x、y、およびzで撮像することができる。スペクトル情報はこれらの3D点について集められる。
【0028】
LIDAR FPAを使用する撮像システムは、単一のレーザーフラッシュで、風景全体の3D撮像を行うことができる。標的が非常に速い速度で移動している用途については、このようなシステムは、単一のレーザーフラッシュの瞬間に、対象をその軌道で本質的に静止させる。
【0029】
LIDARカメラを使って単一のレーザーフラッシュで全風景を撮像する代わりに、本発明の実施形態によれば、スリットと分散要素を光路に置くことで、カメラを3Dハイパースペクトル撮像装置に変換することができる。
【0030】
レーザー源の空間のプロファイルは1本の線に再フォーマットし、FPAの空間次元の視野に一致しなければならず、その結果、標的の照明が最適化される。標的の分光反射率特徴を測定し、3次元で標的をマッピングするために、レーザーは、所望のスペクトル領域をカバーするのに十分に広いスペクトル帯を有していなければならない。例えば、乾燥した葉は近赤外線で著しく異なる分光反射率を有することから、幅の広いスペクトル源を用いて木の健康状態を測定し、それと同時に、3Dで葉の密度を想定することができる。加えて、本発明の実施形態は、周辺の化学種によるスペクトルの干渉のせいでしばしば不鮮明になる化学的な同定における特異性を増加させ、精度を高めることができる、ポンププローブ技術で使用されてもよい。
【0031】
図2は、LIDAR焦点面アレイ(FPA)(140)を使用して標的(110)を撮像するための3Dのハイパースペクトル撮像システムの概観を示す図である。
【0032】
照明源(図示せず)は、幅広のスペクトル帯域幅を備えたレーザー源を含むことができる。例えば、広帯域レーザー源は、ほぼ数ナノ秒のパルス幅と共に使用することができる。標的(110)の分光反射率特徴を測定し、3次元で標的(110)をマッピングするために、照明源は、所望のスペクトル領域をカバーするために十分に広いスペクトル帯を有していなければならない。例えば、照明源は、デンマーク・コペンハーゲンのNKT Photonics(以前のKoheras A/S)の民生品(COTS)の広帯域Koheras SuperK Compact Laserであってもよい。このレーザーシステムは、ほとんどのファイバーレーザーのように、低パルスエネルギーで高繰返し率で作動する。したがって、本発明の実施形態によれば、高フレーム率の単一光子の高感度なLIDAR FPAを使用することができる。
【0033】
本発明の実施形態によれば、標的対象(110)は照明の線によって照らされる。照明源の空間プロファイルは1本の線に再フォーマットされ、FPA(140)の空間方向の視野に一致し、その結果、標的(110)の照明が最適化される。LIDAR焦点面アレイ(140)は、Δtのサンプリング間隔で標的(110)による反射の後に、戻り信号をサンプリングする。
【0034】
単純化した説明として、概略図の標的(110)は、異なる長さの対応する経路を備えた3つの成分戻りパルス(component return pulses)(215A)、(215B)、および、(215C)を含む戻りパルス(215)を反映するために光の3つの異なる波長の反射率の3つの段差面(210A)、(210B)、および、(210C)で構成される。λ
1を反射する表面(210A)は、FPA(140)までのもっとも長い経路(215A)、λ
2を反射する表面(210B)はFPA(140)までの中間の長さの経路(215B)を有し、および、λ
3を反射する表面(210C)はFPA(140)までのもっとも短い経路(215C)を有する。λ
3を反射する表面(210C)から反射された成分戻りパルス(215C)は、初期の時間t
1に向けられ、λ
2を反射する表面(210B)からの成分戻りパルス(215B)は、中間時間t
2で後に検知され、およびλ
1を反射する表面(210A)からの成分戻りパルス(215A)は後の時間(t
3)で検知される。
【0035】
システム(200)は対物光学素子(230)とスペクトロメーター(235)を含む。スペクトロメーター(235)は、スペクトロメーター入口(240)、平行光学系(250)、分散要素(260)、および、焦点調整光学系(270)を含む。
【0036】
対物光学素子(230)は、スペクトロメーターの入口(240)を通る照明の線を集めて焦点を合わせる。スペクトロメーターの入口(240)はスリット(240)であってもよい。スペクトロメーターの入口(240)は、照明の線を空間的にフィルターにかけ、焦点面アレイ(140)の空間次元で空間の直線を定義する。平行光学系(250)は分散要素(260)上で光を平行にする。分散要素(260)は、スペクトルの方向に光の線を広げる。例えば、分散要素(260)は、回折格子(260)とプリズム(260)の1つであってもよい。その後、焦点調整光学系(270)は、FPA(140)に光を集中させる。スペクトルで分散した光は、m×nの3D LIDAR焦点面アレイ(140)に投射する。
【0037】
FPA(140)は、タイムスライス(290A−290C)を用いて、成分戻りパルス(215A)−(215C)のプロファイルを測定する、ピクセル(280A)、(280B)、(280C)などを含むm×n個のアレイを含んでいる。反射された成分戻りパルス(215A)、(215B)、および(215C)は、異なる飛行時間を有しており、LIDAR焦点面アレイ(140)上で、異なる時間区間(290A)、(290B)、および(290C)にそれぞれ検知される。一般に、連続するサンプル間に近似の固定されたサンプリング間隔Δt(295)があるだろう。サンプリング間隔Δt(295)は通常約1ナノ秒である。区間(290C)がサンプリングされる時間t
1と、区間(290B)がサンプリングされる時間t
2との間の時間差は、Δtの大きな倍数であってもよい。同様に、区間(290B)がサンプリングされる時間t
2と、区間(290C)がサンプリングされる時間t
3との間の時間差は、Δtの大きな倍数であってもよい。
【0038】
ピクセル(280A)、(280B)、(280C)などの少なくとも1つは、独立してトリガーされるように設定し、多種多様な領域の標的対象を単一のレーザーフラッシュで撮像することができる。トリガーすると、それぞれのピクセル(280A)、(280B)、(280C)は、戻りパルス(215)のプロファイルを記録するために、そのバッファを使用する。加えて、それぞれのピクセル(280A)、(280B)、(280C)は、戻りパルス(215)の経過飛行時間(TOF)としても知られている、トリガーする事象の時間を記録する。戻りパルス(215)の記録されたプロファイルは、曲線の当てはめ、重心、または他の統計的方法によって、飛行時間をより正確に決定するのに役立つことができる。したがって、この技術は、それ以外では生じるであろうサンプリング間隔による距離分解能の制限を回避する。測定された経過飛行時間と時間サンプルからの戻りパルスのプロファイルのピーク位置を用いることよって、システムは、互いから非常に遠く離れることもある風景内の対象の位置を決定することができる。
【0039】
読み出し集積回路(ROIC)(図示せず)は、2つの異なるモード、閾値モードまたはゲートモードで動作することができる。閾値モードでは、ROIC上のそれぞれのピクセルは、照明源(図示せず)がパルスを発射する瞬間に時間のカウントを開始する。戻りパルス(215)が、特定のピクセル(280A)、(280B)、(280C)などの上であらかじめ設定された閾値を超えるとすぐに、当該ピクセルは、戻りパルス波形をサンプリングし、リングバッファの限界に達した後に時計を止める。それぞれのピクセル(280A)、(280B)、(280C)などは、閾値モードで独立的にトリガーされることから、システム(200)は一つの風景中で多種多様なTOFを測定する際に大きなダイナミックレンジを有する。
【0040】
対照的に、ゲートモードでは、FPA(140)は、あらかじめ設定された時間にシングルフレームに関する情報を収集する。ゲートモードは、標的領域のある程度の前知識を必要とするが、標的対象(110)の形状を系統的にマッピングするのに役立つ。ゲートモードは、垂直な大気の分布と、データ収集中の比較的に時間不変な標的(110)の励起状態の寿命の1つ以上を決定するのにも有用である。ゲートモードで作動することにより、標的(110)の蛍光寿命を測定する機会が与えられる。蛍光測定については、単一波長のパルスレーザーは標的材料を励起させるために使用され、システム(200)はその後、Δt295の時間サンプリング間隔で時間の関数として戻りスペクトルを測定する。標的領域についての知識は、閾値モードで作動するROIC(図示せず)で単一のレーザーを発射し、その後、ゲートモードに戻って測定を行うことによって、得られる。
【0041】
システム(200)は、プッシュブルーム方式で、例えば、標的を走査する航空機上のプッシュブルーム方式で動作可能である。同様に、追加の走査機構を用いるウィスクブルーム(Whiskbroom)も可能である。
【0042】
システム(200)は車両の上部にも取り付けることができ、3D点をマッピングし、車両を囲む3D点の空間情報とスペクトル情報を入手するために、360度を走査するように構成することができる。このような実施形態は状況認識用途に役立つこともある。
【0043】
システム(200)は、標的の分光反射率を測定し、かつ、小さな場所の3D空間での位置を決定することが可能であると実験的に証明された。戻り信号の飛行時間と広帯域レーザー源の固有のスペクトルは両方とも、システム(200)によって同時に測定された。
【0044】
図3は、多層の標的対象の対応するモデル化されたデータを示す、LIDAR焦点面アレイ(FPA)を使用する3Dのハイパースペクトル撮像システムの構成要素の概略図であり、FPAは単一光子を検出するように構成される。
図3Aは、ピクセルを描く
図3の一部を引き延ばした図である。
【0045】
活発な3DのHSIシステム(300)は、線形モードで、かつ、約数十キロヘルツのフレーム率で作動する、単一光子の感度に優れたLIDAR焦点面アレイ(FPA)(140)を使用する。長距離の用途については、レーザー当たりの戻った光子の数が低いこともある。したがって、下地画素のスペクトルは多くのレーザー発射によって構築されてもよい。これは、レーザー(310)とLIDAR FPA(140)が約数十キロヘルツの高繰返し率で作動することができることから、実現可能である。
【0046】
トリガータイマー(320)は、レーザー源(310)とLIDAR FPA(140)を同期させる。レーザー源(310)は、一時的な波形(335)によって示されるような約1ナノ秒の一時的なパルス幅(330)を示すスペクトルの波形(325)を放射するだろう。その後、レーザービームは、ビーム・リフォーマッタ(beam reformatter)(340)によって、線状照明へと空間的に再フォーマットされる。その後、再フォーマットされたビームは、そのピクセル(342)が多層、例えば、層(344A)と(344B)を含む、標的対象(110)に伝播する。標的対象(110)は、例示目的のために
図3で示される例のような2つの実質的に平らな層を含む標的対象(110)であってもよい。実際の標的はより複雑に層化していることもある。最上層の分光反射率の波形(345)と最下層の分光反射率の波形(350)はそれぞれ、標的対象(110)の最上層と最下層の分光反射率を示している。最上層の分光反射率の波形(345)は、健康な植物の葉の代表的な分光反射率の波形であり、一方で、最下層の分光反射率の波形(350)は、乾燥した植物の葉の代表的な分光反射率の波形である。最下層の分光反射率の波形(350)は、最上層の分光反射率の波形(345)と比較して、比較的特色がない。
【0047】
一般性を失うことなく物事を単純化するために、以下の説明では、標的対象(110)に含まれるピクセル(342)(ピクセル(342)は2つの層(344A)−(344B)を覆っている)から来る信号に焦点を当てる。標的対象(110)中のピクセルからの信号は、LIDAR FPA(140)に含まれる素子のピクセル(device pixels)の列によって検知される。受け取られた分光反射率の波形(215)によって示されるように、スペクトルの戻りパルスは一般に、レーザー(310)のスペクトル、および、標的対象(110)の分光反射率と大気中の伝達(図示せず)の積とほぼ等しくなる。1つのピクセル(342)で見られるように、標的対象(110)の最上層はFPA(140)に近く、したがって、一般に、第1の受け取られた分光反射率の波形(355A)によって示されるようなスペクトルのプロファイルを備えて初期の時間t
1(380A)で戻り信号を返す。1つのピクセル(342)で見られるように、標的対象(110)の最下層はFPA(140)から離れており、したがって、一般に、第2の受け取られた分光反射率の波形(355B)によって示されるようなスペクトルのプロファイルを備えて初期の時間t
2(380B)で戻り信号を返す。
【0048】
これらの戻り信号(215A−215C)は、対物光学素子(230)によって集められる。戻り信号(215A−215C)は、著しく薄い層の一時的な波形(335)によってほぼ示されるような一時的なプロファイルを有する光パルスを含む。イメージングスペクトロメータ(235)は、光をLIDAR FPA(140)中に分散させてスペクトル成分を分離し、それによって、光の単一パルスを、FPAのスペクトル次元に沿って異なる中心波長を有する光の多くのパルスに分離する。例えば、スペクトロメーターは、カリフォルニア州サンタクララのHORIBA Instruments,Inc.のCOTSイメージングスペクトロメータを含むこともある。
【0049】
検出器の列は、1つのピクセル(342)のための戻り信号(215)を集める。FPA(140)に含まれるピクセル(280A)、(280B)、(280C)などは、トリガータイマー(320)によって同期される。ピクセル(280A)、(280B)、(280C)などは、特定の中心波長で取得ウインドウ内の戻り信号(215)をサンプリングする。トリガータイマー(320)は1つ以上の同期パルス(360A)と(360B)を発する。不必要なデータの量を減らし、レーザー発射の時間における検出器の飽和を防ぐために、トリガーパルス(360A)とデータ収集が始まる開始時間(370)との間に、時間遅延(365)が導入される。データを取得してもよいデータ取得時間ウインドウ(375)の持続期間は、撮像される最も近い対象(110)と最も遠い対象(110)の間の予想される距離に基づいて選択される。
【0050】
ピクセル(342)で見られるような標的対象(110)が複数の層(344A−344B)、例えば、最上層(344A)と最下層(344B)を含むものと仮定する。2つの層からの戻り信号(215)は、2つの近い時間、最上層(344A)のための第1の時間(380A)(t
1)と最下層(344B)のための第2の時間(380B)(t
2)でそれぞれ検知される。複雑な構造により、戻り信号(215)は、最上層(344A)のための第1の時間(380A)に近く、最下層(344B)の第2の時間(380B)に近い、一時的な中心に合わせて広がることになる。波形(355A)と(355B)はそれぞれ、最上層の分光反射率の波形(345)と最下層の分光反射率の波形(350)に関する情報を伝える。波形(355A)と(355B)は、スペクトルの波形(325)と大気中の伝達によって変わる。
【0051】
大気条件を分析し、スペクトルの波形(325)を用いて、最上層(344A)と最下層(344B)の分光反射率は、最上層と最下層の分光反射率の波形(345)と(350)によってそれぞれ示されるように、得られてもよい。第1の波形(385A)と(385B)は、最上層(344A)と最下層(344B)に数回レーザーが発射された後に構築されたヒストグラムをそれぞれ表わす。第2の波形(390A)と(390B)は、最上層(344A)と最下層(344B)に合計N回発射された後に構築されたヒストグラムをそれぞれ表わす。3番目の波形(395A)と(395B)は、最上層(344A)と最下層(344B)にN回発射された後に構築されたヒストグラムをそれぞれ表わす。この例の前節が、多くの光子が検知される実施形態に適用可能である一方で、代表的な波形(385A)、(385B)、(390A)、(390B)、(395A)、および、(395B)は、FPAが単一光子を検出する実施形態に対応している。
【0052】
スペクトルは、6つの波形(385A−385B、390A−390B、および、395A−395B)を調べることによって見ることができるように、ヒストグラムとして構築される。プッシュブルーム方式で移動および作動するセンサーを用いて、それぞれの下地画素(ground pixel)の時間の関数としてスペクトルの結果を測定することによって、少なくとも1つの3D点に関するスペクトル情報を含む3次元(3D)の画像が取得される。
【0053】
図4のA−Dは、3D LIDAR焦点面アレイを使用する3Dのハイパースペクトル撮像システムによって獲得した1セットの強度画像であり、撮像システムは、多くの光子を検出するように構成される。標的は、近赤外線領域で実質的に均一な分光反射率を有するが、全体的な反射率を徐々に減少させる領域を含む、傾斜した(graded)スペクトラロン(spectralon)パネルを含んでいる。画像は、パネルの最も明るい部分を描き、出口ポートに散光器を備えたFranceのQuantel Tecknologiesによって製造された単色のBig Skyレーザーを、照明源として、および、近赤外線領域全体に及ぶスペクトルのプロファイルを有する広帯域赤外線レーザー源を用いて得られた。イメージングスペクトロメータは、異なるスペクトル領域を見るために異なる角度に設定することができる分散要素を有する。散光器を備えたBig Sky レーザーを使用し、かつ、照明源として広帯域の源を使用するデータ収集は、同時には行われなかった。画像は、ロングパスフィルターを取り除いた、カリフォルニア州サンタバーバラのAdvanced Scientific Concepts)(ASC)によって製造された単一パルスのサンプリングフラッシュLIDARカメラを使用して得られた。散光器を備えたBig Skyレーザーを使用して得られた画像は、
図4のAで示されるような空間のx方向に伸び、および、約1574nmの波長で生じる、細線を形成する。
【0054】
広帯域照明器のスポットサイズがおよそ10のピクセルをカバーするため、それ自体は、
図4のB−Dで示されるような異なる回折格子位置にスペクトル方向に沿って伸びる比較的太い線として現われる。これらのデータセットは、異なる角度で設定されたイメージングスペクトロメータに含まれた分散要素を用いて得られた。広帯域源は、このFPAの感度が欠けているため線として再フォーマットされなかった。単一光子の感度の高いFPAは、本発明を十分に実証するために必要なパラメーターを提供するであろう。
【0055】
図4のEは、3D LIDAR焦点面アレイを使用する3Dのハイパースペクトル撮像システムによって、飛行時間の情報を駆使して、標的の測定の概略図(「x領域の波長の散布図」)である。
図4のA−Dで描かれた強度画像は、目盛り(420)によって示されたデジタルカウントとともにこの図で表示される。点線(430)は、
図4のAで描かれた強度画像(450)の波長軸に投影されており、この特定の例の波長が約1574nmであることを明らかにしている。標的が近赤外線領域の一定の分光反射率を備えたspectralonパネルを含むことから、スペクトルの方向に沿った強度の変動は広帯域レーザー源のスペクトルを表わす。本発明の実施形態は、飛行時間の情報を使用して、標的の領域を測定することができる。
図4のEは、X軸に沿って数千フィートの標的(110)の位置、Z軸に沿ってフィートの標的(110)の領域、および、垂直な軸に沿って、ナノメーターの波長の関数としての標的(110)の分光反射率をプロットする。界磁については、視野と標的への距離はこの例で示されるよりもっと拡大することができる。加えて、低分散性の分散要素を用いて、広いスペクトル領域をカバーし、信号対雑音比を改善する。
【0056】
図4のFは、
図4のB−Dに含まれるデータ点の領域測定のヒストグラムである。器具と水平なspectralonパネル間の測定された平均距離は、約0.57フィート(17.37センチメートル)の標準偏差で約50フィート(15.24メートル)であった。ヒストグラムの広がりは、領域と強度の間の相関関係を修正した後に、検出統計と残差によって主に引き起こされる。領域と強度の間のこの相関関係は、使用される特定のLIDAR FPAに関する固有の問題であり、本発明の実施形態に係る3Dのハイパースペクトル撮像システムおよび方法に固有のものではない。
図4のAに含まれるデータポイントの領域測定の分布(図示せず)にはわずかに小さな標準偏差がある。その広がりは約0.51フィートであり、レーザー出力ポートで散光器によって生成されたより均一な照明の結果である。
図4のAに含まれるデータポイントの領域測定は
図4のFには含まれておらず、その結果、これらのデータポイントが広帯域レーザー源を使用することによって集められた領域測定分布を非対称にするであろう。これらの2つのレーザー源を使用して獲得したデータポイントの同様の距離分解能は、領域と強度の相関関係が
図4のB−Dで例証されたデータポイントを含むスペクトル領域の波長とは無関係であることを実証する。これらの結果は、本発明の実施形態に係るLIDAR FPAを使用した3D ハイパースペクトル撮像がきわめて実現可能であることを示している。
【0057】
本発明の実施形態によれば、m×n個の3D LIDAR焦点面アレイ、撮像装置の前部の光学系の分散光学素子、および、パルスレーザー源を用いて、3Dハイパースペクトル撮像システムは、3つの空間次元を備えたデータ製品と、獲得した3D点のハイパースペクトル情報を提供することができる。これらのデータ製品の次元も、空間情報、標的のスペクトルの特徴、および、レーザーパルスによって引き起こされた放射に関する一時的な情報からなることもある。一時的な情報は、第3次元に簡単に変換することができる戻りレーザーパルスの飛行時間(TOF)の測定、または、レーザーパルスによる励起後の標的材料の励起状態の寿命の測定を与える。
【0058】
図5のA−Cでは、受動型ハイパースペクトル撮像装置または一体型ハイパースペクトル/LIDARシステムを上回る本発明の利点を説明する。
図5のAは、受動型ハイパースペクトル撮像装置によって生成されたデータキューブを示す。
図5のBは、
図5のAのx−y面に垂直な視野を示す。
【0059】
図5のAで示されるように、受動型ハイパースペクトル撮像装置は、x方向の空間の成分、y方向の空間の成分、および、z方向のスペクトル成分を含む、データキューブ(505)を取得する。受動型ハイパースペクトル撮像装置は、風景のz−空間成分を測定することができない。標的対象(110)の真の次元は、カメラの視錘台と視角の結果として、そのような2D画像では失われることが多い。例えば、高層建築物の空中像は、視錘台の結果として、建物の最上部が最下部よりも広く見えることが多い。観察の特定の角度から、対象(110)はねじれて見えることさえある。
【0060】
一体型のハイパースペクトル/LIDARシステムを使用するデータ登録は、このような効果を修正することができる。このような一体型のシステムは、単一波長LIDARシステムと、単一波長LIDARシステムとは著しく異なる分解能を有することが可能な受動型ハイパースペクトル撮像装置を含むことになる。このような一体型の器具は、空間のひずみを修正することができるかもしれないが、陰影効果のような他の有害な効果を含むであろう。陰影効果は、
図5のBで例証されるようなスペクトル情報の損失を引き起こす。
図5のBで示されるように、標的(510)は、2つの隣接する木(520A)と(520B)が落とした影(515)の中に一部ある。これが生じる際、受動型ハイパースペクトル撮像装置または一体型ハイパースペクトル/LIDARシステムの最終的なデータ製品は、データキューブ(505)の中に、とりわけ、データキューブ(505)のスペクトル方向に、穴を有する。同様に、これらのタイプの器具のデータ収集時間は、太陽の天頂角が垂直面に接近しているおよそ午前10:00から午後2:00までの昼間に限定されることが多い。このような一体型のハイパースペクトル/LIDARシステムは、ハイパースペクトルの葉の透過を行うことができず、現在市販されているどのシステムもこのような性能を有していない。
【0061】
図5のCは、LIDAR焦点面アレイ(140)を使用する3D ハイパースペクトル撮像装置(200)によって生成されたデータキューブ(530)を示す。本発明によって記載されるような能動型の3D ハイパースペクトル撮像装置(200)は、受動型ハイパースペクトル撮像装置または一体型のハイパースペクトル/LIDARシステムの前述の問題のほとんどを最小限に抑えるか、取り除くことさえできる。データキューブ(530)は、能動型の3D ハイパースペクトル撮像装置によって集められるデータの型を示しており、そのデータ構成要素は、空間−空間−空間−スペクトル成分を含む。対象風景(110)の地形は、3つの空間次元成分に関する情報と分光反射率情報を含む、それぞれの画素素子でマッピングすることができる。隣接する木(520A)と(520B)によって
図5のAとBで陰になっている標的(510)は、ここで、本発明の実施形態に係る白色光レーザー源によって完全に照らされる。その結果、データキューブ(530)の穴の数は最小限に抑えられる。
【0062】
キャノピーの真下に隠されることもある標的対象(110)も本発明を使用して検知されてもよく、このとき、キャノピー中で自然に生じる隙間は白色光レーザー源によって利用され、ハイパースペクトルの葉の透過を行う滅多にない機会が与えられる。対象と風景の形態分析はここで利用することができる。例えば、これらの技術を用いて、炭素隔離測定のために森林の密度と健康状態を正確に測定し、それと同時に、標的がキャノピーの下に隠れているときでも標的特定の確実性を改善することもある。最後に、このようなシステムを使用するデータ収集は、任意の特定の時刻には限定されず、高品質データを昼夜取得することができるであろう。
【0063】
図6は、LIDAR焦点面アレイを使用する3次元(3D)のハイパースペクトル撮像方法(600)のフローチャートである。方法(600)の工程の順序は、
図6に示されるか、以下の説明に記載されるものに制限されない。工程のいくつかは、最終的な結果に影響を与えることなく、異なる順序で生じることもある。
【0064】
ブロック(610)では、照明源、分散要素、ならびに、光検出および測距(LIDAR)焦点面アレイ(FPA)を含む、3次元(3D)ハイパースペクトル撮像装置が提供される。ブロック(610)はその後、ブロック(620)に制御権を移す。
【0065】
ブロック(620)では、標的対象は照明源で照らされる。ブロック(620)はその後、ブロック(630)に制御権を移す。
【0066】
ブロック(630)では、分散要素を用いて、標的対象から受け取った光は、様々な色にスペクトル的に分離される。ブロック(630)はその後、ブロック(640)に制御権を移す。
【0067】
ブロック(640)では、3D LIDAR FPAを使用して、FPAの面の1つの次元の標的対象に関する空間情報が取得され、FPAの面の第2の次元の標的対象に関するスペクトル情報が取得され、第2の次元は第1の次元に対して垂直である。ブロック(640)はその後、ブロック(650)に制御権を移す。
【0068】
ブロック(650)では、3D LIDAR FPAを使用して、少なくとも2つの波長の飛行時間を得ることにより、FPAから対象までの距離に関する情報が得られ、それによって、3次元で標的対象を撮像し、少なくとも1つの3D点に関するスペクトル情報を入手する。その後、ブロック(650)はプロセスを終了する。
【0069】
図7は、LIDAR焦点面アレイを使用して、3次元(3D)のハイパースペクトル撮像方法(700)のフローチャートである。方法(700)の工程の順序は、
図7に示されるか、以下の説明に記載されるものに制限されない。工程のいくつかは、最終的な結果に影響を与えることなく、異なる順序で生じることもある。
【0070】
ブロック(710)では、照明源、対物光学素子、スリット要素、平行光学系、分散要素、および、光の単一光子を検出するように構成された光検出および測距(LIDAR)焦点面アレイ(FPA)を含む、3次元(3D)のハイパースペクトル撮像装置が提供される。ブロック(710)はその後、ブロック(720)に制御権を移す。
【0071】
ブロック(720)では、標的対象は照明源で照らされる。ブロック(720)はその後、ブロック(730)に制御権を移す。
【0072】
ブロック(730)では、光は対物光学素子を使用して、対象から受け取られ集められる。ブロック(730)はその後、ブロック(740)に制御権を移す。
【0073】
ブロック(740)では、光は、スリット要素を使用して空間的にフィルターにかける。ブロック(740)はその後、ブロック(750)に制御権を移す。
【0074】
ブロック(750)では、光は、平行光学系を使用して分散要素上で平行にされる。ブロック(750)はその後、ブロック(760)に制御権を移す。
【0075】
ブロック(760)では、分散要素を使用して、光は、様々な色にスペクトル的に分離される。ブロック(760)はその後、ブロック(770)に制御権を移す。
【0076】
ブロック(770)では、焦点調整光学系を使用して、スペクトル的に分離された光の焦点を再度合わせる。ブロック(770)はその後、ブロック(775)に制御権を移す。
【0077】
ブロック(775)では、3D LIDAR FPAを使用して、再度焦点を合わされた光が焦点調整光学系から受け取られ、FPAの面の1つの次元の標的対象に関する空間情報が得られ、FPAの面の第2の次元の標的対象に関するスペクトル情報が得られ、第2の次元は第1の次元に対して垂直である。ブロック(770)はその後、ブロック(780)に制御権を移す。
【0078】
ブロック(780)では、3D LIDAR FPAを使用して、少なくとも2つの波長の飛行時間を得ることにより、FPAから対象までの距離に関する情報が得られ、それによって、3次元で標的対象を撮像し、少なくとも1つの3D点に関するスペクトル情報を入手する。その後、ブロック(780)はプロセスを終了する。
【0079】
ガイガーモードのカメラは、白色光源の繰返し率とほとんど一致する最大のフレーム率を備え、いかなる領域強度効力なしで単一光子感度に優れている。ガイガーモードのカメラを使用する最大の欠点は、検出器の非比例利得である。ガイガーモードのカメラは、1レーザーパルス当たりの単一の事象を検知することにより作動する。事象は、戻り信号の任意の振幅情報なしで時間内に記録される。したがって、検出器の利得は直線的ではない。ハイパースペクトル画像を作成するために、標的の分光反射率を決定するためのヒストグラムを構築するべく、データの多くのレーザーフラッシュを入手する必要がある。ガイガーモードの検出器によって集められる強度情報は、その非線形性により複雑化する。さらに使いやすい検出器は、単一光子感度および比例利得および光子計数/秒での高ダイナミックレンジを有する増感フォトダイオードである。
【0080】
単一装置を、ハイパースペクトル画像と3D画像の両方を集めるのに必要な器具一式に取り替えることによって、本発明の実施形態は、環境をモニタリングする目的で運ばれる器具の数を減らしてもよい。したがって、本発明の実施形態は、一連の器具を、より包括的なデータ製品を生産することができる1つの装置に取り替えることにより、必要な器具の大きさ、重量、および動力を減少させることもある。
【0081】
ハイパースペクトルの3D LIDARシステムを構築するために、3D LIDAR FPAの使用に適用することができるいくつかの利点がある。ハイパースペクトル画像と3D画像の両方を集めるための器具一式と比較すると、能動的な3D ハイパースペクトル撮像装置は、一連の器具を、1つの器具に取り換えることにより、器具の数を減らし、それによって、大きさ、重量、および、動力を減少させる。加えて、異なる種類のデータ製品を同時に集める1つの器具を使用することで、良好な調整のとれた結果が生まれ、処理後の負担が減る。
【0082】
さらなる利点は、能動型の3D ハイパースペクトル撮像装置が、データ融合の複雑さを取り除いて、3つの次元で標的をスペクトル的および空間的に解像し、両方の型のデータについて対象の絶対的な同時性と正確な遠近感を有する高速ターンアラウンドデータセットを提供する。
【0083】
別の利点は、本発明の実施形態によれば、100以上の異なる波長を同時に検出することで、高空間範囲が達成されることもあり得るということだ。
【0084】
さらに、またさらなる利点は、戻り信号の化学分析を行うことが可能なこともあるということである。その後、結果を用いて、標的対象の化学的なプルームをマッピングすることができる。
【0085】
本発明の実施形態は、集めた3D点上の標的の分光反射率を測定することができる。
【0086】
本発明の実施形態は、キャノピーの下に隠れた対象を調べてもよい。本発明の実施形態は、例えば、木の下に隠れた対象の分光反射率を測定し、それによって、ハイパースペクトルの葉の透過を行う方法を提供してもよい。
【0087】
異なる種類のデータを同時に集める本発明の実施形態は、良好な調整のとれた結果を生み出してもよく、時間の遅延、費用、および必要な処理後の時間に関連する問題を減少させることもある。
【0088】
上記の代表的な実施形態は例示的な構造における特定の構成要素について記載されているが、異なる構造および/または異なる構成要素を用いて、他の代表的な実施形態を実行することができることは、当業者によって理解されるだろう。例えば、本発明の機能をほとんど弱めることなく、特定の製造工程の順序や特定の構成要素を変更することができることは、当業者によって理解されるだろう。
【0089】
本明細書に詳細に記載されてきた代表的な実施形態と開示された内容は、例として提示されたものであり、限定するために記載されたものではない。記載された実施形態の形態と細部において様々な変更がなされ、添付の請求項の範囲内に留まる同等の実施形態がもたらされることが当業者によって理解されるだろう。したがって、上記の記載の主題は、実例となるものとして解釈され、限定的な意味で解釈されないものとする。本発明は、以下の特許請求の範囲によって定義される。