特表 2024-524943 スペクトル基底フィルタの製造および使用のための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-09

(54)【発明の名称】スペクトル基底フィルタの製造および使用のための方法およびシステム

(51)【国際特許分類】

   G01J 3/36 20060101AFI20240702BHJP

   G01J 3/26 20060101ALI20240702BHJP

【ＦＩ】

G01J3/36

G01J3/26

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023577830

(86)(22)【出願日】2022-06-07

(85)【翻訳文提出日】2024-02-15

(86)【国際出願番号】 US2022032546

(87)【国際公開番号】W WO2022265889

(87)【国際公開日】2022-12-22

(31)【優先権主張番号】63/211,672

(32)【優先日】2021-06-17

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/454,201

(32)【優先日】2021-11-09

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】510005317

【氏名又は名称】ディーアールエス ネットワーク アンド イメージング システムズ、リミテッド ライアビリティー カンパニー

(74)【代理人】

【識別番号】100137969

【弁理士】

【氏名又は名称】岡部 憲昭

(74)【代理人】

【識別番号】100104824

【弁理士】

【氏名又は名称】穐場 仁

(72)【発明者】

【氏名】ラグッチ，アンソニー ジェイ．

【テーマコード（参考）】

2G020

【Ｆターム（参考）】

2G020AA03

2G020CC26

2G020CC27

2G020CC63

2G020CD04

2G020CD24

(57)【要約】

光学システムは、第１方向に配列された第１のピクセル数と、第２の方向に配列された第２のピクセル数とによって画定される複数のピクセルを有する焦点面アレイを含む。光学システムは、焦点面アレイに光学的に結合される光学フィルタも含む。光学フィルタは、複数のスーパーピクセルを有する。複数のスーパーピクセルの各々は、所定の数のサブピクセルを含み、所定の数のサブピクセルの各々は、波長の関数としての複数の振動透過プロファイルのうちの１つによって特徴づけられる。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１の方向に配列された第１のピクセル数と、第２の方向に配列された第２のピクセル数とによって定義される複数のピクセルを有する焦点面アレイと、
前記焦点面アレイに光学的に結合された光学フィルタであって、前記光学フィルタは、複数のスーパーピクセルを有し、前記複数のスーパーピクセルの各々は、所定の数のサブピクセルを含み、前記所定の数のサブピクセルの各々は、波長の関数としての複数の振動透過プロファイルのうちの１つによって特徴付けられる、光学フィルタと、
を備える、光学システム。

【請求項2】

第１のスーパーピクセルの前記所定の数のサブピクセルのうちの１つまたは複数は、第２のスーパーピクセルのサブピクセルでもある、請求項１に記載の光学システム。

【請求項3】

前記所定の数のサブピクセルは、前記第１の方向に配列された第１のサブピクセル数と、前記第２方向に配列された第２のサブピクセル数とによって画定される、請求項１に記載の光学システム。

【請求項4】

前記複数の前記振動透過プロファイルの各々は、前記複数の前記振動透過プロファイルのうちの他のものと区別される、請求項１に記載の光学システム。

【請求項5】

前記複数の前記振動透過プロファイルの各々は、振動周波数および位相の異なる組み合わせにより特徴付けられる、請求項４に記載の光学システム。

【請求項6】

前記所定の数のサブピクセルの各々が、フィルムの１つまたは複数の層を含む、請求項１に記載の光学システム。

【請求項7】

前記フィルムの前記１つまたは複数の層が、単一の薄膜層を含み、前記所定の数のサブピクセルの各々は、前記単一の薄膜層の異なる厚さによって特徴付けられる、請求項６に記載の光学システム。

【請求項8】

前記所定の数のサブピクセルの各々に所定の重みを付与するように構成された計算モジュールをさらに備える、請求項１に記載の光学システム。

【請求項9】

スペクトルプロファイルの１つまたは複数の特徴を決定するステップと、
複数のサブピクセルの各々について透過プロファイルを定義するステップであって、前記複数のサブピクセルの所定の数は、波長の関数としての振動透過プロファイルによって特徴付けられる、ステップと、
相対的な重みのセットの重みと前記複数のサブピクセルの各々を関連付けるステップと、を備える、光学フィルタのスペクトルプロファイルを定義する方法。

【請求項10】

前記スペクトルプロファイルの１つまたは複数の特徴を用いて重みのルックアップテーブルにアクセスすることにより、前記相対的な重みのセットを決定することをさらに備える、請求項９に記載の方法。

【請求項11】

前記光学フィルタの出力を用いて第１のコントラストスコアを決定するステップと、
相対的重みの修正されたセットを画定するため、前記相対的重みのセット内の少なくとも１つの重みを修正するステップと、
前記相対的重みの修正されたセットを前記複数のサブピクセルの各々に関連付けるステップと、
前記相対的重みの修正されたセットを有する前記光学フィルタの前記出力を用いて、第２のコントラストスコアを決定するステップと、
前記第２のコントラストスコアと前記第１のコントラストスコアの比較に基づいて、使用する前記相対的な重みのセットを選択するステップと、
をさらに備える、請求項９に記載の方法。

【請求項12】

前記スペクトルプロファイルの前記１つまたは複数の特徴は、バンドパス短エッジ、バンドパス長エッジ、スペクトル範囲カットオン、またはスペクトル範囲カットオフのうちの少なくとも１つを含む、請求項９に記載の方法。

【請求項13】

前記複数のサブピクセルの各々について前記透過プロファイルを定義するステップは、前記複数のサブピクセルの各々に関連付けられた薄膜の厚さを決定することを含む、請求項９に記載の方法。

【請求項14】

複数のスーパーピクセルを備える光学フィルタを介して光信号を送信するステップであって、前記複数のスーパーピクセルの各々は複数のサブピクセルを含み、所定の数の前記複数のサブピクセルは、波長の関数としての振動透過プロファイルによって特徴付けられる、ステップと、
検出器の各ピクセルに関連付けられる強度値を受信するステップであって、前記検出器の各ピクセルは前記複数のサブピクセルのうちの１つに関連付けられる、ステップと、
前記複数のスーパーピクセルの各々について、
前記複数のスーパーピクセルのサブピクセルに関連付けられた対応する強度値に相対的重みのセットを適用するステップと、
出力データを決定するステップと、
を備える方法。

【請求項15】

前記複数のサブピクセルのうちの１つは、波長の関数としての均一な透過プロファイルによって特徴づけられる、請求項１４に記載の方法。

【請求項16】

スペクトルプロファイルに対応する相対重みのルックアップテーブルから前記相対重みのセットを取り出すステップをさらに備える、請求項１４に記載の方法。

【請求項17】

スペクトルプロファイルのフーリエ展開を用いて前記相対的重みのセットを計算するステップをさらに備える、請求項１４に記載の方法。

【請求項18】

前記相対的重みのセットを修正するステップと、
前記複数のスーパーピクセルの各々について、
前記相対的重みの修正されたセットを前記複数のサブピクセルの対応するサブピクセルに適用するステップと、
修正された出力データを決定するステップと、
をさらに備える、請求項１４に記載の方法。

【請求項19】

前記相対的重みのセットを修正するステップは、修正されたスペクトルプロファイルに対応する重みのルックアップテーブルにアクセスすることを含む、請求項１８に記載の方法。

【請求項20】

前記相対的重みのセットを修正するステップは、
前記出力データに対応する第１のコントラストスコアを決定するステップと、
前記修正された出力データに対応する第２のコントラストスコアを決定するステップと、
前記第１のコントラストスコアは前記第２のコントラストスコアよりも大きいと判定するステップと、
前記複数のサブピクセルの前記サブピクセルに関連付けられた前記対応する強度値に前記相対的重みのセットを再適用するステップと、
を備える、請求項１８に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照

【0002】

［0001］本出願は、２０２１年６月１７日に出願された「スペクトル基底フィルタ」と題する米国仮出願第６３／２１１，６７２号、および２０２１年１１月９日に出願された「スペクトル基底フィルタの製造および使用のための方法およびシステム」と題する米国特許出願第１７／４５４，２０１号の優先権を主張し、その開示は、その全体が参照により本明細書に組み込まれる。

【背景技術】

【0003】

［0002］スペクトルイメージングは、波長の関数として物体の光学特性に関連する情報を取得する方法である。本方法は、リモートセンシング、製品検査、医用画像など、さまざまなアプリケーションに適用できる。赤、緑、青（ＲＧＢ）カラー画像に存在する３つのカラーバンドを拡張して、スペクトル画像は数百または数千のスペクトルバンドを含むことができる。ラインスキャン（すなわち、プッシュブルーム）スペクトルイメージング、波長スキャン（すなわち、凝視）スペクトルイメージング、およびシングルショット（すなわち、スナップショット）スペクトルイメージングが使用されている。

【0004】

[0003] スペクトルイメージングの領域においてなされた進歩にもかかわらず、当該技術分野において、スペクトルイメージングに関連する改良された方法およびシステムのニーズがある。

【発明の概要】

【0005】

[0004] 本発明の実施形態は、画像処理に関する。より詳細には、本発明の実施形態は、スペクトルイメージングのための方法およびシステムを提供する。特定の実施形態において、画像データを受信し、画像データを処理して、特定のスペクトルプロファイルに関連付けられた画像を生成する方法が提供される。特定のスペクトルプロファイルは、画像取得の前または後に決定できる。本明細書に記載の方法を実施するためのシステムもまた、本発明の実施形態によって提供される。

【0006】

[0005] 本発明の一実施形態によると、光学システムが提供される。光学システムは、第１方向に配列された第１のピクセル数と、第２方向に配列された第２のピクセル数とによって画定される複数のピクセルを有する焦点面アレイを含む。光学システムは、焦点面アレイに光学的に結合された光学フィルタも含む。光学フィルタは、複数のスーパーピクセルを有する。複数のスーパーピクセルの各々は、所定数のサブピクセルを含み、所定数のサブピクセルの各々は、波長の関数として複数の振動透過プロファイルのうちの１つによって特徴付けられる。いくつかの実施形態において、複数のスーパーピクセルのそれぞれに含まれる所定数のサブピクセルは平方数であり、例えば、所定数のサブピクセルは９個に等しい。所定数のサブピクセルの各々は、フィルムの１つまたは複数の層、例えば、単一の薄膜層を含むことができる。いくつかの実施形態において、所定数のサブピクセルの各々は、単一の薄膜層の異なる厚さによって特徴付けられ得る。

【0007】

[0006] 本発明の別の実施形態によると、光学フィルタのスペクトルプロファイルを画定する方法が提供される。本方法は、スペクトルプロファイルの１つまたは複数の特性を決定することを含む。本方法は、複数のサブピクセルのそれぞれについて透過プロファイルを定義することも含み、複数のサブピクセルのうちの所定数は、波長の関数としての振動透過プロファイルによって特徴付けられ、複数のサブピクセルのそれぞれに相対的重みのセットの重みを関連付けることを特徴とする。

【0008】

[0007] 本発明のさらに別の実施形態によると、方法が提供される。本方法は、複数のスーパーピクセルを含む光学フィルタを介して光信号を送信することを含む。複数のスーパーピクセルの各々は複数のサブピクセルを含み、所定数の複数のサブピクセルは、波長の関数として振動透過プロファイルにより特徴付けられる。本方法は、検出器の各ピクセルに関連付けられた受信強度値も含み、検出器の各ピクセルは、複数のサブピクセルのうちの１つに関連付けられる。検出器は、焦点面アレイを含むことができる。本方法は、さらに、複数のスーパーピクセルのそれぞれについて、複数のスーパーピクセルのサブピクセルに関連付けられた対応する強度値に相対的重みのセットを適用し、出力データを決定することを含む。

【0009】

[0008] 本発明の実施形態により、多くの利益が提供される。例えば、いくつかの実施形態において、スペクトル基底フィルタを使用する光学システムは、スーパーピクセルブロック内のサブピクセル強度の線形結合の相対的重みを変化させることによって、バンドパスエッジ定義の連続的な制御を可能にし、連続的に調整可能なスペクトルバンドパスを有する出力画像をもたらす。サブピクセル強度の線形結合は、リアルタイムまたは後処理で修正され得る。例えば、光学システムのユーザ、またはコンピュータは、出力画像のコントラストが十分でないと判断し、リアルタイムまたは後処理で出力画像のコントラストを改善するためにサブピクセル強度に適用される相対的重みのセットを修正してもよい。この例において、相対的重みのセットを変更すると、出力イメージも変化する。

【0010】

[0009] 光学システムがユーザから物理的に離れている場合（例えば、光学システムが空中プラットフォームを含む遠隔地の機械または車両に搭載されている場合）、光学システムは、定義されたスペクトルバンドパスに関連付けられた強度値を送信し得る。これにより、スーパーピクセル解像度（例えば、１０２４×１０２４）でのデータ送信をもたらし、焦点面アレイ（例えば、３０７２×３０７２）の解像度よりも低くなることがあり、その結果、著しいデータ圧縮が生じる。他の実施形態において、画像データは、焦点面アレイの解像度（例えば、３０７２×３０７２）で送信され、後処理されて、任意の特定のスペクトルバンドパスについての画像データを低分解能（例えば、１０２４×１０２４）で提供する。

【0011】

[0010] さらに、本発明の実施形態は、高感度、例えば、定義されたバンドパスを有するスーパーピクセルの半分の感度を提供する。いくつかの実装形態において、光学システムは、いかなる電気機械要素も使用せず、完全に受動的であり得、画像データを生成する際の機械的故障のリスクを低減する。本発明のこれらおよび他の実施形態は、その多くの利点および特徴とともに、以下の説明および添付図面と併せてより詳細に説明される。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態によるスペクトル基底フィルタの例示的なスーパーピクセル構成である。

【図2】本発明の一実施形態による、スーパーピクセルにおける複数のサブピクセルに対する波長の関数としての透過率のグラフである。

【図3A】基底関数要素の線形結合による矩形波関数の再構成を示すグラフである。

【図3B】基底関数要素の線形結合による矩形波関数の再構成を示すグラフである。

【図3C】基底関数要素の線形結合による矩形波関数の再構成を示すグラフである。

【図3D】基底関数要素の線形結合による矩形波関数の再構成を示すグラフである。

【図4A】本発明の実施形態による、それぞれロングパスフィルタおよびノッチフィルタについての波長の関数としてのスペクトルプロファイルを示すプロットである。

【図4B】本発明の実施形態による、それぞれロングパスフィルタおよびノッチフィルタについての波長の関数としてのスペクトルプロファイルを示すプロットである。

【図5A】本発明の一実施形態による、連続的なバンドエッジ変動性を示す波長の関数としてのバンドパスフィルタのスペクトルプロファイルを示すプロットである。

【図5B】本発明の一実施形態による、連続的なバンドエッジ変動性を示す波長の関数としてのバンドパスフィルタのスペクトルプロファイルを示すプロットである。

【図5C】本発明の一実施形態による、連続的なバンドエッジ変動性を示す波長の関数としてのバンドパスフィルタのスペクトルプロファイルを示すプロットである。

【図5D】本発明の一実施形態による、連続的なバンドエッジ変動性を示す波長の関数としてのバンドパスフィルタのスペクトルプロファイルを示すプロットである。

【図6】本発明の一実施形態によるロングパスフィルタ、ノッチフィルタ、および複数のバンドパスフィルタを生成するために使用される係数を示す表である。

【図7】本発明の一実施形態によるスーパーピクセルにおける各サブピクセルに対する波長の関数としての透過率のグラフである。

【図8】スペクトル基底フィルタを備えた光学システムのブロック図を示す。

【図9】本発明の一実施形態によるスーパーピクセルの３つのサブピクセルを示す断面図である。

【図10】本発明の一実施形態による光学フィルタのスペクトルプロファイルを定義する方法を示す簡略化されたフローチャートである。

【図11】本発明の一実施形態による方法を示す簡略化されたフローチャートである。

【発明を実施するための形態】

【0013】

[0022] 本発明の実施形態は、画像処理に関する。より詳細には、本発明の実施形態は、スペクトルイメージングのための方法およびシステムを提供する。特定の実施形態において、画像データを受信し、画像データを処理して、特定のスペクトルプロファイルに関連付けられた画像を生成する方法が提供される。特定のスペクトルプロファイルは、画像取得の前または後に決定できる。本明細書に記載の方法を実施するためのシステムもまた、本発明の実施形態によって提供される。

【0014】

[0023] 本明細書に記載されるように、本発明の実施形態は、動作中にコマンドで変更可能な焦点面アレイのスペクトルバンドパスの任意の定義を可能にするスペクトル基底フィルタを提供する。本発明の実施形態は、ハイパースペクトル撮像装置の機能の一部または全部を、従来の技術を用いて現在利用可能なものよりもコンパクトな形態で提供する。さらに、本発明の実施形態は、測定データを送信するために必要な帯域幅を著しく減少させる。スペクトルコントラストの強調は、自動利得制御の実装と同様に、ローカルまたはイメージングアレイ全体に対して、リアルタイムで自動的に実行できる。いくつかの実施形態において、本発明の実施形態によって提供されるスペクトルコントラスト増強は、ターゲット検出、認識、および／または識別に有用である。当業者は、多くの変形、修正、および代替を認識するであろう。

【0015】

[0024] 本発明の実施形態は、種々のスペクトルイメージングシステムに適用可能な再構成可能なカラーイメージャ（ＲＣＩ）を提供することができる。本明細書に記載されるように、本発明の実施形態は、広帯域イメージャのスペクトルバンドパスプロファイルを、例えば、動作中に変更することを可能にする。ほんの一例として、航空機上に配置された移動式スペクトルイメージャのスペクトルバンドパスプロファイルは、飛行中に修正することができ、最初に、例えば、８．０μｍ～１０．５μｍのスペクトル帯域内で第１のスペクトル範囲に渡って光を透過し、続いて、８．０μｍ～１０．５μｍのスペクトル帯域内で第２のスペクトル範囲に渡って光を透過する。したがって、本発明の実施形態は、動作中にスペクトルバンドパスをリアルタイムで修正することを可能にする。例えば、最初に９．４μｍを中心とする～０．８μｍの帯域幅を有するスペクトル帯域で撮像し、次いで、その後、９．５μｍを中心とする～０．８μｍの帯域幅を有するスペクトル帯域で撮像する。スペクトルバンドパスを修正するこの能力は、スペクトルイメージャを飽和させているスペクトル帯域を除外する、または同様の特定のスペクトル帯域を強調することによって、システムオペレータが画像のコントラストを増加させることを可能にする。

【0016】

[0025] いくつかの実施形態において、マルチスペクトルイメージングを実施するために１６バンドが使用されるが、本発明の実施形態は、このバンド数に限定されず、より少ないまたは追加のバンドを使用することができる。単純かつ明瞭にするために、本明細書に記載の例示的な実施形態は９バンドを使用するが、これは単に例示的である。波長の関数として２次元画像データを取得するためにプッシュブルーム構成を使用するいくつかのハイパースペクトルイメージャまたはマルチスペクトルイメージャとは対照的に、本発明のいくつかの実施形態は、マルチスペクトルイメージングデータの２次元アレイを同時または並行して収集して、単一波長帯域および／または複数の波長におけるフルアレイの状況認識をサポートする。

【0017】

[0026] 図１は、本発明の一実施形態によるスペクトル基底フィルタの構成図である。図１には、光学フィルタとも呼ぶことができるスペクトル基底フィルタの平面図が示されている。スペクトル基底フィルタ１００は、１つまたは複数のスーパーピクセルを含む光学フィルタであってもよい。図１に示される実施形態において、スーパーピクセル１０５は、アレイ構成で配置された所定数のサブピクセルを含む。図１に示す実施形態において、第１のサブピクセル数１１０、１２０、１３０、１４０， １５０、１６０または、１７０、１８０および１９０は、第１の方向に配列され、第２のサブピクセル数１１０、１４０、１７０、１２０、１５０、１８０、または１３０、１６０、１９０は、第１の方向に直交し得る第２の方向に配列される。また、スーパーピクセルは、スペクトルイメージャの解像度を画定するアレイ構成（図示せず）に配置される。サブピクセルの他の空間構成も使用することができる。

【0018】

[0027] 図１に示すスペクトル基底フィルタ１００は、サイズ３０μｍ×３０μｍの単一のスーパーピクセル１０５として示され、それにより、１０２４×１０２４のスペクトルイメージャ解像度（ディスプレイ解像度とも呼ばれる）を形成する。図示のスーパーピクセル１０５は、図１にそれぞれサブピクセル１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、および１９０として示される、サイズ１０μｍ×１０μｍの９つのサブピクセルを含む。したがって、分解能は、スペクトル基底フィルタ１００のサブピクセルレベルで考慮され、３０７２×３０７２である。図１に示す特定のディスプレイおよびサブピクセル解像度は、単に例示的であり、他の解像度は、例えば、１２μｍの１０２４×１０２４焦点面アレイ（ＦＰＡ）に基づいて使用することができる。当業者は、多くの変形、修正、および代替を認識するであろう。

【0019】

[0028] ９つのサブピクセル１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、および１９０の各々は、図２との関係でより完全に議論されるように、波長の関数としての振動透過プロファイルによって特徴付けられる光学フィルタとして実装され得る。例えば、第１のサブピクセル１１０は、振動機能に従って第１のサブピクセル１１０に入射した光を透過する振動透過プロファイルを有してもよい。したがって、所定の波長を透過する従来の光学フィルタ、例えば、８．０μｍ～８．２μｍの波長範囲の光を透過するノッチフィルタとは対照的に、サブピクセルのうちの１つまたは複数は、波長の関数としての振動プロファイルによって特徴付けられる。したがって、図２との関係でより完全に説明されているように、サブピクセルのうちの１つまたは複数は、対象の波長範囲にわたって、最小透過値（例えば、ゼロ透過）と最大透過値（例えば、全透過）との間で何回も振動する透過プロファイルを有することになる。

【0020】

[0029] したがって、単一のスペクトル帯域にわたって検出する従来の光学フィルタとは対照的に、本明細書で論じるサブピクセルは、波長の関数として変化する透過値を有するにもかかわらず、スペクトルイメージャのスペクトル帯域全体にわたって、例えば、８．０μｍ～１０．５μｍの光を透過する。したがって、サブピクセル検出器素子、例えば、長波長赤外線検出器のピクセルは、スペクトル帯域全体にわたって光を検出し、その振動スペクトル透過プロファイルに従って検出器素子に光を透過する。

【0021】

[0030] スーパーピクセル１０５の出力は、スーパーピクセル内のサブピクセルの配列の重み付け強度の線形重ね合わせとして形成され得る。したがって、スーパーピクセルの帯域幅は、サブピクセルの各々に印加される重みに従って定義することができ、サブピクセルは、本明細書でより完全に論じられるように、振動透過プロファイルによって特徴付けられる。したがって、スペクトルイメージャの帯域幅が検出器要素に関連付けられたスペクトルフィルタの帯域幅によって定義される従来のシステムとは対照的に、本発明の実施形態は、スーパーピクセル内のサブピクセルのアレイの重み付け強度の特定の線形重ね合わせの選択の結果として、スペクトルイメージャの帯域幅の変更を可能にする。したがって、スペクトル基底フィルタ１００からのデータが収集された後の任意の時点で、スペクトル基底フィルタ１００を含む光学システムのユーザによって、または光学システムのプロセッサによって、スペクトルイメージャの帯域幅はデータ収集後に変更することができる。例えば、ロングパスフィルタに対応するものなどの特定のスペクトルプロファイルは、スペクトル基底フィルタ１００を用いて、スペクトルイメージャの検出器素子の出力に適用され得る。あるいは、異なる特定のスペクトルプロファイル、例えば、ショートパスフィルタを、スペクトルイメージャの検出器素子からの同じ出力の後処理によって実装することができる。

【0022】

[0031] 上述したように、スペクトル基底フィルタ１００の複数のサブピクセル１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０および１９０の各々は、図２との関係でより完全に議論されるように、固有の振動透過プロファイルを有し得る。したがって、各サブピクセルに関連付けられた振動透過プロファイルは次いで、各特定のサブピクセルに対応する検出器要素から出力される強度値に適用される重みを決定するために使用され得る。

【0023】

[0032] いくつかの実施形態は、各サブピクセルに関連付けられた検出器素子が、各サブピクセルに関連付けられた光のみを検出するような方法で実装されるが、他の実施形態において、光学素子は、焦点面アレイ内の検出器要素によって形成された画像をぼかすために利用され、その結果、スーパーピクセルの大きさのオーダーのぼかし円が生じる。したがって、光学フィルタが焦点面アレイに光学的に結合されるとき、特定のスーパーピクセル内のサブピクセルを通過する光は、スーパーピクセルに関連付けられた焦点面アレイの検出器素子によってほぼ均一に結像されることになる。したがって、いくつかの実装形態は、サブピクセルのサイズではなく、スーパーピクセルのサイズで結像する光学システムを使用し、それによってシステム性能を向上させる。

【0024】

[0033] 図２は、本発明の一実施形態によるスーパーピクセルにおける複数のサブピクセルに対する波長の関数としての透過率のグラフである。図２に示すように、それぞれが図１に示されるサブピクセルの１つに関連する、波長の関数としての透過率の重ね合わせプロットのセットが示される。ベイヤーフィルタなどの多くの光学フィルタとは異なり、各サブピクセルは薄膜の層から構築することができ、その結果、特定の光帯域に対応する単一の透過ピークではなく、振動透過プロファイルが得られる。

【0025】

[0034] 図２を参照すると、グラフ２００は、図１のスペクトル基底フィルタ１００の９つのサブピクセル１１０、１２０、１３０、１４０、１６０、１７０、１８０および１９０にそれぞれ対応する８つの振動透過プロファイル２１０、２２０、２３０、２４０、２６０、２７０、２８０および２９０を示す。図２に例示された実施形態において、複数の振動透過プロファイルの各々は、複数の振動透過プロファイルの他のものとは区別される。８つの振動透過プロファイルのそれぞれの振幅は、０から１まで変化し得るが、図２では明確にするためにオフセットして示されている。したがって、例示的な振動透過プロファイル２１０を参照すると、透過の振幅は、８．０μｍ～１０．５μｍの波長範囲にわたって０～１の間の範囲である。透過の振幅は、８．０μｍと１０．５μｍの場合１であり、９．２５μｍの場合ゼロである。第９の透過プロファイル２５０は、振幅が１の均一な透過プロファイルである（すなわち、すべての光を均等に透過する）。したがって、サブピクセル１５０は透明であり、すべての波長を透過する。したがって、サブピクセル１５０に対応する第９の透過プロファイル２５０は、スペクトル基底フィルタ１００によってフィルタリングされた任意の光信号に対して完全な状況認識を提供する。勿論、サブピクセル１５０は、他の実施形態において振動プロファイルを有することもできる。

【0026】

[0035] 図２に例示される実施形態において、振動透過プロファイル２１０は、透過のピークが８．０μｍおよび１０．５μｍに整列するような位相プロファイルで、８．０μｍ～１０．５μｍの波長範囲にわたって１回振動する。振動透過プロファイル２２０はまた、８．０μｍ～１０．５μｍの波長範囲にわたって１回振動するが、振動透過プロファイル２１０に対してπラジアン位相シフトを有する。振動透過プロファイル２３０は、８．０μｍ～１０．５μｍの波長範囲にわたって２回振動し、振動透過プロファイル２９０は、８．０μｍ～１０．５μｍの波長範囲にわたって４回振動する。透過プロファイルの各々の振動挙動は、この特定のセットに限定されず、各サブピクセルは、振動挙動の追加セットをもたらすように修正され得る。図２に示すように、複数の振動透過プロファイルの各々は、ミクロン単位で測定される波長、ｃｍ^－１で測定される波数、またはヘルツ単位で測定される周波数に関して参照することができる固有の振動周波数および位相によって特徴付けられる。したがって、図示された振動透過プロファイルは例示的であり、本発明の実施形態は、これらの特定の９つの振動プロファイルに限定されるものではない。当業者は、多くの変形、修正、および代替を認識するであろう。

【0027】

[0036] 各サブピクセルの出力強度値は、サブピクセルの振動透過プロファイルによって決定されてもよく、スーパーピクセルの全透過率は、スーパーピクセル内のすべてのサブピクセルの重み付けされた強度値の線形結合であってもよい。したがって、本明細書でより完全に説明するように、各サブピクセルに関連付けられた各検出器要素からの出力（すなわち、強度値）は、重み付けされ、他の検出器要素からの出力と合計されて、スーパーピクセル解像度で重み付けされた出力を形成する。

【0028】

[0037] 図３Ａ～３Ｄは、基底関数の線形結合による矩形波関数の再構成を示すグラフである。ベクトル空間ベクトル Ｖ の基底は、ベクトル空間 Ｖ 内の線形独立でベクトル空間にまたがるベクトルの部分集合 ｖ_１， ．．．， ｖ_ｎ として定義される。当業者には明らかなように、Ｖ中のベクトルの集合（ｖ_１， ｖ_２， ．．．， ｖ_ｎ）は、すべてのｖ∈Ｖが、基底場のｖ ＝ ａ_１ ｖ_１ ＋ ａ_２ ｖ_２ ＋ ．．． ＋ ａ_ｎ ｖ_ｎ， ここで、 ａ_１， ．．．， ａ_ｎ ａｒｅ要素として一意に記述できる場合にのみ、基底を形成する。これは、古典幾何学のユークリッド空間（ｘ， ｙ， ｚ）のベクトルだけでなく、空間 Ｖ の任意の関数にも当てはまる。変換は、基底ベクトルの重み付き線形結合を通してＶの関数を表現する。基底関数の例としては、多項式 （テイラー級数）、ベッセル関数 （ハンケル）、ウェーブレット（ハール）、複素指数関数（フーリエ変換）などがある。スペクトルバンドパス包絡線は、１次元ベクトル空間で関数を定義する。適切な基底における少数の項の線形結合は、スペクトルバンドパス関数を効率的に近似できる。指定された数の項に対する近似の忠実度は、近似に使用される基底の適合性によって大きく決まる。

【0029】

[0038] 図３Ａ～図３Ｄに示すように、関数の集合が空間内の任意の関数を再構築するために使用できる場合、関数の集合は、空間の基底関数の集合であり得る。基底関数の集合は、所望の関数を近似するために、特定の基底関数の重みを計算するために使用することができる。図３で使用される基底関数は、矩形波関数３００のフーリエ展開を計算するために使用される、正弦関数（例えば、異なる振幅および位相の正弦関数および／または余弦関数）である。第１のフーリエ展開３１０は、１つの基底関数のみを持つフーリエ展開であってもよく、単一の正弦関数で近似することによって、矩形波関数３００を大まかに近似する。フーリエ展開の次数を第２のフーリエ展開３２０に増加すると、ある重みに応じて別の正弦関数が第１の正弦関数に加算されるので、矩形波関数３００の近似はより良くなる（例えば、ｗ_１＊ｓｉｎ（ｘ）＋ｗ_２＊ｃｏｓ（ｘ））。第３フーリエ展開３３０および第４フーリエ展開３４０などの高次展開は、より多くの正弦波項が近似に追加されるため、矩形波関数３００の近似の精度を高め得る。

【0030】

[0039] 一般に、周期が２Ｌの関数ｆ（ｘ）のフーリエ展開は、以下の式を用いて計算できる。

【数1】

【数2】

【数3】

【0031】

[0040] フーリエ展開の手法は、スペクトル基底フィルタを動作させるときに適用することができる。サブピクセル強度の線形結合を使用して、所望のスペクトルプロファイルを効率的に構築することができる。サブピクセル振動透過プロファイルの線形結合で重みを変化させることにより、スペクトルバンドエッジを連続的に、リアルタイムで、または完全なアレイが読み出された場合は後処理で調整することができる。

【0032】

［0041］図４Ａおよび図４Ｂは、本発明の実施形態による、それぞれロングパスフィルタおよびノッチフィルタについての波長の関数としてのスペクトルプロファイルを示すプロットである。上述したように、スペクトル基底フィルタのサブピクセル強度の組み合わせの相対的重みを変化させることによって（例えば、図２の振動透過プロファイルで説明したように）、スペクトル基底フィルタのスペクトルプロファイルを連続的に調整してもよい。いくつかの実装において、完全なアレイが読み出される場合、画像の取得後に相対的重みを修正するために後処理を使用することができ、画像キャプチャ後に波長の関数としてのスペクトルプロファイルが修正可能になる。

【0033】

[0042] 図４Ａおよび図４Ｂを参照すると、様々な光学フィルタを近似するためにサブピクセル振動透過プロファイルを組み合わせて使用してもよい。図４Ａにおいて、９．２５μｍ未満の波長に対する低透過率および９．２５μｍを超える波長に対する高透過率によって特徴付けられるロングパスフィルタ４００が図示されている。したがって、基底ベクトルの相対的重み（すなわち、サブピクセル強度）を変化させることによって、９．２５μｍのロングパスフィルタを実装することができる。図４Ｂにおいて、９．８μｍ未満の波長に対する低透過率および９．８μｍ～１０．２μｍの間の高透過率によって特徴付けられるノッチフィルタ４１０が図示されている。したがって、１０μｍのノッチフィルタを実装することができる。これらのフィルタは、単に例示的なものであり、異なる帯域幅、中心波長、カットオフ波長などを有する他のフィルタは、本発明の実施形態によって実施することができる。

【0034】

[0043] さらに、フィルタは、フルアレイが読み出される場合、リアルタイムで、または後処理で調整されてもよい。例えば、初めにロングパスフィルタ４００が実装されてもよいが、後処理において、ノッチフィルタ４１０がイメージングにより適していると判断されてもよい。サブピクセル振動透過プロファイルの線形結合における重みを調整することによって、スペクトル基底フィルタを含む光学システムが読み取る画像におけるコントラストを増強するため、スペクトルプロファイルを微調整されてもよい。このように、本技術は、スペクトルプロファイルを調整するために使用されるデータが、複数のサブピクセルに割り当てられる重みのセットであるため、低いデータ負荷を有する一方で、ハイパースペクトルの利点（例えば、高いスペクトル分解能）を提供する。さらに、各サブピクセルがスペクトルバンドパスにおける入射磁束の半分を通過するため、スペクトル基底フィルタの感度（例えば、収光効率に収光面積を掛けたも）は、高くなる。したがって、図２を参照すると、各振動透過プロファイルを通過する光は、８．０μｍ～１０．５μｍ帯域にわたって平均５０％の量子効率になる。したがって、８．０μｍ～１０．５μｍの帯域において、入射光の半分がスペクトル基底フィルタを通過する。さらに、収光領域（すなわち、スペクトル基底フィルタの全体の大きさ）は、従来の光学フィルタと比較して大きく、単一のサブピクセルの大きさに匹敵し得る。３０μｍ×３０μｍ程度のそれぞれのスーパーピクセルは、入射光を５０％の量子効率で透過するため、スーパーピクセル全体で光を統合することで高感度化を実現している。したがって、本発明の実施形態は、スペクトルバンドパスに対する連続的な制御を提供することによって、画像コントラストの増強を可能にする。

【0035】

[0044] 図５Ａ～図５Ｄは、本発明の一実施形態による連続的なバンドエッジ変動性を示す波長の関数としてのバンドパスフィルタのスペクトルプロファイルを示すプロットである。これらの図は、本明細書に記載のスペクトル基底フィルタを用いて連続的なバンドエッジ変動を提供するバンドパスフィルタの波長の関数としての４つのスペクトルプロファイルを示す。図５Ａ～図５Ｄに示す例示的なスペクトルプロファイルにおいて、バンドパスフィルタのスペクトルバンドエッジは、サブピクセル振動透過プロファイルの線形結合が修正されるにつれて連続的に変化する。

【0036】

[0045] より具体的には、フーリエ展開は、サブピクセルの振動透過プロファイルを使用して計算され得る。例えば、関数ｆ（λ）は次の式を使用して近似できる。

【数4】

【数5】

【数6】

【数7】

λ_ｓはバンドパス短エッジ（例えば、図５Ａに示す第１のバンドパスフィルタ５００において９．０μｍ）、λ_ｌはバンドパス長エッジ（例えば、第１のバンドパスフィルタ５００において９．８μｍ）、λ_Ｓはスペクトル範囲カットオン（例えば、第１のバンドパスフィルタ５００において８．０μｍ）λ_Ｌはスペクトル範囲カットオフ（例えば、第１のバンドパスフィルタ５００において１０．５μｍ）である。図５Ｂ～図５Ｄに示すように、異なるスペクトル特性を提供するため、特定のバンドパスフィルタに関連するパラメータの他の値を使用できる。したがって、図５Ｂに示すバンドパスフィルタ５１０は、パラメータλ_ｓ＝９．０５μｍ、λ_ｌ＝ ９．８５μｍ、λ_Ｓ＝８．０μｍ、およびλ_Ｌ＝１０．５μｍによって特徴づけられる。図５Ｃに示すバンドパスフィルタ５２０は、パラメータλ_ｓ＝９．１μｍ、λ_ｌ＝９．９μｍ、λ_Ｓ＝８．０μｍ、およびλ_Ｌ＝１０．５μｍによって特徴づけられる。図５Ｄに示されるバンドパスフィルタ５３０は、パラメータλ_ｓ＝９．１５μｍ、λ_ｌ＝９．９５μｍ、λ_Ｓ＝８．０μｍ、およびλ_Ｌ＝１０．５μｍによって特徴づけられる。いくつかの実施形態において、バンドパスフィルタのスペクトル帯域幅は、バンドパスフィルタ４１０におけるように、０．４μｍ程度であり得る。他の実施形態において、図５Ａ～図５Ｄに示すように、バンドパスフィルタのスペクトル帯域幅は、０．８μｍ程度であり得る。特定の設計応じて、スペクトル帯域幅は、特定のアプリケーションに応じて選択することができる。当業者は、多くの変形、修正、および代替を認識するであろう。

【0037】

[0046] 図６は、本発明の一実施形態によるロングパスフィルタ、ノッチフィルタ、および複数のバンドパスフィルタを生成するために使用される係数を示す表である。図６において、スペクトル特性および重みの係数に用いられる値は、それぞれ図４Ａおよび図４Ｂに示すロングパスフィルタ４００およびノッチフィルタ４１０、ならびに図５Ａ～図５Ｄにそれぞれ示すバンドパスフィルタ５００～５３０に図示される。この例において、９つの係数ａ_０～ａ_４およびｂ_１～ｂ_４は、図１に示すスペクトル基底フィルタの９つのサブピクセル１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、および１９０に対応する相対的重みのセットであり得る。定数係数ａ_０は、例えば、図１に示すサブピクセル１５０を用いて算出されてもよい。サブピクセル１５０は、図２の第９の透過プロファイル２５０によって示されるように、すべての光を均等に透過し、フーリエ展開の必要なオフセット（ａ_０）を計算するために使用することができる。

【0038】

[0047] 図５Ａ～図５Ｄに示す例は、連続的なバンドエッジの変動性を示す。バンドエッジは、各バンドパスフィルタ間で０．０５μｍずつ変化することを示す（例えば、第１のバンドパスフィルタ５００に対応するバンドエッジは、第２のバンドパスフィルタ５１０において０．０５μｍシフトされる）。ただし、フーリエ展開を変化することで、バンドエッジの変化を小さくしたり大きくしたりしてもよい。図２に示す振動透過関数は連続であるため、フーリエ展開を修正することで、バンドエッジを連続的に調整してもよい。図６に示す表に含まれるスペクトルプロファイルは、スペクトル基底フィルタを備える光学システムのメモリにルックアップテーブルとして格納されてもよい。この表はルックアップテーブルとしてアクセスしてもよく、スペクトルプロファイルの１つまたは複数の特性、例えばバンドエッジλ_ｓ、λ_ｌ、λ_Ｓ、λ_Ｌを入力することにより、相対的重みａ_０－ａ_４およびｂ_１－ｂ_４を受け取ることができる。当業者は、多くの変形、修正、および代替を認識するであろう。

【0039】

[0048] 図７は、本発明の一実施形態によるスーパーピクセルにおける各サブピクセルに対する波長の関数としての透過率のグラフ７００である。図７において、薄膜を用いて構築されたサブピクセルの波長の関数としての透過率を示す。スペクトル基底フィルタにおいてサブピクセルを構築するために、単層の薄膜を用いてもよい。各サブピクセル上の薄膜の厚さと屈折率によって、サブピクセルの振動スペクトル透過プロファイルが決まる。波長の関数としての振動は、波数または周波数で表すこともできる。したがって、振動が正弦波になる波数空間においても同様の計算を実行できる。図７に示す透過プロファイルは、９つのサブピクセルについて、それぞれ０μｍ、３．５μｍ、３．８μｍ、８．５μｍ、８．８μｍ、１３．５μｍ、１３．８μｍ、１８．５μｍ、１８．８μｍの薄膜厚に対応する。スペクトルスケールを波数から波長に変換すると、振動透過はバンドパス長辺で歪むが、一般的には図２で説明した振動透過プロファイルに従うことに留意する。したがって、フーリエ展開を使用して異なるフィルタを近似する手法は、サブピクセルが薄膜の単層を使用して構築される場合に適用され得る。他の実施形態において、類似の振動透過プロファイルを有するサブピクセルを構築するために薄膜の複数の層を使用してもよい。

【0040】

[0049] 図７に示す実施形態において、スペクトル基底フィルタの複数のサブピクセルの各々は、単層の薄膜材料を用いて構成される。薄膜は、例えば、フィルタ基板上（例えば、ゲルマニウム、シリコン、硫化亜鉛、セレン化亜鉛など）にスーパーピクセルアレイ寸法に対応するアレイ形式で均一な層として堆積された材料（例えば、ゲルマニウム、シリコン、硫化亜鉛、セレン化亜鉛など、赤外線において実質的に透明である高屈折率材料）の１つまたは複数の層を含んでもよい。次いで、サブピクセルアレイは、アレイ内の各サブピクセルについて所望の膜厚を達成するために、（例えば、リソグラフィおよび時限エッチングを通じて）パターニングされてもよい。いくつかの実施形態において、薄膜（１つまたは複数）は、焦点面アレイ上に直接堆積されてもよい。

【0041】

[0050] 図７は、厚さの異なる単層薄膜で構成されたサブピクセルに対応する振動透過プロファイルを示す。したがって、第１の振動透過プロファイル７１０は、厚さ０．０μｍの薄膜に対応してもよく、対応するサブピクセルは、波長とは無関係に、すべての光を均等に透過することを意味する。第２の振動透過プロファイル７２０は、厚さ３．５μｍの薄膜に対応してもよい。他の７つの振動透過プロファイル７３０、７４０、７５０、７６０、７７０、７８０および７９０は、図７に示すように、それぞれ３．８μｍ、８．５μｍ、８．８μｍ、１３．５μｍ、１３．８μｍ、１８．５μｍおよび１８．８μｍの範囲の薄膜の厚さに対応する。

【0042】

[0051] 各サブピクセルが同じ材料、例えばセレン化亜鉛基板上に堆積されたゲルマニウムを含むが異なる厚さを有する単層薄膜が使用されてもよいが、本発明の実施形態はこの特定の実装に限定されない。他の実施形態において、各サブピクセルは異なる材料を含むことができ、サブピクセルのうちのいくつかは単一の材料を含むことができる一方で、他のサブピクセルは２つ以上の材料を含むことができる、など、異なる材料の複数の層を使用することができる。当業者は、多くの変形、修正、および代替を認識するであろう。

【0043】

[0052] 図８は、スペクトル基底フィルタを備える光学システムのブロック図を示す。光学システムは、物体８００を撮像するために使用され得る。物体８００は、スペクトル基底フィルタ８１０を透過する光信号（例えば、赤外光など）を放射し得る。スペクトル基底フィルタ８１０における１つまたは複数のスーパーピクセルは、１つまたは複数のスーパーピクセル内のサブピクセルのアレイに従って受信された光信号をフィルタリングし得る。光信号をフィルタリングした後、スペクトル基底フィルタに光学的に結合された検出器８２０は、検出器の各ピクセル、例えば焦点面アレイに関連付けられた強度値を受信するために光信号を読み出し得る。検出器内の各ピクセルは、焦点面アレイであってもよく、スペクトル基底フィルタ８１０の各スーパーピクセルについて、サブピクセルのアレイ内のサブピクセルのうちの１つの透過に関連付けられ得る。

【0044】

[0053] スペクトル基底フィルタ８１０のすべてのサブピクセルについての強度値を受信した後、検出器８２０は、強度値をコンピュータ８３０に送信してもよく、コンピュータ８３０は計算モジュールとして実装することができる。コンピュータ８３０は、複数のサブピクセルから受信した各強度値に適用される相対的重みの第１のセットを決定し得る。コンピュータ８３０は、強度値に適用されるスペクトルプロファイルを決定し得る。例えば、スペクトルプロファイルの特性は、バンドエッジと一般的な形状を含むことが出来る。所望のスペクトルプロファイルを強度値に適用するために、コンピュータ８３０は、図６に示された表と同様の表を格納し、９．００～９．８０μｍのバンドパスフィルタが適用されることを決定する。次に、コンピュータ８３０は、表にアクセスし、９．００～９．８０μｍのバンドパスフィルタに関連付けられた相対的重みａ_０～ａ_４およびｂ_１～ｂ_４の第１のセットを取り出し、対応するサブピクセルの強度値に適切な相対的重みを適用してもよい。他の例において、フーリエ展開は、適用される相対的重みの第１のセットを計算するために、強度値を受け取る前または後に実行されてもよい。スペクトル基底フィルタ８１０における１つまたは複数のスーパーピクセルのそれぞれについて、第１の出力（例えば、第１の画像）を決定するために、１つまたは複数のスーパーピクセル内の対応するサブピクセルに第１の相対的重みのセットを適用してもよい。このようにして、コンピュータ／計算モジュールは、スーパーピクセルに対するサブピクセル信号強度の重み付け和において、所定数のサブピクセルのそれぞれによって送信される信号強度を効果的に変調する。

【0045】

[0054] コンピュータ８３０、またはコンピュータ８３０を操作するユーザは、第１の出力画像のコントラストを増大させるために、第２の相対的重みのセットが計算され得ることを決定してもよい。次いで、コンピュータ８３０は、表にアクセスするか、または相対的重みの第２のセットを決定するため第２のフーリエ展開を計算してもよい。次いで、相対的重みの第２のセットは、第２の出力（例えば、第２の画像）を決定するために、１つまたは複数のスーパーピクセル内の対応するサブピクセルに適用され得る。第１のコントラストスコアは、第１の画像について計算されてもよく、第２のコントラストスコアは、第２の画像について計算されてもよい。コントラストスコアは、例えば、画像全体にわたる強度値のレベルおよびスパンから決定され得る。コントラストスコアを計算した後、コンピュータ８３０は、第１のコントラストスコアを第２のコントラストスコアと比較し得る。第１のコントラストスコアが第２のコントラストスコアよりも大きい（例えば、第１の画像は第２の画像よりも大きなコントラストを有する）場合、コンピュータ８３０は、相対的重みの第１のセットを強度値に再適用し得る。第１のコントラストスコアが第２のコントラストスコアよりも小さい場合、コンピュータ８３０は、第２の画像をそのままにしておくか、または第２のコントラストスコアをさらに改善するために、第３の相対的重みのセットの決定を試み得る。

【0046】

[0055] 図９は、本発明の一実施形態によるスーパーピクセルの３つのサブピクセルを示す断面図である。図９に示すように、図１に示されるサブピクセル１１０、１２０および１３０は、図７との関係で論じたように、薄膜の厚さを変化させる。図９を参照すると、サブピクセル１１０は、厚さ３．５μｍ、横幅１０μｍ、サブピクセル１２０は、厚さ３．８μｍ、横幅１０μｍ、サブピクセル１３０は、厚さ８．５μｍ、横幅１０μｍである。これらの厚さは、図７の振動透過プロファイル７２０、７３０および７４０の厚さに対応する。この例示的な実施形態における他の６つのピクセルは、サブピクセルのうちの１つ、例えば、スーパーピクセルにおける中央のサブピクセルについて０．０μｍの厚さ（すなわち、薄膜なし）を含む、図７に示す６つの他の振動透過プロファイルに関連する厚さを有するであろう。図９におけるサブピクセルの配置は、その一例であるが、リソグラフィ処理または光学性能を最適化するために、他の構成が選択されてもよい。

【0047】

[0056] 上述したように、図９に図示された薄膜は、基板９０５上に均一な厚さの層を堆積させ、次いで、リソグラフィおよびエッチングを使用して各サブピクセルの厚さを定義することによって製造することができる。サブピクセル間の分離は、図９に示すようにスペクトル基底フィルタにおいて実装することができるが、これは本発明では要求されない。

【0048】

[0057] 図１０は、本発明の一実施形態による光学フィルタのスペクトルプロファイルを定義する方法を示す簡略化されたフローチャートである。方法１０００は、スペクトルプロファイルの１つまたは複数の特性を決定することを含む（１０１０）。スペクトルプロファイルの１つまたは複数特性は、バンドパス短エッジ、バンドパス長エッジ、スペクトル範囲カットオン、またはスペクトル範囲カットオフのうちの少なくとも１つを含むことができる。また、本方法は、複数のサブピクセル（１０１２）のそれぞれについて透過プロファイルを定義することも含む。所定数の複数のサブピクセルは、波長の関数として振動透過プロファイルによって特徴付けられる。複数のサブピクセルの複数のそれぞれについて透過プロファイルを定義することは、図９に示すように、複数のサブピクセルのそれぞれに関連付けられた薄膜の厚さを決定することを含むことができる。

【0049】

[0058] 本方法は、相対的な重ね合わせ重みのセットを複数のサブピクセルのそれぞれに関連付けることをさらに含む（１０１４）。いくつかの実施形態において、相対的重みのセットは、スペクトルプロファイルの１つまたは複数の特性を使用して重みのルックアップテーブルにアクセスすることによって決定される。一実施形態において、本方法は、光学フィルタの出力を用いて第１のコントラストスコアを決定すること、相対的重みの修正されたセットを決定するため相対的重みのセットにおける少なくとも１つの重みを修正すること、相対的重みの修正されたセットの修正された重みを複数のサブピクセルの各々と関連付けること、相対的重みの修正されたセットを有する光学フィルタの出力を用いて第２のコントラストスコアを決定し、第２のコントラストスコアが第１のコントラストスコアよりも大きいと判定することも含む。

【0050】

[0059] 図１０に示される特定のステップは、本発明の一実施形態による光学フィルタのスペクトルプロファイルを定義する特定の方法を提供することを理解されたい。ステップの他のシーケンスもまた、代替実施形態に従って実行され得る。例えば、本発明の代替実施形態は、上記で概説したステップを異なる順序で実行してもよい。さらに、図１０に図示される個々のステップは、個々のステップに適宜、様々な順序で実行され得る複数のサブステップを含んでもよい。さらに、特定のアプリケーションに応じて、追加のステップを追加または削除してもよい。当業者は、多くの変形、修正、および代替を認識するであろう。

【0051】

[0060] 図１１は、本発明の一実施形態による方法を示す簡略化されたフローチャートである。方法１１００は、複数のスーパーピクセル（１１１０）を含む光学フィルタを通して光信号を透過することを含む。複数のスーパーピクセルの各々は、複数のサブピクセルを含む。所定数の複数のサブピクセルは、波長の関数として振動透過プロファイルによって特徴付けられる。複数のサブピクセルのうちの１つは、波長の関数として均一な透過プロファイルによって特徴付けられ、それによって、スーパーピクセルの解像度における状況認識を提供することができる。このサブピクセルは、フーリエ展開のオフセット（つまり、ａ_０）を提供することもできる。

【0052】

[0061］本方法は、検出器の各ピクセルに関連付けられた受信強度値も含む（１１１２）。検出器の各ピクセルは、焦点面アレイとすることができ、複数のサブピクセルのうちの１つに関連付けられる。本方法は、複数のスーパーピクセルのそれぞれについて、複数のサブピクセルのサブピクセルに関連付けられた対応する強度値に相対的重みのセットを適用し（１１１４）、出力データを決定する（１１１６）ことをさらに含む。相対的重みのセットは、スペクトルプロファイルを使用して相対的重みのルックアップテーブルから取得できる。あるいは、相対的重みのセットは、スペクトルプロファイルのフーリエ展開を使用して計算できる。

【0053】

[0062] いくつかの実施形態において、本方法は、第２の相対的重みのセットを生成するために、第１の相対的重みのセットを修正し、および、複数のスーパーピクセルのそれぞれについて、第２の相対的重みのセットの重みを複数のサブピクセルの対応するサブピクセルに適用し、第２の出力データを決定することをさらに含む。相対的重みの第１のセットの修正することは、スペクトルプロファイルを使用した重みのルックアップテーブルへのアクセスを含むことが出来る。第１の相対的重みのセットを修正することは、第１の出力データから第１のコントラストスコアを決定すること、相対的重みの修正されたセットを提供するため、第１の相対的重みのセットにおける少なくとも１つの重みを修正すること、相対的重みの修正されたセットの重みを複数のサブピクセルの対応するサブピクセルに適用させること、第２の出力データから第２のコントラストスコアを決定し、第１のコントラストスコアを第２のコントラストスコアと比較することを含むことができる。第１のコントラストスコアが第２のコントラストスコアよりも大きい場合、第１のコントラストスコアに関連付けられた第１の重みのセットは、複数のサブピクセルに再適用することができる。

【0054】

[0063] 図１１に示す特定のステップは、本発明の一実施形態による特定の方法を提供することを理解されたい。ステップの他のシーケンスもまた、代替実施形態によって実行され得る。例えば、本発明の代替実施形態は、上記で概説したステップを異なる順序で実行してもよい。さらに、図１１に示す個々のステップは、個々のステップに適宜、様々な順序で実行され得る複数のサブステップを含んでもよい。さらに、特定のアプリケーションに応じて、追加のステップを追加または削除してもよい。当業者は、多くの変形、修正、および代替を認識するであろう。

【0055】

[0064] 本発明の実施形態は、データ伝送帯域幅を減少させながら、光学システムを使用して画像データの収集を可能にする。一例として、スペクトルプロファイルは、例えば、０．８μｍの帯域幅を有する９．４μｍを中心とするバンドパスフィルタを定義することができる。このスペクトルプロファイルまたはこのスペクトルプロファイルへの近似を生成する各サブピクセルに関連付けられた重みのセットを計算して光学システムに提供でき、光学システムは、例えば、ドローンに搭載することができる。画像取得中に、焦点面アレイのピクセルの強度値が測定され、各ピクセルはサブピクセルの１つに対応する。処理は、図６に関連して論じたように、対応する各サブピクセルに適切な重みを適用し、スーパーピクセル解像度で画像を生成する光学システムのプロセッサによって実行することができる。この場合、処理後、例えば１０２４×１０２４の解像度のスーパーピクセル解像度の画像が生成される。したがって、スーパーピクセル解像度が焦点面アレイ解像度の数分の一（例えば、１／９）であり得るため、本発明の実施形態は、通信帯域幅を低減することができる。

【0056】

［0065］本発明の実施形態は、画定されたスペクトルプロファイルを有する完全なサブピクセルアレイ解像度の解釈も含む。スーパーピクセルは焦点面アレイ上で空間的に周期的であるため、すべてのサブピクセルは、焦点面アレイに隣接するサブピクセルを除いて、スーパーピクセル値を生成するために必要な８つの相補サブピクセルに囲まれている。したがって、焦点面アレイは、各サブピクセルをスーパーピクセルの中心として扱うことにより、選択されたバンドパスで３０７０×３０７０の解像度の画像を生成することができる。

【0057】

[0066] 図１に関連して、スーパーピクセル１０５は、サブピクセル１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０および１９０の集合体として説明され、サブピクセル１５０を中心とする３×３サブピクセルアレイである。スーパーピクセル１０３は、サブピクセル１８２、１９２、１７３、１２０、１３０、１１１、１５０、１６０および１４１の集合体、およびサブピクセル１３０を中心とする３×３サブピクセルアレイとしても定義することができる。スーパーピクセル１０３のサブピクセルは、スーパーピクセル１０５で使用されるのと同様のスペクトルフィルタのセットを有する。明示的には、サブピクセル１８２はサブピクセル１８０と同様のフィルタを有し、サブピクセル１９２はサブピクセル１９０と同様のフィルタを有し、サブピクセル１７３およびサブピクセル１７０、サブピクセル１１１およびサブピクセル１１０、ならびにサブピクセル１４１およびサブピクセル１４０についても同様である。したがって、１つまたは複数の第１のスーパーピクセルの所定数のサブピクセルもまた、第２のスーパーピクセルのサブピクセルであり得る。

【0058】

[0067] サブピクセル強度を結合して、定義されたバンドパスを有するスーパーピクセルを生成するために、本明細書に記載の同じプロセスを、スペクトル基底フィルタ１００における各サブピクセルに適用することができる。その結果、３０７２×３０７２解像度のピクセルアレイから、完全なスペクトルバンドパス制御を備えた３０７０×３０７０解像度の画像を生成することができる。光学システムは、スーパーピクセルの大きさに匹敵するぼかし円用に設計され得るので、この動作モードは、空間的にオーバーサンプリングされた画像を生成することができ、これは、当業者に明らかな利点を有する。

【0059】

[0068] 他の実施形態において、焦点面アレイのピクセルの強度値を、処理のために別個のシステムに送信することができる。この場合、画像データの解像度は、焦点面アレイのピクセル解像度と一致し、データ通信帯域幅は、焦点面アレイの解像度、例えば、３０７２×３０７２の解像度に対応する。焦点面アレイの解像度で画像データを送信し、後処理を実行することにより、異なる重みのセットを画像データに適用できる。単に例として、第１の重みのセットを用いて、適切な重みを対応する各サブピクセルに適用し、第１のスペクトルプロファイル、例えば、０．８μｍの帯域幅を有する９．４μｍを中心とするバンドパスフィルタによって特徴付けられる画像を生成することができる。続いて、第２のスペクトルプロファイルに対応する第２の重みのセット、例えば、０．８μｍの帯域幅を有する９．４５μｍを中心とするバンドパスフィルタを画像データに適用することができ、その結果、第２のスペクトルプロファイルによって特徴付けられる画像が得られる。重みの追加セットを使用して、この例において、所定の波長範囲にわたってバンドパスフィルタを掃引し、様々なスペクトルプロファイルのそれぞれに対応する画像データを生成することによって、スペクトルプロファイルを修正することができる。

【0060】

[0069] したがって、所定のスペクトルプロファイルを有するスペクトルフィルタを使用する従来のイメージングシステムとは対照的に、本発明の実施形態は、画像データを、波長の範囲（例えば、８μｍ～１０．５μｍ）にわたって収集し、次いで、後処理して、異なるスペクトルプロファイルにそれぞれ関連付けられた一連の画像を提供することを可能にする。特定の実施形態において、他の画像に関連付けられた他のコントラストスコアよりも高いコントラストスコアを有する画像を選択することによって、画像コントラストを強化することができる。画像データが焦点面アレイの解像度で記録される場合、後処理は、スペクトルプロファイルを修正することができ、それによって、記録された画像データに異なるスペクトルプロファイルを適用し、後処理中に異なるスペクトルプロファイルに関連付けられた画像データを生成する。

【0061】

[0070] 重みのセットを使用した画像処理は、光学システムのプロセッサによって実行できることを理解されたい。上記で論じた例を続けると、光学システムのプロセッサによって、様々な重みのセットを画像データに適用し、対象の波長範囲にわたってバンドパスフィルタを効果的に掃引することができる。続いて、光学システムによって生成された画像のうちの１つまたは複数は、光学システムと通信する地上局などの別個のシステムに送信することができ、上述したように、ドローンに搭載することができる。さらに、自動ゲイン制御と同様の方法で、画像データのスペクトル調整を実行して画像のコントラストを高めることにより、自動コントラスト制御を実現できる。画像データを取得する際に、画像内の画像コントラストを測定するために様々な重み付けのセットを画像データに適用し、これにより、コントラストを高めた画像を生成し、コントラストを自動制御することができる。当業者は、多くの変形、修正、および代替を認識するであろう。

【0062】

[0071] 上記の説明は例示であり、限定的ではない。本発明の多くの変形は、開示の検討時に当業者に明らかになるであろう。したがって、本発明の範囲は、上記の説明を参照して決定されるべきではなく、代わりに、それらの全範囲または均等物とともに係属中の請求項を参照して決定されるべきである。

【0063】

[0072] 任意の実施形態からの１つまたは複数の特徴は、本発明の範囲から逸脱することなく、他の任意の実施形態の１つまたは複数の特徴と組み合わされてもよい。

【0064】

[0073] 本明細書で用いる場合、「１つの」、または「その」の使用は、特に反対に示されない限り、「少なくとも１つ」を意味することを意図する。

【0065】

[0074] 本開示の原則は、特定の装置および方法に関連して上述したが、この説明は、一例としてのみなされ、本開示の範囲に対する限定としてなされていないことが明確に理解されるべきである。

【0066】

[0075] また、本明細書に記載の例および実施例は例示のみを目的としており、それに照らして様々な修正または変更が当業者に提案され、本出願の精神および範囲および添付の特許請求の範囲に含まれるべきであることも理解されたい。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】