知財求人 - 知財ポータルサイト「IP Force」
▶ ビー．ジー．ネゲブ テクノロジーズ アンド アプリケーションズ リミテッド， アット ベン‐グリオン ユニバーシティーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-14
(45)【発行日】2022-06-22
(54)【発明の名称】画像からのハイパースペクトルデータの回復
(51)【国際特許分類】
G06T 1/00 20060101AFI20220615BHJP
H04N 9/07 20060101ALI20220615BHJP
H04N 5/232 20060101ALI20220615BHJP
H04N 5/225 20060101ALI20220615BHJP
G01J 3/51 20060101ALI20220615BHJP
【ＦＩ】
G06T1/00 510
H04N9/07 A
H04N5/232 290
H04N5/225 400
G01J3/51
【請求項の数】
23
(21)【出願番号】P 2019533725
(86)(22)【出願日】2017-09-06
(65)【公表番号】
(43)【公表日】2019-11-14
(86)【国際出願番号】 IL2017051002
(87)【国際公開番号】W WO2018047171
(87)【国際公開日】2018-03-15
【審査請求日】2020-08-27
(31)【優先権主張番号】62/383,613
(32)【優先日】2016-09-06
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/518,038
(32)【優先日】2017-06-12
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518286264
【氏名又は名称】ビー．ジー．ネゲブ テクノロジーズ アンド アプリケーションズ リミテッド， アット ベン‐グリオン ユニバーシティー
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】ベン－シャハル，オーハド
(72)【発明者】
【氏名】アラド，ボーズ
【審査官】西谷 憲人
(56)【参考文献】
【文献】特開２００７－３２９３８０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／００７２２０９（ＵＳ，Ａ１）
【文献】国際公開第２０１６／０２９２７６（ＷＯ，Ａ１）
【文献】特開２０１４－０３８６１４（ＪＰ，Ａ）
【文献】特開２０１４－０３８６２０（ＪＰ，Ａ）
【文献】特開２０１４－０３８５９７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｈ０４Ｎ ９／０７
Ｈ０４Ｎ ５／２３２
Ｈ０４Ｎ ５／２２５
Ｇ０１Ｊ ３／５１
(57)【特許請求の範囲】
【請求項1】
スペクトルデータを近似するための方法であって、スペクトルバンドの第１のセット内のデータを含むデジタル画像を提供することと、
（ａ）スペクトルバンドの第２のセット内のシグネチャおよび（ｂ）スペクトルバンドの前記第１のセット内の値を含む辞書を提供することであって、前記値は前記シグネチャに対応する、辞書を提供することと、
前記値は、前記シグネチャをスペクトルバンドの前記第１のセットの空間に投影することによって生成され、
スペクトルバンドの前記第２のセットは、スペクトルバンドの前記第１のセットに含まれるものとは異なるスペクトルバンドを含み、
前記辞書に基づいて、前記デジタル画像の各画素について、スペクトルバンドの前記第２のセット内のデータを推定することと、
スペクトルバンドの前記第２のセット内のデータを含む対応画像を推定するためにスペクトルバンドの前記第２のセット内の推定された前記データを使用することと
を行うために、少なくとも１つのハードウェアプロセッサを使用することを含む、
スペクトルデータを近似するための方法。
【請求項2】
スペクトルバンドの前記第１のセットおよび第２のセットは一部、重なり合う、請求項１に記載の方法。
【請求項3】
スペクトルバンドの前記第１のセットは、赤色－緑色－青色（ＲＧＢ）である、請求項１に記載の方法。
【請求項4】
スペクトルバンドの前記第２のセットは、４００～８００ナノメートルの間である、請求項１に記載の方法。
【請求項5】
スペクトルバンドの前記第１のセットの各バンドは、５～１００ナノメートルの幅を有する、請求項１に記載の方法。
【請求項6】
スペクトルバンドの前記第２のセットの各バンドは、５～１００ナノメートルの幅を有する、請求項１に記載の方法。
【請求項7】
前記辞書は過剰完全辞書を含む、請求項１に記載の方法。
【請求項8】
各々がスペクトルバンドの前記第１のセット内のデータおよびスペクトルバンドの前記第２のセット内のデータを含む、代表的なマルチスペクトル画像のセットに基づいて前記辞書を構築することをさらに含む、請求項１に記載の方法。
【請求項9】
スペクトルバンドの第１のセット内のデジタル画像を捕捉するように構成された画像センサーと、（ａ）スペクトルバンドの第２のセット内のシグネチャおよび（ｂ）スペクトルバンドの前記第１のセット内の値を含む辞書をその上に格納している非一時的メモリであって、前記値は前記シグネチャに対応する、非一時的メモリと、
前記値は、前記シグネチャをスペクトルバンドの前記第１のセットの空間に投影することによって生成され、スペクトルバンドの前記第２のセットは、スペクトルバンドの前記第１のセットに含まれるものとは異なるスペクトルバンドを含み、
前記辞書に基づいて、前記デジタル画像の各画素について、スペクトルバンドの前記第２のセット内のデータを推定し、スペクトルバンドの前記第２のセット内のデータを含む対応画像を推定するためにスペクトルバンドの前記第２のセット内の推定された前記データを使用するように構成された少なくとも１つのハードウェアプロセッサと
を備える、装置。
【請求項10】
スペクトルバンドの前記第１のセットおよび第２のセットは一部、重なり合う、請求項９に記載の装置。
【請求項11】
スペクトルバンドの前記第１のセットは、赤色－緑色－青色（ＲＧＢ）である、請求項９に記載の装置。
【請求項12】
スペクトルバンドの前記第２のセットは、４００～８００ナノメートルの間である、請求項９に記載の装置。
【請求項13】
スペクトルバンドの前記第１第２のセットの各バンドは、５～１００ナノメートルの幅を有する、請求項９に記載の装置。
【請求項14】
スペクトルバンドの前記第２のセットの各バンドは、５～１００ナノメートルの幅を有する、請求項９に記載の装置。
【請求項15】
前記辞書は過剰完全辞書を含む、請求項９に記載の装置。
【請求項16】
スペクトルデータを近似するためのコンピュータプログラムであって、それを用いて具現化されたプログラムコードを有する持続性コンピュータ可読記憶媒体を含み、前記プログラムコードは、スペクトルバンドの第１のセット内のデータを含むデジタル画像を受信することと、
（ａ）スペクトルバンドの第２のセット内のシグネチャおよび（ｂ）スペクトルバンドの前記第１のセット内の値を含む辞書を受信することであって、前記値は前記シグネチャに対応する、辞書を受信することと、
前記値は、前記シグネチャをスペクトルバンドの前記第１のセットの空間に投影することによって生成され、スペクトルバンドの前記第２のセットは、スペクトルバンドの前記第１のセットに含まれるものとは異なるスペクトルバンドを含み、
前記辞書に基づいて、前記デジタル画像の各画素について、スペクトルバンドの前記第２のセット内のデータを推定することと、
スペクトルバンドの前記第２のセット内のデータを含む対応画像を推定するためにスペクトルバンドの前記第２のセット内の推定された前記データを使用することと
を行うために少なくとも１つのハードウェアプロセッサによって実行可能である、
コンピュータプログラム。
【請求項17】
スペクトルバンドの前記第１のセットおよび第２のセットは一部、重なり合う、請求項１６に記載のコンピュータプログラム。
【請求項18】
スペクトルバンドの前記第１のセットは、赤色－緑色－青色（ＲＧＢ）である、請求項１６に記載のコンピュータプログラム。
【請求項19】
スペクトルバンドの前記第２のセットは、４００～８００ナノメートルの間である、請求項１６に記載のコンピュータプログラム。
【請求項20】
スペクトルバンドの前記第１第２のセットの各バンドは、５～１００ナノメートルの幅を有する、請求項１６に記載のコンピュータプログラム。
【請求項21】
スペクトルバンドの前記第２のセットの各バンドは、５～１００ナノメートルの幅を有する、請求項１６に記載のコンピュータプログラム。
【請求項22】
前記辞書は過剰完全辞書を含む、請求項１６に記載のコンピュータプログラム。
【請求項23】
前記プログラムコードは、各々がスペクトルバンドの前記第１のセット内のデータおよびスペクトルバンドの前記第２のセット内のデータを含む、代表的なマルチスペクトル画像のセットに基づいて前記辞書を構築するために前記少なくとも１つのハードウェアプロセッサによってさらに実行可能である、請求項１６に記載のコンピュータプログラム。【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０１６年９月６日に出願された、米国仮特許出願第６２／３８３，６１３号および２０１７年６月１２日に出願された米国仮特許出願第６２／５１８，０３８号の優先権の利益を主張し、その内容が参照により全体として本明細書に組み込まれる。
本出願は、２０１６年９月６日に出願された、米国仮特許出願第６２／３８３，６１３号および２０１７年６月１２日に出願された米国仮特許出願第６２／５１８，０３８号の優先権の利益を主張し、その内容が参照により全体として本明細書に組み込まれる。
【0002】
本発明は、写真、特にハイパースペクトル撮像の分野に関する。
【背景技術】
【0003】
ハイパースペクトル撮像は、現代の取得技術が１９７０年代後半に利用可能になって以来、研究の活発な領域である。ＲＧＢ（赤色－緑色－青色）またはマルチスペクトル取得装置とは異なり、ハイパースペクトル撮像の目標は、各観測可能な点から反射された完全なスペクトルシグネチャの取得である。
【0004】
この情報の豊かさは、多数の適用を促進するが、それはまた高くつき：空間または時間分解能における著しい低下となる。結果として、ＨＩＳ（ハイパースペクトル撮像システム）の使用は、リモートセンシング、農業、地質学、天文学、地球科学、およびその他など、信号のこれらの態様（空間かどちらかであるが、大抵は時間分可能）が中心でなかった領域および用途に制限されていた。これらの場合においてさえ、ＨＩＳは多くの場合、その用途に対して有益な情報を伝えるスペクトルの部分を特性化するために観測可能な信号の予備分析のために使用される。この情報は次いで、その用途に対して最適化されるマルチスペクトル装置（２、３のスペクトルバンドを備えたカメラ）を設計するために使用される。
【0005】
前述などのニッチまたは専用用途におけるそれらの使用とは異なり、一般的なコンピュータビジョン、特に自然画像の分析におけるＨＩＳの使用はまだ、未成熟である。主な障害は、ハイパースペクトル画像「キューブ（ｃｕｂｅ）」の取得中の空間、スペクトル、および／または時間分解能だけでなく、それらを取得するハイパースペクトル装置の費用、およびそれらの物理的サイズ（重量および体積）もあり、両方とも法外で、最も可能な用途に対して厳しい制約を課す。
【0006】
関連技術の前述の例およびそれに関連した制限は、例示を意図しており、排他を意図するものではない。関連技術の他の制限は、本明細書を読み、図面を検討すると、当業者には明らかになるであろう。
【発明の概要】
【課題を解決するための手段】
【0007】
次の実施形態およびその態様は、範囲における制限ではなく、模範および例示であることを意図するシステム、ツールおよび方法と併せて説明および例示される。
【0008】
スペクトルデータを近似するための方法が提供され、本方法は、スペクトルバンドの第１のセット内のデータを含むデジタル画像を提供すること；（ａ）スペクトルバンドの第２のセット内のシグネチャおよび（ｂ）スペクトルバンドの前記第１のセット内の値を含む辞書を提供することであって、前記値はシグネチャに対応し、スペクトルバンドの前記第１のセットおよび第２のセットは異なること；ならびに辞書に基づいて、前記デジタル画像のスペクトルバンドの前記第２のセット内のデータを近似すること、を行うために少なくとも１つのハードウェアプロセッサを使用することを含む。
【0009】
一実施形態に従い、スペクトルバンドの第１のセット内のデジタル画像を捕捉するように構成された画像センサー；（ａ）スペクトルバンドの第２のセット内のシグネチャおよび（ｂ）スペクトルバンドの前記第１のセット内の値を含む辞書をその上に格納している非一時的メモリであって、前記値はシグネチャに対応し、スペクトルバンドの前記第１のセットおよび第２のセットは異なる、非一時的メモリ；ならびに前記辞書に基づいて、前記デジタル画像のスペクトルバンドの前記第２のセット内のデータを近似するように構成された少なくとも１つのハードウェアプロセッサを含む装置がさらに提供される。
【0010】
一実施形態に従い、スペクトルデータを近似するためのコンピュータプログラム製品がさらに提供され、本コンピュータプログラム製品は、それを用いて具現化されたプログラムコードを有する持続性コンピュータ可読記憶媒体を含み、本プログラムコードは、スペクトルバンドの第１のセット内のデータを含むデジタル画像を受信すること；（ａ）スペクトルバンドの第２のセット内のシグネチャおよび（ｂ）スペクトルバンドの前記第１のセット内の値を含む辞書を受信することであって、前記値はシグネチャに対応し、スペクトルバンドの前記第１のセットおよび第２のセットは異なること；ならびに辞書に基づいて、前記デジタル画像のスペクトルバンドの前記第２のセット内のデータを近似することを行うために少なくとも１つのハードウェアプロセッサによって実行可能である。
【0011】
いくつかの実施形態では、スペクトルバンドの前記第１のセットは、赤色－緑色－青色（ＲＧＢ）である。
【0012】
いくつかの実施形態では、スペクトルバンドの前記第２のセットは、４００～８００ナノメートルの間である。
【0013】
いくつかの実施形態では、スペクトルバンドの前記第１第２のセットの各バンドは、５～１００ナノメートルの幅を有する。
【0014】
いくつかの実施形態では、スペクトルバンドの前記第２のセットの各バンドは、５～１００ナノメートルの幅を有する。
【0015】
いくつかの実施形態では、辞書は過剰完全辞書を含む。
【0016】
いくつかの実施形態では、方法は、各々が前記多重スペクトルバンド内のデータおよび前記他の多重スペクトルバンド内のデータを含む、代表的なマルチスペクトル画像のセットに基づいて辞書を構築することをさらに含む。
【0017】
いくつかの実施形態では、プログラムコードは、各々が前記多重スペクトルバンド内のデータおよび前記他の多重スペクトルバンド内のデータを含む、代表的なマルチスペクトル画像のセットに基づいて辞書を構築するために前記少なくとも１つのハードウェアプロセッサによってさらに実行可能である。
【0018】
デジタルカメラ用カラーフィルタアレイを選択するための方法も提供され、前記カラーフィルタアレイは、所望の数のカラーフィルタを含み、本方法は、対応する複数のスペクトル周波数応答を有する複数のカラーフィルタを含むカラーフィルタセットを提供すること；前記カラーフィルタアレイを評価するための１つ以上の基準を提供すること；以下の反復ステップ：（ｉ）前記カラーフィルタセットから無作為に選択された複数のテストフィルタアレイを含むテストグループを決定することであって、前記複数のテストフィルタアレイの各々は、前記所望の数のカラーフィルタを含むこと、（ｉｉ）前記複数のテストフィルタアレイの各々を前記１つ以上の基準に基づいて評価すること、（ｉｉｉ）評価パラメータを前記評価に基づいて前記複数のテストフィルタアレイの各々に割り当てること、ならびに（ｉｖ）次の反復において、テストグループに：（ａ）前記評価パラメータに基づいて選択された以前に評価されたテストフィルタアレイの第１の割合、（ｂ）前記評価パラメータに基づいて選択された２つの以前に評価されたテストフィルタアレイから無作為に選択されたカラーフィルタを結合することによって構築されたテストフィルタアレイの第２の割合、および（ｃ）以前に評価されたテストフィルタアレイの第３の割合、を含めることであって、前記テストフィルタアレイの各々におけるカラーフィルタの１つが、前記カラーフィルタセットから無作為に選択されたカラーフィルタと置き換えられること；を実行するために少なくとも１つのハードウェアプロセッサを使用すること；前記評価パラメータに基づいて最適なカラーフィルタアレイが見つかるまで前記反復ステップを繰り返すこと；ならびに前記最適なカラーフィルタアレイをデジタルカメラ用カラーフィルタアレイとして実装すること；を含む。
【0019】
デジタルカメラ用カラーフィルタアレイを選択するためのコンピュータプログラム製品がさらに提供され、前記カラーフィルタアレイは所望の数のカラーフィルタを含み、コンピュータプログラム製品は、それを用いて具現化されたプログラムコードを有する持続性コンピュータ可読記憶媒体を含み、本プログラムコードは、対応する複数のスペクトル周波数応答を有する複数のカラーフィルタを含むカラーフィルタセットを提供すること；前記カラーフィルタアレイを評価するための１つ以上の基準を提供すること；以下の反復ステップ：（ｉ）前記カラーフィルタセットから無作為に選択された複数のテストフィルタアレイを含むテストグループを決定することであって、前記複数のテストフィルタアレイの各々は、前記所望の数のカラーフィルタを含むこと、（ｉｉ）前記複数のテストフィルタアレイの各々を前記１つ以上の基準に基づいて評価すること、（ｉｉｉ）評価パラメータを前記評価に基づいて前記複数のテストフィルタアレイの各々に割り当てること、ならびに（ｉｖ）次の反復において、テストグループに：（ａ）前記評価パラメータに基づいて選択された以前に評価されたテストフィルタアレイの第１の割合、（ｂ）前記評価パラメータに基づいて選択された２つの以前に評価されたテストフィルタアレイから無作為に選択されたカラーフィルタを結合することによって構築されたテストフィルタアレイの第２の割合、および（ｃ）以前に評価されたテストフィルタアレイの第３の割合、を含めることであって、前記テストフィルタアレイの各々におけるカラーフィルタの１つが、前記カラーフィルタセットから無作為に選択されたカラーフィルタと置き換えられること、を実行すること；前記評価パラメータに基づいて最適なカラーフィルタアレイが見つかるまで前記反復ステップを繰り返すこと；ならびに前記最適なカラーフィルタアレイをデジタルカメラ用カラーフィルタアレイとして実装すること、を行うために少なくとも１つのハードウェアプロセッサによって実行可能である。
【0020】
いくつかの実施形態では、前記１つ以上の基準は：量子効率、露光均一性、およびスペクトル近似精度から成る群から選択される。
【0021】
いくつかの実施形態では、前記１つ以上の基準は、スペクトル近似精度であり、前記複数のテストフィルタアレイの各々を評価するステップは：スペクトルバンドの第１のセット内のデータを含む第１のデジタル画像を提供すること；前記デジタル画像を前記最適なカラーフィルタアレイを通して投影して、スペクトルバンドの第２のセット内のデータを含む第２のデジタル画像を取得すること；スペクトルバンドの前記第１のセット内のシグネチャおよびスペクトルバンドの前記第２のセット内の対応する値を含む辞書を提供すること；辞書に基づいて、前記第２のデジタル画像のスペクトルバンドの前記第１のセット内のデータを近似すること；ならびに（ａ）前記第１のデジタル画像のスペクトルバンドの前記第１のセット内の前記データを（ｂ）前記第２のデジタル画像のスペクトルバンドの前記第２のセット内の前記データと比較して、前記評価パラメータに帰着すること、を含む。
【0022】
いくつかの実施形態では、前記評価パラメータは、相対二乗平均平方根誤差（ＲＲＭＳＥ）として表される。いくつかの実施形態では、前記所望の数のカラーフィルタは、少なくとも３である。いくつかの実施形態では、カラーフィルタセットは７００～１５００のカラーフィルタを含む。
【0023】
いくつかの実施形態では、前記第１の割合はテストグループの１０％に等しく、前記第２の割合はテストグループの４０％に等しく、前記第３の割合はテストグループの１０％に等しい。
【0024】
デジタル画像を捕捉するように構成された画像センサー；前記画像センサーに動作可能に結合されたフィルタアレイを含む装置がさらに提供され、前記フィルタアレイは、所望の数のカラーフィルタを含み、前記フィルタアレイの構成は、以下のステップ：対応する複数のスペクトル周波数応答を有する複数のカラーフィルタを含むカラーフィルタセットを提供すること；前記カラーフィルタアレイを評価するための１つ以上の基準を提供すること；以下の反復ステップ：（ｉ）前記カラーフィルタセットから無作為に選択された複数のテストフィルタアレイを含むテストグループを決定することであって、前記複数のテストフィルタアレイの各々は、前記所望の数のカラーフィルタを含むこと、（ｉｉ）前記複数のテストフィルタアレイの各々を前記１つ以上の基準に基づいて評価すること、（ｉｉｉ）評価パラメータを前記評価に基づいて前記複数のテストフィルタアレイの各々に割り当てること、ならびに（ｉｖ）次の反復において、テストグループに：（ａ）前記評価パラメータに基づいて選択された以前に評価されたテストフィルタアレイの第１の割合、（ｂ）前記評価パラメータに基づいて選択された２つの以前に評価されたテストフィルタアレイから無作為に選択されたカラーフィルタを結合することによって構築されたテストフィルタアレイの第２の割合、および（ｃ）以前に評価されたテストフィルタアレイの第３の割合、を含めることであって、前記テストフィルタアレイの各々におけるカラーフィルタの１つが、前記カラーフィルタセットから無作為に選択されたカラーフィルタと置き換えられること、を実行するために少なくとも１つのハードウェアプロセッサを使用すること；前記評価パラメータに基づいて最適なカラーフィルタアレイが見つかるまで前記反復ステップを繰り返すこと；ならびに前記最適なカラーフィルタアレイをデジタルカメラ用カラーフィルタアレイとして実装すること、を含むプロセスによって決定される。
【0025】
いくつかの実施形態では、前記画像センサーは、ＣＣＤ（ｃｈａｒｇｅｄ－ｃｏｕｐｌｅ ｄｅｖｉｃｅ：電荷結合素子）画像センサーである。いくつかの実施形態では、前記画像センサーは、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）画像センサーである。いくつかの実施形態では、装置は、２つ以上の前記画像センサーをさらに含む。いくつかの実施形態では、装置は、光を前記２つ以上の前記画像センサーに向かわせるように構成されたビームスプリッタをさらに含む。いくつかの実施形態では、装置は、２つ以上の前記フィルタアレイをさらに含む。
【0026】
いくつかの実施形態では、前記所望の数のカラーフィルタは少なくとも３である。
【0027】
いくつかの実施形態では、前記装置は、スペクトルバンドの所望のセット内の画像を捕捉するために構成される。
【0028】
いくつかの実施形態では、装置は、前記装置によって捕捉された画像からハイパースペクトルデータを近似するために構成された少なくとも１つのハードウェアプロセッサをさらに含む。いくつかの実施形態では、前記少なくとも１つのハードウェアプロセッサは、前記ハイパースペクトルデータからのスペクトルバンドの所望のセット内のデータをシミュレートするようにさらに構成される。いくつかの実施形態では、スペクトルバンドの前記所望のセットは、赤色－緑色－青色（ＲＧＢ）スペクトルバンドを含む。いくつかの実施形態では、前記ハイパースペクトルデータは、前記装置によって捕捉された画像に関して照明推定および補正を実行するために使用される。
【0029】
いくつかの実施形態では、前記ハイパースペクトルデータは、再照明を、前記装置によって捕捉された画像に適用するために使用される。いくつかの実施形態では、前記ハイパースペクトルデータは、前記装置によって捕捉された画像からスペクトル高ダイナミックレンジ画像を生成するために使用される。いくつかの実施形態では、前記ハイパースペクトルデータは、材料識別のために使用される。いくつかの実施形態では、前記ハイパースペクトルデータは、顔認識を含む、物体認識のために使用される。
【0030】
いくつかの実施形態では、前記１つ以上の基準は：量子効率、露光均一性、およびスペクトル近似精度から成る群から選択される。
【0031】
いくつかの実施形態では、前記第１の割合はテストグループの１０％に等しく、前記第２の割合はテストグループの４０％に等しく、前記第３の割合はテストグループの１０％に等しい。
【0032】
スペクトルデータをシミュレートするための方法がさらに提供され、本方法は、ハイパースペクトルデータを含むデジタル画像を受信すること；およびスペクトルバンドの所望のセット内の画像を、前記ハイパースペクトルデータに、スペクトルバンドの前記所望のセットに対応する１つ以上のスペクトル応答関数を適用することにより、生成すること、を行うために少なくとも１つのハードウェアプロセッサを使用することを含む。スペクトルデータをシミュレートするためのコンピュータプログラム製品もさらに提供され、コンピュータプログラム製品は、それを用いて具現化されたプログラムコードを有する持続性コンピュータ可読記憶媒体を含み、本プログラムコードは、ハイパースペクトルデータを含むデジタル画像を受信すること；およびスペクトルバンドの所望のセット内の画像を、前記ハイパースペクトルデータに、スペクトルバンドの前記所望のセットに対応する１つ以上のスペクトル応答関数を適用することにより、生成すること、を行うために少なくとも１つのハードウェアプロセッサによって実行可能である。
【0033】
いくつかの実施形態では、前記ハイパースペクトルデータは、４００～８００ナノメートルの間の波長を有するスペクトルバンド内のデータを含む。いくつかの実施形態では、スペクトルバンドの前記所望のセットは、赤色－緑色－青色（ＲＧＢ）である。いくつかの実施形態では、スペクトルバンドの前記所望のセットの各バンドは、５～１００ナノメートルの幅を有する。
【0034】
いくつかの実施形態では、ハイパースペクトルデータを含む前記デジタル画像を受信するためのステップは、スペクトルバンドの制限されたセット内の値から前記ハイパースペクトルデータを近似することをさらに含む。
【0035】
いくつかの実施形態では、前記ハイパースペクトルデータを前記近似することは：スペクトルバンドの第１のセット内のデータを含むデジタル画像を提供すること；（ａ）スペクトルバンドの第２のセット内のシグネチャおよび（ｂ）スペクトルバンドの前記第１のセット内の値を含む辞書を提供することであって、前記値はシグネチャに対応し、スペクトルバンドの前記第１のセットおよび第２のセットは異なること；ならびに辞書に基づいて、前記デジタル画像のスペクトルバンドの前記第２のセット内のデータを近似すること、を含む。
【0036】
いくつかの実施形態では、スペクトルバンドの前記第２のセットは４００～８００ナノメートルの間である。いくつかの実施形態では、前記辞書は過剰完全辞書を含む。いくつかの実施形態では、方法は、各々がスペクトルバンドの前記第１のセット内のデータおよびスペクトルバンドの前記第２のセット内のデータを含む、代表的なマルチスペクトル画像のセットに基づいて辞書を構築することをさらに含む。
【0037】
いくつかの実施形態では、前記ハイパースペクトルデータを含む前記デジタル画像を受信するためのステップは、スペクトルバンドの第１のセット内のデータを含むデジタル画像を提供すること；スペクトルバンドの前記第１のセット内の前記データに対応するハイパースペクトル値を含むルックアップテーブルを提供すること；および前記ルックアップテーブルに基づいてハイパースペクトルデータを含む画像を生成することを含む。いくつかの実施形態では、前記ルックアップテーブルは、機械学習アルゴリズムをさらに組み込む。
【0038】
いくつかの実施形態では、スペクトルバンドの所望のセット内の画像を生成するためのステップは、スペクトルバンドの第１のセット内のデータを含むデジタル画像を提供すること；前記データに対応するスペクトルバンドの前記所望のセット内の値を含むルックアップテーブルを提供することがスペクトルバンドの前記第１のセットであり、スペクトルバンドの前記第１のセットおよび所望のセットは異なること； ならびに前記ルックアップテーブルに基づいて、スペクトルバンドの前記所望のセット内の画像を生成すること、を行うために少なくとも１つのハードウェアプロセッサを使用すること、を含む。いくつかの実施形態では、前記ルックアップテーブルは、機械学習アルゴリズムをさらに組み込む。
【発明の効果】
【0039】
前述した例示的な態様および実施形態に加えて、さらなる態様および実施形態が図面を参照し、かつ以下の詳細な説明を検討することにより明らかになるであろう。
【0040】
模範的な実施形態が参照される図で例示されている。図に示される構成要素および特徴の寸法は、一般に、便宜および提示の明確さのために選択されており、必ずしも原寸に比例して示されていない。
【図面の簡単な説明】
【0041】
【図1】一実施形態に従った、スペクトルデータを近似するための方法のフローチャートを示す。
【図2】一実施形態に従った、装置のブロック図を示す。
【図4】一実施形態に従った、再構築された画像のスペクトルチャネルごとの平均ＲＭＳＥ対、ＣＩＥ１９６４色応答関数のグラフを示す。
【図6】赤色チャネルにおける応答関数に関して、複数の市販カメラのセットにおいて見られるばらつきを例示する。
【図7A】典型的なベイヤーＣＦＡ配列の概略図を示す。
【図7B】ベイヤーフィルタのセンサー表面への適用があるものと適用がないものの両方の、市販の画像センサーの量子効率を示す。
【図8A】所望のフィルタセットの特性を例示する。
【図8B】マルチカメラアレイを示す。
【図9】市販のカメラを使用したハイパースペクトル再構築評価の結果を示す。
【図10】市販のカメラを使用したハイパースペクトル再構築評価の結果を示す。
【図13】一実施形態に従い、コンシューマ向けカメラのフィルタセットおよび最適化されたフィルタセットを使用した、ハイパースペクトル再構築間の性能ギャップを例示する。
【図14】一実施形態に従い、再構築されたスペクトルデータからＲＧＢデータを生成するための方法の略図である。
【発明を実施するための形態】
【0042】
ＲＧＢ画像からハイパースペクトル（ＨＳ）データを回復するための方法が開示される。
【0043】
向上した光量子効率のため、およびＲＧＢ画像からのＨＳデータの改善された回復のために、最適化されたカラーフィルタアレイ（ＣＦＡ）を選択する方法；ならびに前記最適化されたＣＦＡを組み込むカメラシステムも開示される。
【0044】
前記最適化されたＣＦＡの出力からフルカラー画像を生成するための方法がさらに開示される。
【0045】
いくつかの実施形態によるカメラシステムは、ハイパースペクトル再構築およびＲＧＢへの逆投影によってＲＧＢ画像を生成する向上した量子効率のために設計された非ｒｇｂフィルタを含む。再構築プロセスは、カメラ内で生じるか、または、例えば、ルックアップテーブルとして、事前に計算され得る。
【0046】
用語集
スペクトルバンド（ｓｐｅｃｔｒａｌ ｂａｎｄ）は本明細書では、電磁スペクトル内の波長の範囲またはバンドを意味する。例えば、デジタルカラー画像は、３つのスペクトルバンド－赤色、緑色および青色－内のデータを含み得る。
スペクトルバンド（ｓｐｅｃｔｒａｌ ｂａｎｄ）は本明細書では、電磁スペクトル内の波長の範囲またはバンドを意味する。例えば、デジタルカラー画像は、３つのスペクトルバンド－赤色、緑色および青色－内のデータを含み得る。
【0047】
スペクトルバンドのセット（ｓｅｔ ｏｆ ｓｐｅｃｔｒａｌ ｂａｎｄｓ）は本明細書では、２つ以上の別個のスペクトルバンドを意味する。これらの別個のスペクトルバンドは、電磁スペクトル内で相互に直接隣り合っているか、一部重なり合っているか、または相互に遠く離れている可能性がある。スペクトルバンドのセットの一例は、前述のように、３つのスペクトルバンド－赤色、緑色および青色－内のデータを含む、ＲＧＢデジタル画像内に含まれる情報である。
【0048】
マルチスペクトル（ｍｕｌｔｉｓｐｅｃｔｒａｌ）は本明細書では、多重スペクトルバンド内のデータから成るデジタル画像またはデジタル信号を意味する。
【0049】
ハイパースペクトル（ｈｙｐｅｒｓｐｅｃｔｒａｌ）は本明細書では、比較的多数のスペクトルバンドから成るマルチスペクトルデジタル画像または信号を意味する。かかるデジタル画像または信号は電磁スペクトル内の比較的広範囲全体からの情報を含む。かかる範囲は可視スペクトル内のスペクトルバンドを含み得るか、またはいくつかの場合は、可視スペクトルを越えて広がり得る。例えば、ハイパースペクトルデジタル画像または信号は、可視、紫外線および赤外線波長範囲内のスペクトルバンドを含み得る。
【0050】
場面（ｓｃｅｎｅ）は本明細書では、用語「領域（ｄｏｍａｉｎ）」と同義であり得、撮像装置を使用して有形的媒体上に捕捉された場面に関連し得る。
【0051】
自然場面（ｎａｔｕｒａｌ ｓｃｅｎｅ）は本明細書では、任意の地上レベルの屋内、屋外、都市景観、田舎、風景、地形、地勢、野生生物、植生、および同様の景色を含む画像場面に関連する。
【0052】
画像センサーの量子効率（ｑｕａｎｔｕｍ ｅｆｆｉｃｉｅｎｃｙ）または光量子効率（ｐｈｏｔｏｎ ｅｆｆｉｃｉｅｎｃｙ）は、電荷担体を生成するデバイスの光反応面を打つ光子の割合として定義される。高い光量子効率の画像センサーは、光に対してより敏感である。画像センサー設計では、光量子効率が向上すると、センサー機能が向上して低光量条件で機能するので、有益である。
【0053】
データ、情報、および値は、揮発性（一時的）または不揮発性（非一時的）メモリ素子上に格納され得、プログラム命令に従い、少なくとも１つのハードウェアプロセッサによって処理され得る、デジタルデータを意味する。
【0054】
辞書（ｄｉｃｔｉｏｎａｒｙ）は本明細書では、信号または画像などの、入力データの表現を指し、入力データは一連の辞書エントリに分解される。
【0055】
過剰完全辞書（ｏｖｅｒｃｏｍｐｌｅｔｅ ｄｉｃｔｉｏｎａｒｙ）は、辞書要素の数が信号／画像の次元数よりも大きい辞書を指す。
【0056】
ＲＧＢ画像からのハイパースペクトルデータの回復
デジタル画像内のスペクトルデータの近似が本明細書で開示される。好都合に、近似は、元々取得されたものよりも豊かなデジタル画像をもたらす；すなわち、より豊かなデジタル画像は、元々取得されたデジタル画像内に含まれていないスペクトルデータを含む。例えば、スペクトルバンドの第１のセット（例えば、赤色－緑色－青色またはＲＧＢバンド）から成るデジタル画像は、取得時に元の画像に含まれていなかった追加のスペクトルバンドで豊かにされ得る。
デジタル画像内のスペクトルデータの近似が本明細書で開示される。好都合に、近似は、元々取得されたものよりも豊かなデジタル画像をもたらす；すなわち、より豊かなデジタル画像は、元々取得されたデジタル画像内に含まれていないスペクトルデータを含む。例えば、スペクトルバンドの第１のセット（例えば、赤色－緑色－青色またはＲＧＢバンド）から成るデジタル画像は、取得時に元の画像に含まれていなかった追加のスペクトルバンドで豊かにされ得る。
【0057】
近似は、少なくとも電磁スペクトルのある範囲において、スペクトルバンドの１つのセット内のスペクトルデータ（またはスペクトル値）は、十分な信頼性で、スペクトルバンドの別のセット内のスペクトルデータを示し得るという調査結果に基づく。この十分な信頼性を定義する閾値は、例えば、個々の場合に応じて、ユーザーによって決定され得る。前述の調査結果は、１つのセット内のスペクトルデータを他のセットに変換する辞書の構築を可能にする。かかる辞書は、各画像内に、スペクトルバンドの２つ（または３つ）の異なるセットに分離するのに十分なほど幅広い波長範囲のスペクトルデータを含む、ハイパースペクトル画像の提供されたライブラリに基づいて、自然場面に対して経験的に構築されていた。これらのハイパースペクトル画像は、最新式の高価なＨＩＳによって取得されている。しかし、ＨＩＳは、辞書の構築のために１度だけ必要とされるが、任意の新しい画像を取得して、これらの画像内の新しいスペクトルデータを近似するためには必要とされない。
【0058】
前述した辞書の作成と同様、異なる使用に対する（例えば、自然場面以外の場面での使用のため）辞書の構築のための一般的方法が本明細書で提供される。
【0059】
今日の最先端のハイパースペクトルシステムは依然として、特殊な取得ハードウェアおよび／または各取得されたフレームに対して複雑で費用のかかる計算を必要とするので、本近似の好都合な特質は明らかである。本明細書で提示するアプローチでは、取得システムはＲＧＢだけを必要として、ハイパースペクトル入力（従って、ハイパースペクトル機器）は全く必要とせず、必要な計算の大部分は、多くの以降の取得の前に一度だけ実行する必要がある。
【0060】
ハイパースペクトル撮像は、関心が高まっていて、幅広い用途のある、重要な視覚モダリティである。しかし、このタイプの撮像は、多数の既存の装置が、空間、スペクトル、および／または時間分解能のいずれかにおいて制限されているという事実によって厳しく制限され、同時に依然として複雑で高価である。それに対して、本方法は、スペクトルデータ、例えば、ハイパースペクトルデータが、実際に取得される代わりに近似される、低コストで高速な代替手段を提供する。
【0061】
ここで、いくつかの実施形態に従った、スペクトルデータを近似するための方法１００のフローチャートを示す、図１を参照する。方法１００は、ステップ１０２で、スペクトルバンドの第１のセット内のデータを有するデジタル画像を入力として提供することを含む。さらなる入力として、ステップ１０４で、スペクトルバンドの第２のセット内のシグネチャおよびスペクトルバンドの第１のセット内の値を含み、値はシグネチャに対応する、辞書が提供される。いくつかの変形形態では、第１のセットおよび第２のセットは異なる。他の変形形態では、第２のセットは第１のセットと一部重なり合い得る。例えば、第１のセットはＲＧＢであり得、第２のセットは電磁スペクトルの可視範囲内の他のスペクトルバンドを含み得る。
【0062】
次いで、ステップ１０６で、辞書に基づいて、第２のセット内のデータが近似される。最後に、いくつかの実施形態では、より豊かなデジタル画像が構築され、その画像は、第１および第２のセットの両方のスペクトルデータを含む。すなわち、そのより豊かな画像は、入力としてのより狭いスペクトル画像、および辞書を有するにすぎないが、ハイパースペクトルであり得る。
【0063】
ＲＧＢ例に戻ると、本アプローチはまず、観測可能なハイパースペクトルシグネチャおよびそれらの対応するＲＧＢ投影のための辞書を作成するために、以前のハイパースペクトル情報を利用し得る。この例では、本アプローチは、高速で正確であり得、ＲＧＢだけの入力を使用するにもかかわらず、最先端の高解像度ハイパースペクトルキューブを提供し得る。
【0064】
本開示への鍵は、明確に特性化されたタイプの景色の画像内のハイパースペクトルシグネチャの分布に関する以前の情報の活用である。提示を簡潔にするために、本考察では自然画像の例を利用する。しかし、当業者であれば、本方法は、都会の航空写真、農業地域の航空写真、様々な産物の工業写真、製品写真、医用画像などの、他のタイプの場面におけるハイパースペクトルシグネチャの分布に関する以前の情報にも適用可能であり得ることを認識するであろう。
【0065】
いくつかの実施形態では、以前の情報は、真のＨＩＳを使用したハイパースペクトル画像の範囲を取得することにより現実の世界からサンプリングされるが、このプロセスは各タイプの景色に対して一度だけ行われ得る。当然ながら、地上レベルのハイパースペクトル画像の既存の集合を利用できるが、残念ながら今までかかるデータセットの限られた量しか公開されておらず；有名な例は、以下によって公開されたものを含む：Ｇ．Ｂｒｅｌｓｔａｆｆ，Ａ．Ｐ´ａｒｒａｇａ，Ｔ．Ｔｒｏｓｃｉａｎｋｏ，およびＤ．ＣａｒｒによるＨｙｐｅｒｓｐｅｃｔｒａｌ ｃａｍｅｒａ ｓｙｓｔｅｍ：ａｃｑｕｉｓｉｔｉｏｎ ａｎｄ ａｎａｌｙｓｉｓ、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ，ｖｏｌｕｍｅ ２５８７，ページ１５０－１５９，Ｃｉｔｅｓｅｅｒ，１９９５，２（田舎の場面／植物の２９画像）；Ｄ．Ｆｏｓｔｅｒ，Ｋ．Ａｍａｎｏ，Ｓ．Ｎａｓｃｉｍｅｎｔｏ，およびＭ．ＦｏｓｔｅｒによるＦｒｅｑｕｅｎｃｙ ｏｆ ｍｅｔａｍｅｒｉｓｍ ｉｎ ｎａｔｕｒａｌ ｓｃｅｎｅｓ，ＪＯＳＡ Ａ，２３（１０）：２３５９－２３７２，２００６，２，３（１６の都会／田舎の場面）；Ｆ．Ｙａｓｕｍａ，Ｔ．Ｍｉｔｓｕｎａｇａ，Ｄ．Ｉｓｏ，およびＳ．ＮａｙａｒによるＧｅｎｅｒａｌｉｚｅｄ Ａｓｓｏｒｔｅｄ Ｐｉｘｅｌ Ｃａｍｅｒａ：Ｐｏｓｔ－Ｃａｐｔｕｒｅ Ｃｏｎｔｒｏｌ ｏｆ Ｒｅｓｏｌｕｔｉｏｎ、Ｄｙｎａｍｉｃ Ｒａｎｇｅ ａｎｄ Ｓｐｅｃｔｒｕｍ，Ｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔ，Ｎｏｖ ２００８．２，５（様々な物体の３２のスタジオ画像）；ならびにもっと最近では、Ａ．ＣｈａｋｒａｂａｒｔｉおよびＴ．ＺｉｃｋｌｅｒによるＳｔａｔｉｓｔｉｃｓ ｏｆ Ｒｅａｌ－Ｗｏｒｌｄ Ｈｙｐｅｒｓｐｅｃｔｒａｌ Ｉｍａｇｅｓ，Ｉｎ Ｐｒｏｃ．ＩＥＥＥ Ｃｏｎｆ．ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），ページ１９３－２００，２０１１，２（５０の大部分が都会の屋外場面および２７の屋内場面）。
【0066】
ハイパースペクトル画像データセットの収集は面倒であり得るので、前述のデータベースの大部分は、範囲が（少なくとも、撮像された場面のわずかな数によって）制限され得る。同時に、利用可能なデータのいくつかは、空間分解能も不足し得（例えば、Ｂｒｅｌｓｔａｆｆデータセット内の画像のサイズは２５６×２５６画素である）、全ては３３チャネル以下のスペクトル分解能を有し得る。以前のハイパースペクトルのより良い収集を可能にするため、および自然のハイパースペクトル画像研究一般を促進するためのより良いツールを提供するために、高空間およびスペクトル分解能で捕捉された自然画像の新規で大規模なハイパースペクトルデータベースが提供される。
【0067】
いくつかの実施形態では、目標は、自然場面のハイパースペクトル画像のそのＲＧＢ画像からの再構築である。明らかに、これは困難なタスクである。スペクトルシグネチャは、スペクトルのコンパクトサブセットにおいてさえ、非常に高次元（および理論的な連続において、無限）物体であり、他方、ＲＧＢ信号は３次元である。ＲＧＢからハイパースペクトルへの逆投影は、それ故、大幅に不十分に制約され、目またはＲＧＢカメラによって実行される多対１マッピングの逆は、かなり可能性が低く思われ得る。
【0068】
しかし、本方法は、ハイパースペクトル信号の信頼できる近似をＲＧＢデータだけから取得することが、また、他の実施形態では、スペクトルデータのある第１のセットの信頼できる近似を、スペクトルデータの異なる、第２のセットから取得することが、可能であり得る。ある条件下では、この別の方法ではうまくいかない変換が、本当に可能であり得る。この達成は、次のように説明され得る。第１に、感覚系が絶対に遭遇できるハイパースペクトル信号のセットが、全てのハイパースペクトル信号の高次元または無限の次元さえの空間内の低次元マニホールドに制限され得る。第２に、この低次元マニホールド内のメタマーの頻度は比較的低い可能性がある。比色分析では、メタメリズムはしばしば、物体の見かけ上の色と、異なるスペクトルパワー分布との一致として定義される。このように一致する色が、メタマーと呼ばれる。本事例が提供するように、両方の条件を保持する場合、ＲＧＢセンサーの応答は、実際に、スペクトルシグネチャに関して初めて出現するよりもずっと多くを明らかにし得、後者から前者へのマッピングは本当に達成可能である。
【0069】
大変興味深いことに、自然場面におけるメタメリックペアの相対頻度は１０－６～１０－４ほど低いことが分かっている（Ｄ．Ｆｏｓｔｅｒ，Ｋ．Ａｍａｎｏ，Ｓ．Ｎａｓｃｉｍｅｎｔｏ，およびＭ．Ｆｏｓｔｅｒ，Ｆｒｅｑｕｅｎｃｙ ｏｆ ｍｅｔａｍｅｒｉｓｍ ｉｎ ｎａｔｕｒａｌ ｓｃｅｎｅｓ，ＪＯＳＡ Ａ，２３（１０）：２３５９－２３７２，２００６を参照）。この超低レートは、少なくともこの特定の領域内では、表面識別間の混同は非常に可能性が低いことを示唆し得る。追加として、繰り返された調査結果では、可視スペクトル輝度の有効次元は比較的低い可能性があることを示唆すると報告されている。
【0070】
物体のスペクトル反射率は、２つの主要な要因：その材料組成および照明のスペクトル特性によって決定され得る。多数の要因が材料サンプルによって反射されるスペクトルに微妙に影響を及ぼし得るが、それは一般に、そのサンプルを構成する異なる材料によって生成される反射スペクトルの線形結合と見なされ得る。考えられる材料の範囲は、実際は大きい可能性があるが、ほんのわずかだけが、ハイパースペクトル画像内の各特定の画素において測定されるスペクトルに寄与し得ると仮定することはあり得る。よって、自然画像内で観測されるスペクトルを表す好都合な方法は、本方法が提供するように、辞書内に格納された基準スペクトルのスパース結合であり得る。
【0071】
自然ハイパースペクトル画像の観測されたスパース性（ｓｐａｒｓｉｔｙ）を踏まえ、ＲＧＢ測定からのハイパースペクトルデータの再構築のための本アプローチは、以下のように形式化され得る。Ｄｈを、自然画像内のハイパースペクトルシグネチャｈｉ（列ベクトルとして表された）の過剰完全辞書とする：
【数1】
【0072】
一旦、取得されると、辞書はレセプタスペクトル吸光度関数によってセンサー空間に投影され得る。この定式化は一般的であり、異なるタイプのセンサーに適合し得るが、ここで我々はＲＧＢセンサーおよびＲＧＢ応答プロファイルに重点を置き得る。ｄ＝ｄｉｍ（ｈｉ）が所望の分解能への量子化後のスペクトルシグネチャの次元である場合、これらの投影は、次元３×ｄの行列Ｒで内積として表現され得、対応するＲＧＢ辞書Ｄｒｇｂをもたらし得る：３次元ベクトルｃｉ＝（ｒｉ，ｇｉ，ｂｉ）Ｔの
そのため
【数2】
【数3】
【0073】
各ＲＧＢベクトルｃｉとそのハイパースペクトルオリジネータｈｉとの間の対応は、ＲＧＢからハイパースペクトルシグネチャへのマッピングのために保持され得る。これは、一度だけ行われる前処理段階も完了し得る。
【0074】
ＲＧＢ画像を所与として、場面の対応するハイパースペクトル画像を推定するために次のステップが使用され得る。ＲＧＢ画像内で遭遇する各画素クエリーｃｑ＝（ｒｑ，ｇｑ，ｂｑ）Ｔに対して、重みベクトルｗが見つかり得、そのため：
Ｄｒｇｂ・ｗ＝ｃｑ （４）
Ｄｒｇｂ・ｗ＝ｃｑ （４）
【0075】
一旦、ｗが見つかると、ｃｑの基礎となるスペクトルｈｑは、同じ線形結合によって推定され得、今回はハイパースペクトル辞書に適用される：
ｈｑ＝Ｄｈ・ｗ （５）
ｈｑ＝Ｄｈ・ｗ （５）
【0076】
ＤｒｇｂはＤｈから生成されたので、（式２および４から）再構築されたスペクトルは辞書と一致し得るということになり得る：
ｃｑ＝Ｒ・ｈｑ （６）
ｃｑ＝Ｒ・ｈｑ （６）
【0077】
ｈｑが本当に画素ｃｑを生成したハイパースペクトルデータの正確な表現であるかどうかは、辞書の表現力に依存し、それは、以下で説明する実験で実験的に示されている。
【0078】
特に断らない限り、前述の説明から明らかなように、明細書の説明全体を通して「処理する（ｐｒｏｃｅｓｓｉｎｇ）」、「計算する（ｃｏｍｐｕｔｉｎｇ）」、「計算する（ｃａｌｃｕｌａｔｉｎｇ）」、「判断する（ｄｅｔｅｒｍｉｎｉｎｇ）」または同様のものなどの用語の利用は、コンピューティングシステムのレジスタおよび／もしくはメモリ内の電子などの、物理的な量として表されるデータを操作し、かつ／またはコンピューティングシステムのメモリ、レジスタまたは他のそのようなもの内の物理量として同様に表される他のデータに変換する、コンピューティングシステムまたは類似の電子計算装置の動作および／またはプロセスを指すことが理解される。
【0079】
いくつかの実施形態は、例えば、コンピュータによって（例えば、ハードウェアプロセッサによって、および／または他の適切な機械によって）実行される場合に、コンピュータに、本発明の実施形態に従った方法および／または動作を実行させる、命令または命令のセットを保持し得るコンピュータ可読媒体または製品上に格納されたコンピュータプログラム製品を使用して、実装され得る。かかるコンピュータは、例えば、任意の適切な処理プラットフォーム、コンピューティングプラットフォーム、コンピューティング装置、処理装置、コンピューティングシステム、処理システム、コンピュータ、プロセッサ、または同様のものを含み得、ハードウェアおよび／またはソフトウェアの任意の適切な組合せを使用して実装され得る。コンピュータ可読媒体または製品は、例えば、光ディスク、ＣＤ－ＲＯＭ、光磁気ディスク、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電子的プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気もしくは光カードを含む、任意のタイプのディスク、または電子的命令の格納に適し、かつコンピュータシステムバスに結合可能な任意の他のタイプの媒体を含み得る。
【0080】
命令は任意の適切なタイプのコード、例えば、ソースコード、コンパイル済みコード、解釈済みコード、実行可能コード、静的コード、動的コード、または同様のものを含み得、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ、ＢＡＳＩＣ、Ｐａｓｃａｌ、Ｆｏｒｔｒａｎ、Ｃｏｂｏｌ、アセンブリ言語、機械コード、または同様のものなどの、任意の適切な高水準、低水準、オブジェクト指向、ビジュアル、コンパイラ型および／またはインタープリタ型言語を使用して実装され得る。
【0081】
好都合に、本方法は、カメラによって実際に取得されたものよりも豊かなデジタル画像を再構築する目的で、可視光（ＲＧＢとも呼ばれる）デジタルカメラ、任意選択として、コンシューマグレードカメラを活用するために利用され得る。ここで、いくつかの実施形態に従った、模範的な装置１００のブロック図を示す、図２を参照する。装置１００は、例えば、デジタルカメラであり得る。装置１００は、画像センサー２０２（任意選択としてＲＧＢ）、ハードウェアプロセッサ２０４および非一時的（「不揮発性」とも呼ばれる）メモリ２０６を備え得る。非一時的メモリ２０６は、本明細書で数字２０８で参照される、前述の辞書または異なる領域に対する複数の辞書を格納し得る。画像２０２によるデジタル画像（例えば、ＲＧＢ）の取得後、ハードウェアプロセッサ２０４は、前述のように、デジタル画像内の値（例えば、ＲＧＢ値）とスペクトルバンドの異なるセットに属するスペクトルデータのシグネチャとの間の対応に基づいて、スペクトルバンドの異なるセットに属するスペクトルデータを近似し得る。
【0082】
実験結果
Ｓｐｅｃｉｍ ＰＳ Ｋａｐｐａ ＤＸ４ハイパースペクトルカメラおよび空間スキャン用の回転ステージを使用して本発明人によって取得された新しいハイパースペクトルデータベースからの画像を使用して、開示する方法をテストした。この時、様々な都市（住居／商業）、郊外、田舎、屋内、および他の自然場面から１００の画像を捕捉した。全ての画像は１３９２×１３００の空間分解能で５１９スペクトルバンド（およそ１．２５ｎｍ単位で４００～１０００ｎｍ）であった。比較のため、可能な限り常に、以前に公開されたデータセットおよびベンチマークを使用した。
Ｓｐｅｃｉｍ ＰＳ Ｋａｐｐａ ＤＸ４ハイパースペクトルカメラおよび空間スキャン用の回転ステージを使用して本発明人によって取得された新しいハイパースペクトルデータベースからの画像を使用して、開示する方法をテストした。この時、様々な都市（住居／商業）、郊外、田舎、屋内、および他の自然場面から１００の画像を捕捉した。全ての画像は１３９２×１３００の空間分解能で５１９スペクトルバンド（およそ１．２５ｎｍ単位で４００～１０００ｎｍ）であった。比較のため、可能な限り常に、以前に公開されたデータセットおよびベンチマークを使用した。
【0083】
各画像から使用したスペクトル範囲をおおまかに可視スペクトルに制限し、元の狭帯域の適切なビニングによって範囲４２０～７２０ｎｍ内のおよそ１０ｎｍの３１バンドに計算的に減らした。これは、計算コストを削減するためであったが、主に以前のベンチマークとの比較を容易にするために行った。本方法をテストするために、テスト画像をデータベースから選択し、ＣＩＥ（国際照明委員会）１９６４等色関数を使用してＲＧＢにマッピングした。次いで、残りの全ての画像からの１０，０００の無作為サンプルを使用して、過剰完全ハイパースペクトル辞書ＤｈをＫ－ＳＶＤ（特異値分解）アルゴリズムを用いて作成した。辞書サイズを、アトムごとに５０非ゼロ重みのスパース制約の下で、３００アトムに制限した。結果として生じる辞書を次いでＲＧＢに投影して、Ｄｒｇｂを形成した。一旦、これら全ての構成要素を取得すると、テスト画像の各画素のハイパースペクトルシグネチャを前述の説明のとおりに推定して、各ＲＧＢ画素の辞書表現をＯＭＰ（直交マッチング追跡）アルゴリズムで計算した。各画像をテストのために選択して別々に再構築するまで数回、このプロセスを繰り返して、辞書の確率的側面を減じた。
【0084】
再構築したハイパースペクトル画像をデータベースからのグラウンドトゥルースデータと比較して、ＲＭＳＥ（二乗平均平方根誤差）誤差を計算した。追加として、再構築性能に関する事前の領域固有の効果を調査するために、同じプロセスを、データベース内の特定の画像サブセット（都市景観、田舎の場面など）に対して繰り返した。
【0085】
ここで、再構築されたスペクトル（破線）およびグラウンドトゥルースデータ（実線）の無作為サンプルのグラフを示す、図３Ａ～図３Ｄを参照する。それは、開示した方法で取得されたスペクトル再構築の品質を示す（再構築中の入力がＲＧＢ信号だけであることを思い出されたい）。定性的だけでなく非常に正確で定量的な再構築を表す、このタイプの結果は、データベース内の全ての画像内の大多数の画素を特性化し得る。２つの選択された画像に対する再構築されたものとグラウンドトゥルーススペクトルバンドの比較では、比較的浅い誤差マップを生じた（比較のために、Ｋａｗａｋａｍｉらで使用されたのと同じスケールを使用）。Ｒ．Ｋａｗａｋａｍｉ，Ｊ．Ｗｒｉｇｈｔ，Ｔ．Ｙｕ－Ｗｉｎｇ，Ｙ．Ｍａｔｓｕｓｈｉｔａ，Ｍ．Ｂｅｎ－Ｅｚｒａ，およびＫ．Ｉｋｅｕｃｈｉ，Ｈｉｇｈ－ｒｅｓｏｌｕｔｉｏｎ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｉｍａｇｉｎｇ ｖｉａ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ，ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２０１１ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ，ページ２３２９－２３３６，２０１１を参照。
【0086】
表１は、前述の評価プロセスからプールされた結果を示す（絶対ＲＭＳＥ値が０～２５５の範囲で示される）：
【表1】
【0087】
ここで、再構築された画像のスペクトルチャネルごとの平均ＲＭＳＥのグラフを示す、図４を参照する。平均すると、実験データベース全体にわたって、ハイパースペクトル画像が２．７４のＲＭＳＥ誤差で再構築された。性能は、ＣＩＥ１９６４等色がほとんどもしくは全くＲＧＢデータを提供しない７００～７２０ｎｍ範囲を除いて、スペクトルチャネルごとに大きくは変わらない。辞書構築および再構築手順の両方が特定の領域に制限される場合、あるカテゴリからの画像は以前のハイパースペクトルを共有する可能性が高いので、性能は典型的には、さらに向上する。従って、本方法は、制限された領域タスクで特にうまく機能することが見込まれる。表が示唆するように、この見込みに対する唯一の例外は、様々な人工光源が、以前のハイパースペクトルに、より大きな可変性をもたらして、他のカテゴリよりも大いにスパース仮定を要求する、屋内カテゴリである。
【0088】
最後に、本アプローチを、ＣｈａｋｒａｂａｒｔｉおよびＺｉｃｋｌｅｒ（同上）によって取得されたハイパースペクトルデータベースに適用した。セットを屋内および屋外画像に分け、これらのサブセットの各々にわたる平均ＲＭＳＥが前述の表の下部に報告されている。これらのデータセットにわたる平均ＲＭＳＥは依然として比較的低くて、以前に報告された結果（例えば、Ｋａｗａｋａｍｉら、同上）に相当するが、一つには、データを汚染するハイパースペクトルぶれのために、性能は本データベースと比較して著しく低下することに留意されたい。
【0089】
本アプローチを、Ｋａｗａｋａｍｉら（同上）によって提示された結果と比較して、Ｙａｓｕｍａデータセット（同上）に関してテストした。前述のとおり、このデータセットは３２のスタジオ画像を含み、その多くは大きくて暗い背景領域を含む。これらの画像の無作為サンプリングによる以前のハイパースペクトルの単純な取得は、真のハイパースペクトル情報が著しく過少に表示される偏った辞書を生じる傾向がある。さらに、異なる無作為物体の屋内集合であるので、１つから以前に収集されたものは他に対するスペクトルシグネチャを成功裏に再構築するために使用できる可能性は少ない。これらの制限を克服するために、以前のハイパースペクトルを再構築前に各画像から別々にサンプリングした。１０，０００画素（各画像の３．８％）を、画像全体から、または、暗い背景（ハイパースペクトル的に不十分）を避けるために（存在する場合）、画像の中央領域のいずれかから、無作為にサンプリングした。次いでこれらを、計算的に３００ベクトルのハイパースペクトル辞書に減らした。追加として、Ｋ－ＳＶＤアルゴリズムに対する初期アトムを、以前のサンプリングから無作為に、またはそれらの投影されたＲＧＢ値間の距離の最大化によってのいずれかで、選択した。結果として生じた辞書の各々を使用して再構築を実行し、結果を表２に報告する（絶対ＲＭＳＥ値が０～２５５の範囲で示されている）。
【表2】
【0090】
この表に見られるように、再構築のためにＲＧＢしか使用していないにもかかわらず、結果は同等である（Ｋａｗａｋａｍｉら（同上）がデータベース全体からの８画像に関する結果を報告したことに留意）。重要なことには、Ｋａｗａｋａｍｉら（同上）は、８コアＣＰＵ上での４００８×２６７２画像の因数分解および再構築のために数時間の計算を報告したが、本アルゴリズムは、辞書構築および画像再構築の両方を数秒で完了した（３．１ＧＨｚのクロック速度を有する、Ｉｎｔｅｌ Ｃｏｒｅ ｉ５－２４００パーソナルコンピュータ上で、Ｍａｔｌａｂ実装を使用して、時間を測定した）。いくつかの実施形態では、開示する方法は、各画素の再構築は他とは無関係であるので、例えば、別個のプロセッサまたはコアを使用して、大規模に並列化され得る。
【0091】
いくつかの実施形態では、本方法は、コンシューマグレードのＲＧＢデジタルカメラをハイパースペクトル取得装置に変える能力を提供し、従って、真に低コストで高速なＨＩＳを可能にする。このプロセスの困難な態様は、標的のＲＧＢカメラで較正された以前のハイパースペクトルの取得、または同等に、カメラフィルタ応答プロファイル、ホワイトバランス、および利得制御手順の正確な知識、ならびに最終的に報告されたＲＧＢ画像に影響を及ぼすボード上で行われた他の全ての画像処理であろう。これは、Ｃａｎｏｎ ４００Ｄ ＤＳＬＲ（デジタル一眼レフ）カメラでＲＧＢ画像を、Ｓｐｅｃｉｍカメラを使用して対応するハイパースペクトル画像（辞書構築および再構築誤差の評価のためのグラウンドトゥルースとしての両方用）を取得することにより、本発明によって可能であることが証明されている。以前のハイパースペクトルは、ＤＳＬＲの推定されたスペクトル応答プロファイル（Ｈ．Ｚｈａｏ，Ｒ．Ｋａｗａｋａｍｉ，Ｒ．Ｔａｎ，およびＫ．Ｉｋｅｕｃｈｉ，Ｅｓｔｉｍａｔｉｎｇ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎｓ ｆｏｒ Ｓｐｅｃｔｒａｌ Ｓｅｎｓｉｔｉｖｉｔｙ ｏｆ Ｄｉｇｉｔａｌ Ｃａｍｅｒａｓ，ｉｎ Ｍｅｅｔｉｎｇ ｏｎ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｕｎｄｅｒｓｔａｎｄｉｎｇ，ｖｏｌｕｍｅ ７，２００９を参照）を使用して計算した。スペクトル範囲は、ＤＳＬＲ応答プロファイルの範囲に対応する、範囲４００～７００ｎｍ内のおおよそ１０ｎｍの３１バンドに制限した。しかし、本実施形態はこの数のバンドにもそれらの幅にも制限されない。
【0092】
再構築および評価手順は、手動によるレジストレーションによって決定したとおり、取得したハイパースペクトルとＲＧＢ画像との間で対応するいくつかの点に対して前述のとおり繰り返した。ここで、コンシューマ向けで、シミュレートされたＲＧＢカメラ入力のための再構築されたスペクトル（破線）およびグラウンドトゥルース（実線）のサンプルのグラフを示す、図５Ａ～図５Ｃを参照する。（ホワイトバランス調整を除いて）較正手順は実行しなかったが、フルスペクトル輝度が、場面全体および様々な異なる材料にわたって高精度で回復され、標的ＲＢＧ装置に関する完全な較正情報が本実施形態に基づく真の高精度低コストＨＩＳをもたらすことができることを示唆している。
【0093】
最適化されたカラーフィルタアレイの選択
本明細書で開示するのは、改善されたカメラ性能測定基準のための最適化されたカラーフィルタアレイ（ＣＦＡ）を選択するための方法である。これらの測定基準は、向上した光量子効率（量子効率としても知られる）、ならびに露光均一性、およびＲＧＢ画像からのＨＳデータの改善された回復を含み得る。しかし、追加の性能測定基準が検討され得ることが理解されるであろう。本方法は、これらのパラメータの各々に重み付けをさらに割り当てて、所望の特性を備えた標的システムを作り出し得る。
本明細書で開示するのは、改善されたカメラ性能測定基準のための最適化されたカラーフィルタアレイ（ＣＦＡ）を選択するための方法である。これらの測定基準は、向上した光量子効率（量子効率としても知られる）、ならびに露光均一性、およびＲＧＢ画像からのＨＳデータの改善された回復を含み得る。しかし、追加の性能測定基準が検討され得ることが理解されるであろう。本方法は、これらのパラメータの各々に重み付けをさらに割り当てて、所望の特性を備えた標的システムを作り出し得る。
【0094】
例として、「ＲＧＢ画像からのハイパースペクトルデータの回復」で前述した方法は、標準ＲＢＧカメラの場面全体ＨＳ情報の回復を示す。高精度ＨＳ推定が、コンシューマグレードのＲＧＢカメラだけを使用して示されているが、多重スペクトルバンドにわたるそれらのスペクトル応答は相互に著しく異なるので、全てのＲＢＧカメラが同様に作製されるわけではないことが理解されるであろう。実際には、カメラ応答関数は、製造業者またはカメラクラスにわたってだけでなく、多くの場合、同様のカメラモデルの世代（例えば、ｉＰｈｏｎｅ ６対ｉＰｈｏｎｅ ７、Ｃａｎｏｎ ７０Ｄ対Ｃａｎｏｎ ８０Ｄ、など）間でさえ異なる。図６は、赤色チャネルにおける応答関数に関して、複数の市販カメラのセットにおいて見られるばらつきを例示する。
【0095】
それに応じて、ＨＳデータ回復のために最適化されたスペクトル応答、および改善された光量子効率を含む、様々な考慮事項に対するフィルタアレイの効率的で実用的な選択のための方法を提供することが望ましい。
【0096】
デジタルカメラにおける現在のカラーフィルタアレイ
ＲＧＢカメラの大多数は、光センサー、例えば、複数の個々の画素センサーから成る、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）またはＣＣＤ（ｃｈａｒｇｅｄ－ｃｏｕｐｌｅ ｄｅｖｉｃｅ：電荷結合素子）センサーを使用する。光センサーは典型的には、カラーフィルタアレイ（またはＣＦＡ）、またはカラーフィルタモザイク（ＣＦＭ）が重ね合わされており、それは、画像センサーの個々の画素センサーの上に配置された小さいカラーフィルタの配列である。典型的な光センサーは、波長特異性がほとんど、または全くない光強度を検出し、従って、色情報を分離できないので、カラーフィルタが必要とされる。
ＲＧＢカメラの大多数は、光センサー、例えば、複数の個々の画素センサーから成る、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）またはＣＣＤ（ｃｈａｒｇｅｄ－ｃｏｕｐｌｅ ｄｅｖｉｃｅ：電荷結合素子）センサーを使用する。光センサーは典型的には、カラーフィルタアレイ（またはＣＦＡ）、またはカラーフィルタモザイク（ＣＦＭ）が重ね合わされており、それは、画像センサーの個々の画素センサーの上に配置された小さいカラーフィルタの配列である。典型的な光センサーは、波長特異性がほとんど、または全くない光強度を検出し、従って、色情報を分離できないので、カラーフィルタが必要とされる。
【0097】
カラーフィルタは、波長範囲によって光をフィルタ処理し、そのため別のフィルタ処理された強度は光の色に関する情報を含む。例えば、一般的なベイヤーＣＦＡは、光センサーの正方格子上のモザイクまたは交互に配置された小型ＲＧＢカラーフィルタである。カラーフィルタのベイヤーＣＦＡ配列は、カラー画像を作成するために、例えば、デジタルカメラ、カムコーダ、およびスキャナ内で使用される多数の単一チップデジタル画像センサーで使用される。Ｂａｙｅｒモザイクパターンは、一般的には、５０％緑色、２５％赤色および２５％青色である。各個々のフィルタは、対応する個々の画素センサーに対して、赤色、緑色、および青色（ＲＧＢ）の光のスペクトルバンドの１つの強度に関する情報を与える。画素センサーによって捕捉されたこの単一バンドデータは次いで、「デモザイク処理（ｄｅｍｏｓａｉｃｉｎｇ）」または「デベイヤー処理（ｄｅｂａｙｅｒｉｎｇ）」アルゴリズムによりフルカラー画像（個々の画素センサーレベルで表された３つ全部のＲＧＢバンドの強度をもつ）に変換される。デモザイク処理は、異なる方法で実行できる。
【0098】
簡単な方法が、画素の色値を隣接する画素の色値から補間する。例えば、一旦、光センサーが画像に露出されると、各画素が読み取られ得る。緑色フィルタをもつ画素は、この画素に対する緑色成分の測定を提供する。この画素に対する赤色および青色成分が次いで、直接隣接した画素から取得できる。緑色の画素に対して、２つの赤色の隣接画素が補間されて、赤色値をもたらすことができ、同様に、２つの青色の画素が補間されて、青色値をもたらすことができる。従って、値の完全なＲＧＢセットが画像内の各画素に対して取得される。
【0099】
典型的なベイヤーＣＦＡ配列７００の概略図を示す、図７Ａを参照する。光センサー７０２の個々の画素は、緑色７０４ａ、赤色７０４ｂ、および青色７０４ｃフィルタのモザイクで覆われている。各フィルタの応答プロファイルは、ヒトの網膜内の対応する色センサーのそれを近似することを目標とする。従って、光センサー７０２内の各画素は、その対応するフィルタのおかげで、人間により赤色、緑色、または青色として認識される波長内の光の強度を記録する。個々の画素によるこれらの測定は次いで、デベイヤー処理補間プロセスによってフルカラー画像を生成するために結合される。このアプローチは、比較的正確な色再現を可能にするが、著しく低下したセンサー量子効率という犠牲を伴う。図７Ｂのグラフは、市販の画像センサーの、センサー表面にベイヤーフィルタを適用したものと適用しないものの両方の、量子効率の実例を提供する。このセンサーおよび他では、ベイヤーフィルタは、同じセンサーのモノクロバージョン（線７１０）、すなわち、ベイヤーＣＦＡがない、と比較した場合、光量子効率を６０％以上（緑色７１２ａ、赤色７１２ｂ、および青色７１２ｃチャネルを表す線）低下させる。
【0100】
全てのカラー撮像システムがベイヤーフィルタを採用するわけではないが、それらの大多数が、類似の制限を量子効率に課す、何らかのタイプの赤色、緑色、青色フィルタシステムを採用する。例えば、３－ＣＣＤシステムは色分解ビームスプリッタを採用して、赤色、緑色、および青色光を３つの別個のセンサーに向かわせる。
【0101】
カラー画像が望まれる場合、基礎となる画像センサーは光強度だけを検出できて、いかなる色情報も提供しないので、単にベイヤーフィルタを取り除くことはできない。近年、量子効率への影響が軽減された代替カラーフィルタアレイを設計するための多くの試みが行われている。
【0102】
ベイヤーＣＦＡおよびそれに対する一般的な代替が図７Ｃ～図７Ｅに示されている。ベイヤーＣＦＡ７００は典型的には、５０％緑色７０４ａ、２５％赤色７０４ｂ、および２５％青色７０４ｃ、個々のフィルタを含む。図７ＤのＣＦＡ７２０などの、ＲＧＢ－ＣまたはＲＧＢ－Ｗとして知られるＣＦＡは、ベイヤーＣＦＡ緑色画素の１つ以上を、透明、「クリア」または「白い」フィルタ７２４ｄ、いかなるカラーフィルタリング特性ももたないもの、と交換する。図７Ｅに例示する、ＳａｍｓｕｎｇのＢｒｉｔｅＣｅｌｌ ＣＦＡ７４０などの、ある設計は、緑色画素を完全に諦めて、代わりに２つの「白い」画素７４４ｄをアレイ内の各２×２ブロック内の赤色および青色画素と一緒に選ぶ。
【0103】
これらの代替フィルタ設計には２つの主な欠点がある：色精度の低下および不均一な露光。元のベイヤーフィルタ設計でさえ、各画素に対して完全な色情報を生成するために補間に依存するので、ＲＧＢ－Ｗおよび類似のアレイは、同じことをする必要があるが、情報的に不利である。さらに遠い測定点からの色情報の回復（ＲＧＢ－Ｗ）またはそれを完全に推定すること（例えば、ＢｒｉｔｅＣｅｌｌ ＣＦＡにおける緑色チャネルに対して）は、色アーチファクトおよび／または空間アーチファクトとなり得る。
【0104】
「カラー」画素と一緒に「白い」画素を含む色センサーでは、「白い」画素は、それらの「カラー」相対物よりも最大で３倍多くの光を吸収し得るので、露光不均衡は大きな懸案事項となる。多くの状況で、かかるセンサーは、それらの「白い」画素を露出過度にする（飽和させる）か、またはそれらの「カラー」画素を露出不足にするか、のいずれかにする必要がある。前者は空間アーチファクトとなり、他方、後者は色精度の低下および／または色アーチファクトとなる。
【0105】
ＲＧＢ－Ｃ／ＲＧＢ－Ｗセンサーの制限を克服しようと試みる代替アプローチはデュアルカメラ取得である。この設計は、綿密に調整されて較正されたアレイの２つの画像センサー、１つの色センサーおよび１つのモノクロセンサー、を必要とする。高度に量子効率の良いモノクロセンサーは、輝度情報を記録するために使用され、他方、対の一方の色センサーは色情報を記録する。結果として生じる２つの画像はソフトウェアを用いて結合されて、単一のカラー画像を生じる。このアプローチは主に露光および色精度問題またはＲＧＢＷセンサーを克服するが、視差効果に起因した空間的誤差を引き起こして、かなり多くの追加のハードウェアを必要とする。
【0106】
ＨＳデータ回復のための最適化されたフィルタ選択に対する検討事項
カメラシステムのためのＣＦＡを設計する場合、次の測定基準が考慮され得る：
（ｉ）量子効率
（ｉｉ）露光均一性
（ｉｉｉ）ＨＳ再構築精度
カメラシステムのためのＣＦＡを設計する場合、次の測定基準が考慮され得る：
（ｉ）量子効率
（ｉｉ）露光均一性
（ｉｉｉ）ＨＳ再構築精度
【0107】
追加として、商業的入手可能性ならびに製造コストおよび制約などの、実施上の留意事項を考慮に入れるべきである。
【0108】
実際の問題として、選択の問題は、選択のために入手可能な所与の空間または領域の成分フィルタ（例えば、１，０００）から選択された、各々ｎ個の成分フィルタ（例えば、ＣＦＡあたり３または４の成分フィルタ）を含むＣＦＡのセットの効率的で素早い評価のための方法のように見え得る。
【0109】
ＣＦＡのかかるセットの個々または手作業による評価は、たとえ所与の空間が商業的に入手可能な成分フィルタだけを含んでいても、実用的でないことが理解されるであろう。最適化されたＣＦＡを含む成分をそこから選択する必要があるフィルタ要素空間の範囲を限定するために商業的入手可能性および製造上の制約が使用できるが、結果として生じる空間は依然として圧倒的に大きい可能性がある。例えば、１，０００の商業的に入手可能なフィルタのプールから４つの成分フィルタのセットを選択することは、１０１１を超える可能な組合せという結果となる。量子効率、露光均一性、およびＨＳ再構築精度のためのこれらのフィルタセットの各１つおよび全部を評価することは、実際上は、実現不可能である。
【0110】
この問題を克服するために、フィルタの最適セットを求めて大規模なフィルタ空間を迅速に探索するために進化的最適化アルゴリズムを適用する、フィルタ選択のための次の方法が開示される。この方法は、変化する重みを使用して、フィルタ選択のためのいくつかの基準を適用できる。
【0111】
以下の説明では、「適合性（ｆｉｔｎｅｓｓ）」測定基準としてのＨＳ再構築精度のための選択に重点を置くべきである。しかし、前述のように、量子効率および露光均一性などの、他の基準に対しても選択され得、変化する重みが各基準に割り当てられて標的システムの所望の特性が決定され得る。例えば、基礎となるセンサーが非常に高いダイナミックレンジを有する場合、量子効率が露光均一性などよりも優先され得る。
【0112】
商業的に利用可能なフィルタセットからの４つの成分フィルタを含むＣＦＡを見つけるためにこの方法を適用すると、例えば、その特性が図８Ａのグラフに例示される所望のフィルタセットをもたらし、各線は選択された成分フィルタの１つの量子効率を表す。最適なフィルタセットは次いで、図８Ｂに示すマルチカメラアレイ、または他の最適な設計（例えば、ビームスプリッタ）として、ＣＦＡで実装できる。
【0113】
カメラシステムを設計する場合、システムのフィルタセットと呼ばれる、特定の波長に対するその応答を形作るために、いくつかのカラーフィルタアレイが選択できる。例えば、ＲＧＢカメラは、サイズ３のフィルタセットを有し、そのフィルタは、ＣＩＥ１９３１等色関数をおおまかに近似する。サイズｎのフィルタセットは、有限（または無限）の数のフィルタを含む何らかのフィルタ空間から選択され得、前記空間からのｎ個のフィルタの全ての可能な組合せを記述する。所与のフィルタ空間からの特定のフィルタセットの選択は、カメラシステムのセンサー応答に明らかに影響する。加えて、フィルタ選択はカメラシステムのハイパースペクトル（ＨＳ）推定性能にも深く影響を及ぼすことができる。既製の、またはコンシューマグレードの機器の場合、最適なカメラ応答プロファイルを選択するための妥当な戦略は、かかる空間内で入手可能な製品の評価を１つずつ実施することであり得る。数百または数千さえの候補カメラの予期される性能を評価することは面倒であり得るが、それらの応答関数が分かっている限り、それは、比較的短期間で完了できる、かなり簡単なプロセスである。コンシューマ向けカメラの間での応答関数の多様性にもかかわらず、ＣＩＥ－１９３１等色関数とは著しく異なるものを含め、追加のクラスのフィルタセットを調査することによって得るものが多くあり得る。フィルタセット最適化は、一部、リモートセンシングの分野における「最適なバンド選択」の一部として研究されているが、未解決問題のままである。さらに、たとえ理論上は理想的なフィルタセットが容易に計算できたとしても、それらは複雑過ぎて、光学コーティングとして、またはベイヤーＣＦＡで実装できないことが判明し得る。
【0114】
従って、低コストシステム内で改善されたフィルタセットの利点を享受するために、フィルタは、商業的に入手可能な、または安価に製造可能なフィルタの領域から選択される必要がある。数千ものかかるフィルタが様々な光学ベンダ（例えば、ＯＭＥＧＡ Ｏｐｔｉｃａｌ，Ｉｎｃカタログだけで１，０００以上の個々のフィルタ要素を含む）を通して入手可能であるので、残念ながら、この制約は問題の複雑さをほとんど軽減しない。追加として、多くの製造業者が特定セットのパラメータ内でカスタマイズされたフィルタを比較的低コストで製造することが可能である。１，０００の既製フィルタから選択されたサイズ３のフィルタセットだけを考えるときでさえ、可能な組合せ空間のサイズはすぐに１０８に膨れ上がって、全数探索を実行不可能にする。可能な組合せの数は、サイズ４のカスタマイズ可能なフィルタおよび／またはフィルタセットのファミリを検討する場合、桁違いに増加する。本開示は、フィルタセットの予期される性能を推定するために必要な計算量を減らすこと、ならびに非常に大規模なフィルタ空間から最適に近いフィルタセットを素早く選択するための方法を提供することを目標とする。
【0115】
前述のとおり、本明細書では、ＲＧＢまたはマルチスペクトルカメラからのＨＳ信号の再構成のためのフィルタ選択に重点を置く。フィルタセットのＨＳ再構成性能の評価にはトレーニングフェーズおよびテストフェーズを必要とする。トレーニングフェーズ中、各テストされるシステムは、ＨＳトレーニング画像のセットを処理することにより、テストされるフィルタセット下で取得されたＲＧＢ画像からのＨＳ画像を再構築するために較正される。一旦、較正されると、各テストされるシステムの性能は、３つのステップで評価され得る。第１に、テストＲＧＢ画像のセットが、候補フィルタセットを通して最新（ｆｒｅｓｈ）のＨＳソース画像のスペクトル投影をシミュレートすることにより生成される。第２に、これらのテスト画像がＨＳ再構築アルゴリズム（「ＲＧＢ画像からのハイパースペクトルデータの回復」で前述したものなど）に供給されて、再構築されたＨＳ画像を取得する。そして最後に、再構築されたＨＳ画像がそれらの対応するＨＳソース画像と比較される。
【0116】
以下の説明は「ＲＧＢ画像からのハイパースペクトルデータの回復」で上で開示したＨＳ回復方法に重点を置くが、ＲＧＢ画像からのＨＳ再構築の他の方法、例えば、Ｒ．Ｍ．Ｈ．Ｎｇｕｙｅｎ，Ｄ．Ｋ．Ｐｒａｓａｄ，およびＭ．Ｓ．Ｂｒｏｗｎによって提案された方法、Ｔｒａｉｎｉｎｇ ｂａｓｅｄ ｓｐｅｃｔｒａｌ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ ａ ｓｉｎｇｌｅ ＲＧＢ ｉｍａｇｅ，ＥＣＣＶ，ｖｏｌｕｍｅ ８６９５ ＬＮＣＳ，ページ１８６－２０１．Ｓｐｒｉｎｇｅｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｕｂｌｉｓｈｉｎｇ，２０１４（本明細書では「Ｎｇｕｙｅｎ」として参照される）、も使用されて本方法からの恩恵を受け得ることが理解されるであろう。
【0117】
ＣＦＡのハイパースペクトル回復性能のためのテスト手順
所与のＣＦＡのＨＳ性能を評価するために、本発明人はこの節で説明する評価方法を考案した。本明細書で説明する評価ステップは、上で参照した２つの再構築方法を使用する。報告された計算時間は２４ＧＢのＲＡＭを備えたＩｎｔｅｌ Ｃｏｒｅ ｉ５－２４００ ＣＰＵデスクトップ上で取得された。
所与のＣＦＡのＨＳ性能を評価するために、本発明人はこの節で説明する評価方法を考案した。本明細書で説明する評価ステップは、上で参照した２つの再構築方法を使用する。報告された計算時間は２４ＧＢのＲＡＭを備えたＩｎｔｅｌ Ｃｏｒｅ ｉ５－２４００ ＣＰＵデスクトップ上で取得された。
【0118】
Ｎｇｕｙｅｎによって提案されたアプローチに関して、それは物体反射率および場面照明の両方の回復のための構成要素を含むことに留意すべきである。しかし、以下の説明は、反射率回復方法に制限され、それは、次のように要約できる：
トレーニング：
（ｉ）各トレーニング画像を選択されたフィルタセットを用いてＲＧＢに投影する；
（ｉｉ）投影された画像に関して照明補正（「ホワイトバランス」）を実行する；および
（ｉｉｉ）補正されたＲＧＢおよびＨＳ画素対を使用して動径基底関数（ＲＢＦ）ネットワークをトレーニングする。
テスト：
（ｉ）テストＲＧＢ画像に関して照明補正（「ホワイトバランス」）を実行する；および
（ｉｉ）各画素に対するＨＳ反射率値を推定するために、トレーニングフェーズで生成されたＲＧＢネットワークを使用する。
トレーニング：
（ｉ）各トレーニング画像を選択されたフィルタセットを用いてＲＧＢに投影する；
（ｉｉ）投影された画像に関して照明補正（「ホワイトバランス」）を実行する；および
（ｉｉｉ）補正されたＲＧＢおよびＨＳ画素対を使用して動径基底関数（ＲＢＦ）ネットワークをトレーニングする。
テスト：
（ｉ）テストＲＧＢ画像に関して照明補正（「ホワイトバランス」）を実行する；および
（ｉｉ）各画素に対するＨＳ反射率値を推定するために、トレーニングフェーズで生成されたＲＧＢネットワークを使用する。
【0119】
ベンチマークプラットフォーム上で実装した場合、トレーニングプロセスは、１６，４００トレーニング画素にわたって実行した時にフィルタセットごとに約４分かかった。一旦、トレーニングすると、システムは、２．５×１０６ＨＳ画素を３１チャネルにわたって再構築するために２分を必要とした。トレーニングプロセスで最も計算集約的なステップはステップ（ｉｉｉ）、すなわち、ＲＢＦネットワークのトレーニングである。このステップは、入力として選択されたフィルタセットを通して投影されたＨＳ画像に依存するので、評価される各フィルタセットに対して繰り返す必要がある。従って、各フィルタセット評価のために必要な合計時間は６分であった。
【0120】
本発明人によって「ＲＧＢ画像からのハイパースペクトルデータの回復」で上で開示された方法は、ＲＧＢ画素からＨＳ放射輝度シグネチャを再構築する。使用される評価方法は次のとおりである：
トレーニング：
（ｉ）Ｋ－ＳＶＤアルゴリズムを用いてトレーニング画像からスパース過剰完全ＨＳ辞書を生成する；および
（ｉｉ）ステップ（ｉ）からのＨＳ辞書を選択されたフィルタセットを用いて投影して、対応する過剰完全ＲＧＢ辞書を取得する。
テスト：
（ｉ）直交マッチング追跡（ＯＭＰ）によってテスト画像内の各画素を表すためにトレーニングプロセスのステップ（ｉｉ）で生成された辞書を使用する；および
（ｉｉ）各画素に対するＨＳ放射輝度値を推定するためにトレーニングプロセスのステップ（ｉ）で生成された辞書に、ステップ（ｉ）で計算された辞書重みを適用する。
トレーニング：
（ｉ）Ｋ－ＳＶＤアルゴリズムを用いてトレーニング画像からスパース過剰完全ＨＳ辞書を生成する；および
（ｉｉ）ステップ（ｉ）からのＨＳ辞書を選択されたフィルタセットを用いて投影して、対応する過剰完全ＲＧＢ辞書を取得する。
テスト：
（ｉ）直交マッチング追跡（ＯＭＰ）によってテスト画像内の各画素を表すためにトレーニングプロセスのステップ（ｉｉ）で生成された辞書を使用する；および
（ｉｉ）各画素に対するＨＳ放射輝度値を推定するためにトレーニングプロセスのステップ（ｉ）で生成された辞書に、ステップ（ｉ）で計算された辞書重みを適用する。
【0121】
ベンチマークプラットフォーム上で実装した場合、トレーニングプロセスは、１０６トレーニング画素にわたって実行した時に約５分かかった。一旦、トレーニングすると、システムは、２．５×１０６ＨＳ画素を３１チャネルにわたって再構築するために３２秒を必要とした。トレーニングプロセスで最も計算集約的なステップはステップ（ｉ）、すなわち、ＨＳ辞書の生成である（他方、ステップ（ｉｉ）は時間的に無視できるほどである）。しかし、Ｎｇｕｙｅｎとは対照的に、このステップは、評価されるフィルタセットとは完全に無関係であり、各評価されるフィルタセットに対して繰り返す必要がない。従って、各フィルタセット評価のために必要な時間は３２秒であった。
【0122】
ＣＦＡのハイパースペクトル回復性能の評価
すぐ上で説明したとおり、再構築されたＨＳ画像をそれらの対応するＨＳソース画像と比較することによってフィルタセットを評価した。全ての実験で、再構築精度は相対二乗平均平方根誤差（ＲＲＭＳＥ）として報告されて、
式中、
および
は、それぞれ、グラウンドトゥルースおよび再構築画像内のｉ番目の画素のｃスペクトルチャネル値を表し、
は、グラウンドトゥルース画像のサイズ（総画素チャネル）である。
すぐ上で説明したとおり、再構築されたＨＳ画像をそれらの対応するＨＳソース画像と比較することによってフィルタセットを評価した。全ての実験で、再構築精度は相対二乗平均平方根誤差（ＲＲＭＳＥ）として報告されて、
【数4】
【数5】
【数6】
【数7】
【0123】
絶対誤差ではなく、相対誤差を測定することが、低輝度画素およびスペクトルチャネルにおける誤差に、高輝度画素／チャネルにおけるもの（たとえそれらが絶対値において典型的にはるかに小さくても）と同等の重みが与えられることを確実にするはるかに慎重なアプローチであることを強調する必要がある。
【0124】
Ｎｇｕｙｅｎ法を利用する実験は、Ｎｇｕｙｅｎらによって提供されたコードに基づいていた。本発明人により「ＲＧＢ画像からのハイパースペクトルデータの回復」で上で開示された本方法を利用する実験は、本発明人による実施態様に基づいていた。この実施態様では、カメラ領域に投影された画像は、カメラセンサーの制限されたダイナミックレンジをシミュレートするために、さらに処理する前に、有効数字３桁に切り捨てられた。
【0125】
テストの目的は２つの再構築方法を比較することでも、一方が他方よりも優れていることを主張することでもなかったことが理解されるであろう。むしろ、目標は、たとえ推定方法および標的場面が異なっている場合であっても、フィルタ選択が再構築性能に著しい影響を及ぼすことを示すことであった。
【0126】
最後に、本明細書で開示する方法の主な目標は、超大規模なフィルタ空間のためのフィルタ選択方法を考案することであることに留意されたい。その結果、両方の回復方法は、フィルタ選択によって著しく影響を受けることが示されているが、以下で説明するさらに大規模な実験では、フィルタセット毎のその処理時間が１桁短い、上で開示した回復方法だけを採用する。
【0127】
評価結果
ＲＧＢ画像からのＨＳデータの回復に関するＣＦＡ応答関数における小さな変化の影響を評価するために、２８のシミュレートされたカメラに関してＨＳ再構築性能を評価する実験を実施した。フィルタ選択のＮｇｕｙｅｎ法への影響を評価するために、本発明人によって提供された未変更コードを使用して２８のカメラ応答関数の各々に対してＲＢＦネットワークをトレーニングした。トレーニング画像セットは１６，４００ＨＳ画素から成り、他方、２５のフルテスト画像から成るテスト画像セットは合計で５．６×１０７ＨＳ画素を含む。図９は、テスト画像対、全てのカメラにわたる推定された反射率のソートされたＲＲＭＳＥ値を示す。個々のカメラ間の性能における差は小さい可能性があるが、最も悪い（ＲＲＭＳＥ＝０．２９３）性能のカメラと最も良い（ＲＲＭＳＥ＝０．２３８）ものとの間で、明白なギャップおよび１８．７％の改善が容易に認められる。
ＲＧＢ画像からのＨＳデータの回復に関するＣＦＡ応答関数における小さな変化の影響を評価するために、２８のシミュレートされたカメラに関してＨＳ再構築性能を評価する実験を実施した。フィルタ選択のＮｇｕｙｅｎ法への影響を評価するために、本発明人によって提供された未変更コードを使用して２８のカメラ応答関数の各々に対してＲＢＦネットワークをトレーニングした。トレーニング画像セットは１６，４００ＨＳ画素から成り、他方、２５のフルテスト画像から成るテスト画像セットは合計で５．６×１０７ＨＳ画素を含む。図９は、テスト画像対、全てのカメラにわたる推定された反射率のソートされたＲＲＭＳＥ値を示す。個々のカメラ間の性能における差は小さい可能性があるが、最も悪い（ＲＲＭＳＥ＝０．２９３）性能のカメラと最も良い（ＲＲＭＳＥ＝０．２３８）ものとの間で、明白なギャップおよび１８．７％の改善が容易に認められる。
【0128】
同様の評価プロセスを、「ＲＧＢ画像からのハイパースペクトルデータの回復」で上で開示された本方法に対して実行した。この方法におけるトレーニングプロセスの大部分は評価されるフィルタセットとは無関係であるので、トレーニングセットは、５１のトレーニング画像（画像あたり２０，０００画素）を含むＨＳデータベースから無作為に選択された１０６の画素を含んでいた。同じデータベースからの５１の画像の第２のセットがテストフェーズ用に使用された。図１０は、再構築性能を示しており、同様に、最も悪い（ＲＲＭＳＥ＝０．１６０）性能のカメラと最も良い（ＲＲＭＳＥ＝０．１２７）ものとの間で、明白なギャップおよび２０．６％の改善が容易に認められる。
【0129】
はるかに大規模なフィルタ空間からの迅速なフィルタ選択を可能にするために、第２の実験を、５１の画像テストセットから無作為にサンプリングされたちょうど２．５×１０６画素について実行した。図１０に示すように、このサンプリングアプローチは、実質的に同一結果をもたらす。実際、無作為画素サンプルは、テストセット全体に関する性能（最大相対的差異＜０．０９％）に対して非常に強力な予測因子として働き、それにより、はるかに大規模なフィルタセットに関する同様の評価およびフィルタ選択を容易にする。
【0130】
フィルタセットの進化的最適化のための方法
上で示したとおり、ＨＳ再構築性能は、たとえ少数のコンシューマ向けカメラのフィルタセットが検討される場合でさえ、ＣＦＡセットにわたって著しく変わり得る。これらのカメラのいずれもＨＳ再構築を念頭に置いて設計されていないので、かかる市販のカメラを越えてフィルタ空間にわたる最適なフィルタ選択は、ＨＳ再構築に対して著しい性能向上をもたらし得る。とはいえ、ＨＳ推定のタスクにおける特定のフィルタセットの性能評価は、計算集約的なタスクであり得る。使用した方法に応じて、単一の１メガピクセル（ＭＰ）のテスト画像の再構築に数秒かかり得る。従って、大規模なフィルタ空間の徹底的な評価は実行不可能なままである。さらに問題を悪化させることに、フィルタ空間（フィルタ結合の空間）は連続的でも凸状でもない。従って、凸最適化法が最適解に収束する可能性は少ない。
上で示したとおり、ＨＳ再構築性能は、たとえ少数のコンシューマ向けカメラのフィルタセットが検討される場合でさえ、ＣＦＡセットにわたって著しく変わり得る。これらのカメラのいずれもＨＳ再構築を念頭に置いて設計されていないので、かかる市販のカメラを越えてフィルタ空間にわたる最適なフィルタ選択は、ＨＳ再構築に対して著しい性能向上をもたらし得る。とはいえ、ＨＳ推定のタスクにおける特定のフィルタセットの性能評価は、計算集約的なタスクであり得る。使用した方法に応じて、単一の１メガピクセル（ＭＰ）のテスト画像の再構築に数秒かかり得る。従って、大規模なフィルタ空間の徹底的な評価は実行不可能なままである。さらに問題を悪化させることに、フィルタ空間（フィルタ結合の空間）は連続的でも凸状でもない。従って、凸最適化法が最適解に収束する可能性は少ない。
【0131】
幸運にも、進化アルゴリズムがかかる問題に良く適していて、近最適解を、個々の評価よりも著しく低い計算コストで提供し得る。大規模なフィルタ空間内でのＨＳ再構築に良く適したフィルタセットを効率的に見つけるために、進化的アプローチが適用される。無作為フィルタ結合のセットが空間全体から生成される。これらのフィルタセットが再構築性能に対して評価されてランク付けされる。次いで、以下の反復手順が実行され、それにより、フィルタ空間から取得された新しい無作為結合、ならびに高得点の以前にテストした結合、高得点の以前にテストした結合の変形、および高得点の以前にテストした結合の結合を含む、フィルタ結合の新しいセット、次のとおり：
・適者生存：最も高い格付けの以前にテストしたフィルタセットを、後続のテストグループに含めるために維持する：
・クロスオーバー：適合性ランキングに基づき、以前にテストした最も高い格付けのセットからの２つのフィルタセットを結合して、２つのセットの各々から無作為に選択したフィルタを含む「子孫（ｏｆｆｓｐｒｉｎｇ）」を生成する；
・変形：以前にテストしたフィルタセット内のフィルタ要素の１つを無作為に置換することによって新しいフィルタセットを生成する；および
・無作為置換：手順の次の反復のために、フィルタ空間全体から評価のために新しいフィルタセットを作成する。
・適者生存：最も高い格付けの以前にテストしたフィルタセットを、後続のテストグループに含めるために維持する：
・クロスオーバー：適合性ランキングに基づき、以前にテストした最も高い格付けのセットからの２つのフィルタセットを結合して、２つのセットの各々から無作為に選択したフィルタを含む「子孫（ｏｆｆｓｐｒｉｎｇ）」を生成する；
・変形：以前にテストしたフィルタセット内のフィルタ要素の１つを無作為に置換することによって新しいフィルタセットを生成する；および
・無作為置換：手順の次の反復のために、フィルタ空間全体から評価のために新しいフィルタセットを作成する。
【0132】
無作為置換は、フィルタ空間全体から無作為にフィルタを選択することによって生じる。各新しい「母集団（ｐｏｐｕｌａｔｉｏｎ）」は、「適者生存」段階によって選択された１０％の以前の母集団フィルタからなり、４０％は以前の反復で評価されたフィルタセットのクロスオーバー産物であり、１０％は以前の反復からのフィルタセットの変形であり、４０％は無作為に生成されたフィルタセットである。
【0133】
この進化的最適化プロセスは、最高の再構築性能がいくつかの反復にわたって一定のままであるか、または事前に定義された実行時間制限に達するまで、繰り返される。
【0134】
実験結果
開示する方法の性能を評価するために、３つのフィルタセットの進化的最適化を次のフィルタ空間について実行した：
・Ｍｉｄｏｐｔによって提供された２１のフィルタのセット。
・Ｊ．Ｊｉａｎｇ，Ｄ．Ｌｉｕ，Ｊ．Ｇｕ，およびＳ．Ｓｕｓｓｔｒｕｎｋによって測定された８４の市販のカメラフィルタのセット、ｗｈａｔ ｉｓ ｔｈｅ ｓｐａｃｅ ｏｆ ｓｐｅｃｔｒａｌ ｓｅｎｓｉｔｉｖｉｔｙ ｆｕｎｃｔｉｏｎｓ ｆｏｒ ｄｉｇｉｔａｌ ｃｏｌｏｒ ｃａｍｅｒａｓ？Ｉｎ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＷＡＣＶ），２０１３ ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ，ページ１６８－１７９，ＩＥＥＥ，２０１３。
・ＯＭＥＧＡ Ｏｐｔｉｃａｌ，Ｉｎｃ．によって提供された１０２２フィルタのセット。
開示する方法の性能を評価するために、３つのフィルタセットの進化的最適化を次のフィルタ空間について実行した：
・Ｍｉｄｏｐｔによって提供された２１のフィルタのセット。
・Ｊ．Ｊｉａｎｇ，Ｄ．Ｌｉｕ，Ｊ．Ｇｕ，およびＳ．Ｓｕｓｓｔｒｕｎｋによって測定された８４の市販のカメラフィルタのセット、ｗｈａｔ ｉｓ ｔｈｅ ｓｐａｃｅ ｏｆ ｓｐｅｃｔｒａｌ ｓｅｎｓｉｔｉｖｉｔｙ ｆｕｎｃｔｉｏｎｓ ｆｏｒ ｄｉｇｉｔａｌ ｃｏｌｏｒ ｃａｍｅｒａｓ？Ｉｎ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＷＡＣＶ），２０１３ ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ，ページ１６８－１７９，ＩＥＥＥ，２０１３。
・ＯＭＥＧＡ Ｏｐｔｉｃａｌ，Ｉｎｃ．によって提供された１０２２フィルタのセット。
【0135】
これらの空間はそれぞれ、１３３０、９５２８４、および１．７７×１０８の可能な３フィルタ結合を含むことが理解されるであろう。各実験におけるトレーニングセットは、５１のＨＳトレーニング画像（画像ごとに２０，０００画素）から無作為に選択された１０６の画素を含んでいた。計算コストをさらに低減するために、テストセットは、前述した２．５×１０６の無作為画素サンプルを含んでいた。
【0136】
・Ｍｉｄｏｐｔフィルタ空間
コンシューマ向けカメラに対する代替、および本明細書で開示する進化的最適化法の収束を調査するために、小規模実験をＭｉｄｏｐｔフィルタ空間について実行した。Ｍｉｄｏｐｔフィルタ集合は、１，３３０の可能な組合せの比較的小規模の３カウントフィルタ空間となる、２１の帯域通過および「色補正」フィルタを含む。各組合せの個々の評価を実行し、図１１Ａに示すＲＲＭＳＥ性能となった。同様に、図１０で説明する２８のコンシューマ向けカメラに関する結果に対して、最高および最低性能のフィルタセットの間に著しい性能ギャップがある。追加として、最高性能のフィルタセットは、０．１１６の平均ＲＲＭＳＥ、コンシューマ向けカメラに関する改善（最高ＲＲＭＳＥ＝０．１２７）を提供する。
コンシューマ向けカメラに対する代替、および本明細書で開示する進化的最適化法の収束を調査するために、小規模実験をＭｉｄｏｐｔフィルタ空間について実行した。Ｍｉｄｏｐｔフィルタ集合は、１，３３０の可能な組合せの比較的小規模の３カウントフィルタ空間となる、２１の帯域通過および「色補正」フィルタを含む。各組合せの個々の評価を実行し、図１１Ａに示すＲＲＭＳＥ性能となった。同様に、図１０で説明する２８のコンシューマ向けカメラに関する結果に対して、最高および最低性能のフィルタセットの間に著しい性能ギャップがある。追加として、最高性能のフィルタセットは、０．１１６の平均ＲＲＭＳＥ、コンシューマ向けカメラに関する改善（最高ＲＲＭＳＥ＝０．１２７）を提供する。
【0137】
従って、たとえ小規模の汎用フィルタセットであってもコンシューマ向けカメラＲＧＢフィルタに対して利益をもたらし得るという結論になり得る。Ｍｉｄｏｐｔフィルタセットは、進化的最適化によって著しい性能向上を享受するためには小さすぎるかも知れないが、１００の母集団サイズをもつ進化的最適化を５０反復、実行することによって、後者の収束を調べた。平均すると、４９９の別個のフィルタ（フィルタ空間全体の３８％未満）を調べた後、最適化は、９．１４反復内に最適なフィルタセット（ＲＲＭＳＥ ０．１１６）に収束した。図１１Ｂは、Ｍｉｄｏｐｔフィルタ空間内で見つかった最適なフィルタセットを示す。最後に、進化的最適化中に使用した無作為画素サブセットの代表力（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｐｏｗｅｒ）をさらに検証するために、最上位性能のフィルタセットのＲＲＭＳＥ値を全てのテスト画像（９．２×１０７ハイパースペクトル画素）について再計算して、再度ＲＲＭＳＥ＝０．１１６の結果をもたらした。
【0138】
・市販カメラのフィルタ空間
帯域通過および「色補正」フィルタの組合せの調査は、既存のカメラ設計に関してＨＳ再構築精度における著しい利益をもたらした。ＲＧＢ様のフィルタを完全に諦めるのではなく、コンシューマ向けカメラからの既存のＲＧＢフィルタの代替組合せを調べることは有益であり得る。従って、Ｊｉａｎｇら（同上）によって測定された８４全てのコンシューマ向けカメラフィルタ（２８のカメラ、カメラごとに３つのフィルタ）によって定義されたフィルタ空間を検討した。これらのフィルタは、９５，２８４の可能な組合せのサイズのフィルタ空間に及び、それに関して、徹底的な評価および進化的最適化を実行した。
帯域通過および「色補正」フィルタの組合せの調査は、既存のカメラ設計に関してＨＳ再構築精度における著しい利益をもたらした。ＲＧＢ様のフィルタを完全に諦めるのではなく、コンシューマ向けカメラからの既存のＲＧＢフィルタの代替組合せを調べることは有益であり得る。従って、Ｊｉａｎｇら（同上）によって測定された８４全てのコンシューマ向けカメラフィルタ（２８のカメラ、カメラごとに３つのフィルタ）によって定義されたフィルタ空間を検討した。これらのフィルタは、９５，２８４の可能な組合せのサイズのフィルタ空間に及び、それに関して、徹底的な評価および進化的最適化を実行した。
【0139】
図１１Ｃは、フィルタセットごとのＨＳ再構築のＲＲＭＳＥを示す。図１１Ｄに示す、最適なフィルタセットは、Ｃａｎｏｎ ５ＤＭａｒｋＩＩからの青色フィルタ、Ｎｉｋｏｎ Ｄ４０からの緑色フィルタ、およびＨａｓｓｅｌｂｌａｄ Ｈ２からの赤色フィルタを含んでいた。フィルタセットとして結合すると、それらは、０．１１９のＲＲＭＳＥ、各個々のカメラ（Ｃａｎｏｎ ５ＤＭａｒｋＩＩ、ＲＲＭＳＥ ０．１３３；Ｎｉｋｏｎ Ｄ４０ ＲＲＭＳＥ ０．１４９；およびＨａｓｓｅｌｂｌａｄ Ｈ２ ０．１５４）および最高性能のコンシューマ向けカメラ（Ｎｉｋｏｎ Ｄ５１００、ＲＲＭＳＥ ０．１２７）に対して改善を提供した。大域的に最適なフィルタセットを見つけるために、９５，２８４のフィルタセットの徹底的な評価を必要としたが、進化的最適化が著しく高速な収束をもたらした。３００の母集団サイズをもつ、近最適なフィルタセット（ＲＲＭＳＥ ０．１２０）が４世代以内に見つかった。大域的に最適なフィルタセット（ＲＲＭＳＥ ０．１１９）は、４６世代後に見つかり、１３，８００フィルタセット未満の評価を必要として、フィルタ空間全体の１５％未満を構成し、延長線上で考えると、全数探索に広がる努力の１５％未満を表す。同じパラメータで繰り返した（５０反復）実験で、最適なフィルタセットが、平均すると、３４．８反復後に見つかり、８，２３２の別個のフィルタセットの組合せ（フィルタ空間全体の９％未満）を調べたことを示す。
【0140】
・ＯＭＥＧＡ Ｏｐｔｉｃａｌ，Ｉｎｃ．フィルタセット
以前の実験は、ＨＳ再構築における非ＲＧＢ様フィルタの有用性だけでなく、大規模なフィルタ空間にわたる進化的最適化の効率的な収束も示した。従って、最後の実験を、１，０２２の多種多様な光学フィルタに及び、１７７，３８８，５４０の可能なフィルタの組合せとなる、大規模で高度に変化するフィルタ空間に関して実行した。ＯＭＥＧＡ光学フィルタ空間全体の徹底的な評価には、多くの処理年数がかかるので、進化的最適化および無作為探索のみを実行した。３００の母集団サイズを使用し、各々５０世代の最大実行時間で、３つの進化的最適化を繰り返し、合計で３９，５９５のフィルタセットの組合せを全体で評価して、０．１０７のＲＲＭＳＥをもつフィルタセットを生成した。収束は非常に迅速で、わずか４，０３１の評価後にＲＲＭＳＥ＝０．１０９をもつフィルタセットを得たが、進化的最適化プロセスの残りの間に、ＲＲＭＳＥにおける０．００２の最終的な増加を得た。おそらく驚くことではないが、フィルタセットのサイズを所与とすると、この結果は、もっと小規模のＭｉｄｏｐｔおよび市販カメラのフィルタセットから取得した最高のセットよりも優れている。
以前の実験は、ＨＳ再構築における非ＲＧＢ様フィルタの有用性だけでなく、大規模なフィルタ空間にわたる進化的最適化の効率的な収束も示した。従って、最後の実験を、１，０２２の多種多様な光学フィルタに及び、１７７，３８８，５４０の可能なフィルタの組合せとなる、大規模で高度に変化するフィルタ空間に関して実行した。ＯＭＥＧＡ光学フィルタ空間全体の徹底的な評価には、多くの処理年数がかかるので、進化的最適化および無作為探索のみを実行した。３００の母集団サイズを使用し、各々５０世代の最大実行時間で、３つの進化的最適化を繰り返し、合計で３９，５９５のフィルタセットの組合せを全体で評価して、０．１０７のＲＲＭＳＥをもつフィルタセットを生成した。収束は非常に迅速で、わずか４，０３１の評価後にＲＲＭＳＥ＝０．１０９をもつフィルタセットを得たが、進化的最適化プロセスの残りの間に、ＲＲＭＳＥにおける０．００２の最終的な増加を得た。おそらく驚くことではないが、フィルタセットのサイズを所与とすると、この結果は、もっと小規模のＭｉｄｏｐｔおよび市販カメラのフィルタセットから取得した最高のセットよりも優れている。
【0141】
全数探索に対する性能向上の何らかの基準を取得するために（実行すべきだった場合）、サイズ３のセットに対してフィルタ空間を反復してサンプリングすることにより無作為探索を実行して、ＨＳ再構築のためのそれらの利点を評価した。まず、ＲＲＭＳＥ＝０．１０７をもつフィルタセットの組合せに遭遇するために、進化的最適化よりも１桁多い、３４４，６００のフィルタ評価を必要とし、この結果は、探索が４５０，０００フィルタセット評価で停止するまで全く改善しなかった。
【0142】
図１２Ａおよび図１２Ｂは、両方のプロセスの収束率を示し、図１２Ｃは、ＯＭＥＧＡフィルタ空間内に見つかった最適なフィルタセットを示す。全てのテスト画像（９．２×１０７ハイパースペクトル画素）について最上位性能のフィルタセットのＲＲＭＳＥ値を再計算すると、同一のＲＲＭＳＥ値をもたらした。図１２Ａで、最適化方法が全数探索でどのくらい迅速に収束したかが理解できる。図１２Ｂで、全ての進化的最適化が多くても１２，９２０のフィルタ評価内でＲＲＭＳＥ ０．１０９に収束しようと試み、他方、徹底的な評価は同じ結果に達するために１７５，９００を上回る個々の評価を必要とし、またそれを改善するために２３８，７００を上回る評価を必要としたことが理解できる。
【0143】
様々なフィルタ空間を調査することにより、ハイパースペクトル推定誤差が、単に最適なコンシューマ向けカメラを選択することによって少なくとも２０．６％低減できる（例えば、Ｏｌｙｍｐｕｓ Ｅ－ＰＬ２対Ｎｉｋｏｎ Ｄ５１００）ことが分かった。カスタムフィルタセットが検討される場合、推定誤差は少なくとも３３．１％低減できる（例えば、Ｏｌｙｍｐｕｓ Ｅ－ＰＬ２対ＯＭＥＧＡフィルタ空間で見つかった最適なフィルタセット）。これらのフィルタ空間の範囲を拡張すると、さらなる向上さえ提示し得る。
【0144】
図１３は、コンシューマ向けカメラのフィルタセットおよび最適化されたフィルタセットを使用した、再構築間の性能ギャップを例示する。グラフで線１３３ａによって表される最適なＯＭＥＧＡフィルタセットを使用して再構築されたＨＳデータは、線１３３ｂによって表されるテスト画素サブセットからのグラウンドトゥルーススペクトルとぴったりと一致する。同時に、線１３３ｃによって表される、Ｏｌｙｍｐｕｓ Ｅ－ＰＬ２フィルタセットを使用して再構築されたＨＳデータは、テストデータと一致しない。
【0145】
「最先端の」方法がしばしば、１パーセントポイントの利点を競い合う分野では、かかる性能改善は重要である。さらに、本方法は、進化的最適化が、フィルタ空間のごく一部およびテストデータの小サンプルだけを調査しながら、大規模なフィルタ空間から最適または近最適なフィルタセットを選択できることを十分に示していることが理解されるであろう。
【0146】
前述した実験は、フィルタ選択が異なる方法に基づく２つのＨＳ再構築システムの性能に著しく影響を及ぼすことがわかった。その結果、将来のＲＧＢからＨＳへのシステムは、または現在のハイブリッドＲＧＢ－ＨＳシステムでさえ、同様に影響を受け得ると信じる理由がある。任意のかかるシステムの設計は、それ故、フィルタ選択を考慮に入れるべきであり、このプロセスを最適化するために本開示する方法を採用し得る。
【0147】
圧縮センシングＲＧＢカメラ
本明細書で開示するのは、全場面ハイパースペクトルデータ生成のため、および改善された量子効率のために最適化されたＣＦＡを含むカメラシステムである。
本明細書で開示するのは、全場面ハイパースペクトルデータ生成のため、および改善された量子効率のために最適化されたＣＦＡを含むカメラシステムである。
【0148】
さらに開示するのは、フルＲＧＢカラー画像を前記カメラシステムによって生成されたハイパースペクトルデータから生成するための方法である。
【0149】
前述のとおり、画像センサーの量子効率または光量子効率は、電荷担体を生成するデバイスの光反応面を打つ光子の割合として定義される。要するに－高い光量子効率の画像センサーは、光に対してより敏感である。画像センサー設計では、光量子効率が向上すると、センサー機能が向上して低光量条件で機能するので、有益である。
【0150】
画像センサーの光量子効率は、センサー光子感知領域のサイズ（「画素サイズ」）の増加、光子センシング領域の性能の改善、およびセンサーへの光学経路の変更を含むが、それに制限されず、いくつかの手段を通して向上できる。前の２つの方法は通常、実装するために著しい設計および製造コストを伴うが、後者は、画像の鮮明さまたは色補正のいずれかにおける光学的品質を犠牲にし得る。
【0151】
製造プロセスの著しい変更がないか、またはそれが生成する画像の光学的品質に悪影響を及ぼすことなく、既存のセンサー設計の光量子効率を改善することは望ましいであろう。前述の「デジタルカメラにおける現在のカラーフィルタアレイ」で、現在のＣＦＡ技術の説明も参照されたい。
【0152】
本明細書の別の場所で述べたとおり、既存のＲＧＢ画像センサーの大部分は、赤色、緑色、および青色チャネルを通して直接、光強度を測定する（ベイヤーＣＦＡ）か、または外挿によってそれらの値を推定しようと試みる（例えば、ＢｒｉｔｅＣｅｌｌ ＣＦＡ）。開示する方法は、圧縮センシングによってこれらの値の間接測定を提供する。広帯域ＲＧＢフィルタを通して強度を記録するのではなく、開示する方法は、センサーに達する光のスペクトル分布全体を回復することを目標とする。一旦、この分布が分かると、ＲＧＢチャネルの値がそこから容易に計算できる。
【0153】
前述を達成するために、まず、改善された量子効率および向上したハイパースペクトル（ＨＳ）再構築精度の両方のために、ＣＦＡを構築するためのフィルタの最適なセットを選択する。フィルタの最適なセットは、「最適化されたカラーフィルタアレイの選択」で上で開示した方法を使用して選択され得る。最適なフィルタセットは、例えば、図８Ａのグラフに示すような色応答プロファイルを有し得る。
【0154】
図１４に例示するように、フィルタセットが選択された後、選択されたフィルタセット要素を使用してＣＦＡが構築される。構築されたＣＦＡは、カメラの画像センサーに適用され得、それは、マルチスペクトルデータをもつ画像を捕捉するためにステップ１で使用され得る。ステップ２で、全場面ＨＳ情報が、「ＲＧＢ画像からのハイパースペクトルデータの回復」で上で最初に概説した方法によって前記画像から回復され得る。ＲＧＢデータは次いで、ステップ３で、所望のＲＧＢ応答関数をＨＳデータに適用することにより、前記ＨＳデータから生成されて、ステップ４で最適化されたＲＧＢ画像を受信し得る。結果は、従来型のベイヤーセンサーに影響を及ぼす増加した空間アーチファクトに悩まされない、高度に量子効率が良くて色の正確なカメラシステムである。
【0155】
開示するカメラシステムの市販のカメラに対する光量子効率向上を評価するために、次の実験を実行した：本方法を使用して見つかった最適化されたフィルタセット、およびＲＧＢカメラ（ＣＩＥ１９６４等色関数を使用してシミュレート）の両方に対してシミュレートされたカメラ応答を生成するためにハイパースペクトル画像データベースからのハイパースペクトル画像を使用した。両方の場合で、カメラ応答を０～１の範囲に正規化し、センサー量子効率を全てのチャネルにわたる平均場面輝度に基づいて推定した。推定された全ての場面にわたり、最適化されたＣＦＡは、コンシューマグレードＲＧＢカメラのそれよりも、平均すると、１０４％高かった、量子効率を示した。図１５Ａおよび図１５Ｂは、それぞれ、シミュレートされたＲＧＢカメラによって見たときのサンプル場面、および最適化されたカメラシステムによって再構築されたサンプル場面を（モノクロで）示す。画像から明らかなように、最適化されたカメラシステムによって生じた図１５Ｂの画像は、量子効率において９６％の向上を示し、顕著な色／空間アーチファクトはない。
【0156】
本開示のカメラシステムは、ＣＭＯＳまたはＣＣＤセンサー上に重ね合わせるために、開示する方法に従ってカスタマイズしたＣＦＡの製造および設置により、かかる最適化されたＣＦＡを採用することによって実装され得る。代替として、本開示のカメラは、いかなるカスタマイズされたＣＦＡも含まない可能性があるか、または様々なタイプの１つ以上のＣＦＡを含み得る。カメラは、ＲＧＢカメラまたは任意の他のマルチスペクトルカメラであり得る。
【0157】
前述の最適化されたＣＦＡは、４つのカラーチャネルを使用するが、本開示のカメラシステムは、もっと少ない（例えば、３）か、または多い（５＋）カラーチャネルを使用し得る。上の説明はベイヤーフィルタ実施態様に重点を置くが、本システムは、３－ＣＣＤ様ビームスプリッタ構成などの、他の構成で実装できる。
【0158】
上の説明は、「ＲＧＢ画像からのハイパースペクトルデータの回復」で前述したＨＳ回復方法を使用するが、この方法は、何らかの他のＨＳ回復方法で代用され得るか、またはＨＳ再構築の結果および対応するＲＧＢ値を事前に計算し、従って、ＨＳデータ再構築の中間ステップを明示的には通過しない、同じ機能を備えたカメラシステムを作成することによってさえ完全に置き換えられ得る。
【0159】
実施態様検討事項
前述の実験では、上で開示したＨＳ再構築のための方法を採用したが、このアプローチは低コストコンシューマ向けハードウェアに増大した計算要求を課し得る。この結果を回避するために、いくつかの実施形態では、以下で説明するように、機械学習による結果または推定の事前計算が、採用され得る。
前述の実験では、上で開示したＨＳ再構築のための方法を採用したが、このアプローチは低コストコンシューマ向けハードウェアに増大した計算要求を課し得る。この結果を回避するために、いくつかの実施形態では、以下で説明するように、機械学習による結果または推定の事前計算が、採用され得る。
【0160】
ある実施形態で採用される事前計算構成では、ＨＳ再構築およびＲＧＢ投影プロセスがルックアップテーブルまたは類似のデータ構成によって一部、または完全に置き換えられる。可能なセンサー応答の空間（例えば、４フィルタアレイを備えた８ビットセンサーにおける単一画素に対して２５５４の可能な値）が分かっているので、各入力に対する対応するＨＳ値および／またはＲＧＢ投影が事前に計算されるか、または格納され得る。格納された値に対して、計算集約的な再構築および投影手順が、計算的に容易にされたルックアップ操作によって置き換えられる。
【0161】
加えて、前述の事前計算アプローチは、カメラシステムを実装するために必要な計算能力を大幅に削減できるが、完全なルックアップテーブルは多くの場合、大量のデータ記憶（数ギガバイト以上）を必要とし得る。この空間要求は、部分ルックアップテーブルをオンデマンド計算と組合わせることによって補うことができるが、ルックアップテーブルによって不十分にしかカバーされていない場面は、膨大な計算を必要とし得る。いくつかの実施形態では、この空間／計算のトレードオフは、機械学習によって補うことができる。第１に、標的センサーに対して完全に事前計算されたルックアップテーブルを生成する。一旦、テーブルが計算されると、カメラ入力と所望のＨＳ／ＲＧＢ出力との間のマッピングを学習するために、ディープニューラルネットワークなどの、機械学習技術が適用できる。このアプローチは、精度において幾分のペナルティを被り得るが、センサー入力と所望の出力との間のマッピングのコンパクトで計算効率の良い表現を生じるであろう。
【0162】
本システムのいくつかの適用
・ハイパースペクトルセンシング
撮像プロセス（図１４を参照）のステップ２で生成されたＨＳ情報は、材料分析などの、様々な用途のために直接、使用でき、ＲＧＢカメラと同一であると思われる、スペクトルシグネチャが、材料を区別するために使用できる。ハイパースペクトル情報は、既存の物体認識システムを改善するために、追加の入力としても使用できる。
・ハイパースペクトルセンシング
撮像プロセス（図１４を参照）のステップ２で生成されたＨＳ情報は、材料分析などの、様々な用途のために直接、使用でき、ＲＧＢカメラと同一であると思われる、スペクトルシグネチャが、材料を区別するために使用できる。ハイパースペクトル情報は、既存の物体認識システムを改善するために、追加の入力としても使用できる。
【0163】
・ＲＧＢまたはマルチスペクトルカメラシミュレーション
開示するカメラによって取得されたＨＳ情報は、たとえ選択されたフィルタが従来のＲＧＢまたはマルチスペクトルカメラフィルタの任意の他の所与のセットと大きく異なっていても、ＲＧＢまたは他のマルチスペクトル出力をそれから生成するのを可能にする。再構築されたＨＳ情報にＲＧＢ（または他のマルチスペクトル）応答関数を適用することにより、従来のＲＧＢまたは他の所望のマルチスペクトル画像が生成され得る。
開示するカメラによって取得されたＨＳ情報は、たとえ選択されたフィルタが従来のＲＧＢまたはマルチスペクトルカメラフィルタの任意の他の所与のセットと大きく異なっていても、ＲＧＢまたは他のマルチスペクトル出力をそれから生成するのを可能にする。再構築されたＨＳ情報にＲＧＢ（または他のマルチスペクトル）応答関数を適用することにより、従来のＲＧＢまたは他の所望のマルチスペクトル画像が生成され得る。
【0164】
ＲＧＢまたはマルチスペクトル情報を生成できるだけでなく、様々なカメラの色応答が、本開示のまさに同じカメラによって、適切な応答曲線を適用することにより、再現され得る。応答曲線は、芸術的効果のためにさらに操作され得る。
【0165】
・写真フィルタシミュレーション
写真編集ソフトウェアは、写真操作のためにますます複雑なオプションを提供するが、多くのプロの写真家は、様々な色効果を生じるために、物理的な、カメラに装着されたフィルタを使い続ける。物理的な写真フィルタのこの使用は、ソフトウェアベースのシミュレーションがスペクトル情報なしで実行するのが困難なために存続する。ＨＳ情報を正確に回復することにより、本カメラシステムは、後処理で写真フィルタの正確なシミュレーションを可能にする。
写真編集ソフトウェアは、写真操作のためにますます複雑なオプションを提供するが、多くのプロの写真家は、様々な色効果を生じるために、物理的な、カメラに装着されたフィルタを使い続ける。物理的な写真フィルタのこの使用は、ソフトウェアベースのシミュレーションがスペクトル情報なしで実行するのが困難なために存続する。ＨＳ情報を正確に回復することにより、本カメラシステムは、後処理で写真フィルタの正確なシミュレーションを可能にする。
【0166】
・光量子効率の向上
各フィルタは可視スペクトルのほぼ３分の１、おそらく、４００～１０００ナノメートル（ｎｍ）に広がり得る、カメラセンサー応答範囲に関しては、さらに少ない範囲、しかカバーしないので、従来型のＲＧＢフィルタは、見落とされることが多いが重要な、センサーの光感受性がほぼ６６％低下するという欠点を有する。様々な程度の光不足において、同じ制限が全てのマルチスペクトルカメラに存在し、非最適な取得状態（例えば、薄明り、夜間撮影、超短露光時間など）で著しく劣った性能となる。
各フィルタは可視スペクトルのほぼ３分の１、おそらく、４００～１０００ナノメートル（ｎｍ）に広がり得る、カメラセンサー応答範囲に関しては、さらに少ない範囲、しかカバーしないので、従来型のＲＧＢフィルタは、見落とされることが多いが重要な、センサーの光感受性がほぼ６６％低下するという欠点を有する。様々な程度の光不足において、同じ制限が全てのマルチスペクトルカメラに存在し、非最適な取得状態（例えば、薄明り、夜間撮影、超短露光時間など）で著しく劣った性能となる。
【0167】
本開示するカメラシステムは、正確なＲＧＢまたは他のマルチスペクトル画像を非ＲＧＢフィルタを用いて生成し得るので、所与のスペクトル範囲内のフィルタ応答またはその感応範囲の所与の部分（または全部）内でセンサーを貫通する光量を最大限にしながら、フィルタ選択を最適化するために、追加の制約が、説明する手順に導入され得る。カメラの光量子効率は従って、精度をほとんど損なうことなく、１００％以上向上し得る。
【0168】
・様々な照明条件にわたる全画素の一貫した露光、およびＲＧＢ－Ｃに対する優位性
ＲＧＢフィルタを除去するか、またはそれらの範囲を拡張することによるセンサー感度の向上は、前述のとおり、従来から、デュアルカメラシステム、またはＲＧＢ－Ｃ／ＲＧＢ－Ｗベイヤー構成のいずれかによって達成されてきた。デュアルカメラシステムは、Ｂ／Ｗ（モノクロ）カメラをＲＧＢカメラと共に利用し、第１のものを輝度情報を記録するために使用し、他方、第２のものは色情報を記録する。ＲＧＢ－Ｃ／ＲＧＢ－Ｗシステム（ＲＧＢ－ＣｌｅａｒまたはＲＧＢ－Ｗｈｉｔｅとしても知られる）は、「緑色」画素の一部または全部がフィルタ処理されていないか、または「クリア」画素によって置換されるベイヤーフィルタを備えた単一のセンサーを利用する。この「クリア」画素は、大いに向上した光量子効率を享受し、低照度設定において輝度情報を記録するために使用できる。
ＲＧＢフィルタを除去するか、またはそれらの範囲を拡張することによるセンサー感度の向上は、前述のとおり、従来から、デュアルカメラシステム、またはＲＧＢ－Ｃ／ＲＧＢ－Ｗベイヤー構成のいずれかによって達成されてきた。デュアルカメラシステムは、Ｂ／Ｗ（モノクロ）カメラをＲＧＢカメラと共に利用し、第１のものを輝度情報を記録するために使用し、他方、第２のものは色情報を記録する。ＲＧＢ－Ｃ／ＲＧＢ－Ｗシステム（ＲＧＢ－ＣｌｅａｒまたはＲＧＢ－Ｗｈｉｔｅとしても知られる）は、「緑色」画素の一部または全部がフィルタ処理されていないか、または「クリア」画素によって置換されるベイヤーフィルタを備えた単一のセンサーを利用する。この「クリア」画素は、大いに向上した光量子効率を享受し、低照度設定において輝度情報を記録するために使用できる。
【0169】
デュアルカメラシステムは、それが引き起こす視差と共に、第２のカメラを必要とするという欠点を有する。ＲＧＢ－Ｃシステムの主な欠点は、全ての画素を同時に正しく露出することが常に可能とは限らないことである。高照度環境では、「クリア」画素は、ＲＧＢ画素の正しい露出を容易にするために、露出過度にされる必要がある。これは、いくつかの情報筋によれば、場面空間情報の最大で２５％の損失となる。
【0170】
本システムでは、ＲＧＢ様フィルタ制約を取り除くと、画素照明レベル間に視差を導入することなく、高度に光量子効率の良いフィルタの選択が可能になる。これは、様々な照明条件にわたる全画素の一貫した露出を可能にして、デュアルカメラシステムのダイナミックレンジをＲＧＢ－Ｃシステムの単一センサーの優位性と効果的に組み合わせる。また全てのフィルタを最適化すると、センサーに入るのを許可される光の総量が依然としてＲＧＢ－Ｃ設計よりもかなり大きい。
【0171】
・照明補正
何年もの調査にかかわらず、コンシューマ向けカメラにおける照明補正（または「ホワイトバランス」）は未解決問題のままである。現世代のカメラはしばしば、特に、照明条件への挑戦において、人間レベルの色覚恒常（ｃｏｌｏｒ ｃｏｎｓｔａｎｃｙ）の照合に失敗する。ＨＳシステムは類似の課題に直面するが、照明推定の問題は、ＨＳ情報が利用可能な場合、著しく単純になる。
何年もの調査にかかわらず、コンシューマ向けカメラにおける照明補正（または「ホワイトバランス」）は未解決問題のままである。現世代のカメラはしばしば、特に、照明条件への挑戦において、人間レベルの色覚恒常（ｃｏｌｏｒ ｃｏｎｓｔａｎｃｙ）の照合に失敗する。ＨＳシステムは類似の課題に直面するが、照明推定の問題は、ＨＳ情報が利用可能な場合、著しく単純になる。
【0172】
本カメラシステムを使用すると、照明推定および補正は、ＨＳ空間内で実行され得る。結果として生じる補正されたＨＳ情報は、ＲＧＢ画像を生成するため、または他のＨＳ適用のために使用され得る（上の「ＲＧＢまたはマルチスペクトルカメラシミュレーション」を参照）。
【0173】
・再照明
一旦、照明と反射率が分離されると（上の「照明補正」を参照）、代替照明が場面反射率に適用されて、再照明された画像となり得る。
一旦、照明と反射率が分離されると（上の「照明補正」を参照）、代替照明が場面反射率に適用されて、再照明された画像となり得る。
【0174】
・スペクトル高ダイナミックレンジ（ＨＤＲ）撮像
ＨＤＲ撮像は、カメラセンサーおよびデジタル表示の両方における制限を克服しようと試みて、カメラセンサーまたは画面が記録／表示できるものよりも広い範囲の輝度値の捕捉および表示をシミュレートする。これは、各々が異なる露出設定の、２つ（またはそれ以上）の画像を捕捉し、それらを適切なアルゴリズムによって融合させることにより、実行される。
ＨＤＲ撮像は、カメラセンサーおよびデジタル表示の両方における制限を克服しようと試みて、カメラセンサーまたは画面が記録／表示できるものよりも広い範囲の輝度値の捕捉および表示をシミュレートする。これは、各々が異なる露出設定の、２つ（またはそれ以上）の画像を捕捉し、それらを適切なアルゴリズムによって融合させることにより、実行される。
【0175】
本カメラシステムでは、単一画像からのＨＳ情報は、ＲＧＢが作り出すことができるよりも広い範囲の色調の表示をシミュレートするために、処理されてＲＧＢに投影され得る。これは、科学／工業環境で重要なスペクトル情報を強調するため、または視覚的に心地良い効果のためのいずれかで、使用できる。
【0176】
・材料センシング
ＨＳ情報は、様々な材料のスペクトルシグネチャおよびそれらの組合せを識別することにより、画素ごとの材料識別を可能にし得る。
ＨＳ情報は、様々な材料のスペクトルシグネチャおよびそれらの組合せを識別することにより、画素ごとの材料識別を可能にし得る。
【0177】
本技術には多くの既存の産業用途があるが、コンシューマ環境における可能な使用は：食品分析／安全、プラントケア（水／栄養分）などを含む。
【0178】
・物体認識
ＨＳ情報は、画素レベルの材料識別を容易にできるが、それは、既存の物体認識パイプラインに対する追加の特徴源としても役立ち得る。
ＨＳ情報は、画素レベルの材料識別を容易にできるが、それは、既存の物体認識パイプラインに対する追加の特徴源としても役立ち得る。
【0179】
ＨＳ情報は既に、顔認識および他の複雑な物体認識タスクを改善することが示されている。例えば、Ｍ．Ｕｚａｉｒ，Ａ．Ｍａｈｍｏｏｄ，Ａ．Ｍｉａｎ，“Ｈｙｐｅｒｓｐｅｃｔｒａｌ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ Ｓｐａｔｉｏｓｐｅｃｔｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｆｕｓｉｏｎ ａｎｄ ＰＬＳ Ｒｅｇｒｅｓｓｉｏｎ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．２４，Ｉｓｓｕｅ ３，Ｍａｒｃｈ ２０１５を参照。
【0180】
本発明は、システム、方法、および／またはコンピュータプログラム製品として具現化され得る。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるために、コンピュータ可読プログラム命令をその上に有する、コンピュータ可読記憶媒体（または複数の媒体）を含み得る。
【0181】
コンピュータ可読記憶媒体は、命令実行装置によって使用するための命令を保持および格納できる有形的装置にできる。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光学式記憶装置、電磁記憶装置、半導体記憶装置、または前述の任意の適切な組合せであり得るが、それらに制限されない。コンピュータ可読記憶媒体のさらに具体的な例の包括的でないリストは、以下を含む：可搬式コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、可搬式コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピィディスク、命令がその上に記録された機械的にコード化された装置、および前述の任意の適切な組合せ。コンピュータ可読記憶媒体は、本明細書では、電波もしくは他の自由に伝搬する電磁波、導波管もしくは他の伝送媒体（例えば、光ファイバケーブルを通過する光パルス）を通って伝搬する電磁波、またはワイヤーを通って伝送される電気信号などの、本質的に一時的信号と解釈されるべきでない。むしろ、コンピュータ可読記憶媒体は、非一時的（すなわち、不揮発性）媒体である。
【0182】
本明細書で説明するコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置へ、または、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワークおよび／もしくは無線ネットワークを経由して、外部コンピュータもしくは外部記憶装置へダウンロードできる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび／またはエッジサーバーを含み得る。各コンピューティング／処理装置内のネットワークアダプタカードまたはネットワークインタフェースが、コンピュータ可読プログラム命令をネットワークから受信し、そのコンピュータ可読プログラム命令をそれぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体内に格納のために転送する。
【0183】
本発明の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、または、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋もしくは同様のものなどのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの、従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組合せで書かれたソースコードもしくはオブジェクトコードのいずれかであり得る。コンピュータ可読プログラム命令は、スタンドアロンソフトウェアパッケージとして、ユーザーのコンピュータ上で完全に、一部ユーザーのコンピュータ上で、一部ユーザーのコンピュータ上でかつ一部リモートコンピュータ上で、またはリモートコンピュータもしくはサーバー上で完全に、実行され得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくはワイドエリアネットワーク（ＷＡＮ）を含む、任意のタイプのネットワークを通してユーザーのコンピュータに接続され得るか、または接続は外部コンピュータに対して（例えば、インターネットサービスプロバイダを使用してインターネットを通して）行われ得る。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む、電子回路は、本発明の態様を実行するために、電子回路をパーソナライズするためのコンピュータ可読プログラム命令の状態情報を利用することにより、コンピュータ可読プログラム命令を実行し得る。
【0184】
本発明の態様は、本明細書では、本発明の実施形態に従った方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して、説明される。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図内のブロックの組合せは、コンピュータ可読プログラム命令によって実装できることが理解されるであろう。
【0185】
これらのコンピュータ可読プログラム命令は、マシンを作るために、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供され得、それにより、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行する、命令が、フローチャートおよび／またはブロック図のブロックもしくは複数のブロック内で指定された機能／動作を実装するための手段を作成する。コンピュータ、プログラマブルデータ処理装置、および／または他の装置に特定の方法で機能するように指示できる、これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体内にも格納され得、そのため、命令がその中に格納されたコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図のブロックもしくは複数のブロック内で指定された機能／動作の態様を実装する命令を含む製品を含む。
【0186】
コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、または他の装置にロードされて、一連の動作ステップが、コンピュータ、他のプログラマブル装置または他の装置上で実行されてコンピュータ実装プロセスを生じ得、それによりコンピュータ、他のプログラマブル装置、または他の装置上で実行する命令が、フローチャートおよび／またはブロック図のブロックもしくは複数のブロック内で指定された機能／動作を実装する。
【0187】
図中のフローチャートおよびブロック図は、本発明の様々な実施形態に従ったシステム、方法、およびコンピュータプログラム製品の可能な実施態様のアーキテクチャ、機能、および動作を例示する。これに関して、フローチャートまたはブロック図内の各ブロックは、命令のモジュール、セグメント、または一部を表し得、指定された論理関数（複数可）を実装するための１つ以上の実行可能命令を含む。いくつかの代替実施態様では、ブロック内に記述された機能は、図中に記述された順序から離れて生じ得る。例えば、連続して示された２つのブロックは、関係する機能に応じて、実際には、実質的に同時に実行され得るか、またはブロックは時々、逆の順番で実行され得る。ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図内のブロックの組合せは、指定された機能もしくは動作を実行するか、または専用ハードウェアおよびコンピュータ命令の組合せを実行する専用ハードウェアベースシステムによって実装できることも留意されるであろう。
【0188】
本発明の様々な実施形態の説明は、例示を目的として提示されており、包括的であることも、開示する実施形態に制限することも意図していない。多くの修正および変形が、説明する実施形態の範囲および精神から逸脱することなく、当業者に明らかであろう。本明細書で使用する用語は、実施形態の原理、実際の適用もしくは市場で見られる技術に対する技術的改善を最も良く説明するため、または当業者が本明細書で開示する実施形態を理解できるようにするために選択された。
【0189】
本出願の記述およびクレームでは、用語「備える」、「含む」および「有する」、ならびにその語形は、必ずしも、その用語が関連し得るリスト内のメンバに制限されない。加えて、本出願と、参照によって組み込まれる任意の文書との間に矛盾がある場合、本出願が制御することを本明細書によって意図する。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】