(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-10
(45)【発行日】2024-10-21
(54)【発明の名称】撮像装置
(51)【国際特許分類】
G01J 3/51 20060101AFI20241011BHJP
G01J 3/02 20060101ALI20241011BHJP
H04N 23/55 20230101ALI20241011BHJP
【ＦＩ】
G01J3/51
G01J3/02 Z
H04N23/55
【請求項の数】
15
(21)【出願番号】P 2022503190
(86)(22)【出願日】2021-01-29
(86)【国際出願番号】 JP2021003299
(87)【国際公開番号】W WO2021171905
(87)【国際公開日】2021-09-02
【審査請求日】2023-12-14
(31)【優先権主張番号】P 2020033582
(32)【優先日】2020-02-28
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100184985
【弁理士】
【氏名又は名称】田中 悠
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(74)【代理人】
【識別番号】100218981
【弁理士】
【氏名又は名称】武田 寛之
(72)【発明者】
【氏名】八子 基樹
(72)【発明者】
【氏名】石川 篤
(72)【発明者】
【氏名】久田 和也
【審査官】横尾 雅一
(56)【参考文献】
【文献】特表２０２０－５０６３７３（ＪＰ，Ａ）
【文献】特表２０２０－５０３５１６（ＪＰ，Ａ）
【文献】特開２０１３－０９０２３０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０２５６０２９（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１６／００６９７４３（ＵＳ，Ａ１）
【文献】中国特許出願公開第１０２７４９１３９（ＣＮ，Ａ）
【文献】特開２０１２－１５０１１２（ＪＰ，Ａ）
【文献】特開２００５－２６０４８０（ＪＰ，Ａ）
【文献】中国特許出願公開第１０９４４３５３７（ＣＮ，Ａ）
【文献】特開２００６－２７６８６３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｊ ３／００ － Ｇ０１Ｊ ３／５２
Ｇ０１Ｎ ２１／００ － Ｇ０１Ｎ ２１／６１
Ｇ０２Ｂ ５／２０ － Ｇ０２Ｂ ５／２８
Ｈ０４Ｎ ５／２２２－ Ｈ０４Ｎ ５／２５７
Ｈ０４Ｎ ５／３８ － Ｈ０４Ｎ ５／４６
Ｈ０４Ｎ ５／６４ － Ｈ０４Ｎ ５／６５５
Ｈ０４Ｎ ９／００
Ｈ０４Ｎ １１／００
Ｈ０４Ｎ ２３／４０ － Ｈ０４Ｎ ２３／７６
ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
イメージセンサと、対象物から前記イメージセンサまでの光路上に配置され、２次元的に配列された複数の光学フィルタを含むフィルタアレイであって、前記複数の光学フィルタは、分光透過率が互いに異なる複数種類の光学フィルタを含む、フィルタアレイと、
前記イメージセンサによって取得された画像に基づき、４つ以上の分光画像データを生成する処理回路と、
を備え、
前記４つ以上の分光画像データの各々は、４つ以上の波長バンドのうちの１つの波長バンドに対応する画像を表し、
前記フィルタアレイは１つ以上の特徴部を含み、
前記処理回路は、前記イメージセンサによって取得された前記画像における前記１つ以上の特徴部に基づき、前記フィルタアレイと前記イメージセンサとの相対位置を検出し、前記相対位置と予め設定された相対位置とのずれを検出したとき、前記ずれを補償する、
撮像装置。
【請求項2】
前記フィルタアレイを移動させる第１の駆動装置をさらに備え、前記処理回路は、前記第１の駆動装置を制御して前記相対位置を補正することにより、前記ずれを補償する、
請求項１に記載の撮像装置。
【請求項3】
前記イメージセンサを移動させる第２の駆動装置をさらに備え、前記処理回路は、前記第２の駆動装置を制御して前記相対位置を補正することにより、前記ずれを補償する、
請求項１または２に記載の撮像装置。
【請求項4】
前記フィルタアレイと前記イメージセンサとを結ぶ光路上に配置され、前記フィルタアレイを通過した光による像を前記イメージセンサの撮像面上に形成する光学系と、前記光学系によって形成される前記像の位置を変化させる第３の駆動装置と、
をさらに備え、
前記処理回路は、前記第３の駆動装置を制御して前記像の位置を補正することにより、前記ずれを補償する、
請求項１から３のいずれかに記載の撮像装置。
【請求項5】
前記処理回路は、前記イメージセンサによって取得された前記画像と、前記複数の光学フィルタの前記分光透過率の空間分布を示すデータとに基づき、前記４つ以上の分光画像データを生成し、前記処理回路は、前記分光透過率の前記空間分布を示す前記データを補正することにより、前記ずれを補償する、
請求項１から４のいずれかに記載の撮像装置。
【請求項6】
前記処理回路は、前記イメージセンサによって取得された前記画像と、前記複数の光学フィルタの前記分光透過率の空間分布を示すデータとに基づき、前記４つ以上の分光画像データを生成し、前記処理回路は、前記イメージセンサによって取得された前記画像の座標を補正することにより、前記ずれを補償する、
請求項１から４のいずれかに記載の撮像装置。
【請求項7】
前記１つ以上の特徴部は、１つ以上のアライメントマークである、請求項１から６のいずれかに記載の撮像装置。
【請求項8】
前記１つ以上のアライメントマークの各々は、第１の方向に延びる第１の部分と、前記第１の方向に交差する第２の方向に延びる第２の部分とを含み、前記処理回路は、前記イメージセンサによって取得された前記画像における前記第１の部分の長さおよび前記第２の部分の長さの比に基づいて、前記フィルタアレイの煽りを検出し、前記煽りの影響を低減する動作をさらに実行する、
請求項７に記載の撮像装置。
【請求項9】
前記１つ以上のアライメントマークは、複数のアライメントマークを含み、前記処理回路は、前記イメージセンサによって取得された前記画像における前記複数のアライメントマークの位置関係に基づいて、前記フィルタアレイの煽りを検出し、前記煽りの影響を低減する動作をさらに実行する、
請求項７または８に記載の撮像装置。
【請求項10】
前記イメージセンサは、各々が受けた光の強度に応じた信号を出力する複数の光検出素子を含み、前記処理回路は、前記複数の光検出素子のうち、前記フィルタアレイにおける領域を通過した光を受ける光検出素子から出力された信号に基づいて、前記４つ以上の分光画像データを生成し、
前記１つ以上のアライメントマークは、前記領域の外側にある、
請求項７から９のいずれかに記載の撮像装置。
【請求項11】
前記１つ以上のアライメントマークは、前記相対位置が予め設定された相対位置である場合に前記イメージセンサによって撮像可能な範囲の内側にある、請求項７から１０のいずれかに記載の撮像装置。
【請求項12】
前記フィルタアレイは、前記相対位置が予め設定された相対位置である場合に前記イメージセンサによって撮像可能な範囲よりも大きく、前記１つ以上のアライメントマークは、前記範囲の外側にある、
請求項７から１０のいずれかに記載の撮像装置。
【請求項13】
イメージセンサと、対象物から前記イメージセンサまでの光路上に配置され、２次元的に配列された複数の光学フィルタを含むフィルタアレイであって、前記複数の光学フィルタは、分光透過率が互いに異なる複数種類の光学フィルタを含む、フィルタアレイと、
前記イメージセンサによって取得された画像、および前記複数の光学フィルタの前記分光透過率の空間分布を示すデータに基づき、４つ以上の分光画像データを生成する処理回路と、
を備え、
前記４つ以上の分光画像データの各々は、４つ以上の波長バンドのうちの１つの波長バンドに対応する画像を表し、
前記処理回路は、
（ａ）前記４つ以上の分光画像データを生成する処理を、前記フィルタアレイと前記イメージセンサとの相対位置を変化させて複数回繰り返すことにより、複数組の前記４つ以上の分光画像データを生成する第１の動作、または
（ｂ）前記４つ以上の分光画像データを生成する処理を、前記イメージセンサによって取得された前記画像の座標を変化させて複数回繰り返すことにより、複数組の前記４つ以上の分光画像データを生成する第２の動作
を実行し、
前記複数組の前記４つ以上の分光画像データを合成することにより、出力データを生成する、
撮像装置。
【請求項14】
前記第１の動作は、前記相対位置の変化に応じて、前記分光透過率の前記空間分布を示す前記データを補正することを含む、請求項１３に記載の撮像装置。
【請求項15】
前記第２の動作は、前記座標の変化に応じて、前記分光透過率の前記空間分布を示す前記データを補正することを含む、請求項１３に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置に関する。
【背景技術】
【0002】
各々が狭帯域である多数の波長バンド、例えば数十バンドのスペクトル情報を活用することにより、従来のＲＧＢ画像では不可能であった対象物の詳細な物性の把握が可能になる。このような多波長の情報を取得するカメラは、「ハイパースペクトルカメラ」と呼ばれる。ハイパースペクトルカメラは、食品検査、生体検査、医薬品開発、および鉱物の成分分析などの様々な分野で利用されている。
【0003】
特許文献１は、圧縮センシングを利用したハイパースペクトル撮像装置の例を開示している。当該撮像装置は、光透過率の波長依存性が互いに異なる複数の光学フィルタのアレイである符号化素子と、符号化素子を透過した光を検出するイメージセンサと、信号処理回路とを備える。被写体とイメージセンサとを結ぶ光路上に、符号化素子が配置される。イメージセンサは、画素ごとに、複数の波長バンドの成分が重畳された光を同時に検出することにより、１つの波長多重画像を取得する。信号処理回路は、符号化素子の分光透過率（spectral transmittance）の空間分布の情報を利用して、取得された波長多重画像に圧縮センシングを適用することにより、複数の波長バンドのそれぞれについての画像データを再構成する。
【先行技術文献】
【特許文献】
【0004】
【文献】米国特許第９５９９５１１号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は、複数の波長バンドの画像の再構成に伴う誤差を低減させるための技術を提供する。
【課題を解決するための手段】
【0006】
本開示の一態様に係る撮像装置は、イメージセンサと、対象物から前記イメージセンサまでの光路上に配置され、２次元的に配列された複数の光学フィルタを含むフィルタアレイであって、前記複数の光学フィルタは、分光透過率が互いに異なる複数種類の光学フィルタを含む、フィルタアレイと、前記イメージセンサによって取得された画像に基づき、４つ以上の分光画像データを生成する処理回路と、を備える。前記４つ以上の分光画像データの各々は、４つ以上の波長バンドのうちの１つの波長バンドに対応する画像を表す。前記フィルタアレイは１つ以上の特徴部を含む。前記処理回路は、前記イメージセンサによって取得された前記画像における前記１つ以上の特徴部に基づき、前記フィルタアレイと前記イメージセンサとの相対位置を検出し、前記相対位置と予め設定された相対位置とのずれを検出したとき、前記ずれを補償する。
【0007】
本開示の他の態様に係る撮像装置は、イメージセンサと、対象物から前記イメージセンサまでの光路上に配置され、２次元的に配列された複数の光学フィルタを含むフィルタアレイであって、前記複数の光学フィルタは、分光透過率が互いに異なる複数種類の光学フィルタを含む、フィルタアレイと、前記イメージセンサによって取得された画像、および前記複数の光学フィルタの前記分光透過率の空間分布を示すデータに基づき、４つ以上の分光画像データを生成する処理回路と、を備える。前記４つ以上の分光画像データの各々は、４つ以上の波長バンドのうちの１つの波長バンドに対応する画像を表す。前記処理回路は、（ａ）前記４つ以上の分光画像データを生成する処理を、前記フィルタアレイと前記イメージセンサとの相対位置を変化させて複数回繰り返すことにより、複数組の前記４つ以上の分光画像データを生成する第１の動作、または（ｂ）前記４つ以上の分光画像データを生成する処理を、前記イメージセンサによって取得された前記画像の座標を変化させて複数回繰り返すことにより、複数組の前記４つ以上の分光画像データを生成する第２の動作を実行し、前記複数組の前記４つ以上の分光画像データを合成することにより、出力データを生成する。
【0008】
本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ‐Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含み得る。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
【発明の効果】
【0009】
本開示の一態様によれば、複数の波長バンドの画像の再構成に伴う誤差を低減させることができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下で説明される実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、およびステップの順序は、一例であり、本開示の技術を限定する趣旨ではない。以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一または類似の構成要素には同一の符号が付されている。重複する説明は省略または簡略化されることがある。
【0012】
本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。
【0013】
さらに、回路、ユニット、装置、部材または部の全部または一部の機能または動作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
【0014】
本開示の実施形態に係るハイパースペクトル撮像装置の構成例、および本発明者らによって見出された知見を説明する。
【0015】
図１Ａは、例示的な撮像装置を模式的に示す図である。この撮像装置は、特許文献１に開示された撮像装置と同様の構成を備える。撮像装置は、光学系４０と、フィルタアレイ１００と、イメージセンサ６０と、処理回路２００とを備える。フィルタアレイ１００は、特許文献１に開示されている「符号化素子」と同様の構造および機能を有する。光学系４０およびフィルタアレイ１００は、被写体である対象物７０から入射する光の光路上に配置されている。フィルタアレイ１００は、光学系４０とイメージセンサ６０との間で且つ、イメージセンサ６０から離れた位置に配置される。図１Ａには、対象物７０の一例として、リンゴが例示されている。対象物７０は、リンゴに限らず、任意の物体であり得る。処理回路２００は、イメージセンサ６０が生成した画像データに基づいて、検出対象となる特定の波長域（以下、「対象波長域」と称することがある。）に含まれる複数の波長バンドのそれぞれについて分光画像データを生成する。以下の説明において、生成される複数の波長バンドの分光画像データを、分離画像２２０Ｗ１、２２０Ｗ２、・・・、２２０ＷＮと称し、これらを分離画像２２０と総称する。本明細書において、画像を示す信号（すなわち、各画素の画素値を表す信号の集合）を、単に「画像」と称することがある。
【0016】
フィルタアレイ１００は、行および列状に配列された透光性を有する複数のフィルタのアレイである。複数のフィルタは、分光透過率、すなわち光透過率の波長依存性が互いに異なる複数種類のフィルタを含む。フィルタアレイ１００は、入射光の強度を波長ごとに変調して出力する。フィルタアレイ１００によるこの過程を、本明細書において「符号化」と称する。
【0017】
イメージセンサ６０は、２次元的に配列された複数の光検出素子（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの光検出器である。イメージセンサ６０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサであり得る。
【0018】
処理回路２００は、イメージセンサ６０によって取得された画像１２０に基づいて、複数の波長バンドの情報をそれぞれ含む複数の分離画像２２０Ｗ１、２２０Ｗ２、・・・２２０ＷＮのデータを生成する。
【0019】
図１Ｂおよび図１Ｃは、撮像装置の他の構成例を示す図である。図１Ｂの例では、フィルタアレイ１００が対象物７０と光学系４０との間に配置されている。図１Ｃの例では、撮像装置が２つの光学系４０Ａおよび４０Ｂを備え、それらの間にフィルタアレイ１００が配置されている。これらの例のように、フィルタアレイ１００とイメージセンサ６０との間に光学系が配置されていてもよい。
【0020】
図２Ａは、フィルタアレイ１００の例を模式的に示す図である。フィルタアレイ１００は、２次元的に配列された複数の領域を有する。本明細書では、当該領域を、「セル」と称することがある。各領域には、個別に設定された分光透過率を有する光学フィルタが配置されている。分光透過率は、入射光の波長をλとして、関数Ｔ（λ）で表される。分光透過率Ｔ（λ）は、０以上１以下の値を取り得る。
【0021】
図２Ａに示す例では、フィルタアレイ１００は、６行８列に配列された４８個の矩形領域を有している。これはあくまで例示であり、実際の用途では、これよりも多くの領域が設けられ得る。その数は、例えばイメージセンサ６０の画素数と同程度であってもよい。フィルタアレイ１００に含まれるフィルタ数は、例えば数十から数千万の範囲で用途に応じて決定される。
【0022】
図２Ｂは、対象波長域に含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮのそれぞれの光の透過率の空間分布の一例を示す図である。図２Ｂに示す例では、各領域の濃淡の違いは、透過率の違いを表している。淡い領域ほど透過率が高く、濃い領域ほど透過率が低い。図２Ｂに示すように、波長バンドによって光透過率の空間分布が異なっている。
【0023】
図２Ｃおよび図２Ｄは、それぞれ、図２Ａに示すフィルタアレイ１００に含まれる領域Ａ１および領域Ａ２の分光透過率の例を示す図である。領域Ａ１の分光透過率と領域Ａ２の分光透過率とは、互いに異なる。このように、フィルタアレイ１００の分光透過率は、領域によって異なる。ただし、必ずしもすべての領域の分光透過率が異なっている必要はない。フィルタアレイ１００では、複数の領域の少なくとも一部の領域の分光透過率が互いに異なっている。フィルタアレイ１００は、分光透過率が互いに異なる２つ以上のフィルタを含む。ある例では、フィルタアレイ１００に含まれる複数の領域の分光透過率のパターンの数は、対象波長域に含まれる波長バンドの数Ｎと同じか、それ以上であり得る。フィルタアレイ１００は、半数以上の領域の分光透過率が異なるように設計されていてもよい。
【0024】
図３Ａおよび図３Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍから約７００ｎｍの可視光の波長域、約７００ｎｍから約２５００ｎｍの近赤外線の波長域、または約１０ｎｍから約４００ｎｍの近紫外線の波長域であり得る。あるいは、対象波長域Ｗは、中赤外、遠赤外、テラヘルツ波、またはミリ波などの電波域であってもよい。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、近紫外線、近赤外線、および電波などの非可視光も便宜上「光」と称する。
【0025】
図３Ａに示す例では、Ｎを４以上の任意の整数として、対象波長域ＷをＮ等分したそれぞれの波長域を波長バンドＷ１、Ｗ２、・・・、ＷＮとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長バンドは任意に設定してもよい。例えば、波長バンドによって帯域幅を不均一にしてもよい。隣接する波長バンドの間にギャップまたは重なりがあってもよい。図３Ｂに示す例では、波長バンドによって帯域幅が異なり、かつ、隣接する２つの波長バンドの間にギャップがある。このように、複数の波長バンドは、互いに異なっていればよく、その決め方は任意である。
【0026】
図４Ａは、フィルタアレイ１００のある領域における分光透過率の特性を説明するための図である。図４Ａに示す例では、分光透過率は、対象波長域Ｗ内の波長に関して、複数の極大値Ｐ１からＰ５、および複数の極小値を有する。図４Ａに示す例では、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。図４Ａに示す例では、波長バンドＷ２、および波長バンドＷＮ－１などの波長域において、分光透過率が極大値を有している。このように、各領域の分光透過率は、複数の波長バンドＷ１からＷＮのうち、複数の波長域において極大値を有する。図４Ａの例では、極大値Ｐ１、極大値Ｐ３、極大値Ｐ４、および極大値Ｐ５は０．５以上である。
【0027】
以上のように、各領域の光透過率は、波長によって異なる。したがって、フィルタアレイ１００は、入射する光のうち、ある波長域の成分を多く透過させ、他の波長域の成分をそれほど透過させない。例えば、Ｎ個の波長バンドのうちのｋ個の波長バンドの光については、透過率が０．５よりも大きく、残りのＮ－ｋ個の波長域の光については、透過率が０．５未満であり得る。ｋは、２≦ｋ＜Ｎを満たす整数である。仮に入射光が、すべての可視光の波長成分を均等に含む白色光であった場合には、フィルタアレイ１００は、入射光を領域ごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。
【0028】
図４Ｂは、一例として、図４Ａに示す分光透過率を、波長域Ｗ１、Ｗ２、・・・、ＷＮごとに平均化した結果を示す図である。平均化された透過率は、分光透過率Ｔ（λ）を波長バンドごとに積分してその波長バンドの帯域幅で除算することによって得られる。本明細書では、このように波長バンドごとに平均化した透過率の値を、その波長バンドにおける透過率とする。この例では、極大値Ｐ１、Ｐ３およびＰ５をとる３つの波長域において、透過率が突出して高くなっている。特に、極大値Ｐ３およびＰ５をとる２つの波長域において、透過率が０．８を超えている。
【0029】
図２Ａから図２Ｄに示す例では、各領域の透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布が想定されている。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各領域の透過率が略０または略１のいずれかの値を取り得るバイナリスケールの透過率分布を採用してもよい。バイナリスケールの透過率分布では、各領域は、対象波長域に含まれる複数の波長域のうちの少なくとも２つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない。ここで「大部分」とは、概ね８０％以上を指す。
【0030】
全セルのうちの一部、例えば半分のセルを、透明領域に置き換えてもよい。そのような透明領域は、対象波長域に含まれるすべての波長域Ｗ１からＷＮの光を同程度の高い透過率、例えば８０％以上の透過率で透過させる。そのような構成では、複数の透明領域は、例えば市松（checkerboard）状に配置され得る。すなわち、フィルタアレイ１００における複数の領域の２つの配列方向において、光透過率が波長によって異なる領域と、透明領域とが交互に配列され得る。
【0031】
このようなフィルタアレイ１００の分光透過率の空間分布を示すデータは、設計データまたは実測キャリブレーションによって事前に取得され、処理回路２００が備える記憶媒体に格納される。このデータは、後述する演算処理に利用される。
【0032】
フィルタアレイ１００は、例えば、多層膜、有機材料、回折格子構造、または金属を含む微細構造を用いて構成され得る。多層膜を用いる場合、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。この場合、セルごとに各多層膜の厚さ、材料、および積層順序の少なくとも１つが異なるように形成される。これにより、セルによって異なる分光特性を実現できる。多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立下りを実現できる。有機材料を用いた構成は、セルによって含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、セルごとに異なる回折ピッチまたは深さの回折構造を設けることによって実現され得る。金属を含む微細構造を用いる場合は、プラズモン効果による分光を利用して作製され得る。
【0033】
次に、処理回路２００による信号処理の例を説明する。処理回路２００は、イメージセンサ６０から出力された画像１２０、およびフィルタアレイ１００の波長ごとの透過率の空間分布特性に基づいて、多波長の分離画像２２０を再構成する。ここで多波長とは、例えば通常のカラーカメラで取得されるＲＧＢの３色の波長域よりも多くの波長域を意味する。この波長域の数は、例えば４から１００程度の数であり得る。この波長域の数を、バンド数と称する。用途によっては、バンド数は１００を超えていてもよい。
【0034】
求めたいデータは分離画像２２０であり、そのデータをｆとする。バンド数をＮとすると、ｆは、各バンドの画像データｆ１、ｆ２、・・・、ｆＮを統合したデータである。ここで、図１Ａに示すように、画像の横方向をｘ方向、画像の縦方向をｙ方向とする。求めるべき画像データのｘ方向の画素数をｎとし、ｙ方向の画素数をｍとすると、画像データｆ１、ｆ２、・・・、ｆＮの各々は、ｎ×ｍ画素の２次元データの集まりである。したがって、データｆは要素数ｎ×ｍ×Ｎの３次元データである。一方、フィルタアレイ１００によって符号化および多重化されて取得される画像１２０のデータｇの要素数はｎ×ｍである。データｇは、以下の式（１）によって表すことができる。
【数1】
【0035】
ここで、ｆ１、ｆ２、・・・、ｆＮは、ｎ×ｍ個の要素を有するデータである。したがって、右辺のベクトルは、厳密にはｎ×ｍ×Ｎ行１列の１次元ベクトルである。ベクトルｇは、ｎ×ｍ行１列の１次元ベクトルに変換して表され、計算される。行列Ｈは、ベクトルｆの各成分ｆ１、ｆ２、・・・、ｆＮを波長バンドごとに異なる符号化情報で符号化および強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×Ｎ列の行列である。本明細書において、行列Ｈを「システム行列」と称することがある。
【0036】
ベクトルｇと行列Ｈが与えられれば、式（１）の逆問題を解くことにより、ｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×Ｎが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題であり、このままでは解くことができない。そこで、処理回路２００は、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（２）を解くことにより、求めるデータｆが推定される。
【数2】
【0037】
ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値または二乗和平方根等を残差項としてもよい。括弧内の第２項は、正則化項または安定化項である。式（２）は、第１項と第２項との和を最小化するｆを求めることを意味する。処理回路２００は、再帰的な反復演算によって解を収束させ、最終的な解ｆ’を算出することができる。
【0038】
式（２）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによって変換したＨｆとの差の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。この関数は、推定データを滑らかまたは安定にする効果をもたらす。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）などによって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物７０のスパース性は、対象物７０のテキスチャによって異なる。対象物７０のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
【0039】
なお、図１Ａから図１Ｃの構成においては、フィルタアレイ１００によって符号化された像は、イメージセンサ６０の撮像面上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、そのボケ情報を前述のシステム行列Ｈに反映させることにより、分離画像２２０を再構成することができる。ここで、ボケ情報は、点拡がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の輝度への影響を示す係数群、すなわち行列として規定され得る。ＰＳＦによる符号化パターンのボケの影響を、システム行列Ｈに反映させることにより、分離画像２２０を再構成することができる。フィルタアレイ１００が配置される位置は任意であるが、フィルタアレイ１００の符号化パターンが拡散しすぎて消失しない位置が選択され得る。
【0040】
以上の構成において、処理回路２００は、イメージセンサ６０によって撮像された領域と同じかそれよりも小さい領域について、波長バンドごとに分離画像２２０を生成する。正確な分離画像２２０を取得するためには、フィルタアレイ１００の分光透過率の空間分布を示すデータ（例えば、上記のシステム行列Ｈについての情報）を予め正確に決定しておくことが求められる。フィルタアレイ１００の分光透過率の空間分布を示すデータは、例えば設計時または製造時に、各波長バンドに属する波長の光を出射する光源を用いて、フィルタアレイ１００の背後から光を照射して透過光の強度を測定する実験によって決定され得る。決定された分光透過率の空間分布を示すデータが処理回路２００の記憶媒体に予め記録される。
【0041】
このように、波長バンドごとの複数の画像を生成するためには、フィルタアレイ１００の分光透過率の空間分布を正確に把握することが重要である。フィルタアレイ１００の分光透過率の空間分布を誤った状態で上記の演算を行うと、誤った分離画像が生成される。すなわち、誤った分光透過率の空間分布は、波長分解能の大幅な低下をもたらす。
【0042】
この課題は、フィルタアレイ１００を撮像装置から取り外したり取り付けたりすることが可能な構成において、特に顕著である。対象物７０の種類または着目すべき波長バンドが変われば、最適なフィルタアレイ１００の特性も変化する。フィルタアレイ１００が交換可能であれば、対象物７０または用途に応じて最適なフィルタアレイ１００を選択して取り付けることができる。その場合、フィルタアレイ１００ごとに分光透過率の空間分布を示すデータが予め決定され、記憶媒体に格納される。
【0043】
しかし、フィルタアレイ１００が着脱可能である場合、フィルタアレイ１００とイメージセンサ６０との相対位置が、予め設定された相対位置からずれる可能性がある。そのようなずれが生じた場合、同一のフィルタアレイ１００を用いた場合であっても、イメージセンサ６０から見たフィルタアレイ１００の分光透過率の空間分布が変化してしまう。特に、フィルタアレイ１００における複数のフィルタがランダムに、またはランダムに近い態様で配列されている場合、相対位置がずれると、分光透過率の空間分布が全く異なったものになり得る。例えば、イメージセンサ６０における画素１つ分だけフィルタアレイ１００とイメージセンサ６０との相対位置が変化した場合、イメージセンサ６０から見たフィルタアレイ１００の分光透過率の空間分布は画素一つ分だけ変化する。フィルタアレイ１００がランダムに、またはランダムに近い態様で配列されている場合、画素一つ分ずれたフィルタは、本来のフィルタとは全く異なる分光透過率を有し得る。このため、予め用意されたシステム行列Ｈを用いた演算の結果に誤差が生じ、不正確な画像が生成される可能性がある。言い換えれば、波長分解能が著しく低下する可能性がある。
【0044】
以上のように、多波長画像を取得するハイパースペクトルカメラにおいて、フィルタアレイとイメージセンサとの相対位置の変化は、多波長画像の画質の低下を招く場合がある。特に上述した例のように、多波長の分離画像２２０を構成するための演算にフィルタアレイ１００の分光透過率の空間分布情報を用いる場合、相対位置の変化による画質への影響は顕著となる。そこで、本開示の一実施形態では、イメージセンサによって取得された画像から、フィルタアレイ１００が有する１つ以上の特徴部を検出し、当該特徴部の情報に基づいて、フィルタアレイとイメージセンサとの相対位置のずれを検出可能にする。さらに、当該ずれを補償する動作を導入することにより、上記の課題を解決できる。例えば、フィルタアレイとイメージセンサとの相対位置を物理的に補正したり、取得された画像データまたはフィルタアレイの分光透過率の空間分布を示すデータを補正したりすることにより、相対位置のずれに起因する演算誤差を低減できる。本開示のある実施形態によれば、フィルタアレイとイメージセンサとの相対位置が、予め設定された相対位置から変化することに起因する波長分解能の低下を防ぐことができる。
【0045】
本発明者らはまた、フィルタアレイとイメージセンサとの相対位置のずれの有無によらず、複数の波長バンドの画像の生成に伴う誤差を低減させる演算方法に想到した。
【0046】
以下、本開示の実施形態の概要を説明する。
【0047】
本開示の一態様に係る撮像装置は、イメージセンサと、対象物から前記イメージセンサまでの光路上に配置され、２次元的に配列された複数の光学フィルタを含むフィルタアレイであって、前記複数の光学フィルタは、分光透過率が互いに異なる複数種類の光学フィルタを含む、フィルタアレイと、前記イメージセンサによって取得された画像に基づき、４つ以上の分光画像データを生成する処理回路と、を備える。前記４つ以上の分光画像データの各々は、４つ以上の波長バンドのうちの１つの波長バンドに対応する画像を表す。前記フィルタアレイは１つ以上の特徴部を含む。前記処理回路は、前記イメージセンサによって取得された前記画像における前記１つ以上の特徴部に基づき、前記フィルタアレイと前記イメージセンサとの相対位置を検出し、前記相対位置と予め設定された相対位置とのずれを検出したとき、前記相対位置の前記ずれを補償する。
【0048】
上記構成によれば、フィルタアレイは、１つ以上の特徴部を、例えば表面または外周部に有する。処理回路は、取得された画像に含まれる当該１つ以上の特徴部の位置、形状、または大きさなどの情報に基づいて、フィルタアレイとイメージセンサとの相対位置を検出することができる。処理回路は、当該相対位置が、例えば予め設定された初期の相対位置から変化しているとき、当該相対位置のずれを補償する動作を実行する。例えば、フィルタアレイとイメージセンサとの相対位置を物理的に補正したり、信号処理によって相対位置のずれの影響を低減させる動作が実行され得る。そのような動作により、相対位置のずれに起因する分光画像データの誤差を低減することができる。
【0049】
前記撮像装置は、前記フィルタアレイを移動させる第１の駆動装置をさらに備えていてもよい。その場合、前記処理回路は、前記第１の駆動装置を制御して前記相対位置を補正することにより、前記ずれを補償してもよい。
【0050】
上記構成によれば、相対位置のずれが検出されたとき、第１の駆動装置が、フィルタアレイを移動させることにより、当該相対位置のずれを低減させる。これにより、相対位置のずれに起因する分光画像データの誤差を低減することができる。第１の駆動装置は、フィルタアレイを回転させることによって相対位置のずれを補償してもよい。
【0051】
前記撮像装置は、前記イメージセンサを移動させる第２の駆動装置をさらに備えていてもよい。その場合、前記処理回路は、前記第２の駆動装置を制御して前記相対位置を補正することにより、前記ずれを補償してもよい。
【0052】
上記構成によれば、相対位置のずれが検出されたとき、第２の駆動装置が、イメージセンサを移動させることにより、当該相対位置のずれを低減させる。これにより、相対位置のずれに起因する分光画像データの誤差を低減することができる。第２の駆動装置は、イメージセンサを回転させることによって相対位置のずれを補償してもよい。
【0053】
前記撮像装置は、前記フィルタアレイと前記イメージセンサとを結ぶ光路上に配置され、前記フィルタアレイを通過した光による像を前記イメージセンサの撮像面上に形成する光学系と、前記光学系によって形成される前記像の位置を変化させる第３の駆動装置と、をさらに備えていてもよい。その場合、前記処理回路は、前記第３の駆動装置を制御して前記像の位置を補正することにより、前記ずれを補償してもよい。
【0054】
上記構成によれば、相対位置のずれが検出されたとき、第３の駆動装置が、光学系を例えば移動または回転させることにより、光学系によって形成される像の位置を変化させる。これにより、相対位置のずれに起因する分光画像データの誤差を低減することができる。
【0055】
前記処理回路は、前記イメージセンサによって取得された前記画像と、前記複数の光学フィルタの前記分光透過率の空間分布を示すデータとに基づき、前記４つ以上の分光画像データを生成してもよい。その場合、前記処理回路は、前記分光透過率の前記空間分布を示す前記データを補正することにより、前記ずれを補償してもよい。
【0056】
上記構成によれば、処理回路は、相対位置のずれを検出したとき、複数の光学フィルタの分光透過率の空間分布を示すデータを補正する。複数の光学フィルタの分光透過率の空間分布を示すデータは、例えば前述の行列Ｈに相当する。当該データを補正することにより、相対位置のずれに起因する分光画像データの誤差を低減することができる。
【0057】
前記処理回路は、前記イメージセンサによって取得された前記画像の座標を補正することにより、前記ずれを補償してもよい。
【0058】
上記構成によれば、処理回路は、相対位置のずれを検出したとき、イメージセンサによって取得された画像の座標を補正する。ここで画像の座標の補正とは、当該画像が示すデータにおいて、座標と画素値との対応関係を補正することを意味する。画像の補正は、例えば、前述のベクトルｇに、並進または回転などの座標変換を行う操作に相当する。取得された画像を補正することにより、相対位置のずれに起因する分光画像データの誤差を低減することができる。
【0059】
前記フィルタアレイは、１つ以上のアライメントマークを有していてもよい。前記１つ以上の特徴部は、前記１つ以上のアライメントマークであってもよい。
【0060】
１つ以上のアライメントマークは、例えばフィルタアレイの表面に形成され得る。アライメントマークは、画像上で他の部位と識別可能な態様で形成される。例えば、周囲のフィルタの透過率よりも低い透過率を有する金属膜によってアライメントマークが形成され得る。
【0061】
前記１つ以上のアライメントマークの各々は、第１の方向に延びる第１の部分と、前記第１の方向に交差する第２の方向に延びる第２の部分とを含んでいてもよい。その場合、前記処理回路は、前記イメージセンサによって取得された前記画像における前記第１の部分の長さおよび前記第２の部分の長さの比に基づいて、前記フィルタアレイの煽りを検出し、前記煽りの影響を低減する動作をさらに実行してもよい。
【0062】
前記１つ以上のアライメントマークは、複数のアライメントマークを含んでいてもよい。その場合、前記処理回路は、前記イメージセンサによって取得された前記画像における前記複数のアライメントマークの位置関係に基づいて、前記フィルタアレイの煽りを検出し、前記煽りの影響を低減する動作をさらに実行してもよい。
【0063】
フィルタアレイの煽りとは、フィルタアレイの姿勢が予め定められた適正な姿勢から傾いている状態を意味する。煽りの影響を低減する動作は、例えばフィルタアレイの回転またはイメージセンサの回転などの動作を含み得る。
【0064】
処理回路は、例えば、第１の方向に離れた２つのアライメントマークの距離と、第２の方向に離れた２つのアライメントマークの距離との比に基づいて、フィルタアレイの煽りを検出することができる。
【0065】
上記構成によれば、フィルタアレイの煽りに起因する分光画像データの誤差を低減することができる。
【0066】
前記イメージセンサは、各々が受けた光の強度に応じた信号を出力する複数の光検出素子を備え得る。前記処理回路は、前記複数の光検出素子のうち、前記フィルタアレイにおける領域を通過した光を受ける光検出素子から出力された信号に基づいて、前記４つ以上の分光画像データを生成してもよい。前記１つ以上のアライメントマークは、前記一部の領域の内側にあってもよいし、外側にあってもよい。
【0067】
前記１つ以上のアライメントマークが、前記領域の外側にある場合、分光画像データの生成には使用されない領域の画像データからアライメントマークが検出される。このため、生成される分光画像データに影響を及ぼすことなく、アライメントマークを検出することができる。
【0068】
前記１つ以上のアライメントマークは、前記相対位置が予め設定された相対位置である場合に前記イメージセンサによって撮像可能な範囲の内側にあってもよい。その場合、イメージセンサによって取得される画像からアライメントマークを検出し、その位置などの情報に基づいてフィルタアレイとイメージセンサとの相対位置のずれを容易に検出できる。
【0069】
前記フィルタアレイは、前記相対位置が予め設定された相対位置である場合に前記イメージセンサによって撮像可能な範囲よりも大きくてもよい。前記１つ以上のアライメントマークは、前記範囲の外側にあってもよい。その場合、アライメントマークは、撮像可能な範囲の内側と外側との境界の近傍に配置されてもよい。処理回路は、イメージセンサによって取得される画像中にアライメントマークが検出された場合には、相対位置のずれが生じていると判断することができる。
【0070】
本開示の他の態様に係る撮像装置は、イメージセンサと、対象物から前記イメージセンサまでの光路上に配置され、２次元的に配列された複数の光学フィルタを含むフィルタアレイであって、前記複数の光学フィルタは、分光透過率が互いに異なる複数種類の光学フィルタを含む、フィルタアレイと、前記イメージセンサによって取得された画像、および前記複数の光学フィルタの前記分光透過率の空間分布を示すデータに基づき、４つ以上の分光画像データを生成する処理回路と、を備える。前記４つ以上の分光画像データの各々は、４つ以上の波長バンドのうちの１つの波長バンドに対応する画像を表す。前記処理回路は、
（ａ）前記４つ以上の分光画像データを生成する処理を、前記フィルタアレイと前記イメージセンサとの相対位置を変化させて複数回繰り返すことにより、複数組の前記４つ以上の分光画像データを生成する第１の動作、または
（ｂ）前記４つ以上の分光画像データを生成する処理を、前記イメージセンサによって取得された前記画像の座標を変化させて複数回繰り返すことにより、複数組の前記４つ以上の分光画像データを生成する第２の動作
を実行し、前記複数組の前記４つ以上の分光画像データを合成することにより、出力データを生成する。
（ａ）前記４つ以上の分光画像データを生成する処理を、前記フィルタアレイと前記イメージセンサとの相対位置を変化させて複数回繰り返すことにより、複数組の前記４つ以上の分光画像データを生成する第１の動作、または
（ｂ）前記４つ以上の分光画像データを生成する処理を、前記イメージセンサによって取得された前記画像の座標を変化させて複数回繰り返すことにより、複数組の前記４つ以上の分光画像データを生成する第２の動作
を実行し、前記複数組の前記４つ以上の分光画像データを合成することにより、出力データを生成する。
【0071】
上記構成によれば、前記第１の動作または前記第２の動作を実行し、前記複数組の前記４つ以上の分光画像データを合成することにより、分光画像データに含まれる誤差を低減することができる。
【0072】
前記第１の動作は、前記相対位置の変化に応じて、前記分光透過率の前記空間分布を示す前記データを補正することを含んでいてもよい。
【0073】
前記第２の動作は、前記座標の変化に応じて、前記分光透過率の前記空間分布を示す前記データを補正することを含んでいてもよい。
【0074】
以下、本開示のより具体的な実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複する説明を省略することがある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似の構成要素については、同じ参照符号を付している。以下の説明において、図中に示されたｘｙｚ座標を用いる。
【0075】
（実施形態１）
図５は、本開示の例示的な実施形態１に係る撮像装置の構成を模式的に示す図である。本実施形態における撮像装置は、フィルタアレイ１００と、光学系４０Ａおよび４０Ｂと、イメージセンサ６０と、処理回路２００と、可動ステージ８０とを備える。
図５は、本開示の例示的な実施形態１に係る撮像装置の構成を模式的に示す図である。本実施形態における撮像装置は、フィルタアレイ１００と、光学系４０Ａおよび４０Ｂと、イメージセンサ６０と、処理回路２００と、可動ステージ８０とを備える。
【0076】
フィルタアレイ１００は、対象物７０からイメージセンサ６０までの光路上で且つイメージセンサ６０から離れた位置に配置される。フィルタアレイ１００は、前述のように、２次元的に配列された複数の光学フィルタを含む。複数の光学フィルタは、分光透過率が互いに異なる複数種類の光学フィルタを含む。複数種類の光学フィルタの各々は、Ｎ個（Ｎは４以上の整数）の波長バンドのうちの２つ以上の波長バンドで光透過率が極大値を示すように設計されている。
【0077】
光学系４０Ａは、対象物７０とフィルタアレイ１００との間に配置される。光学系４０Ｂは、フィルタアレイ１００とイメージセンサ６０との間に配置される。光学系４０Ａおよび４０Ｂの各々は、１つ以上のレンズを含む。光学系４０Ａおよび４０Ｂは、フィルタアレイ１００を通過した対象物７０からの光による像をイメージセンサ６０の撮像面に形成する。
【0078】
イメージセンサ６０は、前述のように、撮像面に２次元的に配列された複数の光検出素子を備える。各光検出素子は、例えばフォトダイオードなどの光電変換素子を含み、受光量に応じた電気信号を出力する。イメージセンサ６０は、例えばＣＣＤまたはＣＭＯＳセンサ、赤外線アレイセンサ、テラヘルツアレイセンサ、ミリ波アレイセンサであり得る。イメージセンサ６０は、必ずしもモノクロタイプのセンサである必要はない。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプのセンサを用いてもよい。カラータイプのセンサを使用することで、波長に関する情報量を増やすことができ、分離画像２２０の再構成の精度を向上させることができる。ただし、カラータイプのセンサを使用した場合、空間方向（ｘ、ｙ方向）の情報量が低下するため、波長に関する情報量と解像度とはトレードオフの関係にある。取得対象の波長範囲は任意に決定してよく、可視の波長範囲に限らず、紫外、近赤外、中赤外、遠赤外、マイクロ波・電波の波長範囲であってもよい。
【0079】
対象物７０から到来する光は、光学系４０Ａ、フィルタアレイ１００、および光学系４０Ｂを順に通過し、イメージセンサ６０の撮像面上に結像する。光学系４０Ａおよび４０Ｂの光軸に平行で且つ対象物７０からイメージセンサ６０に向かう方向をｚ方向とする。フィルタアレイ１００は、ｚ軸にそれぞれ直交するｘ軸およびｙ軸を含むｘｙ平面にほぼ平行に配置される。イメージセンサ６０は、フィルタアレイ１００を通過した対象物７０からの光による画像を取得する。
【0080】
処理回路２００は、イメージセンサ６０から出力された画像データと、フィルタアレイ１００の分光透過率の空間分布を示すデータとに基づいて、Ｎ個の波長バンドのそれぞれに対応する画像データ、すなわち分離画像２２０を生成する。フィルタアレイ１００の分光透過率の空間分布を示すデータは、処理回路２００が備えるメモリに予め格納されている。処理回路２００は、前述の式（２）に基づく演算を行うことにより、各波長バンドに対応する画像２２０を生成する。
【0081】
処理回路２００は、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）・画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。そのようなコンピュータプログラムは、メモリなどの記録媒体に格納され、ＣＰＵがそのプログラムを実行することにより、分離画像２２０を生成するための演算処理を実行できる。
【0082】
本実施形態における処理回路２００は、さらに、イメージセンサ６０によって取得された画像から、フィルタアレイ１００における１つ以上の特徴部を検出する。そして、当該特徴部の位置、形状、または大きさ等の情報に基づき、フィルタアレイ１００とイメージセンサ６０との相対位置を検出する。処理回路２００は、当該相対位置が予め設定された相対位置からずれているとき、そのずれを補償するための動作を実行する。本実施形態において、相対位置のずれを補償する動作は、可動ステージ８０を制御することにより、フィルタアレイ１００とイメージセンサ６０との相対位置を補正する動作を含む。
【0083】
可動ステージ８０は、フィルタアレイ１００の位置および姿勢の少なくとも一方を変化させる駆動装置である。フィルタアレイ１００は、可動ステージ８０に固定されている。可動ステージ８０は、フィルタアレイ１００を、対象物７０、光学系４０Ａおよび４０Ｂ、およびイメージセンサ６０とは独立して移動または回転させることができる。可動ステージ８０は、フィルタアレイ１００に対して、ｘ軸、ｙ軸、もしくはｚ軸に沿って移動、ｘｙ平面内、ｙｚ平面内、もしくはｘｚ平面内において回転、またはこれらを組み合わせた動作をさせることができる。可動ステージ８０は、ｘ軸、ｙ軸、またはｚ軸に沿った移動の機能のみを有していてもよい。可動ステージ８０の動作は、処理回路２００によって制御される。本実施形態における可動ステージ８０は電動式の駆動装置であるが、可動ステージ８０は手動式であってもよい。
【0084】
図６Ａは、フィルタアレイ１００を説明するための図である。図６Ａの左側の図は、フィルタアレイ１００の構成を模式的に示している。図６Ａの右側の図は、フィルタアレイ１００におけるある２つのフィルタにおける分光透過率の例を示している。図６Ｂは、対象波長域に含まれるＮ個の波長バンドＷ１、Ｗ２、・・・、ＷＮについてのフィルタアレイ１００の透過率の空間分布の一例を示している。図６Ａおよび図６Ｂには、フィルタアレイ１００の縦方向および横方向のそれぞれについて、１０個の正方形状のフィルタが格子状に配列された領域が示されているが、これは例示にすぎない。フィルタアレイ１００における各フィルタの形状は、正方形に限らず、平面充填が可能な任意の形状であり得る。また、配列数は、縦方向および横方向のそれぞれについて、１０個に限らず、任意の数であってもよい。フィルタアレイ１００における各フィルタの大きさ、およびフィルタアレイ１００の全体の大きさは、任意の値を取り得る。
【0085】
図６Ａには、フィルタアレイ１００が占める領域のうち、相対位置のずれが生じていない場合にイメージセンサ６０によって撮像可能な範囲１０２と、分離画像２２０が生成される範囲１０４の例が示されている。この例のように、分離画像２２０が生成される範囲１０４は、撮像可能な範囲１０２よりも小さくてもよい。この場合、処理回路２００は、イメージセンサ６０によって生成された画像データから、分離画像２２０が生成される範囲１０４に対応する部分を抽出して、分離画像２２０を生成する。言い換えれば、処理回路２００は、イメージセンサ６０における複数の光検出素子のうち、フィルタアレイ１００における一部の領域（すなわち分離画像２２０が生成される範囲１０４）を通過した光を受ける光検出素子から出力された信号に基づいて、Ｎ個の波長バンドのそれぞれの画像データを生成する。図６Ａの例では、フィルタアレイ１００の一部のみが、イメージセンサ６０によって撮像可能な範囲１０２に含まれている。
【0086】
図６Ａに示すフィルタアレイ１００は、イメージセンサ６０によって撮像可能な範囲１０２の内側に、複数のアライメントマーク１０６を備える。本実施形態では、４つのアライメントマーク１０６が、撮像可能な範囲１０２の内側の四隅に配置されている。各アライメントマーク１０６は、イメージセンサ６０の撮像面に結像されたときにイメージセンサ６０の１つの画素よりも大きい像が形成される大きさを有する。アライメントマーク１０６の数、形状、および大きさは、図示される例に限定されず、任意に選択してよい。
【0087】
分離画像２２０が生成される範囲１０４の大きさは、イメージセンサ６０によって撮像可能な範囲１０２の大きさと同じか、それよりも小さい。分離画像２２０が生成される範囲１０４が撮像可能な範囲１０２よりも小さい場合、アライメントマーク１０６は、図６Ａに示すように、分離画像２２０が生成される範囲１０４の外側にあってもよいし、内側にあってもよい。
【0088】
図６Ａには、一例として、十字型のアライメントマーク１０６が示されているが、アライメントマーク１０６の形状は、その位置を識別可能なものであれば任意に決定してよい。アライメントマーク１０６の形状は、例えば任意の多角形、円の全部もしくは一部、またはそれらの組み合わせであってもよい。
【0089】
図６Ｃに示すように、アライメントマーク１０６は、フィルタアレイ１００とイメージセンサ６０との相対位置が予め設定された相対位置にある場合にイメージセンサによって撮像可能な範囲１０２の外側にあってもよい。この場合、相対位置のずれが生じていない場合には、取得された画像からアライメントマーク１０６が検出されないが、相対位置のずれが生じた場合には、アライメントマーク１０６が検出される。検出されたアライメントマーク１０６の位置に基づいて、相対位置のずれを検出することができる。
【0090】
図６Ｄに示すように、イメージセンサ６０によって撮像可能な範囲１０２がフィルタアレイ１００の外側の領域を含んでいてもよい。その場合、フィルタアレイ１００の内側と外側の境界部分１０７がアライメントマーク１０６と同等の役割を果たす。そのような構成においては、フィルタアレイ１００は明示的なマークを含まず、フィルタアレイ１００の内側と外側とを隔てる外周部がアライメント用の特徴部として機能する。
【0091】
図７は、フィルタアレイ１００上に実際に形成されたアライメントマーク１０６の一例を示す画像である。この例では、フィルタアレイ１００の表面に十字型のクロム（Ｃｒ）膜がアライメントマーク１０６として形成されている。図７における小さい正方形状のブロックは個々のフィルタを表している。この例では、各フィルタの一辺の長さは約８マイクロメートル（μｍ）である。十字型のアライメントマーク１０６は、２つの直線状部分が交差した形状を有する。クロム膜は、白色光を照射した場合、周囲のフィルタ領域よりも低い透過率を示す。このため、図７に示すように、暗部として観察される。なお、アライメントマーク１０６は、クロム膜に限らず、他の部分と区別が可能である限り、任意の材料で構成され得る。
【0092】
処理回路２００は、図７に例示される十字型のアライメントマーク１０６の中心座標を検出することで、イメージセンサ６０から見たフィルタアレイ１００の相対位置を検出することができる。
【0093】
図８Ａは、イメージセンサ６０から見たフィルタアレイ１００の相対位置がｘ方向およびｙ方向に１画素分ずれた場合に生じるフィルタアレイ１００の透過率の変化率（単位：％）の例を示している。ここでは、フィルタアレイ１００とイメージセンサ６０との相対位置が初期位置にある場合の透過率を基準とし、１００マス×１００マスの領域における平均透過率の変化率（単位：％）を示している。図８Ａに示すように、イメージセンサ６０の１画素のサイズ分だけ相対位置を変化させただけで透過率の変化が生じる。その結果、処理回路２００が、正解画像とは大きく異なる画像を生成する可能性が生じる。図８Ｂは、処理回路２００によって生成された画像と、正解画像との間の平均輝度の誤差の例を示す図である。図示されるように、フィルタアレイ１００とイメージセンサ６０との相対位置がｘ方向またはｙ方向に１画素分ずれただけで、平均輝度の誤差が大きく増加する。
【0094】
このように、フィルタアレイ１００とイメージセンサ６０との相対位置の変化は、画像生成の正確性に強く影響を及ぼす。このことから、相対位置の変化に起因する影響を低減することが要求される。
【0095】
本実施形態では、アライメントマーク１０６を有するフィルタアレイ１００が、イメージセンサ６０とフィルタアレイ１００との相対位置を検出することを可能にする。検出された相対位置の変化に応じて、撮像装置のハードウェア、または取得された画像に対する処理を補正することにより、波長分解能の低下を防ぐことができる。
【0096】
図５に示す処理回路２００は、検出された相対位置の変化に応じて、可動ステージ８０を制御することにより、フィルタアレイ１００の位置を補正する。これにより、相対位置の変化に起因する画像の品質の低下を抑制することができる。
【0097】
図９Ａは、本実施形態における処理回路２００によって生成される波長バンドごとの画像の例を示す図である。図９Ｂは、本実施形態における補正が行われない場合に生成される波長バンドごとの画像の例を示す図である。これらの例では、フィルタアレイ１００の位置が、分光透過率の空間分布のデータが取得された時点から画像の縦方向に約１．５画素分だけ変化している。対象物７０として、５１０ｎｍ、５２０ｎｍ、５３０ｎｍの光をそれぞれ通過させる３種類のフィルタが用いられ、背後から白色光が照射された状態で撮像が行われた。図９Ｂに示すように、補正が行われない場合、３つの波長バンドが正しく分離されておらず、波長バンドごとに正しい画像が生成できていない。すなわち、波長分解能が低下している。これに対し、図９Ａに示す例では、フィルタアレイ１００の位置の補正が行われているため、３種類のフィルタの各々に対応するスポットが明瞭に表示されている。すなわち、波長分解能の低下が抑制されている。
【0098】
以上のように、図５に示す撮像装置を用いることで、フィルタアレイ１００とイメージセンサ６０との相対位置を調整することが可能になり、当該相対位置の変化に起因する波長分解能の低下を防ぐことができる。
【0099】
図１０は、本実施形態における処理回路２００が実行する処理の概要を示すフローチャートである。まず、ステップＳ１０１において、処理回路２００は、イメージセンサ６０から、フィルタアレイ１００を通過した光による複数の波長の成分が重畳された波長多重画像を取得する。続くステップＳ１０２において、処理回路２００は、取得した画像から、アライメントマーク１０６を検出することにより、フィルタアレイ１００とイメージセンサ６０との相対位置を検出する。ここで、相対位置は、例えばイメージセンサ６０の撮像面の中心の座標に対するフィルタアレイ１００の中心の座標の、ｘ方向およびｙ方向における変位量を指す。ステップＳ１０３において、処理回路２００は、フィルタアレイ１００とイメージセンサ６０との相対位置が、予め設定された初期の相対位置から変化しているか否かを判断する。ここで、初期の相対位置は、フィルタアレイ１００の分光透過率の空間分布を示すデータが取得されたときの相対位置を指す。ステップＳ１０３において相対位置の変化が認められた場合、ステップＳ１０４に進む。ステップＳ１０４において、処理回路２００は、フィルタアレイ１００とイメージセンサ６０との相対位置を初期位置に戻すように、可動ステージ８０に指示する。この指示に応答して、可動ステージ８０は、フィルタアレイ１００の位置を補正する。ステップＳ１０３において相対位置の変化が認められなかった場合、ステップＳ１０４は実行されず、ステップＳ１０５に進む。ステップＳ１０５において、処理回路２００は、イメージセンサ６０によって取得された画像と、フィルタアレイ１００の分光透過率の空間分布を示すデータとに基づいて、波長バンドごとの複数の画像データを生成する。
【0100】
以上の動作により、フィルタアレイ１００とイメージセンサ６０との相対位置の適正値からのずれを検出し、ずれを補償するように相対位置を補正することができる。これにより、当該相対位置の変化に起因する波長分解能の低下を抑制することができる。
【0101】
図１１は、本実施形態の変形例による撮像装置の構成を模式的に示す図である。本変形例では、撮像装置が、フィルタアレイ１００ではなくイメージセンサ６０の位置を変化させる第２の駆動装置である可動ステージ８２を備えている。イメージセンサ６０は、可動ステージ８２の上に配置されている。処理回路２００は、可動ステージ８２を制御することにより、イメージセンサ６０の位置を、ｘ軸、ｙ軸、およびｚ軸のうちの１つ以上の軸に沿って変化させる。これにより、フィルタアレイ１００とイメージセンサ６０との相対位置を補正する。図５に示す例のように、ｘｙ平面、ｙｚ平面、およびｘｚ平面のうちの１つ以上の平面内においてイメージセンサ６０を回転できるようにしてもよい。
【0102】
図１２は、他の変形例による撮像装置の構成を模式的に示す図である。本変形例では、フィルタアレイ１００またはイメージセンサ６０を移動させる可動ステージは設けられていない。本変形例における撮像装置は、光学系４０Ｂとイメージセンサ６０との間に配置された光学系５０と、光学系５０の位置を変化させる第３の駆動装置である可動ステージ８４とを備える。光学系５０は、少なくとも１つのレンズを含む。レンズに代えて、またはレンズに加えて、ミラーなどの、反射の機能を有する光学素子が設けられていてもよい。
【0103】
光学系４０Ａ、４０Ｂ、および５０は、フィルタアレイ１００とイメージセンサ６０とを結ぶ光路上に配置され、フィルタアレイ１００を通過した光による像をイメージセンサ６０の撮像面上に形成する。可動ステージ８４は、光学系５０に含まれる少なくとも１つのレンズを移動または回転させることにより、形成される像の位置を変化させる。処理回路２００は、可動ステージ８４を制御することにより、結像位置を変化させ、フィルタアレイ１００とイメージセンサ６０との相対位置のずれを補償することができる。
【0104】
（実施形態２）
図１３は、本開示の例示的な実施形態２による撮像装置の構成を示す模式図である。本実施形態においては、フィルタアレイ１００とイメージセンサ６０との相対位置を物理的に調整するのではなく、処理回路２００が信号処理によって相対位置のずれを補償する。より具体的には、処理回路２００は、フィルタアレイ１００の分光透過率の空間分布を示すデータ、またはイメージセンサ６０によって取得された画像を補正することで、フィルタアレイ１００とイメージセンサ６０との相対位置の変化の影響を低減する。
図１３は、本開示の例示的な実施形態２による撮像装置の構成を示す模式図である。本実施形態においては、フィルタアレイ１００とイメージセンサ６０との相対位置を物理的に調整するのではなく、処理回路２００が信号処理によって相対位置のずれを補償する。より具体的には、処理回路２００は、フィルタアレイ１００の分光透過率の空間分布を示すデータ、またはイメージセンサ６０によって取得された画像を補正することで、フィルタアレイ１００とイメージセンサ６０との相対位置の変化の影響を低減する。
【0105】
フィルタアレイ１００の分光透過率の空間分布を示すデータは、例えば前述の式（２）における行列Ｈを示すデータであり得る。分光透過率の空間分布を示すデータの補正は、例えば行列Ｈの各成分を、検出された相対位置の変化を相殺または低減するように補正することを意味する。イメージセンサ６０によって取得された画像の補正は、例えば式（２）におけるベクトルｇに、平行移動、回転、および拡大縮小のいずれかの操作を行うことを意味する。一例として、イメージセンサ６０から見たフィルタアレイ１００の相対位置が、図１３に示すｙ方向にイメージセンサ６０のｎ画素分だけ変化した場合を考える。この場合、処理回路２００は、式（２）における行列Ｈまたはベクトルｇの各成分を、ｙ方向にｎだけ平行移動させる操作を行う。
【0106】
図１４Ａから図１４Ｃは、本実施形態の効果を説明するための図である。図１４Ａは、フィルタアレイ１００とイメージセンサ６０との相対位置が初期の相対位置から変化していない場合（ベクトルｇに対応）における３つの波長バンドの画像の復元結果の例を示している。図１４Ｂは、フィルタアレイ１００とイメージセンサ６０との相対位置が初期の相対位置からずれており（ベクトルがｇからｇ’に変化することに対応）、行列Ｈが補正されない場合における３つの波長バンドの画像の復元結果の例を示している。図１４Ｃは、フィルタアレイ１００とイメージセンサ６０との相対位置が初期の相対位置からずれており（ベクトルｇ’に対応）、行列が適切に補正された場合（ベクトルがＨ’に補正されることに対応）における３つの波長バンドの画像の復元結果の例を示している。これらの例においては、図９Ａおよび図９Ｂの例と同様に、対象物７０として、５１０ｎｍ、５２０ｎｍ、５３０ｎｍの光をそれぞれ透過させる３つのフィルタが配置された。図１４Ａに示すように、３つのフィルタのそれぞれがスポットとして表示されている状態が正しい復元画像を表す。図１４Ｂの例では、正しい画像が生成されていない。一方、図１４Ｃに示すように、行列Ｈを適切に補正した場合、生成された画像は、図１４Ａに示す画像により近いことが確認された。このように、行列Ｈを補正することにより、波長分解能の低下を防ぐことができる。なお、行列Ｈを補正する代わりに、取得される画像を示すベクトルｇを補正した場合でも、同様の効果が得られる。
【0107】
以上のように、本実施形態では、相対位置のずれを補償する動作は、フィルタアレイ１００における複数の光学フィルタの分光透過率の空間分布を示すデータ、またはイメージセンサ６０によって取得された画像の座標を補正する動作を含む。例えば、処理回路２００は、フィルタアレイ１００の分光透過率の空間分布を示す行列のデータ、またはイメージセンサ６０によって取得される画像のデータを補正する。これにより、フィルタアレイ１００とイメージセンサ６０との相対位置の変化に起因する波長分解能の低下を抑制することができる。
【0108】
（実施形態３）
図１５Ａは、本開示の例示的な実施形態３におけるフィルタアレイ１００の例を模式的に示す図である。本実施形態における撮像装置の構成は、図５に示す構成と同様である。本実施形態では、処理回路２００が、１つのアライメントマーク１０６の位置ではなく、複数のアライメントマーク１０６の位置関係に基づいて、フィルタアレイ１００の煽りを検出する。フィルタアレイ１００の煽りとは、光学系４０Ａおよび４０Ｂの光軸に垂直な面からのフィルタアレイ１００の傾きを意味する。図１５Ａに示す例では、処理回路２００は、取得された画像に基づき、アライメントマーク１０６のｙ方向の間隔Ｌ１と、アライメントマーク１０６のｘ方向の間隔Ｌ２とを測定することで煽りを検出する。フィルタアレイ１００に、図５に示すφ方向に煽りが生じた場合はＬ１が、η方向に煽りが生じた場合はＬ２が本来の長さよりも短く観測される。図５に示すφ方向に角度φ１だけ煽りが生じた場合、Ｌ１の長さは、本来の長さのcos(φ1)倍になる。同様に、図５に示すη方向に角度η１だけ煽りが生じた場合、Ｌ２の長さは、本来の長さのcos(η1)倍になる。
図１５Ａは、本開示の例示的な実施形態３におけるフィルタアレイ１００の例を模式的に示す図である。本実施形態における撮像装置の構成は、図５に示す構成と同様である。本実施形態では、処理回路２００が、１つのアライメントマーク１０６の位置ではなく、複数のアライメントマーク１０６の位置関係に基づいて、フィルタアレイ１００の煽りを検出する。フィルタアレイ１００の煽りとは、光学系４０Ａおよび４０Ｂの光軸に垂直な面からのフィルタアレイ１００の傾きを意味する。図１５Ａに示す例では、処理回路２００は、取得された画像に基づき、アライメントマーク１０６のｙ方向の間隔Ｌ１と、アライメントマーク１０６のｘ方向の間隔Ｌ２とを測定することで煽りを検出する。フィルタアレイ１００に、図５に示すφ方向に煽りが生じた場合はＬ１が、η方向に煽りが生じた場合はＬ２が本来の長さよりも短く観測される。図５に示すφ方向に角度φ１だけ煽りが生じた場合、Ｌ１の長さは、本来の長さのcos(φ1)倍になる。同様に、図５に示すη方向に角度η１だけ煽りが生じた場合、Ｌ２の長さは、本来の長さのcos(η1)倍になる。
【0109】
図１５Ｂは、本実施形態の変形例におけるフィルタアレイ１００を模式的に示す図である。各アライメントマーク１０６は、ｙ方向に延びる第１の部分と、ｘ方向に延びる第２の部分とを含む形状を有する。第１の部分の長さＬ３と、第２の部分の長さＬ４とを測定することで、フィルタアレイ１００の煽りを検出することができる。この例では第１の部分と第２の部分とが直交しているが、９０度とは異なる角度で交差していてもよい。処理回路２００は、イメージセンサ６０によって取得された画像における１つ以上のアライメントマーク１０６の第１の部分および第２の部分の長さの比に基づいて、フィルタアレイ１００の煽りを検出し、煽りの影響を低減する動作を実行する。
【0110】
煽りの影響を低減する動作は、例えば図５に示す可動ステージ８０を制御することによって実行され得る。図５に示す構成に代えて、例えば図１１に示す構成を採用してもよい。その場合、イメージセンサ６０の向きを変化させることが可能な可動ステージ８２が用いられ得る。あるいは、機械的な駆動によって相対位置の補正を行う代わりに、実施形態２と同様、ソフトウェア上の処理によって煽りの影響を低減してもよい。
【0111】
（実施形態４）
以上の実施形態では、処理回路２００は、イメージセンサ６０によって取得された画像におけるフィルタアレイ１００の１つ以上の特徴部（例えばアライメントマーク１０６の部分）に基づき、フィルタアレイ１００とイメージセンサ６０との相対位置を検出する。そして、相対位置が予め設定された相対位置からずれているとき、相対位置のずれを補償する動作を実行する。
以上の実施形態では、処理回路２００は、イメージセンサ６０によって取得された画像におけるフィルタアレイ１００の１つ以上の特徴部（例えばアライメントマーク１０６の部分）に基づき、フィルタアレイ１００とイメージセンサ６０との相対位置を検出する。そして、相対位置が予め設定された相対位置からずれているとき、相対位置のずれを補償する動作を実行する。
【0112】
これに対し、実施形態４では、処理回路２００が、以下の（ａ）および（ｂ）のいずれかの動作を実行する。
（ａ）Ｎ個の波長バンドのそれぞれの画像データを生成する処理を、フィルタアレイ１００とイメージセンサ６０との相対位置を変化させ、且つ当該相対位置の変化に応じて分光透過率の空間分布を示すデータを補正して複数回繰り返すことにより、波長バンド毎に複数組の画像データを生成する。
（ｂ）Ｎ個の波長バンドのそれぞれの画像データを生成する処理を、イメージセンサ６０によって取得された画像の座標を変化させ、且つ当該座標の変化に応じて分光透過率の空間分布を示すデータを補正して複数回繰り返すことにより、波長バンド毎に複数組の画像データを生成する。
（ａ）Ｎ個の波長バンドのそれぞれの画像データを生成する処理を、フィルタアレイ１００とイメージセンサ６０との相対位置を変化させ、且つ当該相対位置の変化に応じて分光透過率の空間分布を示すデータを補正して複数回繰り返すことにより、波長バンド毎に複数組の画像データを生成する。
（ｂ）Ｎ個の波長バンドのそれぞれの画像データを生成する処理を、イメージセンサ６０によって取得された画像の座標を変化させ、且つ当該座標の変化に応じて分光透過率の空間分布を示すデータを補正して複数回繰り返すことにより、波長バンド毎に複数組の画像データを生成する。
【0113】
処理回路２００は、波長バンド毎に、複数組の画像データを平均化するなどの処理によって合成することにより、出力データを生成する。このような動作により、生成される画像に含まれるノイズを低減することができる。
【0114】
図１６は、本実施形態における信号処理を説明するための図である。本実施形態においては、ある１つのフィルタアレイ１００を用いて、フィルタアレイ１００とイメージセンサ６０との相対位置を意図的に変化させながら複数回撮像が行われる。図８Ａを参照して説明したように、フィルタアレイ１００とイメージセンサ６０との相対位置が変化した場合、フィルタアレイ１００の分光透過率の空間分布が変化する。すなわち、ある１つのフィルタアレイ１００が、異なる分光透過率分布をもつ別のフィルタアレイ１００として機能する。このため、本実施形態では、異なる分光透過率分布をもつｎ種類（ｎは２以上の整数）のフィルタアレイ１００を用いて画像を生成することと同等の効果が得られる。生成されたｎ枚の画像を平均化した場合、生成された画像に加わるノイズは統計上１／√ｎ倍に低減される。
【0115】
図１７は、本実施形態における信号処理の例を示すフローチャートである。この例では、実施形態１と同様、図５に示す構成が用いられている。処理回路２００は、図１０に示すステップＳ１０１からＳ１０５の動作を実行することにより、フィルタアレイ１００が初期位置にある状態で、波長バンド毎の複数の画像を生成する。この例ではアライメントマークに基づく相対位置の補正処理も行われるが、当該補正処理が省略されてもよい。その場合、ステップＳ１０２、Ｓ１０３およびＳ１０４は省略され、フィルタアレイ１００は、アライメントマークなどの特徴部を有していなくてもよい。続くステップＳ１０６において、処理回路２００は、フィルタアレイ１００とイメージセンサ６０との相対位置を変化させた回数が規定の回数（ｎ回）に到達したかを判断する。この判断がＮｏの場合、処理回路２００は、元の初期位置とは異なる新たな初期位置を設定する（ステップＳ１０７）。例えば、元の初期位置からｘ方向またはｙ方向などの所定の方向に、微小な大きさだけ変化させた位置が新たな初期位置として設定され得る。「微小な大きさ」は、例えば、イメージセンサ６０の１画素から数画素に相当する程度の大きさであり得る。次に、処理回路２００は、可動ステージ８０を制御して、設定した新たな初期位置にフィルタアレイ１００を移動させる（ステップＳ１０８）。これに合わせて、分光画像データの生成に用いられる分光透過率の空間分布を示すデータも補正する。以後、ステップＳ１０６においてＹｅｓと判断されるまで、ステップＳ１０１からＳ１０８の動作が繰り返される。本実施形態において、ステップＳ１０８におけるフィルタアレイ１００の移動は、物理的な移動によって行われる。フィルタアレイ１００を移動させる代わりに、イメージセンサ６０を移動させてもよい。あるいは、物理的に相対位置を変化させる代わりに、イメージセンサ６０によって取得される画像の座標を変化させてもよい。ステップＳ１０４における相対位置の補正についても、物理的な移動およびソフトウェア上での行列補正のいずれの方法を利用してもよい。処理回路２００は、ステップＳ１０１からＳ１０８の処理を規定回数繰り返した後、生成されたｎ枚の画像を平均化することで、合成された出力データを生成して出力する（ステップＳ１０９）。
【0116】
以上の動作により、ある１つのフィルタアレイ１００を用いた撮像によってノイズ除去処理を行うことができる。これにより、生成されるハイパースペクトル画像の誤差を低減し、波長分解能を向上させることができる。
【0117】
以上の実施形態１から４のそれぞれの特徴は、矛盾がない限り、他の実施形態の特徴と組合せてもよい。例えば、実施形態１における機械的な相対位置の補正と、実施形態２におけるソフトウェアによる相対位置の補正とを組み合わせてもよい。また、実施形態４の処理を、図１１から図１３のいずれかの構成に適用してもよい。
【産業上の利用可能性】
【0118】
本開示の技術は、例えば、多波長の画像を取得するカメラおよび測定機器に有用である。本開示の技術は、例えば、生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステムにも応用できる。
【符号の説明】
【0119】
４０、５０ 光学系
６０ イメージセンサ
７０ 対象物
８０、８２、８４ 可動ステージ
１００ フィルタアレイ
１０２ 撮像可能な範囲
１０４ 分離画像が生成される範囲
１０６ アライメントマーク
２００ 処理回路
２２０ 分離画像
６０ イメージセンサ
７０ 対象物
８０、８２、８４ 可動ステージ
１００ フィルタアレイ
１０２ 撮像可能な範囲
１０４ 分離画像が生成される範囲
１０６ アライメントマーク
２００ 処理回路
２２０ 分離画像
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図2C】
【図2D】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図14C】
【図15A】
【図15B】
【図16】
【図17】
