(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-15
(45)【発行日】2023-08-23
(54)【発明の名称】撮像装置、分光フィルタ、及び撮像方法
(51)【国際特許分類】
H04N 25/13 20230101AFI20230816BHJP
G01J 3/51 20060101ALI20230816BHJP
G02B 5/20 20060101ALI20230816BHJP
H01L 27/146 20060101ALI20230816BHJP
【ＦＩ】
H04N25/13
G01J3/51
G02B5/20 101
H01L27/146 D
【請求項の数】
8
(21)【出願番号】P 2019083288
(22)【出願日】2019-04-24
(65)【公開番号】P2020182081
(43)【公開日】2020-11-05
【審査請求日】2022-02-09
(73)【特許権者】
【識別番号】000006507
【氏名又は名称】横河電機株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100188307
【弁理士】
【氏名又は名称】太田 昌宏
(74)【代理人】
【識別番号】100202326
【弁理士】
【氏名又は名称】橋本 大佑
(72)【発明者】
【氏名】濃野 友人
【審査官】橘 高志
(56)【参考文献】
【文献】特開２００５－２１７９７９（ＪＰ，Ａ）
【文献】特開２０１５－１４６４４２（ＪＰ，Ａ）
【文献】特開平０９－１８１２８８（ＪＰ，Ａ）
【文献】特開２０１８－１３９３９４（ＪＰ，Ａ）
【文献】特開平０６－３５１０２８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２５／１３
Ｇ０１Ｊ ３／５１
Ｇ０２Ｂ ５／２０
Ｈ０１Ｌ ２７／１４６
(57)【特許請求の範囲】
【請求項1】
撮像信号に基づいて画像データを取得する撮像装置であって、前記撮像信号を出力する撮像素子と、
前記撮像素子から出力される前記撮像信号に基づいて前記画像データを生成する制御部と、
を備え、
前記撮像素子は、
互いに異なる光の透過波長を有する少なくとも３種類の色素を含む分光フィルタと、
格子状に配列されている複数の画素を含み、前記分光フィルタを透過した光を受光して電気信号としての前記撮像信号に変換するイメージセンサと、
を有し、
前記色素が形成されている、前記分光フィルタの同一平面上の複数の領域は、前記画素の形状に依存せず、前記画素の形状と異なる形状の領域を含む、
撮像装置。
【請求項2】
前記光が前記分光フィルタを透過するときの透過率の波長依存性を、前記イメージセンサの前記画素ごとに関連付けた透過率データを記憶する記憶部を備え、前記制御部は、
前記記憶部から取得した前記透過率データと、前記イメージセンサから出力される前記撮像信号とに基づいて、前記分光フィルタに入射する前記光の分光スペクトルを算出し、
算出された前記分光スペクトルに基づいて前記画像データを生成する、
請求項１に記載の撮像装置。
【請求項3】
前記複数の領域は、前記複数の画素の配列に依存せずにランダムに配置されている、
請求項１又は２に記載の撮像装置。
【請求項4】
撮像信号に基づいて画像データを取得する撮像装置が備える撮像素子に用いられる分光フィルタであって、互いに異なる光の透過波長を有する少なくとも３種類の色素を含み、
前記色素が形成されている、前記分光フィルタの同一平面上の複数の領域は、前記撮像素子において前記分光フィルタと共に用いられるイメージセンサの画素の形状に依存せず、前記画素の形状と異なる形状の領域を含む、
分光フィルタ。
【請求項5】
前記複数の領域は、複数の前記画素の配列に依存せずにランダムに配置されている、
請求項４に記載の分光フィルタ。
【請求項6】
互いに異なる光の透過波長を有する少なくとも３種類の色素を含む分光フィルタと、格子状に配列されている複数の画素を含み、前記分光フィルタを透過した光を受光して電気信号としての撮像信号に変換するイメージセンサと、を有する撮像素子から出力される前記撮像信号に基づいて画像データを取得する撮像方法であって、前記イメージセンサから前記撮像信号を取得するステップと、
前記光が前記分光フィルタを透過するときの透過率の波長依存性を、前記イメージセンサの前記画素ごとに関連付けた透過率データと、前記イメージセンサから取得した前記撮像信号とに基づいて、前記分光フィルタに入射する前記光の分光スペクトルを算出するステップと、
算出された前記分光スペクトルに基づいて前記画像データを生成するステップと、
を含み、
前記色素が形成されている、前記分光フィルタの同一平面上の複数の領域は、前記画素の形状に依存せず、前記画素の形状と異なる形状の領域を含む、
撮像方法。
【請求項7】
前記透過率データを、前記撮像信号を取得するステップの前に予め記憶させるステップを含む、請求項６に記載の撮像方法。
【請求項8】
前記複数の領域は、前記複数の画素の配列に依存せずにランダムに配置されている、
請求項６又は７に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置、分光フィルタ、及び撮像方法に関する。
【背景技術】
【0002】
従来、撮像装置に用いられるＣＣＤ（Charge-Coupled Device）及びＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子に関する技術が知られている。
【0003】
例えば、特許文献１には、ＣＣＤ及びＣＭＯＳ等の受光素子に代表される固体撮像素子に関し、特に、複数の受光素子と、個々の受光素子上に設けられたカラーフィルタと、からなる画素を複数有し、カラーフィルタが画素ごとに複数色の中から選択される一色である固体撮像素子が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第５０１７８１２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
このような従来の撮像素子に含まれる分光フィルタは、分光フィルタに含まれる複数の色素のうち単一の色素が一又は複数の画素と同一の配列を有する領域に形成されるように製造される。したがって、分光フィルタは、画素と同等の微細構造を有する。このとき、色素の種類が増加すると、分光フィルタへ色素を形成する工程数が色素の種類の数に応じて増加する。結果、このような製造工程の複雑化に伴って製造コストが増大していた。
【0006】
本開示は、色素の種類が増加しても製造コストを低減できる撮像装置、分光フィルタ、及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
幾つかの実施形態に係る撮像装置は、撮像信号に基づいて画像データを取得する撮像装置であって、前記撮像信号を出力する撮像素子と、前記撮像素子から出力される前記撮像信号に基づいて前記画像データを生成する制御部と、を備え、前記撮像素子は、互いに異なる光の透過波長を有する少なくとも３種類の色素を含む分光フィルタと、格子状に配列されている複数の画素を含み、前記分光フィルタを透過した光を受光して電気信号としての前記撮像信号に変換するイメージセンサと、を有し、前記色素が形成されている、前記分光フィルタの同一平面上の複数の領域のうち、一の前記領域と他の前記領域とが互いに重なっている。このような撮像装置によれば、色素の種類が増加しても製造コストを低減できる。より具体的には、製造工程が複雑化し、高コストの原因となる従来の分光フィルタとは異なり、一実施形態に係る分光フィルタは、色素が形成されている複数の領域のうち、一の領域と他の領域との重なりを許容する。したがって、分光フィルタの製造方法がより簡素化し、製造コストが低減する。
【0008】
一実施形態に係る撮像装置は、前記光が前記分光フィルタを透過するときの透過率の波長依存性を、前記イメージセンサの前記画素ごとに関連付けた透過率データを記憶する記憶部を備え、前記制御部は、前記記憶部から取得した前記透過率データと、前記イメージセンサから出力される前記撮像信号とに基づいて、前記分光フィルタに入射する前記光の分光スペクトルを算出し、算出された前記分光スペクトルに基づいて前記画像データを生成してもよい。これにより、簡素化された製造方法によって製造された分光フィルタを一実施形態に係る撮像装置が用いた場合であっても、制御部は、光の分光スペクトルを精度良く算出可能である。
【0009】
幾つかの実施形態に係る分光フィルタは、撮像信号に基づいて画像データを取得する撮像装置が備える撮像素子に用いられる分光フィルタであって、互いに異なる光の透過波長を有する少なくとも３種類の色素を含み、前記色素が形成されている、前記分光フィルタの同一平面上の複数の領域のうち、一の前記領域と他の前記領域とが互いに重なっている。このような分光フィルタによれば、色素の種類が増加しても製造コストを低減できる。より具体的には、製造工程が複雑化し、高コストの原因となる従来の分光フィルタとは異なり、一実施形態に係る分光フィルタは、色素が形成されている複数の領域のうち、一の領域と他の領域との重なりを許容する。したがって、分光フィルタの製造方法がより簡素化し、製造コストが低減する。
【0010】
幾つかの実施形態に係る撮像方法は、互いに異なる光の透過波長を有する少なくとも３種類の色素を含む分光フィルタと、格子状に配列されている複数の画素を含み、前記分光フィルタを透過した光を受光して電気信号としての撮像信号に変換するイメージセンサと、を有する撮像素子から出力される前記撮像信号に基づいて画像データを取得する撮像方法であって、前記イメージセンサから前記撮像信号を取得するステップと、前記光が前記分光フィルタを透過するときの透過率の波長依存性を、前記イメージセンサの前記画素ごとに関連付けた透過率データと、前記イメージセンサから取得した前記撮像信号とに基づいて、前記分光フィルタに入射する前記光の分光スペクトルを算出するステップと、算出された前記分光スペクトルに基づいて前記画像データを生成するステップと、を含み、前記色素が形成されている、前記分光フィルタの同一平面上の複数の領域のうち、一の前記領域と他の前記領域とが互いに重なっている。このような撮像方法によれば、色素の種類が増加しても製造コストを低減できる。より具体的には、製造工程が複雑化し、高コストの原因となる従来の分光フィルタとは異なり、一実施形態に係る分光フィルタは、色素が形成されている複数の領域のうち、一の領域と他の領域との重なりを許容する。したがって、分光フィルタの製造方法がより簡素化し、製造コストが低減する。さらに、簡素化された製造方法によって製造された分光フィルタを用いた場合であっても、一実施形態に係る撮像方法では、光の分光スペクトルを精度良く算出可能である。
【0011】
一実施形態に係る撮像方法は、前記透過率データを、前記撮像信号を取得するステップの前に予め記憶させるステップを含んでもよい。これにより、透過率データは、撮像素子の校正値として用いられる。このように、校正方法によって透過率データを予め記憶させることで、一実施形態に係る撮像方法では、光の分光スペクトルをより精度良く算出可能である。
【発明の効果】
【0012】
本開示によれば、色素の種類が増加しても製造コストを低減できる撮像装置、分光フィルタ、及び撮像方法を提供可能である。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
初めに、従来技術の背景及び問題点について主に説明する。
【0015】
図６は、従来の撮像素子の構成を示す模式図である。従来の撮像素子は、分光フィルタとイメージセンサとを有する。図６は、例えばＣＣＤ及びＣＭＯＳ等のイメージセンサの一部のみを切り出した状態でイメージセンサを示した模式図である。同様に、図６は、イメージセンサに対応させて、分光フィルタの一部のみを切り出した状態で分光フィルタを示した模式図である。
【0016】
例えば、図６に示すイメージセンサは、縦３列及び横３列に配列された格子状の複数の画素を有する。分光フィルタは、イメージセンサの画素と同一の大きさ及び形状を有し、一の画素と同一の配列を有する領域を複数有する。分光フィルタの各領域には、分光フィルタに含まれる複数の色素のうち単一の色素のみが形成されている。分光フィルタは、例えば光の入射方向に沿って、イメージセンサの前面にイメージセンサと平行になるように配置されている。又は、分光フィルタは、イメージセンサと一体的に形成されている。
【0017】
撮像素子に入射した被測定対象の光は、分光フィルタを透過し、イメージセンサの各画素に入射する。光は、イメージセンサの各画素で電気信号に変換される。当該撮像素子を有する撮像装置は、撮像素子から出力される当該電気信号に基づいて被測定対象の光を分光し、画像データを生成する。
【0018】
図７Ａは、光が図６の分光フィルタを透過するときの透過率に関する第１例を示すグラフ図である。図７Ａのグラフは、例えば、図６の分光フィルタにおいて、イメージセンサ上の縦１列目、横１列目の画素に対応する領域に形成されている色素を光が透過したときの透過率の波長依存性を示す。図７Ｂは、光が図６の分光フィルタを透過するときの透過率に関する第２例を示すグラフ図である。図７Ｂのグラフは、例えば、図６の分光フィルタにおいて、イメージセンサ上の縦１列目、横２列目の画素に対応する領域に形成されている色素を光が透過したときの透過率の波長依存性を示す。図７Ｃは、光が図６の分光フィルタを透過するときの透過率に関する第３例を示すグラフ図である。図７Ｃのグラフは、例えば、図６の分光フィルタにおいて、イメージセンサ上の縦１列目、横３列目の画素に対応する領域に形成されている色素を光が透過したときの透過率の波長依存性を示す。
【0019】
図７Ａ乃至図７Ｃに示すとおり、分光フィルタ上の対応する各領域に形成されている色素を光が透過したときの透過率は、互いに異なる波長特性を有する。例えば、各領域に形成されている色素は、互いに異なる光の透過波長を有する。
【0020】
以上のように、図６に示す従来の撮像素子では、例えば、分光フィルタにおいて、イメージセンサ上の画素と同一の配列を有する領域に色素が形成されている。したがって、分光フィルタの製造において、イメージセンサ上の画素と同等の微細構造を分光フィルタにおいても実現する必要がある。このとき、色素の種類が増加すると、分光フィルタへ色素を形成する工程数が色素の種類の数に応じて増加する。結果、このような製造工程の複雑化に伴って製造コストが増大していた。
【0021】
本開示は、分光フィルタの製造方法を簡素化することで、色素の種類が増加しても製造コストを低減できる撮像装置、分光フィルタ、及び撮像方法を提供することを目的とする。以下では、添付図面を参照しながら本開示の一実施形態について主に説明する。
【0022】
【0023】
撮像装置１は、例えば、ハイパースペクトルカメラ及びマルチスペクトルカメラ等である。撮像装置１は、撮像素子１０と、制御部２０と、記憶部３０と、入力部４０と、通信部５０と、を有する。撮像装置１は、撮像信号に基づいて画像データを取得する。
【0024】
撮像素子１０は、例えば、ＣＣＤ及びＣＭＯＳ等である。撮像素子１０は、画像の撮像に伴って入射してきた光Ｌに基づき、電気信号としての撮像信号を制御部２０に出力する。撮像素子１０は、分光フィルタ１１とイメージセンサ１２とを有する。
【0025】
分光フィルタ１１は、互いに異なる光の透過波長を有する少なくとも３種類の色素を含む任意のフィルタ素子である。イメージセンサ１２は、同一平面上に格子状に配列されている複数の画素を含み、分光フィルタ１１を透過した光Ｌを受光して電気信号としての撮像信号に変換する。例えば、イメージセンサ１２は、光Ｌの強度に対応する信号強度を有する電気信号に光Ｌを変換する光電変換素子を、イメージセンサ１２に含まれる画素ごとに有する。
【0026】
制御部２０は、１つ以上のプロセッサを含む。例えば、制御部２０は、撮像装置１に関する処理を可能にするプロセッサを含む。制御部２０は、撮像装置１を構成する各構成部に接続され、各構成部をはじめとして撮像装置１全体を制御及び管理する。例えば、制御部２０は、撮像素子１０を制御して撮像信号を取得し、撮像素子１０から出力される撮像信号に基づいて画像データを生成する。
【0027】
記憶部３０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory）、及びＲＡＭ（Random Access Memory）等の任意の記憶装置を含み、撮像装置１の動作を実現するために必要な情報を記憶する。記憶部３０は、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部３０は、撮像装置１に内蔵されているものに限定されず、ＵＳＢ等のデジタル入出力ポート等によって接続されている外付け型の記憶装置であってもよい。記憶部３０は、例えば、光Ｌが分光フィルタ１１を透過するときの透過率の波長依存性を、イメージセンサ１２の画素ごとに関連付けた透過率データを記憶する。記憶部３０は、例えば、制御部２０によって生成された画像データを記憶する。
【0028】
入力部４０は、撮像装置１のユーザによる入力操作を受け付ける任意の入力インタフェースを含む。入力部４０は、撮像装置１のユーザによる入力操作を受け付け、当該ユーザによる入力情報を取得する。入力部４０は、取得した入力情報を制御部２０に出力する。例えば、ユーザは、入力部４０を用いて、記憶部３０に記憶される透過率データに必要となる任意の情報を入力してもよい。
【0029】
通信部５０は、有線又は無線に基づく任意の通信プロトコルに対応した任意の通信インタフェースを含む。例えば、通信部５０は、制御部２０によって生成された画像データを任意の外部装置に送信してもよい。例えば、通信部５０は、撮像装置１の動作を実現するために必要な任意の情報を任意の外部装置から受信してもよい。より具体的には、通信部５０は、記憶部３０に記憶される透過率データに必要となる任意の情報、又は透過率データ自体を任意の外部装置から受信してもよい。
【0030】
図２は、図１の分光フィルタ１１単体を示す模式図である。図２は、分光フィルタ１１の一部のみを切り出した状態で分光フィルタ１１を示した模式図である。図２を参照しながら、一実施形態に係る分光フィルタ１１の構成について主に説明する。
【0031】
分光フィルタ１１は、一例として、互いに異なる光の透過波長を有する５種類の色素Ｃ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５を同一平面上に含む。分光フィルタ１１は、例えばガラス基板及び有機フィルム基板等を含む任意の基板に色素Ｃ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５を塗布又は印刷することで製造される。色素Ｃ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５は、塗布又は印刷の過程で、基板表面において粒子状に形成されていてもよいし、薄膜状に形成されていてもよい。以上のような構成に限定されず、分光フィルタ１１は、イメージセンサ１２の画素表面に色素Ｃ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５を直接塗布又は印刷することで製造されてもよい。
【0032】
イメージセンサの画素列に対応させて完全に区分けされた領域に色素が形成されている従来の分光フィルタと異なり、一実施形態に係る分光フィルタ１１では、色素Ｃ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５がそれぞれ形成されている分光フィルタ１１の同一平面上の複数の領域のうち、一の領域と他の領域とが互いに重なっている。例えば、図２において色素Ｃ２の符号が付されている一の領域と、色素Ｃ５の符号が付されている他の領域とが互いに重なっている。例えば、図２に示すように、一の領域の一部と、他の領域の一部とが互いに重なっていてもよい。これに限定されず、例えば、一の領域が他の領域内に含まれ、一の領域の全体と、他の領域の一部とが互いに重なっていてもよい。
【0033】
イメージセンサの画素列に対応させて規則的に配列されている領域に色素が形成されている従来の分光フィルタと異なり、一実施形態に係る分光フィルタ１１では、イメージセンサ１２の画素列に依存せず、任意に配置されている複数の領域に色素Ｃ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５がそれぞれ形成されている。例えば、一実施形態に係る分光フィルタ１１では、ランダムに配置されている複数の領域に色素Ｃ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５がそれぞれ形成されている。したがって、一実施形態に係る分光フィルタ１１において、色素Ｃ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５のいずれも形成されていない領域が存在してもよい。
【0034】
イメージセンサの画素に対応する大きさを有する領域に色素が形成されている従来の分光フィルタと異なり、一実施形態に係る分光フィルタ１１では、イメージセンサ１２の画素の大きさに依存せず、任意の大きさの複数の領域に色素Ｃ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５がそれぞれ形成されている。イメージセンサの画素に対応する形状を有する領域に色素が形成されている従来の分光フィルタと異なり、一実施形態に係る分光フィルタ１１では、イメージセンサ１２の画素の形状に依存せず、任意の形状の複数の領域に色素Ｃ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５がそれぞれ形成されている。
【0035】
図３は、図１の撮像素子１０の構成の一例を示す模式図である。図３は、図２に対応させて、分光フィルタ１１の一部のみを切り出した状態で分光フィルタ１１を示した模式図である。同様に、図３は、分光フィルタ１１に対応させて、イメージセンサ１２の一部のみを切り出した状態でイメージセンサ１２を示した模式図である。図３を参照しながら、一実施形態に係る撮像素子１０の構成について主に説明する。
【0036】
例えば、図３に示すイメージセンサ１２は、縦３列及び横３列に配列された格子状の９つの画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、及びＰ９を有する。図３に示す分光フィルタ１１は、図２に示す分光フィルタ１１と同一である。分光フィルタ１１は、例えば光Ｌの入射方向に沿って、イメージセンサ１２の前面にイメージセンサ１２と平行になるように配置されている。又は、分光フィルタ１１は、イメージセンサ１２と一体的に形成されている。
【0037】
撮像素子１０に入射した被測定対象の光Ｌは、分光フィルタ１１を透過し、イメージセンサ１２の画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、及びＰ９のそれぞれに入射する。光Ｌは、イメージセンサ１２の画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、及びＰ９のそれぞれで電気信号に変換される。撮像素子１０を有する撮像装置１は、撮像素子１０から出力される当該電気信号としての撮像信号に基づいて被測定対象の光Ｌを分光し、画像データを生成する。
【0038】
図４Ａは、光Ｌが図３の分光フィルタ１１を透過するときの透過率に関する第１例を示すグラフ図である。図４Ａのグラフは、例えば、図３の分光フィルタ１１において、イメージセンサ１２上の画素Ｐ１に対応する領域に形成されている色素を光Ｌが透過したときの透過率の波長依存性を示す。ここで、画素Ｐ１に対応する領域は、例えば、イメージセンサ１２の画素Ｐ１と同一の大きさ及び形状を有し、画素Ｐ１と同一の配列を有する分光フィルタ１１上の領域を意味する。
【0039】
図４Ｂは、光Ｌが図３の分光フィルタ１１を透過するときの透過率に関する第２例を示すグラフ図である。図４Ｂのグラフは、例えば、図３の分光フィルタ１１において、イメージセンサ１２上の画素Ｐ２に対応する領域に形成されている色素を光Ｌが透過したときの透過率の波長依存性を示す。ここで、画素Ｐ２に対応する領域は、例えば、イメージセンサ１２の画素Ｐ２と同一の大きさ及び形状を有し、画素Ｐ２と同一の配列を有する分光フィルタ１１上の領域を意味する。
【0040】
図４Ｃは、光Ｌが図３の分光フィルタ１１を透過するときの透過率に関する第３例を示すグラフ図である。図４Ｃのグラフは、例えば、図３の分光フィルタ１１において、イメージセンサ１２上の画素Ｐ３に対応する領域に形成されている色素を光Ｌが透過したときの透過率の波長依存性を示す。ここで、画素Ｐ３に対応する領域は、例えば、イメージセンサ１２の画素Ｐ３と同一の大きさ及び形状を有し、画素Ｐ３と同一の配列を有する分光フィルタ１１上の領域を意味する。
【0041】
分光フィルタ１１上に形成されている色素Ｃ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５は、イメージセンサ１２の画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、及びＰ９と異なる配列を有する。したがって、図７Ａ乃至図７Ｃに示すような単一の色素のみを光が透過したときの透過率の波長依存性とは異なり、図３の分光フィルタ１１を経て画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、及びＰ９のそれぞれに入射する光Ｌの透過率は、一例として図４Ａ乃至図４Ｃに示すような波長特性を有する。より具体的には、図３の分光フィルタ１１を経て画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、及びＰ９のそれぞれに入射する光Ｌの透過率は、色素Ｃ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５のうちの任意の数の色素に対応して、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、及びＰ９に対応する領域ごとに様々な波長特性を有する。例えば、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、及びＰ９に対応する領域ごとに形成されている任意の数の色素を光Ｌが透過したときの透過率は、様々な透過波長、透過ピークの数、及び透過プロファイル等を有する。
【0042】
【0043】
ステップＳ１０１では、制御部２０は、光Ｌが分光フィルタ１１を透過したときの透過率の波長依存性を、イメージセンサ１２の画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、及びＰ９ごとに関連付けた透過率データを記憶部３０に予め記憶させる。
【0044】
ステップＳ１０２では、制御部２０は、撮像素子１０、より具体的にはイメージセンサ１２から撮像信号を取得する。
【0045】
ステップＳ１０３では、制御部２０は、記憶部３０に記憶されている透過率データと、イメージセンサ１２から取得した撮像信号とに基づいて、分光フィルタ１１に入射する光Ｌの分光スペクトルを算出する。
【0046】
ステップＳ１０４では、制御部２０は、ステップＳ１０３において算出された光Ｌの分光スペクトルに基づいて画像データを生成する。
【0047】
以下では、図５のフローチャートに示す撮像方法をより具体的に説明する。撮像方法は、図５のステップＳ１０１に対応する校正方法と、図５のステップＳ１０２及びステップＳ１０３に対応する演算方法とを含む。以下で説明するような校正方法及び演算方法によって、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、及びＰ９に対応する領域ごとに図４Ａ乃至図４Ｃに示すような様々な波長特性を光Ｌの透過率が有する分光フィルタ１１を用いた場合であっても、光Ｌの分光が可能となり、分光画像、すなわち画像データの生成が可能となる。
【0048】
以下では、図３に示すとおり、一例として縦３列及び横３列に配列された格子状の９つの画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、及びＰ９をイメージセンサ１２の１つのブロックとして分光を行う場合の撮像方法について主に説明する。
【0049】
イメージセンサ１２全体は、例えば縦３０００列及び横３０００列に配列された多数の画素を有するため、縦３列及び横３列の９つの画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、及びＰ９を１つのブロックとした場合、縦１０００列及び横１０００列に配列された多数のブロックを有することになる。分光画像は、縦３列及び横３列の９つの画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、及びＰ９を含む１つのブロックに基づく分解能を有することになる。当該１つのブロックに対応する分光フィルタ１１の領域に入射する光Ｌは、例えば光学的なローパスフィルタ及びスプリッタ等によって、同一ブロックに対応する分光フィルタ１１の領域内で均一の光強度を有するように調整される。分光フィルタ１１における上述した色素の形成パターンは、異なるブロック同士で、全く異なっていてもよいし、規則的であってもよいし、全く同一であってもよい。
【0050】
撮像方法に含まれる校正方法の一例について主に説明する。
【0051】
校正方法では、光Ｌが分光フィルタ１１を透過するときの透過率の波長依存性を、イメージセンサ１２の画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、及びＰ９ごとに関連付けた透過率データを取得する。例えば、縦ｍ列目、横ｎ列目の画素に対応する領域における分光フィルタ１１の透過率データをＥｍｎと表わす。このとき、ｍ及びｎのそれぞれは、１～３までの任意の整数である。例えば、校正方法において５つの校正波長ｖ１、ｖ２、ｖ３、ｖ４、及びｖ５を用いる場合、透過率ａｍｎ、ｂｍｎ、ｃｍｎ、ｄｍｎ、及びｅｍｎがそれぞれの波長に対応して得られる。このとき、透過率データＥｍｎは、（ａｍｎ、ｂｍｎ、ｃｍｎ、ｄｍｎ、ｅｍｎ）の値をベクトルデータとして含む。以上のように、透過率の波長依存性は、複数の校正波長に基づいて得られる。透過率データＥｍｎは、撮像素子１０の校正値として用いられる。ここで、校正とは、撮像素子１０の使用に先立って、校正波長ごとの透過率（ａｍｎ、ｂｍｎ、ｃｍｎ、ｄｍｎ、ｅｍｎ）の値を予め取得しておくことを意味する。
【0052】
光Ｌがイメージセンサ１２に入射したときの縦ｍ列目、横ｎ列目の画素の出力値に対応する受光強度Ｓｏｍｎは、分光フィルタ１１に入射する光Ｌの５つの校正波長に対する強度をそれぞれＰ（ｖ１）、Ｐ（ｖ２）、Ｐ（ｖ３）、Ｐ（ｖ４）、及びＰ（ｖ５）と表すと、以下の式１のように表される。
【0053】
【数1】
【0054】
ここで、例えば、校正波長ｖ１、ｖ２、ｖ３、ｖ４、及びｖ５のそれぞれの単波長で分光スペクトルを有し、かつ既知の光強度を有する５つの光を撮像素子１０に個別に照射する。分光フィルタ１１に入射するこれら５つの光の強度をそれぞれＰ０（ｖ１）、Ｐ０（ｖ２）、Ｐ０（ｖ３）、Ｐ０（ｖ４）、及びＰ０（ｖ５）とする。このとき、５つの光がイメージセンサ１２にそれぞれ入射したときの縦ｍ列目、横ｎ列目の画素の出力値に対応する受光強度Ｓｏ（ｖ１）ｍｎ、Ｓｏ（ｖ２）ｍｎ、Ｓｏ（ｖ３）ｍｎ、Ｓｏ（ｖ４）ｍｎ、及びＳｏ（ｖ５）ｍｎを用いて、透過率データＥｍｎは、以下のように取得される。
【0055】
【数2】
【0056】
以上が撮像方法に含まれる校正方法の一例である。制御部２０は、当該校正方法によってブロックごとに取得された透過率データＥｍｎを記憶部３０に格納する。
【0057】
撮像方法に含まれる演算方法の一例について主に説明する。
【0058】
ここで、演算とは、例えば撮像素子１０を搭載した撮像装置１が撮像を行うときに、校正値としての透過率データＥｍｎに基づいて、分光フィルタ１１に入射する光Ｌの５つの校正波長に対する強度Ｐ（ｖ１）、Ｐ（ｖ２）、Ｐ（ｖ３）、Ｐ（ｖ４）、及びＰ（ｖ５）を制御部２０がそれぞれ算出することを意味する。例えば、制御部２０は、上述した校正方法によって記憶部３０に記憶されている透過率データＥｍｎを、撮像素子１０が使用されるときに校正値として用いることで、各ブロックに対応する分光フィルタ１１の領域において光Ｌの分光スペクトルを算出する。例えば、制御部２０は、記憶部３０から取得した透過率データＥｍｎと、イメージセンサ１２から出力される撮像信号とに基づいて、分光フィルタ１１に入射する光Ｌの分光スペクトルを算出する。
【0059】
縦３列及び横３列に配列された格子状の９つの画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、及びＰ９をイメージセンサ１２の１つのブロックとして分光を行う場合、均一の光強度を有する光Ｌが９つの画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、及びＰ９のそれぞれに入射する。したがって、光Ｌがイメージセンサ１２に入射するときの受光強度Ｓｏｍｎと、分光フィルタ１１に入射する光Ｌの５つの校正波長に対する強度Ｐ（ｖ１）、Ｐ（ｖ２）、Ｐ（ｖ３）、Ｐ（ｖ４）、及びＰ（ｖ５）とは、式１に基づいて、以下の式３のように９つの式によって関連付けられる。
【0060】
【数3】
【0061】
ここで、受光強度Ｓｏｍｎは、対応する画素から出力される電気信号の出力値から換算され得るので既知である。同様に、各画素に対応する校正値としての透過率ａｍｎ、ｂｍｎ、ｃｍｎ、ｄｍｎ、及びｅｍｎも、上記の校正方法に基づいて既知である。したがって、制御部２０は、式３の９つの式を連立して解くことで、分光フィルタ１１に入射する光Ｌの５つの校正波長に対する強度Ｐ（ｖ１）、Ｐ（ｖ２）、Ｐ（ｖ３）、Ｐ（ｖ４）、及びＰ（ｖ５）の近似解を導出可能である。制御部２０は、近似方式として、例えば最小二乗法等を用いる。以上が撮像方法に含まれる演算方法の一例である。
【0062】
このような演算方法では、制御部２０は、上記の校正方法に基づいて演算の妨げとなると判明した画素に関連する透過率データＥｍｎを使用しなくてもよい。例えば、演算の妨げとなると判明した画素は、分光フィルタ１１が製造されるときに、透過率ａｍｎ、ｂｍｎ、ｃｍｎ、ｄｍｎ、及びｅｍｎが小さくなり過ぎた画素及び全く動作しなくなった画素等を含む。
【0063】
以下では、一実施形態に係る分光フィルタ１１の製造方法の一例について主に説明する。
【0064】
一実施形態に係る分光フィルタ１１は、例えば、互いに異なる光の透過波長を有する少なくとも３種類の色素を、ガラス基板及び有機フィルム基板等を含む任意の基板に塗布又は印刷することで製造される。一実施形態に係る分光フィルタ１１は、色素が形成されている、分光フィルタ１１の同一平面上の複数の領域のうち、一の領域と他の領域とが互いに重なるように製造される。例えば、製造された分光フィルタ１１の各領域は、イメージセンサ１２の画素の規則的な配列とは異なり、ランダムに配置されている。
【0065】
より具体的には、分光フィルタ１１の製造方法は、例えば、互いに異なる光の透過波長を有する少なくとも３種類の色素を含む液体を、複数のノズルを有するスプレーコーターのような塗布装置により基板に霧状に吹き付ける工程を含む。塗布の条件を調整して溶媒が乾燥する状態で塗布すると、基板上の各色素は、粒子状又は薄膜状に分離した構造を有する。このような粒子状又は薄膜状に分離した各色素は、霧状に吹き付けられているのでランダムな配置を有する。
【0066】
分光フィルタ１１の製造方法は、上記のような塗布装置による塗布に代えて、又は加えて、複数のヘッドを有するインクジェットプリンタのような印刷装置により、互いに異なる光の透過波長を有する少なくとも３種類の色素のインクを印刷する工程を含んでもよい。印刷する図柄は、色素ごとになるべく重ならないように配置されてもよい。
【0067】
以上のような一実施形態に係る撮像装置１によれば、色素の種類が増加しても製造コストを低減できる。より具体的には、製造工程が複雑化し、高コストの原因となる、画素と同一の色素配列を有する従来の分光フィルタとは異なり、一実施形態に係る分光フィルタ１１は、色素が形成されている複数の領域のうち、一の領域と他の領域との重なりを許容する。例えば、一実施形態に係る分光フィルタ１１では、イメージセンサ１２の画素列に依存せず、ランダムに配置されている領域に各色素が形成されている。したがって、上述したとおり、分光フィルタ１１の製造方法がより簡素化し、製造コストが低減する。すなわち、一実施形態に係る分光フィルタ１１は、従来の分光フィルタと比較してより容易に製造可能である。
【0068】
上述した一実施形態に係る撮像方法のように、透過率データＥｍｎと、イメージセンサ１２から出力される撮像信号とに基づいて、分光フィルタ１１に入射する光Ｌの分光スペクトルを制御部２０が算出する。これにより、上述の簡素化された製造方法によって製造された一実施形態に係る分光フィルタ１１を撮像装置１が用いた場合であっても、制御部２０は、光Ｌの分光スペクトルを精度良く算出可能である。
【0069】
本開示は、その精神又はその本質的な特徴から離れることなく、上述した実施形態以外の他の所定の形態で実現できることは当業者にとって明白である。したがって、先の記述は例示的であり、これに限定されない。開示の範囲は、先の記述によってではなく、付加した請求項によって定義される。あらゆる変更のうちその均等の範囲内にあるいくつかの変更は、その中に包含される。
【0070】
例えば、上述した各構成部の形状、配置、向き、及び個数等は、上記の説明及び図面における図示の内容に限定されない。各構成部の形状、配置、向き、及び個数等は、その機能を実現できるのであれば、任意に構成されてもよい。
【0071】
例えば、上述した撮像装置１を用いた撮像方法における各ステップ及び各ステップに含まれる機能等は、論理的に矛盾しないように再配置可能であり、ステップの順序を変更したり、複数のステップを１つに組み合わせたり、又は分割したりすることが可能である。
【0072】
例えば、本開示は、上述した撮像装置１の各機能を実現する処理内容を記述したプログラム又はプログラムを記録した記憶媒体としても実現し得る。本開示の範囲には、これらも包含されると理解されたい。
【0073】
上記では、一例として縦３列及び横３列に配列された格子状の９つの画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、及びＰ９をイメージセンサ１２の１つのブロックとして分光を行う場合の撮像方法について説明した。これに限定されず、イメージセンサ１２の１つのブロックは、縦に任意の数の列及び横に任意の数の列で配列された格子状の任意の数の画素を含んでもよい。１つのブロックに含まれる画素数が多くなる程、分光の精度及びＳＮＲ（Signal-to-Noise Ratio）が向上する。一方で、同一ブロックに対応する分光フィルタ１１の領域内で均一の光強度を有するように光Ｌが調整されることから、１つのブロックに含まれる画素数が少なくなる程、空間分解能が向上する。
【0074】
イメージセンサ１２の１つのブロックに含まれる複数の画素は、格子状に配列されていると説明したが、これに限定されない。イメージセンサ１２の１つのブロックに含まれる複数の画素は、格子状以外の任意の態様で配列されていてもよい。
【0075】
上記の撮像方法では、５種類の色素Ｃ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５を用いて、５つの校正波長ｖ１、ｖ２、ｖ３、ｖ４、及びｖ５により光Ｌの分光が行われるとして説明したが、これに限定されない。色素の種類の数及び校正波長の数のそれぞれは、任意であってもよい。色素の種類の数と校正波長の数とは、互いに同一であってもよいし、互いに異なっていてもよい。このとき、校正波長の数が多いほど光Ｌの分光における波長分解能は向上する。
【0076】
上記の撮像方法は、校正方法と演算方法とを一連のフローとして含むと説明したが、これに限定されない。例えば、校正方法と演算方法とをそれぞれ異なるユーザが実行してもよい。すなわち、一実施形態に係る撮像方法では、異なるユーザが実行した校正方法により取得された透過率データＥｍｎに基づいて、演算方法のみが実行されてもよい。例えば、撮像装置１を製造するときに校正方法が実行され、透過率データＥｍｎが記憶部３０に格納されている状態で撮像装置１が出荷されてもよい。ユーザは、透過率データＥｍｎが記憶部３０に格納されている撮像装置１を用いて、演算方法を実行してもよい。
【0077】
上記の撮像方法は、校正方法と演算方法とを含むとして説明したが、これに限定されない。例えば機械学習を用いることで、波長ごとの光Ｌの強度等の正確な分光情報が必要でないような場合には、一実施形態に係る撮像方法は、上記のような校正方法を含まなくてもよい。このとき、撮像方法は、図５のステップＳ１０３に代えて、撮像素子１０から出力される撮像信号に基づいて画像データを制御部２０が生成可能な任意の方法を含んでもよい。例えば、撮像方法は、図５のステップＳ１０３に代えて、透過率データＥｍｎを用いることなく、イメージセンサ１２の画素ごとに取得した撮像信号を学習データとして用いて、分光フィルタ１１に入射する光Ｌの分光情報を取得するステップを含んでもよい。撮像方法は、当該ステップの後に、取得された光Ｌの分光情報に基づいて画像データを生成するステップを含んでもよい。
【符号の説明】
【0078】
１ 撮像装置
１０ 撮像素子
１１ 分光フィルタ
１２ イメージセンサ
２０ 制御部
３０ 記憶部
４０ 入力部
５０ 通信部
Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５ 色素
Ｌ 光
Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、Ｐ９ 画素
１０ 撮像素子
１１ 分光フィルタ
１２ イメージセンサ
２０ 制御部
３０ 記憶部
４０ 入力部
５０ 通信部
Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５ 色素
Ｌ 光
Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、Ｐ９ 画素
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7A】
【図7B】
【図7C】