(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-03
(45)【発行日】2022-06-13
(54)【発明の名称】撮像素子、撮像装置、撮像方法およびプログラム
(51)【国際特許分類】
H04N 9/07 20060101AFI20220606BHJP
【FI】
H04N9/07 D
(21)【出願番号】P 2020547521
(86)(22)【出願日】2018-09-19
(86)【国際出願番号】 JP2018034679
(87)【国際公開番号】W WO2020059050
(87)【国際公開日】2020-03-26
【審査請求日】2021-03-05
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】吉崎 和徳
【審査官】豊田 好一
(56)【参考文献】
【文献】特開2005-341467(JP,A)
【文献】特開2006-13567(JP,A)
【文献】特開2006-94112(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 9/07
(57)【特許請求の範囲】
【請求項1】
光を受光することによって画像信号を生成する複数の画素が二次元マトリクス状に配置されてなる画素部と、
可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを前記複数の画素に対応させて配置してなるカラーフィルタと、
を備え、
前記カラーフィルタは、
前記複数のフィルタのいずれか1つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第1の同色フィルタおよび第2の同色フィルタを含み、
前記第1の同色フィルタおよび前記第2の同色フィルタは、
可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なる
撮像素子。
【請求項2】
光を受光することによって画像信号を生成する複数の画素が二次元マトリクス状に配置されてなる画素部と、
可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを前記複数の画素に対応させて配置してなるカラーフィルタと、
を備え、
前記カラーフィルタは、
前記複数のフィルタのいずれか1つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第1の同色フィルタおよび第2の同色フィルタを含み、
前記第1の同色フィルタおよび前記第2の同色フィルタは、
可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なる
撮像素子と、
前記可視領域における前記第1の同色フィルタの透過率と前記第2の同色フィルタの透過率との第1の比率と、前記近赤外領域における前記第1の同色フィルタの透過率と前記第2の同色フィルタの透過率との第2の比率と、に基づいて、前記第1の同色フィルタが配置されてなる前記画素によって生成された第1の画像信号および前記第2の同色フィルタが配置されてなる前記画素によって生成された第2の画像信号の各々から前記可視領域の画像信号と前記近赤外領域の画像信号とを分離する分離部と、
を備える
撮像装置。
【請求項3】
請求項2に記載の撮像装置であって、
前記カラーフィルタは、ベイヤー配列であり、
前記第1の同色フィルタおよび前記第2の同色フィルタは、緑色の波長帯域を透過する
撮像装置。
【請求項4】
請求項3に記載の撮像装置であって、
前記カラーフィルタの受光面に設けられ、前記近赤外領域の一部の光をカットするノッチフィルタをさらに備える
撮像装置。
【請求項5】
撮像装置が実行する撮像方法であって、
当該撮像装置は、
撮像素子と、
画像処理部と、
を備え、
前記撮像素子は、
光を受光することによって画像信号を生成する複数の画素が二次元マトリクス状に配置されてなる画素部と、
可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを前記複数の画素に対応させて配置してなるカラーフィルタと、
を備え、
前記カラーフィルタは、
前記複数のフィルタのいずれか1つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第1の同色フィルタおよび第2の同色フィルタを含み、
前記第1の同色フィルタおよび前記第2の同色フィルタは、
可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なり、
前記画像処理部が前記可視領域における前記第1の同色フィルタの透過率と前記第2の同色フィルタの透過率との第1の比率と、前記近赤外領域における前記第1の同色フィルタの透過率と前記第2の同色フィルタの透過率との第2の比率と、に基づいて、前記第1の同色フィルタが配置されてなる前記画素によって生成された第1の画像信号および前記第2の同色フィルタが配置されてなる前記画素によって生成された第2の画像信号の各々から前記可視領域の画像信号と前記近赤外領域の画像信号とを分離する
撮像方法。
【請求項6】
撮像装置が実行するプログラムであって、
当該撮像装置は、
撮像素子と、
画像処理部と、
を備え、
前記撮像素子は、
光を受光することによって画像信号を生成する複数の画素が二次元マトリクス状に配置されてなる画素部と、
可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを前記複数の画素に対応させて配置してなるカラーフィルタと、
を備え、
前記カラーフィルタは、
前記複数のフィルタのいずれか1つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第1の同色フィルタおよび第2の同色フィルタを含み、
前記第1の同色フィルタおよび前記第2の同色フィルタは、
可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なり、
前記画像処理部が前記可視領域における前記第1の同色フィルタの透過率と前記第2の同色フィルタの透過率との第1の比率と、前記近赤外領域における前記第1の同色フィルタの透過率と前記第2の同色フィルタの透過率との第2の比率と、に基づいて、前記第1の同色フィルタが配置されてなる前記画素によって生成された第1の画像信号および前記第2の同色フィルタが配置されてなる前記画素によって生成された第2の画像信号の各々から前記可視領域の画像信号と前記近赤外領域の画像信号とを分離する
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、カラー画像と近赤外線画像を撮像可能な撮像素子、撮像装置、撮像方法およびプログラムに関する。
【背景技術】
【0002】
従来、撮像装置において、カラー画像と近赤外画像とを撮像することができる技術が知られている(特許文献1参照)。この技術では、Rフィルタ、2つのGフィルタおよびBフィルタで構成されたベイヤー配列のうち1つのフィルタをIRフィルタに置き換えることによって、可視光画像と近赤外画像とを撮像する。
【0003】
また、Rフィルタ、Gフィルタ、BフィルタおよびIRフィルタで構成されたカラーフィルタにおいて、Rフィルタ、GフィルタおよびBフィルタの受光面に、赤外吸収フィルタを設けることによって、カラー画像と近赤外画像とを撮像する技術が知られている(特許文献2参照)。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2005-6066号公報
【文献】特開2017-139286号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した特許文献1,2では、IRフィルタが必要となり、従来のベイヤー配列で用いた画像処理を適用することができないという問題点があった。
【0006】
本開示は、上記に鑑みてなされたものであって、IRフィルタを設けることなく、カラー画像と近赤外画像とを同時に取得することができる撮像素子、撮像装置、撮像方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本開示に係る撮像装置は、光を受光することによって画像信号を生成する複数の画素が二次元マトリクス状に配置されてなる画素部と、可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを前記複数の画素に対応させて配置してなるカラーフィルタと、を備え、前記カラーフィルタは、前記複数のフィルタのいずれか1つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第1の同色フィルタおよび第2の同色フィルタを含み、前記第1の同色フィルタおよび前記第2の同色フィルタは、可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なる。
【0008】
また、本開示に係る撮像装置は、光を受光することによって画像信号を生成する複数の画素が二次元マトリクス状に配置されてなる画素部と、可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを前記複数の画素に対応させて配置してなるカラーフィルタと、を備え、前記カラーフィルタは、前記複数のフィルタのいずれか1つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第1の同色フィルタおよび第2の同色フィルタを含み、前記第1の同色フィルタおよび前記第2の同色フィルタは、可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なる撮像素子と、前記可視領域における前記第1の同色フィルタの透過率と前記第2の同色フィルタの透過率との第1の比率と、前記近赤外領域における前記第1の同色フィルタの透過率と前記第2の同色フィルタの透過率との第2の比率と、に基づいて、前記第1の同色フィルタが配置されてなる前記画素によって生成された第1の画像信号および前記第2の同色フィルタが配置されてなる前記画素によって生成された第2の画像信号の各々から前記可視領域の画像信号と前記近赤外領域の画像信号とを分離する分離部と、を備える。
【0009】
また、本開示に係る撮像装置は、上記開示において、前記カラーフィルタは、ベイヤー配列であり、前記第1の同色フィルタおよび前記第2の同色フィルタは、緑色の波長帯域を透過する。
【0010】
また、本開示に係る撮像装置は、上記開示において、前記カラーフィルタの受光面に設けられ、前記近赤外領域の一部の光をカットするノッチフィルタをさらに備える。
【0011】
また、本開示に係る撮像方法は、撮像装置が実行する撮像方法であって、当該撮像装置は、撮像素子と、画像処理部と、を備え、前記撮像素子は、光を受光することによって画像信号を生成する複数の画素が二次元マトリクス状に配置されてなる画素部と、可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを前記複数の画素に対応させて配置してなるカラーフィルタと、を備え、前記カラーフィルタは、前記複数のフィルタのいずれか1つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第1の同色フィルタおよび第2の同色フィルタを含み、前記第1の同色フィルタおよび前記第2の同色フィルタは、可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なり、前記画像処理部が前記可視領域における前記第1の同色フィルタの透過率と前記第2の同色フィルタの透過率との第1の比率と、前記近赤外領域における前記第1の同色フィルタの透過率と前記第2の同色フィルタの透過率との第2の比率と、に基づいて、前記第1の同色フィルタが配置されてなる前記画素によって生成された第1の画像信号および前記第2の同色フィルタが配置されてなる前記画素によって生成された第2の画像信号の各々から前記可視領域の画像信号と前記近赤外領域の画像信号とを分離する。
【0012】
また、本開示に係るプログラムは、撮像装置が実行するプログラムであって、当該撮像装置は、撮像素子と、画像処理部と、を備え、前記撮像素子は、光を受光することによって画像信号を生成する複数の画素が二次元マトリクス状に配置されてなる画素部と、可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを前記複数の画素に対応させて配置してなるカラーフィルタと、を備え、前記カラーフィルタは、前記複数のフィルタのいずれか1つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第1の同色フィルタおよび第2の同色フィルタを含み、前記第1の同色フィルタおよび前記第2の同色フィルタは、可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なり、前記画像処理部が前記可視領域における前記第1の同色フィルタの透過率と前記第2の同色フィルタの透過率との第1の比率と、前記近赤外領域における前記第1の同色フィルタの透過率と前記第2の同色フィルタの透過率との第2の比率と、に基づいて、前記第1の同色フィルタが配置されてなる前記画素によって生成された第1の画像信号および前記第2の同色フィルタが配置されてなる前記画素によって生成された第2の画像信号の各々から前記可視領域の画像信号と前記近赤外領域の画像信号とを分離する。
【発明の効果】
【0013】
本開示によれば、IRフィルタを設けることなく、カラー画像と近赤外画像とを同時に取得することができるという効果を奏する。
【図面の簡単な説明】
【0014】
【
図1】
図1は、実施の形態1に係る撮像装置の機能構成を示すブロック図である。
【
図2】
図2は、実施の形態1に係る画素部の構成を模式的に示す図である。
【
図3】
図3は、実施の形態1に係るカラーフィルタの構成を模式的に示す図である。
【
図4】
図4は、実施の形態1に係る各フィルタの透過特性を示す図である。
【
図5】
図5は、実施の形態1に係る撮像装置が実行する処理の概要を示すフローチャートである。
【
図6】
図6は、実施の形態1に係る撮像装置が生成する画像の一例を模式的に説明する図である。
【
図7】
図7は、実施の形態1に係るtrueGおよびIRの各々の分光透過率を模式的に示す図である。
【
図8】
図8は、実施の形態1に係るフィルタG
1およびフィルタG
2の透過率を模式的に示す図である。
【
図9】
図9は、被写体の分光反射率を模式的に示す図である。
【
図10】
図10は、実施の形態1に係るG
1画素およびG
2画素の分光感度を示す。
【
図11】
図11は、実施の形態1の変形例1に係るカラーフィルタの構成を模式的に示す図である。
【
図12】
図12は、実施の形態1の変形例1に係るカラーフィルタの透過特性を示す図である。
【
図13】
図13は、実施の形態1の変形例2のカラーフィルタを模式的に示す図である。
【
図14】
図14は、実施の形態2に係る各波長帯域の分光透過率を模式的に示す図である。
【
図15】
図15は、実施の形態3に係る撮像装置の機能構成を示すブロック図である。
【
図16】
図16は、実施の形態3に係る各フィルタおよびノッチフィルタの透過特性を示す図である。
【発明を実施するための形態】
【0015】
以下、本開示を実施するための形態(以下、「実施の形態」という)について説明する。この実施の形態では、被写体を撮像することによって画像データ(RAWデータ)を生成する撮像素子を備えた撮像装置について説明する。また、この実施の形態により、本開示が限定されるものでない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
【0016】
(実施の形態1)
〔撮像装置の構成〕
図1は、実施の形態1に係る撮像装置の機能構成を示すブロック図である。
図1に示す撮像装置1は、撮像部2と、画像処理部3と、表示部4と、記録部5と、制御部6と、を備える。
【0017】
撮像部2は、被写体を撮像することによって画像データを生成する。撮像部2は、光学系21と、撮像素子22と、A/D変換部23と、を有する。
【0018】
光学系21は、被写体像を撮像素子22の受光面に結像する。光学系21は、1または複数のレンズを用いて構成される。光学系21は、ズーム機能およびフォーカス機能を有する。光学系21は、図示しないモータ等の駆動ユニットによって光軸L1上を移動することによって、ズーム倍率およびフォーカス位置を変更する。
【0019】
撮像素子22は、受光面が光学系21の光軸L1に対して垂直に設けられる。撮像素子22は、制御部6の制御のもと、光学系21によって結像された被写体像に対して光電変換を行うことによって画像信号(画像データ)を生成し、この画像信号をA/D変換部23へ出力する。撮像素子22は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を用いて実現される。撮像素子22は、画素部221と、画素部221の受光面に積層されてなるカラーフィルタ222と、を含む。なお、画素部221およびカラーフィルタ222の詳細な構成については後述する。
【0020】
A/D変換部23は、制御部6の制御のもと、撮像部2から入力されたアナログの画像信号に対して、A/D変換を行って画像処理部3へ出力する。A/D変換部23は、例えばA/D変換回路等を用いて構成される。
【0021】
画像処理部3は、制御部6の制御のもと、撮像部2から入力された画像信号に対して、各種の画像処理、例えばホワイトバランス調整処理、デモザキング処理および分離処理等を行って表示部4へ出力する。画像処理部3は、GPU(Graphics Processing Unit)またはASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。画像処理部3は、補間部31と、分離部32と、生成部33と、を有する。
【0022】
補間部31は、撮像部2から入力された画像信号に対して、各画素の画像信号(画素値)を補間する周知の補間処理を実行する。具体的には、補間部31は、カラーフィルタ222を構成する各フィルタの画像信号を、周知の補間処理を行うことによって各フィルタの画像信号を補間した各フィルタの画像信号に対応する画像を生成する。
【0023】
分離部32は、可視領域における第1の同色フィルタの透過率と第2の同色フィルタの透過率との第1の比率と、近赤外領域における第1の同色フィルタの透過率と第2の同色フィルタの透過率との第2の比率と、に基づいて、第1の同色フィルタが配置されてなる画素によって生成された第1の画像信号および第2の同色フィルタが配置されてなる画素によって生成された第2の画像信号の各々から可視領域の画像信号と近赤外領域の画像信号とを分離する。なお、分離部32による分離方法の詳細は、後述する。
【0024】
生成部33は、分離部32が分離した可視領域の画像信号および近赤外領域の画像信号に基づいて、可視光画像および近赤外画像(以下、単に「IR画像」という)を生成する。生成部33は、可視光画像およびIR画像を表示部4へ出力する。
【0025】
表示部4は、制御部6の制御のもと、画像処理部3から入力された画像信号に対応する画像(可視光画像およびIR画像の少なくとも一方)を表示する。また、表示部4は、撮像装置1に関する各種情報を表示する。表示部4は、例えば液晶または有機EL(Electro Luminescence)等の表示パネルを用いて構成される。
【0026】
記録部5は、撮像装置1が実行するプログラム、処理中のデータおよび撮像部2が生成した画像データ等を記録する。記録部5は、撮像装置1が実行するプログラムを記録するプログラム記録部51と、カラーフィルタ222の各フィルタの感度を記録する感度情報記録部52と、を有する。記録部5は、例えばFlashメモリ、RAM(Random Access Memory)、HDD(Hard Disk Drive)、SDRAM(Synchronous Dynamic Random Access Memory)、メモリカード等を用いて構成される。
【0027】
制御部6は、撮像装置1の各部を制御する。制御部6は、CPU(Central Processing Unit)等を用いて構成される。
【0028】
〔画素部の構成〕
次に、上述した画素部221の詳細な構成について説明する。
図2は、画素部221の構成を模式的に示す図である。
【0029】
図2に示す画素部221は、カラーフィルタ222を透過した光を受光する複数の画素Pが二次元格子状(二次元マトリックス状)に配置されてなる。各画素Pは、光学系21から入射された光であって、カラーフィルタ222を透過した光を受光して光電変換を行うことによって画像信号を生成する。この画像信号には、各画素の画素値(輝度値)および画素の位置情報(画素アドレス)等が含まれる。
図2において、i行j列目に配置されてなる画素を画素P
ijと記して表現する。
【0030】
〔カラーフィルタの構成〕
次に、カラーフィルタ222の詳細な構成について説明する。
図3は、カラーフィルタ222の構成を模式的に示す図である。
【0031】
図3に示すカラーフィルタ222は、可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを画素部221の複数の画素に対応させて配置されてなる。具体的には、カラーフィルタ222は、画素部221の受光面上に配置されており、可視領域において互いに異なる波長帯域の可視光および近赤外領域において互いに異なる波長帯域の近赤外線を透過する4種類のフィルタを有する。より具体的には、カラーフィルタ222は、Rフィルタと、G
1フィルタと、G
2フィルタと、Bフィルタと、を有する。カラーフィルタ222は、Rフィルタ、G
1フィルタ、G
2フィルタおよびBフィルタが所定の配列パターンに並べて配置されて形成される。具体的には、カラーフィルタ222は、列毎にRフィルタ、G
1フィルタ、Bフィルタ、Rフィルタ、G
2フィルタの配列パターンで配置されて形成される。
【0032】
Rフィルタは、赤色の波長帯域の光を透過する。G1フィルタは、緑色の波長帯域の光を透過し、かつ、近赤外の波長帯域の光を透過する。G2フィルタは、G1フィルタと同じ同色の波長帯域において互いに異なる透過波長特性を有し、緑色の波長帯域の光を透過し、かつ、近赤外の波長帯域の光を透過する。Bフィルタは、青色の波長帯域の光を透過する。
【0033】
G1フィルタおよびG2フィルタは、可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なる。なお、実施の形態1では、G1フィルタおよびG2フィルタが第1の同色フィルタおよび第2の同色フィルタとして機能する。また、以下においては、各フィルタが設けられた画素Pijは、フィルタを透過した波長帯域の光を受光する。このため、Rフィルタが配置された画素をR画素、G1フィルタが配置された画素をG1画素、G2フィルタが配置された画素をG2画素、Bフィルタが配置された画素をB画素として説明する。
【0034】
〔各フィルタの分光透過特性〕
次に、上述したカラーフィルタ222の透過特性(分光感度特性)について説明する。
図4は、各フィルタの透過特性を示す図である。
図4においては、縦軸が透過率(分光感度)を示し、横軸が波長(nm)を示す。さらに、
図4において、曲線L
BがフィルタBの透過率曲線を示し、曲線L
G1がフィルタG
1の透過曲線を示し、曲線L
G2がフィルタG
2の透過曲線を示し、曲線L
RがフィルタRの透過曲線を示す。さらに、以下においては、可視領域を400nm~700nmとし、近赤外領域を700nm~1000nmとして説明する。
【0035】
図4に示す曲線L
Rに示すように、フィルタRは、第1の可視領域である赤色の波長帯域(波長帯域600nm~700nm)の光を透過する。また、曲線L
Bに示すように、フィルタBは、第2の可視領域である青色の波長帯域(400nm~500nm)の光を透過する。また、曲線L
G1および曲線L
G2に示すように、フィルタG
1およびフィルタG
2は、第3の可視帯域である緑色の波長帯域(500nm~600nm)および近赤外領域(700nm~1000nm)の各々の光を透過する。さらに、フィルタG
1およびフィルタG
2は、第3の可視光領域および近赤外領域の各々において分光透過率が一定の領域を有する。さらにまた、フィルタG
1およびフィルタG
2は、第3の可視光領域および近赤外領域の各々において透過率が異なうえ、透過率の差D
1,D
2が一定である。なお、実施の形態1では、フィルタG
1およびフィルタG
2は、第3の可視光領域および近赤外領域の各々において透過率が互い異なっているが、第3の可視光領域および近赤外領域の少なくとも一方で透過率が異なっていればよい。
【0036】
〔撮像装置の処理〕
次に、撮像装置1が実行する処理について説明する。
図5は、撮像装置1が実行する処理の概要を示すフローチャートである。
図6は、撮像装置1が生成する画像の一例を模式的に説明する図である。
【0037】
図5に示すように、まず、撮像部2は、被写体の撮像を行う(ステップS101)。この場合、撮像部2は、被写体を撮像した画像信号を画像処理部3へ出力する。
【0038】
続いて、補間部31は、撮像部2から入力された画像信号に対して、各画素の画素値を補間する補間処理を実行する(ステップS102)。具体的には、
図6に示すように、補間部31は、撮像部2から入力された画像信号に対して、各画素の画像信号を補間する補間処理を行うことによって、B画像P
B、R画像P
R、G
1画像P
G1、G
2画像P
G2を生成する。
【0039】
その後、分離部32は、G1画像PG1およびG2画像PG2に対して、可視領域の画像信号と近赤外領域の画像信号とを分離する分離処理を実行する(ステップS103)。
【0040】
〔分離処理の詳細〕
ここで、分離部32が実行する分離処理の概要について説明する。
図7は、trueGおよびIRの各々の分光透過率を模式的に示す図である。
図7において、縦軸が透過率を示し、横軸が波長(nm)を示す。また、
図7において、曲線L
TGがtrueGの透過率を示し、曲線L
IRがIRの透過率を示す。また、
図8は、フィルタG
1およびフィルタG
2の透過率を模式的に示す図である。
図8において、曲線L
G1がフィルタG
1の透過率を示し、曲線L
G2がフィルタG
2の透過率を示す。
【0041】
図7に示すように、実施の形態1では、trueG(500nm~600nm)およびIR(700nm~1000nm)の各々の透過率を「1.0」にした場合において、各波長帯域における透過率をa、b、cおよびdとしたとき、
図8に示すようにtrueG(500nm~600nm)におけるフィルタG
1およびフィルタG
2の透過比率が一定で既知(a=1.0,c=0.7)であり、かつ、IR(700nm~1000nm)におけるフィルタG1およびフィルタG2の透過比率が一定で既知(b=0.2,d=0.6)である。
【0042】
図9は、被写体の分光反射率を模式的に示す図である。
図10は、G
1画素およびG
2画素の分光感度を示す。
図9において、縦軸が分光反射率を示す。
図10において、縦軸が分光感度を示し、
図9および
図10において、横軸が波長(nm)を示す。また、
図9において、曲線L
Pが被写体の分光反射率を示す。また、
図10において曲線L
TG1で囲まれている領域がtruerG1(a×truerG)を示し、曲線L
TG2で囲まれている領域がtruerG2(c×truerG)を示し、曲線L
IR2で囲まれている領域がIR2(d×IR)を示し、曲線L
IR1で囲まれている領域がIR1(b×IR)を示す。
【0043】
図9および
図10に示すように、分離部32は、可視領域におけるG
1フィルタの透過率とG
2フィルタの透過率との第1の比率D
1(a/c)と、近赤外領域におけるG
1フィルタの透過率とG
2フィルタの透過率との第2の比率D
2(d/b)と、に基づいて、G
1画素によって生成された第1の画像信号およびG
2画素によって生成された第2の画像信号の各々から可視領域の画像信号と近赤外領域の画像信号とを分離する。
【0044】
即ち、G
1画像P
G1において、可視領域のみのG
1画像P
G1の画像信号をtrueG
1、近赤外領域のみの画像信号をIR1、可視領域のみの真のG
1画像P
G1の画像信号をtrueG、近赤外領域のみの真の画像信号をIRとし、G
2画像P
G2において、可視領域のみの真のG
2画像P
G2の画像信号をtrueG
2、近赤外領域のみの真の画像信号をIR2、可視領域のみの真のG
2画像P
G2の画像信号をtrueG、近赤外領域のみの真の画像信号をIRとした場合、以下の式(1)、式(2)が成り立つ。
trueG
1+IR1=a×trueG+b×IR=G1 ・・・(1)
trueG
2+IR2=c×trueG+d×IR=G2 ・・・(2)
上記(1),(2)の方程式を解くと、
α=ad-bcとし、ad-bc≠0でないとすると、
IR=(a×G2-c×G1)/α ・・・(3)
trueG=(d×G1-b×G2)/α ・・・(4)
また、上記の式(1),(2)に、
図8のa(a=1.0)、b(b=0.2)、c(c=0.7)およびd(d=0.6)を代入した場合、以下の式(5),(6)が成り立つ。
trueG1+IR1=a×trueG+b×IR
=1.0×trueG+0.2×IR
=G1 ・・・(5)
trueG2+IR2=c×trueG+d×IR
=0.7×trueG+0.6×IR
=G2 ・・・(6)
【0045】
このように分離部32は、式(3)~(6)を用いて、可視領域におけるG1フィルタの透過率とG2フィルタの透過率との第1の比率D1(a/c)と、近赤外領域におけるG1フィルタの透過率とG2フィルタの透過率との第2の比率D2(d/b)と、に基づいて、G1画素によって生成された第1の画像信号およびG2画素によって生成された第2の画像信号の各々から可視領域の画像信号と近赤外領域の画像信号とを分離する。
【0046】
図5に戻り、ステップS103以降の説明を続ける。
続いて、生成部33は、分離部32が分離した可視領域の信号値および近赤外領域の信号値に基づいて、IR画像およびG画像を生成する。具体的には、
図6に示すように、生成部33は、分離部32が分離した可視領域の信号値および近赤外領域の信号値に基づいて、G画像P
GおよびIR画像P
IRを生成する(ステップS104)。
【0047】
その後、生成部33は、可視画像を生成する(ステップS105)。具体的には、
図6に示すように、生成部33は、B画像P
B、R画像P
RおよびG画像P
Gに基づいて、可視画像P
Wを生成する。ステップS105の後、撮像装置1は、本処理を終了する。
【0048】
以上説明した実施の形態1によれば、カラーフィルタ222が複数のフィルタのいずれか1つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第1の同色フィルタおよび第2の同色フィルタを含み、第1の同色フィルタおよび第2の同色フィルタが可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なるので、IRフィルタを設けることなく、カラー画像と近赤外画像とを同時に取得することができる。
【0049】
また、実施の形態1によれば、分離部32が可視領域における第1の同色フィルタの透過率と第2の同色フィルタの透過率との第1の比率と、近赤外領域における第1の同色フィルタの透過率と第2の同色フィルタの透過率との第2の比率と、に基づいて、第1の同色フィルタが配置されてなる画素によって生成された第1の画像信号および第2の同色フィルタが配置されてなる画素によって生成された第2の画像信号の各々から可視領域の画像信号と近赤外領域の画像信号とを分離するので、IRフィルタを設けることなく、カラー画像と近赤外画像とを同時に取得することができる。
【0050】
(実施の形態1の変形例1)
次に、実施の形態1の変形例1について説明する。実施の形態1の変形例1では、カラーフィルタの構成が異なる。具体的には、上述した実施の形態1では、緑色の波長帯域の光を透過するGフィルタが互いに異なる分光透過特性を有していたが、実施の形態1の変形例1では、赤色の波長帯域の光を透過するRフィルタが互いに異なる分光透過特性を有する。なお、上述した実施の形態1に係る撮像装置1と同一の構成には同一の符号を付して詳細な説明は省略する。
【0051】
〔カラーフィルタの構成〕
図11は、実施の形態1の変形例1に係るカラーフィルタの詳細な構成について説明する。
【0052】
図11に示すカラーフィルタ222Aは、可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを画素部221の複数の画素に対応させて配置されてなる。具体的には、カラーフィルタ222Aは、画素部221の受光面上に配置されており、可視領域において互いに異なる波長帯域の可視光および近赤外領域において互いに異なる波長帯域の近赤外線を透過する4種類のフィルタを有する。より具体的には、カラーフィルタ222は、R
1フィルタと、R
2フィルタと、Gフィルタと、Bフィルタと、を有する。カラーフィルタ222Aは、R
1フィルタ、R
2フィルタ、GフィルタおよびBフィルタが所定の配列パターンに並べて配置されて形成される。具体的には、カラーフィルタ222Aは、列毎にR
1フィルタ、Gフィルタ、Bフィルタ、R
2フィルタの配列パターンで配置されて形成される。
【0053】
R1フィルタは、赤色の波長帯域の光を透過し、かつ、近赤外の波長帯域の光を透過する。R2フィルタは、R1フィルタと同じ同色の波長帯域において互いに異なる透過波長特性を有し、赤色の波長帯域の光を透過し、かつ、近赤外の波長帯域の光を透過する。
【0054】
R1フィルタおよびR2フィルタは、可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なる。なお、実施の形態1の変形例1では、R1フィルタおよびR2フィルタが第1の同色フィルタおよび第2の同色フィルタとして機能する。また、以下においては、各フィルタが設けられた画素Pijは、フィルタを透過した波長帯域の光を受光する。このため、R1フィルタが配置された画素をR1画素、R2フィルタが配置された画素をR2画素、Gフィルタが配置された画素をG画素、Bフィルタが配置された画素をB画素として説明する。
【0055】
図12は、実施の形態1の変形例1に係るカラーフィルタの透過特性を示す図である。
図12においては、各フィルタの最大値が略等しくなるように透過曲線を模擬的に規格化している。また、
図12においては、縦軸が透過率(分光感度)を示し、横軸が波長(nm)を示す。さらに、
図12において、曲線L
BがフィルタBの透過率曲線を示し、曲線L
G1がフィルタGの透過曲線を示し、曲線L
R1がフィルタR
1の透過曲線を示し、曲線L
R2がフィルタR
2の透過曲線を示す。さらに、以下においては、可視領域を400nm~700nmとし、近赤外領域を700nm~1000nmとして説明する。
【0056】
フィルタR1およびフィルタR2は、第1の可視光領域および近赤外領域の各々において透過率の差D11,D12が一定の領域を有し、かつ、透過率が第1の可視光領域および近赤外領域の少なくとも一方で異なっている。具体的には、フィルタR1およびフィルタR2は、第1の可視光領域および近赤外領域の各々において透過率の差D11,D12が一定の領域を有し、かつ、透過率が第1の可視光領域および近赤外領域の少なくとも一方で異なっている。
【0057】
このように構成されたカラーフィルタ222Aを画素部221の受光面に配置した場合であっても、上述した実施の形態1と同様に、可視光画像と近赤外画像とを同時に撮像することができる。
【0058】
なお、上述した実施の形態1の変形例1では、赤色の波長帯域の光を透過するRフィルタが互いに異なる透過率を有していたが、R1フィルタおよびR2フィルタに加えて、例えば上述した実施の形態1のG1フィルタおよびG2フィルタを用いてカラーフィルタを構成してもよい。
【0059】
(実施の形態1の変形例2)
次に、実施の形態1の変形例2について説明する。上述した実施の形態1では、各フィルタが列毎に配置されていたが、これに限定されることなく、適宜変更することができる。
【0060】
図13は、実施の形態1の変形例2のカラーフィルタを模式的に示す図である。
図13に示すカラーフィルタ222Bは、ベイヤー配列で構成され、Gフィルタの配置箇所にG
1フィルタおよびG
2フィルタが配置される。
【0061】
以上説明した実施の形態1の変形例2によれば、従来の画像処理のパイプライン(画像信号ライン)を用いることができるので、簡易な構成で可視光画像と近赤外画像とを同時に取得することができる。
【0062】
(実施の形態2)
次に、実施の形態2について説明する。実施の形態2では、近赤外を含まないR画素およびB画素の信号値を算出する。以下においては、分離部32が算出する算出方法について説明する。なお、上述した実施の形態1に係る撮像装置1と同一の構成には同一の符号を付して詳細な説明は省略する。
【0063】
図14は、各波長帯域の分光透過率を模式的に示す図である。
図14において、領域L
TBは、Bフィルタの画像信号trueBの積分値を示し、領域L
TRがRフィルタの画像信号trueRの積分値を示し、領域L
TGがG1フィルタ+G2フィルタを合算した際の画像信号trueGの積分値を示し、L
TIRが画像信号IRの積分値を示す。さらにまた、
図14において、縦軸が透過率を示し、横軸が波長(nm)を示す。
【0064】
図14に示すように、まず、分離部32は、上述した実施の形態1の方法によって画像信号trueGおよび画像信号IRを算出する。そして、
図14に示すように、分離部32は、近赤外領域の透過率がほぼ一定であるため、近赤外光の画像信号IRに基づいて、R画素の画像信号およびB画素の画像信号を算出する。具体的には、近赤外領域の透過率がほぼ一定であることを利用した場合、以下の式が成り立つ。
truerR+r_ir×IR=truerR+1.0×IR=R ・・・(7)
truerB+b_ir×IR=truerB+0.3×IR=B ・・・(8)
即ち、
truerR=R-r_ir×IR=R-1.0×IR ・・・(9)
truerB=B-b_ir×IR=B-0.3×IR ・・・(10)
となる。
【0065】
このように、分離部32は、上述した式(9)および式(10)を用いて、R画素およびB画素の各々の画像信号を算出する。
【0066】
以上説明した実施の形態2によれば、R画素およびB画素の各々の真の画素値を出力することができる。
【0067】
(実施の形態3)
次に、実施の形態3について説明する。実施の形態3は、上述した実施の形態1に係る撮像装置1と構成が異なる。具体的には、実施の形態3に係る撮像装置は、所定の波長帯域の光をカットするノッチフィルタをさらに備える。以下においては、実施の形態3に係る撮像装置の構成について説明する。なお、上述した実施の形態1に係る撮像装置1と同一の構成には同一の符号を付して詳細な説明は省略する。
【0068】
〔撮像装置の構成〕
図15は、実施の形態3に係る撮像装置の機能構成を示すブロック図である。
図15に示す撮像装置1Cは、上述した実施の形態1に係る撮像部2に換えて、撮像部2Cを備える。また、撮像部2Cは、上述した実施の形態1に係る撮像素子22に換えて、撮像素子22Cを備える。撮像素子22Cは、上述した実施の形態1に係る撮像素子22の構成に加えて、ノッチフィルタ223をさらに備える。
【0069】
ノッチフィルタ223は、可視領域の光を透過し、近赤外領域の一部をカットする。
【0070】
図16は、各フィルタおよびノッチフィルタの透過特性を示す図である。
図16において、曲線L
Nがノッチフィルタ223の透過特性を示す。また、
図16において、縦軸が透過率を示し、横軸が波長(nm)を示す。
【0071】
図16に示すように、ノッチフィルタ223は、可視領域の光を透過し、近赤外領域の一部をカットする。ノッチフィルタ223は、近赤外領域の一定領域、例えば700nm~800nmの領域の光をカットする。これにより、各フィルタの分光透過率がほぼ一定とする。この結果、精度の高い近赤外画像を取得することができる。
【0072】
以上説明した実施の形態3によれば、ノッチフィルタ223が近赤外領域の一定領域の光をカットすることによって、各フィルタの分光透過率がほぼ一定とすることができるので、精度の高い近赤外画像を取得することができる。
【0073】
(その他の実施の形態)
上述した本開示の実施の形態1~3に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態1~3に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態1~3で説明した構成要素を適宜組み合わせてもよい。
【0074】
また、本開示の実施の形態1~3では、撮像装置であったが、例えば被検体を撮像する内視鏡システムやビデオマイクロスコープ、撮像機能を有する携帯電話および撮像機能を有するタブレット型端末であっても適用することができる。
【0075】
また、本開示の実施の形態1~3では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
【0076】
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本開示を実施することが可能である。
【符号の説明】
【0077】
1,1C 撮像装置
2,2C 撮像部
3 画像処理部
4 表示部
5 記録部
6 制御部
21 光学系
22,22C 撮像素子
23 A/D変換部
31 補間部
32 分離部
33 生成部
51 プログラム記録部
52 感度情報記録部
221 画素部
222,222A,222B カラーフィルタ
223 ノッチフィルタ