(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-09
(45)【発行日】2022-08-18
(54)【発明の名称】撮像装置及び撮像方法
(51)【国際特許分類】
H04N 9/04 20060101AFI20220810BHJP
H04N 9/64 20060101ALI20220810BHJP
【ＦＩ】
H04N9/04 B
H04N9/64 R
【請求項の数】
6
(21)【出願番号】P 2018097587
(22)【出願日】2018-05-22
(65)【公開番号】P2019205018
(43)【公開日】2019-11-28
【審査請求日】2021-03-18
(73)【特許権者】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】240000327
【弁護士】
【氏名又は名称】弁護士法人クレオ国際法律特許事務所
(72)【発明者】
【氏名】高木 仁
【審査官】豊田 好一
(56)【参考文献】
【文献】国際公開第２０１５／０１５５８０（ＷＯ，Ａ１）
【文献】国際公開第２０１５／０１１８２４（ＷＯ，Ａ１）
【文献】特開２０１４－１６５５２８（ＪＰ，Ａ）
【文献】特開２００７－２８８５４９（ＪＰ，Ａ）
【文献】特開２００７－２０２１０７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ９／０４
Ｈ０４Ｎ ９／６４
(57)【特許請求の範囲】
【請求項1】
近赤外光領域を含む波長領域の入射光を受光して、前記入射光の輝度に応じた出力信号に変換して出力する撮像素子と、前記出力信号の中に含まれる近赤外光成分の強度を取得する近赤外光強度取得部と、
前記近赤外光成分の強度の値に第一の所定値を乗じた値を、前記出力信号の強度の値から減算して赤外減算信号を生成する赤外信号減算部と、
前記赤外減算信号の値が０以下であったときに前記赤外減算信号の値を０とする赤外減算信号補正値を算出し、前記赤外減算信号の値が０を超えるときは前記赤外減算信号の値を前記赤外減算信号補正値とする赤外減算信号補正部と、
前記赤外減算信号補正値に、前記近赤外光成分の強度の値に第二の所定値を乗じた値を加算して色信号強度調整信号を生成する赤外信号加算部と、
互いに異なる波長を有する可視光領域の光を選択的に透過して、かつ近赤外光領域において、互いに等しい分光透過率を持つ３種類のフィルタと、可視光領域の分光透過率が前記３種類のフィルタの各分光透過率の線形和で表わされて、かつ、近赤外領域において、前記３種類のフィルタの分光透過率と等しい分光透過率を持つ１種類のフィルタと、が所定のパターンで配列された光学フィルタと、を有し、
前記撮像素子は、前記光学フィルタを透過した前記入射光を受光して、前記入射光の輝度に応じた前記出力信号に変換して出力し、
前記第一の所定値は１より大きい値であることを特徴とする撮像装置。
【請求項2】
前記赤外信号減算部は、前記出力信号に含まれる色信号と輝度信号とを分離した後の前記色信号の強度を前記出力信号の強度として前記赤外減算信号を算出することを特徴とする請求項１に記載の撮像装置。
【請求項3】
前記赤外信号加算部は、前記色信号強度調整信号を色差信号に変換した後、前記輝度信号と合成して出力することを特徴とする請求項２に記載の撮像装置。
【請求項4】
前記赤外信号減算部は、前記出力信号に含まれる色信号の強度を前記出力信号の強度として前記赤外減算信号を算出することを特徴とする請求項１に記載の撮像装置。
【請求項5】
前記赤外信号加算部は、前記色信号強度調整信号を色差信号に変換して出力することを特徴とする請求項４に記載の撮像装置。
【請求項6】
前記近赤外光強度取得部は、前記出力信号から前記近赤外光成分と可視光成分とを分離してそれぞれの強度を取得し、前記赤外信号減算部は、前記近赤外光成分の強度の値に前記第一の所定値を乗じた値を、前記可視光成分の強度の値から減算して前記赤外減算信号を生成することを特徴とする請求項１～５のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子を備えた撮像装置に関し、特に、明暗の差（ダイナミックレンジ）が大きい被写体を撮影した場合であっても、適切なカラー画像を生成することができる撮像装置に関するものである。
【背景技術】
【0002】
近年、交通事故の予防安全への関心が高まってきており、自動車の運転支援システムにおける要素技術として、車載監視用の撮像装置の研究開発が盛んに行われている。その中では、夜間の暗闇と高輝度な信号灯や車両灯（ヘッドライトなど）とが同時に存在する、明暗の差が非常に大きくて視界不良となり得る状況において、高い監視性能を確保すること、すなわち、視界不良となり得る状況においても信号や車線の色を判別できるように、撮像装置において、広いダイナミックレンジと人間の色覚特性と合致した色再現性を両立することが課題となっている。
【0003】
このような暗闇において、歩行者や車線の監視性能を向上させるための手段として、近赤外線を透過する色フィルタを用いて、近赤外光領域に感度を持ったまま色再現を行うＩＲカラーカメラ技術の開発が行われている。
【0004】
ＩＲカラーカメラは、赤外線除去フィルタ（ＩＲカットフィルタ）を有していないため、近赤外光領域の光に対しても感度を有しており、観測対象から放射される近赤外光、または赤外投光器によって照射された近赤外光の反射光をＩＲカラーカメラで観測することによって、車両のヘッドライトが照射されていない暗い領域においても撮像を行うことが可能、すなわち、撮像可能な輝度範囲を拡大してダイナミックレンジを広げることが可能となる。
【0005】
そして、このようなＩＲカラーカメラで撮像された画像の中から、可視光と近赤外光をともに含む輝度信号と、可視光と近赤外光をともに含む色信号の中から近赤外光成分のみを除去した色信号を得て、この輝度信号と色信号を適切に再合成することによって、広いダイナミックレンジ（高い感度）と人間の視覚に近い色再現性を両立した出力信号を得る撮像装置が提案されている（特許文献１参照）。
【0006】
同様に、ＩＲカラーカメラの出力信号の中に含まれる近赤外光成分の比率を算出し、光源の近赤外光成分の比率に応じた除去率（０～１００％）で出力信号の中から近赤外光成分を除去して赤外分離信号を生成することによって、広いダイナミックレンジ（高い感度）と人間の視覚に近い色再現性を両立した出力信号を得る撮像装置が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【0007】
【文献】特開２０１４－１６５５２８号公報
【文献】国際公開第２０１７／０３３６８７号
【発明の概要】
【発明が解決しようとする課題】
【0008】
上述の特許文献１に開示された技術では、色信号の中から全ての近赤外光成分を除去していたため、例えば、近赤外光のみを発する光源を撮像したときには、光源が有する近赤外光成分が全て除去されてしまい、色信号は理想的には０となる。
【0009】
しかしながら、実際には撮像された信号の中にノイズ成分が混入しているため、近赤外光成分を除去したときにこのノイズ成分が残留してしまう。こうして残留したノイズ成分を含む色信号は、偽色と呼ばれる色ノイズとなる可能性があった。
【0010】
この可能性は、特許文献２に開示された技術においても、同様に色信号の中から全ての近赤外光成分を除去していることがあるため、同様に生じうる。
【0011】
そこで、本発明は、撮像された画像信号の中に含まれる近赤外光成分の量によらずに、ノイズの影響を抑えて、人間の視覚に近い色再現性を持った色信号を得ることが可能な撮像装置及び撮像方法を提供することを目的としている。
【課題を解決するための手段】
【0012】
前記目的を達成するために、本発明の撮像装置は、近赤外光領域を含む波長領域の入射光を受光して、入射光の輝度に応じた出力信号に変換して出力する撮像素子と、出力信号の中に含まれる近赤外光成分の強度を取得する近赤外光強度取得部と、近赤外光成分の強度の値に第一の所定値を乗じた値を出力信号の強度の値から減算して赤外減算信号を生成する赤外信号減算部と、赤外減算信号の値が０以下であったときに赤外減算信号の値を０とする赤外減算信号補正値を算出する赤外減算信号補正部と、赤外減算信号補正値に、近赤外光成分の強度の値に第二の所定値を乗じた値を加算して色信号強度調整信号を生成する赤外信号加算部とを有することを特徴とする。
【発明の効果】
【0013】
このように構成された本発明の撮像装置では、赤外信号減算部が、近赤外光成分の強度の値に第一の所定値を乗じた値を出力信号の強度の値から減算して赤外減算信号を生成し、この赤外減算信号の値が０以下であったときに、赤外減算信号補正部が赤外減算信号の値を０とする赤外減算信号補正値を算出し、そして、この赤外減算信号補正値に、赤外信号加算部が近赤外光成分の強度の値に第二の所定値を乗じた値を加算して色信号強度調整信号を生成する。
【0014】
このようにすることで、撮像された画像信号の中に含まれる近赤外光成分の量によらずに、ノイズの影響を抑えて、人間の視覚に近い色再現性を持った色信号を得ることが可能となる。
【図面の簡単な説明】
【0015】
【図1】本発明の第１の実施形態である撮像装置の概略構成を示すブロック図である。
【図2】第１の実施形態である撮像装置の色信号生成部の構成を示すブロック図である。
【図3】第１の実施形態である撮像装置の原理を説明するための図である。
【図4】第１の実施形態である撮像装置の原理を説明するための図である。
【図5】第１の実施形態である撮像装置の原理を説明するための図である。
【図6】第１の実施形態である撮像装置の原理を説明するための図である。
【図7】第１の実施形態である撮像装置の原理を説明するための図である。
【図8】第１の実施形態である撮像装置の原理を説明するための図である。
【図9】第１の実施形態である撮像装置の原理を説明するための図である。
【図10】第１の実施形態である撮像装置に使用される光学フィルタの配列の一例を示す図である。
【図11】第１の実施形態である撮像装置に使用される光学フィルタの分光透過率特性の一例を示す図である。
【図12】第１の実施形態である撮像装置の動作を説明するためのフローチャートである。
【図13】本発明の第２の実施形態である撮像装置の概略構成を示すブロック図である。
【図14】本発明の第３の実施形態である撮像装置の概略構成を示すブロック図である。
【図15】本発明の第４の実施形態である撮像装置の概略構成を示すブロック図である。
【図16】本発明の第５の実施形態である撮像装置の概略構成を示すブロック図である。
【図17】第５の実施形態である撮像装置の色信号生成部の構成を示すブロック図である。
【図18】本発明の第６の実施形態である撮像装置の概略構成を示すブロック図である。
【図19】第６の実施形態である撮像装置の色信号生成部の構成を示すブロック図である。
【図20】本発明の第７の実施形態である撮像装置の概略構成を示すブロック図である。
【図21】本発明の第８の実施形態である撮像装置の概略構成を示すブロック図である。
【図22】本発明の第９の実施形態である撮像装置の概略構成を示すブロック図である。
【図23】本発明の第１０の実施形態である撮像装置の概略構成を示すブロック図である。
【図24】第１０の実施形態である撮像装置の色信号生成部の構成を示すブロック図である。
【発明を実施するための形態】
【0016】
以下、この発明の実施の形態を図面に基づいて説明する。以下に説明する各実施形態は、本発明に係る撮像装置を、車両周囲の監視を行って、撮像された画像または撮像された画像の認識結果に基づく警報や警告灯を車両の乗員に提示する周囲監視装置に適用した例である。
【0017】
なお、本明細書の記載において、「赤外」という用語を「近赤外」と同等に用いることがある。
【0018】
（第１の実施形態）
図１は、本発明の第１の実施形態である撮像装置の概略構成を示す図である。本実施形態に係る撮像装置１０は車両（図示省略）に設置されている。撮像装置１０は、図１に示すように、被写体を観測する光学系１０１と、撮像素子１０２と、信号分離部１０３と、色信号生成部１０４ａと、輝度信号生成部１０５と、輝度信号補正部１０６と、色差信号生成部１０７と、色輝度合成部１０８とを有する。
図１は、本発明の第１の実施形態である撮像装置の概略構成を示す図である。本実施形態に係る撮像装置１０は車両（図示省略）に設置されている。撮像装置１０は、図１に示すように、被写体を観測する光学系１０１と、撮像素子１０２と、信号分離部１０３と、色信号生成部１０４ａと、輝度信号生成部１０５と、輝度信号補正部１０６と、色差信号生成部１０７と、色輝度合成部１０８とを有する。
【0019】
（撮像装置の概略構成）
本実施形態に係る撮像装置１０は、光学系１０１及び撮像素子１０２を除き、ＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子、及び、ハードディスクドライブ等の大容量記憶媒体やＲＯＭ、ＲＡＭ等の半導体記憶媒体などの記憶媒体、さらには外部機器との間のインタフェース回路を有する。記憶媒体には図略の制御用プログラムが格納されており、この制御用プログラムが撮像装置１０の起動時に演算素子により実行されて、撮像装置１０は図１に示すような機能構成を備えたものとなる。特に、本実施形態の撮像装置１０は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばＦＰＧＡなどを有することが好ましい。
本実施形態に係る撮像装置１０は、光学系１０１及び撮像素子１０２を除き、ＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子、及び、ハードディスクドライブ等の大容量記憶媒体やＲＯＭ、ＲＡＭ等の半導体記憶媒体などの記憶媒体、さらには外部機器との間のインタフェース回路を有する。記憶媒体には図略の制御用プログラムが格納されており、この制御用プログラムが撮像装置１０の起動時に演算素子により実行されて、撮像装置１０は図１に示すような機能構成を備えたものとなる。特に、本実施形態の撮像装置１０は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばＦＰＧＡなどを有することが好ましい。
【0020】
光学系１０１は、レンズやミラー等の光学素子から構成されて、被写体から出射した光または被写体で反射した光を、後述する撮像素子１０２の図略の撮像面に結像させる光学系である。光学系１０１は、車載監視用途の撮像装置の場合には、一般に狭角、広角、魚眼等のパンフォーカスレンズが用いられる。さらに、ズーム機構やオートフォーカス機構を備えたレンズ系が用いられてもよいし、絞りやシャッターを備えたレンズ系が用いられてもよい。また、画質や色再現性の向上のために光学ローパスフィルタや帯域分離フィルタや偏光フィルタ等の各種フィルタ類を備えたレンズ系が用いられてもよい。
【0021】
撮像素子１０２は複数の画素から構成されており、光学系１０１によりその撮像面に結像された被写体の像に基づく入射光を、その輝度に応じた出力電圧信号に光電変換する。光電変換された出力電圧信号は、撮像素子１０２の内部に備えられたアンプ（図示省略）、更に同じく撮像素子１０２の内部に備えたＡＤコンバータ（図示省略）を通してデジタル化されて、出力信号ＲＡＷ０が生成される。出力信号ＲＡＷ０として、例えば、１２ビット（０～４０９５）にデジタル化された信号が出力される。
【0022】
撮像素子１０２としては、最大１２０ｄＢ程度の入力輝度のダイナミックレンジを有するＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の光電変換素子が用いられる。なお、撮像素子１０２を構成する各画素の上には、透過する波長帯域が異なる４種類のフィルタ（赤色フィルタＲ、緑色フィルタＧ、青色フィルタＢ、透明フィルタＣ）がそれぞれ規則的に配列され、これら４種類のフィルタにより光学フィルタが構成されている。
【0023】
信号分離部１０３は、撮像素子１０２に対して撮像を行うタイミングを指示するとともに、撮像素子１０２で撮像された出力信号ＲＡＷ０を受けて、同一の２つの出力信号ＲＡＷ０、ＲＡＷ０に分離する。
【0024】
色信号生成部１０４ａは、信号分離部１０３で分離された信号のうち一方の出力信号ＲＡＷ０を、Ｒ，Ｇ，Ｂ，Ｃの各色フィルタを透過した光にそれぞれ対応する４つの信号に分離する。このとき、撮像素子１０２のうち、例えば赤色フィルタＲが配置された画素からは赤色成分のみしか得られないため、色信号生成部１０４ａは対象画素の近傍の画素の出力を用いて線形補間を行い、対象画素における線形色信号を予測する。
【0025】
次いで、色信号生成部１０４ａは、線形補間された色信号から赤色成分、緑色成分、青色成分からなる可視光成分と近赤外光成分とを算出し、この近赤外光成分に第一の所定値を乗じた値を可視光成分のそれぞれから減算した赤外減算信号を算出する。そして、色信号生成部１０４ａは、算出した赤外減算信号が０以下であったときに、この赤外減算信号を０とする赤外減算信号補正値を算出する。この後、色信号生成部１０４ａは、赤外減算信号補正値にいわゆるホワイトバランス処理、言い換えれば色温度補正処理を行う。
【0026】
そして、色信号生成部１０４ａは、色温度補正処理を行った赤外減算信号補正値に、近赤外光成分に第二の所定値を乗じた値を加算して色信号強度調整信号を算出し、これを色信号生成部１０４ａの出力色信号（Ｒ０，Ｇ０，Ｂ０）とする。色信号生成部１０４ａの動作の詳細については後に詳述する。
【0027】
輝度信号生成部１０５は、信号分離部１０３で分離された信号のうち他方の出力信号ＲＡＷ０から輝度信号Ｙ０を生成する。この際、ローパスフィルタや、バンドパスフィルタなどのディジタルフィルタを用いて周波数選択のためのディジタルフィルタリングを実施することも可能である。
【0028】
輝度信号補正部１０６は、輝度信号生成部１０５で生成された輝度信号Ｙ０に対してガンマ補正やヒストグラム補正等のコントラスト調整を実施して、輝度補正信号Ｙ１を生成する。
【0029】
色差信号生成部１０７は、色信号生成部１０４ａの出力色信号（Ｒ０，Ｇ０，Ｂ０）を用いて色差信号（Ｕ１，Ｖ１）を算出する。
【0030】
そして、色輝度合成部１０８は、色差信号生成部１０７から出力された色差信号（Ｕ１、Ｖ１）と輝度信号補正部１０６から出力された輝度補正信号Ｙ１とを合成し、ＹＵＶ形式の映像信号を生成する。この後、色輝度合成部１０８から出力される映像信号は、例えば表示用モニタなどの図略の画像出力部に出力される。
【0031】
（撮像素子のフィルタ構成の説明）
撮像素子１０２は、出力電圧信号を出力する複数の画素を二次元的に備えている。各画素の受光面の上には、図１０（ａ）に示すように、可視光を波長毎に選択的に透過し、かつ近赤外光に対しては互いに等しい透過率をもつ３種類のフィルタＸ，Ｙ，Ｚと、可視光の波長毎の透過率を３種類のフィルタの透過率の線形和で表すことができ、かつ近赤外光に対しては３種類のフィルタと等しい透過率をもつ第４のフィルタＴとが規則的に配列された光学フィルタが形成されている。
撮像素子１０２は、出力電圧信号を出力する複数の画素を二次元的に備えている。各画素の受光面の上には、図１０（ａ）に示すように、可視光を波長毎に選択的に透過し、かつ近赤外光に対しては互いに等しい透過率をもつ３種類のフィルタＸ，Ｙ，Ｚと、可視光の波長毎の透過率を３種類のフィルタの透過率の線形和で表すことができ、かつ近赤外光に対しては３種類のフィルタと等しい透過率をもつ第４のフィルタＴとが規則的に配列された光学フィルタが形成されている。
【0032】
図１１（ａ）は、このような特性を有する光学フィルタの例として、多くの撮像素子に用いられているＲＧＢフィルタを配列した撮像素子１０２の波長毎の出力値である分光感度Ｓを示している。すなわち、図１０（ｂ）に示すように、３種類のフィルタＸ，Ｙ，Ｚがそれぞれ、赤色フィルタＲ，緑色フィルタＧ，青色フィルタＢに対応し、第４のフィルタＴに対応するフィルタとして、近赤外光を含む可視光全体を透過する透明フィルタＣを適用した例である。
【0033】
図１１（ａ）において、可視光と近赤外光の境目は曖昧であるが、一般的に約７００ｎｍ～約８５０ｎｍの波長領域と考えてよく、この波長領域よりも高波長領域では、４種類のフィルタの分光透過率に差がないため、４種類のフィルタを透過した光がそれぞれ入射した画素の出力値は互いに漸近する。
【0034】
本実施形態に係る撮像装置１０は、このような４種類のフィルタの特性を活用したものであり、撮像素子１０２の特性に基づき４種類の色フィルタの出力値が十分に漸近して一致するとみなした点（図１１（ａ）の例では、波長８４０ｎｍ付近）を可視光領域と近赤外光領域の境界とみなして、撮像素子１０２の出力信号の中から、可視光領域に占める成分（可視光成分）と近赤外光領域に占める成分（近赤外光成分）とを分離した後、近赤外光成分を用いて可視光成分を補正することを特徴としている。
【0035】
次に、この４種類のフィルタの特性に関して説明する。４種類のフィルタＸ，Ｙ，Ｚ，Ｔの可視光領域の任意の波長における透過率を、それぞれＸＴ，ＹＴ，ＺＴ，ＴＴとすると、それらの関係は次式のように表せる。
［数１］
ＴＴ＝αＸＴ＋βＹＴ＋γＺＴ …（１）
［数１］
ＴＴ＝αＸＴ＋βＹＴ＋γＺＴ …（１）
【0036】
このように、第４のフィルタＴの透過率ＴＴは３種類のフィルタＸ，Ｙ，Ｚの各透過率ＸＴ，ＹＴ，ＺＴの線形和で表すことができ、正負を問わない係数α，係数β，係数γが一意に定まるものとする。すなわち、撮像装置１０は（１）式の条件を満たす４色のフィルタを使用する必要があるが、これは、多くの撮像素子に利用されているＲＧＢフィルタを用いることによって実現できる。そして、さらに、第４のフィルタＴとして、近赤外光を含む可視光領域全体を透過する透明（Ｃｌｅａｒ）フィルタＣを用いればよい。
【0037】
これら４種類のフィルタの波長λに対する分光特性から、図１１（ａ）に示すような撮像素子１０２の分光感度Ｓが得られる。そして、詳細な説明は省略する階調変換処理によって、撮像素子１０２に対する入力輝度と撮像素子１０２から出力される出力電圧信号との関係を線形関係に変換することによって、図１１（ｂ）に示す分光感度Ｓが得られる。そして、図１１（ｂ）に示す分光感度Ｓから、（１）式に示した係数α，β，γの値を算出することができる。
【0038】
係数α，β，γの値は、複数の異なる波長λの光に対して計測された分光感度Ｓから、最小二乗法を用いて、真値に対して許容範囲内に収まるような値を設定することができる。そして、本実施例は、ＲＧＢＣフィルタ配列に限らず、（１）式の関係式で表すことができる任意の４種類のフィルタ配列に適用することができる。
【0039】
（色信号生成部の構成）
図２は、本実施形態の撮像装置１０における色信号生成部１０４ａの構成を示すブロック図である。色信号生成部１０４ａは、図２に示すように、色分離部１０４１と、色線形補間処理部１０４２と、赤外分離部１０４３と、赤外減算算出部１０４４と、赤外加算算出部１０４５と、赤外減算処理部１０４６と、色温度補正部１０４７と、赤外信号加算部１０４８とを有する。
図２は、本実施形態の撮像装置１０における色信号生成部１０４ａの構成を示すブロック図である。色信号生成部１０４ａは、図２に示すように、色分離部１０４１と、色線形補間処理部１０４２と、赤外分離部１０４３と、赤外減算算出部１０４４と、赤外加算算出部１０４５と、赤外減算処理部１０４６と、色温度補正部１０４７と、赤外信号加算部１０４８とを有する。
【0040】
色分離部１０４１は、信号分離部１０３で分離された信号のうち一方の出力信号ＲＡＷ０を、出力信号ＲＡＷ０を構成する各色に対応する４つの色信号（Ｒ１，Ｇ１，Ｂ１，Ｃ１）に分離する。このとき、信号がない画素は出力を０（空白）とする。
【0041】
色線形補間処理部１０４２は、色分離部１０４１において信号を分離する際に発生した空白の画素において観測されると予想される画素値を、近傍の画素値を用いて線形補間する。そして、全ての画素において、それぞれ４つの線形色信号（Ｒ２，Ｇ２，Ｂ２，Ｃ２）を生成する。
【0042】
この線形補間の方法について、図１０（ｃ）を用いて具体的に説明する。図１０（ｃ）のように配列されたフィルタにおいて、例えば、Ｂ２２で示される画素には、青色光を透過するフィルタが配列されている。したがって、Ｂ２２で示される画素からは、青色に対応する出力電圧信号が得られるのみである。
【0043】
したがって、Ｂ２２で示される画素から出力されると予想される赤色光、緑色光、白色光に対応する信号は、Ｂ２２で示される画素の周囲の出力電圧信号を補間して予測する必要がある。
【0044】
例えば、Ｂ２２で示される画素から出力されると予想される赤色光成分は、Ｂ２２で示される画素に隣接する画素のうち、赤色フィルタＲが配列された画素であるＲ１１，Ｒ１３，Ｒ３１，Ｒ３３で示される画素の出力電圧信号の平均値を当てはめることによって予測する。
【0045】
また、Ｂ２２で示される画素から出力されると予想される緑色光成分は、Ｂ２２で示される画素に隣接する画素のうち、緑色フィルタＧが配列された画素であるＧ１２，Ｇ３２で示される画素の出力電圧信号の平均値を当てはめることによって予測する。
【0046】
そして、Ｂ２２で示される画素から出力されると予想される白色光成分は、Ｂ２２で示される画素に隣接する画素のうち、透明フィルタＣが配列された画素であるＣ２１，Ｃ２３で示される画素の出力電圧信号の平均値を当てはめることによって予測する。
【0047】
なお、このとき、単に補間するだけではなく、ローパスフィルタや、バンドパスフィルタなどのディジタルフィルタを用いて周波数選択のためのディジタルフィルタリングを実施してもよい。
【0048】
近赤外光強度取得部として機能する赤外分離部１０４３は、色線形補間処理部１０４２の出力信号の中に含まれる近赤外光成分の強度を取得する。より詳細には、赤外分離部１０４３は、一般的な線形特性を持つ撮像素子を用いた撮像装置で実施されている技術（ターゲットカラーに基づくリニアマトリクス演算）により、撮像装置１０によって再現される色がターゲットカラーとなるように色信号補正処理を行う。
【0049】
具体的には、赤外分離部１０４３は、色線形補間処理部１０４２から出力された色信号（Ｒ２，Ｇ２，Ｂ２，Ｃ２）に対して、次式に示すようなリニアマトリクス演算を行い、出力が飽和していない非飽和画素（通常画素）で再現される色がターゲットカラーとなるように補正して、補正された４つの線形補正色信号（Ｒ３，Ｇ３，Ｂ３，Ｉｒ３）を出力する。ここでは、Ｉｒ３は赤外成分の強度を表す。
［数２］
ここに、係数ｘ１１～ｘ１４、ｙ１１～ｙ１４、ｚ１１～ｚ１４及びｔ１１～ｔ１４は、上述のように、線形補正色信号（Ｒ３，Ｇ３，Ｂ３，Ｉｒ３）がターゲットカラーとなるように補正を行うための係数である。事前に標準となる色を有する被写体を撮像装置１０により撮像して、撮像素子１０２からの出力信号ＲＡＷ０に基づいて得られた色信号（Ｒ２，Ｇ２，Ｂ２，Ｃ２）が所望の線形補正色信号（Ｒ３，Ｇ３，Ｂ３，Ｉｒ３）となるようにこれら係数が定められる。
［数２］
ここに、係数ｘ１１～ｘ１４、ｙ１１～ｙ１４、ｚ１１～ｚ１４及びｔ１１～ｔ１４は、上述のように、線形補正色信号（Ｒ３，Ｇ３，Ｂ３，Ｉｒ３）がターゲットカラーとなるように補正を行うための係数である。事前に標準となる色を有する被写体を撮像装置１０により撮像して、撮像素子１０２からの出力信号ＲＡＷ０に基づいて得られた色信号（Ｒ２，Ｇ２，Ｂ２，Ｃ２）が所望の線形補正色信号（Ｒ３，Ｇ３，Ｂ３，Ｉｒ３）となるようにこれら係数が定められる。
【0050】
赤外分離部１０４３から出力される４つの線形補正色信号（Ｒ３，Ｇ３，Ｂ３，Ｉｒ３）のうち、可視光成分に対応する信号（Ｒ３，Ｇ３，Ｂ３）は赤外減算処理部１０４６に入力され、近赤外光成分に対応する信号Ｉｒ３は、赤外減算算出部１０４４及び赤外加算算出部１０４５にそれぞれ入力される。
【0051】
赤外減算算出部１０４４は、赤外分離部１０４３から出力された赤外信号Ｉｒ３に対し、１に赤外除去係数αを加算した値を乗算し、赤外除去信号Ｉｒ＿ｓｕｂを出力する。
［数３］
Ｉｒ＿ｓｕｂ＝Ｉｒ３＊（１＋α）
このαは可視光成分の色信号と近赤外光成分の信号の比率において、無色化を行う閾値をあらわし、０以上の値を取る。
［数３］
Ｉｒ＿ｓｕｂ＝Ｉｒ３＊（１＋α）
このαは可視光成分の色信号と近赤外光成分の信号の比率において、無色化を行う閾値をあらわし、０以上の値を取る。
【0052】
赤外加算算出部１０４５は、赤外分離部１０４３から出力された赤外信号Ｉｒ３に対し、赤外加算係数βを乗算した赤外加算信号Ｉｒ＿ａｄｄを出力する。
［数４］
Ｉｒ＿ａｄｄ＝Ｉｒ３＊β
このβは処理における色ずれを補正するための係数であり、原理的にα＝βで使用するが、αとβとの比率を変更して使用しても良い。
［数４］
Ｉｒ＿ａｄｄ＝Ｉｒ３＊β
このβは処理における色ずれを補正するための係数であり、原理的にα＝βで使用するが、αとβとの比率を変更して使用しても良い。
【0053】
赤外減算処理部１０４６は、赤外信号減算部１０４６ａ及び赤外減算信号補正部１０４６ｂを有する。赤外信号減算部１０４６ａは、赤外分離部１０４３から出力された色信号（Ｒ３，Ｇ３，Ｂ３）に対し、赤外減算算出部１０４４から出力された赤外除去信号を減算した赤外減算信号（Ｒ３－Ｉｒ＿ｓｕｂ，Ｇ３－Ｉｒ＿ｓｕｂ，Ｂ３－Ｉｒ＿ｓｕｂ）を算出する。赤外減算信号補正部１０４６ｂは、赤外信号減算部１０４６ａが算出した赤外減算信号と０のいずれか大きいほうである赤外減算信号補正値（Ｒ４，Ｇ４，Ｂ４）を出力する。
［数５］
Ｒ４＝ｍａｘ（Ｒ３－Ｉｒ＿ｓｕｂ，０）
Ｇ４＝ｍａｘ（Ｇ３－Ｉｒ＿ｓｕｂ，０）
Ｂ４＝ｍａｘ（Ｂ３－Ｉｒ＿ｓｕｂ，０）
この処理により、可視光成分の色信号における近赤外光成分の信号の比率が閾値を超えたものが無色となる。
［数５］
Ｒ４＝ｍａｘ（Ｒ３－Ｉｒ＿ｓｕｂ，０）
Ｇ４＝ｍａｘ（Ｇ３－Ｉｒ＿ｓｕｂ，０）
Ｂ４＝ｍａｘ（Ｂ３－Ｉｒ＿ｓｕｂ，０）
この処理により、可視光成分の色信号における近赤外光成分の信号の比率が閾値を超えたものが無色となる。
【0054】
色温度補正部１０４７は、赤外減算処理部１０４６から出力された色信号（Ｒ４，Ｇ４，Ｂ４）それぞれに対し、色温度に応じた補正係数（ＷＲ，ＷＧ，ＷＢ）を乗算する。
［数６］
Ｒ５＝Ｒ４＊ＷＲ
Ｇ５＝Ｇ４＊ＷＧ
Ｂ５＝Ｂ４＊ＷＢ
この処理は、通常ホワイトバランス処理と呼ばれるもので、色温度に応じた補正係数を乗算するのは一般的な処理である。この際、色温度補正部１０４７によるホワイトバランス処理は、赤外減算処理部１０４６による演算の結果無色（つまりＲ４＝Ｇ４＝Ｂ４＝０）となった画素が着色しない処理であることが必要となる。
［数６］
Ｒ５＝Ｒ４＊ＷＲ
Ｇ５＝Ｇ４＊ＷＧ
Ｂ５＝Ｂ４＊ＷＢ
この処理は、通常ホワイトバランス処理と呼ばれるもので、色温度に応じた補正係数を乗算するのは一般的な処理である。この際、色温度補正部１０４７によるホワイトバランス処理は、赤外減算処理部１０４６による演算の結果無色（つまりＲ４＝Ｇ４＝Ｂ４＝０）となった画素が着色しない処理であることが必要となる。
【0055】
赤外信号加算部１０４８は、色温度補正部１０４７から出力された色信号（Ｒ５，Ｇ５，Ｂ５）それぞれに対し、赤外加算算出部１０４５から出力された赤外加算信号Ｉｒ＿ａｄｄを加算し、色信号強度調整信号（Ｒ６、Ｇ６，Ｂ６）を出力する。
［数７］
Ｒ６＝Ｒ５＋Ｉｒ＿ａｄｄ
Ｇ６＝Ｇ５＋Ｉｒ＿ａｄｄ
Ｂ６＝Ｂ５＋Ｉｒ＿ａｄｄ
この処理は、無色化された箇所においては、Ｒ５＝Ｇ５＝Ｂ５＝０であり、処理結果はＲ６＝Ｇ６＝Ｂ６となる。これは、ＲＧＢが同一値は無色をあらわし、処理によっても色がつくことはない。また、無色化されていない箇所においては色ずれを補正する効果となる。加算結果である色信号強度調整信号（Ｒ６、Ｇ６，Ｂ６）が色信号生成部１０４ａの出力色信号（Ｒ０，Ｇ０，Ｂ０）となる。
［数７］
Ｒ６＝Ｒ５＋Ｉｒ＿ａｄｄ
Ｇ６＝Ｇ５＋Ｉｒ＿ａｄｄ
Ｂ６＝Ｂ５＋Ｉｒ＿ａｄｄ
この処理は、無色化された箇所においては、Ｒ５＝Ｇ５＝Ｂ５＝０であり、処理結果はＲ６＝Ｇ６＝Ｂ６となる。これは、ＲＧＢが同一値は無色をあらわし、処理によっても色がつくことはない。また、無色化されていない箇所においては色ずれを補正する効果となる。加算結果である色信号強度調整信号（Ｒ６、Ｇ６，Ｂ６）が色信号生成部１０４ａの出力色信号（Ｒ０，Ｇ０，Ｂ０）となる。
【0056】
【0057】
既に説明したように、上述した特許文献１では、図３に示すように可視光領域の色信号から近赤外光領域の色信号を１００％除去している。これにより、例えば近赤外光のみを発する光源を撮像装置により撮像すると、光源が有する近赤外光成分を全て除去することができ、可視光領域の色成分は理想的には０になる。これにより、ダイナミックレンジが大きい被写体を撮像した場合でも、適切なカラー画像を生成することができる。
【0058】
ここに、図３においては撮像素子からの出力信号にノイズ成分が含まれていない理想的な状態を示す。従って、演算結果である赤色成分Ｒ、緑色成分Ｇ、青色成分Ｂは次式により表される。
［数８］
（Ｒ＋Ｉｒ）－Ｉｒ＝Ｒ
（Ｇ＋Ｉｒ）－Ｉｒ＝Ｇ
（Ｂ＋Ｉｒ）－Ｉｒ＝Ｂ
［数８］
（Ｒ＋Ｉｒ）－Ｉｒ＝Ｒ
（Ｇ＋Ｉｒ）－Ｉｒ＝Ｇ
（Ｂ＋Ｉｒ）－Ｉｒ＝Ｂ
【0059】
しかしながら、実際には、撮像素子から出力される出力信号にノイズ成分Ｎが含まれることを避けることはできない。
【0060】
図４に示すように、色信号における近赤外光成分の比率が小さい場合、ノイズ成分Ｎのうち近赤外光成分に対応する成分は近赤外光成分に比例するので、図３と同様に可視光成分から近赤外光成分を全て除去しても、可視光成分における各色成分の比は大きく変化しないので、色再現性という観点からは大きな問題にはならない。
【0061】
ノイズ成分Ｎのうち赤色成分Ｒに対応する成分をＮｒ、緑色成分Ｇに対応する成分をＮｇ、青色成分Ｂに対応する成分をＮｂ、近赤外光成分Ｉｒに対応する成分をＮｉｒとすると、近赤外光成分Ｉｒを可視光成分から除去した結果は次式のようになる。
［数９］
（Ｒ＋Ｉｒ＋Ｎｒ）－（Ｉｒ＋Ｎｉｒ）＝Ｒ＋Ｎｒ－Ｎｉｒ
（Ｇ＋Ｉｒ＋Ｎｇ）－（Ｉｒ＋Ｎｉｒ）＝Ｇ＋Ｎｇ－Ｎｉｒ
（Ｂ＋Ｉｒ＋Ｎｂ）－（Ｉｒ＋Ｎｉｒ）＝Ｂ＋Ｎｂ－Ｎｉｒ
［数９］
（Ｒ＋Ｉｒ＋Ｎｒ）－（Ｉｒ＋Ｎｉｒ）＝Ｒ＋Ｎｒ－Ｎｉｒ
（Ｇ＋Ｉｒ＋Ｎｇ）－（Ｉｒ＋Ｎｉｒ）＝Ｇ＋Ｎｇ－Ｎｉｒ
（Ｂ＋Ｉｒ＋Ｎｂ）－（Ｉｒ＋Ｎｉｒ）＝Ｂ＋Ｎｂ－Ｎｉｒ
【0062】
色信号における近赤外光成分の比率が小さいことから、Ｎｒ－Ｎｉｒ、Ｎｇ－Ｎｉｒ、Ｎｂ－Ｎｉｒの値も支配的なものとならず、従って、色再現性を大きく損なうことない画像処理を行うことができる。
【0063】
一方、図５に示すように、色信号における近赤外光成分の比率が大きい場合、ノイズ成分Ｎのうち近赤外光成分に対応する成分Ｎｉｒも大きくなるので、近赤外光成分Ｉｒを可視光成分から除去した結果はノイズ成分Ｎが支配的となり、正確な色再現が難しくなる。つまり、近赤外光成分を除去した可視光成分にノイズ成分が残留し、残留したノイズ成分を含む色信号が、本来の色とは異なる偽色と呼ばれる色ノイズとなる可能性があった。
【0064】
本実施形態の撮像装置１０、特に色信号生成部１０４ａは、近赤外光成分の信号に１と０以上の係数αとを加算した値である（１＋α）を乗算したものを可視光成分の色信号から減算する。可視光成分と近赤外光成分とが合成された色信号における近赤外光成分の比率が大きい場合、減算された値はマイナスとなるので、その場合の値は０で置き換える。この処理により、可視光成分と近赤外光成分とが合成された色信号における、近赤外光成分の比率が大きい箇所においての色成分は０、すなわち無色となる。
【0065】
可視光成分の色信号から過剰に近赤外光成分の信号が除去される（つまり近赤外光成分の信号に１＋αを乗算したものが減算される）ことにより、無色となった箇所以外の「色の信号」では、色ずれ現象が発生する。この色ずれを修正するため、色信号生成部１０４ａは、減算された信号に対して、近赤外光成分の信号に０以上の係数βを乗算したものを加算する。原理的には係数βはαと等しいことが好ましいが、αとβの係数の組合せは任意に設定してもよい。この処理では、減算処理において無色となった箇所は無色のまま変化せず、無色でない箇所のみ色ずれを修正できる。
【0066】
これにより、可視光成分と近赤外光成分とが合成された色信号における近赤外光成分の比率が大きい場合、例えば、近赤外光成分のみの信号における色成分を完全に０（無色）とすることができ、ノイズ成分を除去できるだけでなく、近赤外光成分の比率が大きくない箇所における色再現の両立が実現可能となる。
【0067】
【0068】
【0069】
図６（ａ）は、撮像素子１０２からの出力信号をフィルタ処理することにより得られる、可視光成分と近赤外光成分とが合成された色信号と近赤外光成分の信号を示す。
【0070】
図６（ｂ）は、図６（ａ）における近赤外光成分の信号に対し、１＋αを乗算したもの、および、βを乗算したものを示す。０以上の係数αに１を加えたものを乗算することにより、可視光成分と近赤外光成分とが合成された色信号における近赤外光成分の比率が大きい場合は、可視光成分と近赤外光成分とが合成された色信号よりも近赤外光成分の信号に１＋αを乗算した値のほうが大きくなる。
【0071】
図６（ｃ）は、図６（ａ）における可視光成分と近赤外光成分とが合成された色信号から、図６（ｂ）における近赤外光成分の信号に１＋αを乗算した値を減算した値を示す。この例においては、可視光成分と近赤外光成分とが合成された色信号における近赤外光成分の比率が大きいため、ＲＧＢ各成分のそれぞれが０以下となっている。
【0072】
【0073】
図７（ａ）は、図６（ｄ）のＲＧＢ信号に対してホワイトバランス処理をした結果を示す。この図に示すホワイトバランス処理は、ホワイトバランス調整として一般的なＲＧＢ各成分に対して係数（ＷＲ、ＷＧ、ＷＢ）を乗算したものである。０に対する乗算のため、値は０のまま変化しない。
【0074】
図７（ｂ）は、図７（ａ）に示すホワイトバランス処理後のＲＧＢ各成分に、近赤外光成分の信号にβを乗算した値を加算した結果を示す。ＲＧＢそれぞれの信号に対し同一の値を加算しているため、処理後の値はＲ＝Ｇ＝Ｂとなっている。これは色が無い状態すなわち、無色を表している。
【0075】
以上から、本実施形態の撮像装置１０、特に色信号生成部１０４ａによれば、可視光成分と近赤外光成分とが合成された色信号における近赤外光成分の比率が大きい場合、近赤外光成分のみの信号における色成分を完全に０（無色）とすることができ、ノイズ成分を除去できる。
【0076】
【0077】
【0078】
【0079】
図８（ｃ）は、図８（ａ）に示す可視光成分と近赤外光成分とが合成された色信号から近赤外光成分の信号を減算したものを示す。これは、本実施形態の色信号生成部１０４ａによる色信号処理において、本来表現されるべき色であるといえる。
【0080】
図８（ｄ）は、図６（ｃ）と同様に、図８（ａ）における可視光成分と近赤外光成分とが合成された色信号から、図８（ｂ）における近赤外光成分の信号に１＋αを乗算した値を減算した値を示す。図８（ｄ）に示すＲＧＢ各成分の値は図８（ｃ）に示す値と異なっている。すなわち色ずれが発生している。
【0081】
【0082】
【0083】
以上から、本実施形態の撮像装置１０、特に色信号生成部１０４ａによれば、可視光成分と近赤外光成分とが合成された色信号における近赤外光成分の比率が小さい場合、色信号生成部１０４ａによる色信号処理の結果における色ずれを改善することができる。
【0084】
（撮像装置の動作）
次に、図１２のフローチャートを用いて、本実施形態の撮像装置の動作について再度説明する。
次に、図１２のフローチャートを用いて、本実施形態の撮像装置の動作について再度説明する。
【0085】
（ステップＳ１０）信号分離部１０３から撮像素子１０２に対して撮像タイミングが指示されて、撮像素子１０２による撮像が行われる。
【0086】
（ステップＳ１２）撮像素子１０２が光学系１０１を透過した光を受光して光電変換を行い、出力信号ＲＡＷ０を出力する。
【0087】
（ステップＳ１４）信号分離部１０３が出力信号ＲＡＷ０を同一の２つの出力信号ＲＡＷ０，ＲＡＷ０に分離する。
【0088】
（ステップＳ１６）色分離部１０４１が、信号分離部１０３で分離された信号のうち一方の出力信号ＲＡＷ０を、出力信号ＲＡＷ０を構成する各色に対応する４つの色信号（Ｒ１，Ｇ１，Ｂ１，Ｃ１）に分離する。
【0089】
（ステップＳ１８）色線形補間処理部１０４２が、色分離部１０４１における分離の際に発生する空白の画素に対して、近傍の画素の値を用いて線形補間を行い、４つの線形色信号（Ｒ２，Ｇ２，Ｂ２，Ｃ２）を生成する。
【0090】
（ステップＳ２０）近赤外光強度取得部である赤外分離部１０４３が、色線形補間処理部１０４２の出力信号の中に含まれる近赤外光成分の強度を取得する。より詳細には、赤外分離部１０４３が、色線形補間処理部１０４２から出力された色信号（Ｒ２，Ｇ２，Ｂ２，Ｃ２）に対してリニアマトリクス演算を行い、補正された４つの線形補正色信号（Ｒ３，Ｇ３，Ｂ３，Ｉｒ３）を出力する。
【0091】
（ステップＳ２２）赤外減算算出部１０４４が、赤外分離部１０４３から出力された赤外信号Ｉｒ３に対し、１に赤外除去係数αを加算した値を乗算し、赤外除去信号Ｉｒ＿ｓｕｂを出力する。
【0092】
（ステップＳ２４）赤外加算算出部１０４５が、赤外分離部１０４３から出力された赤外信号Ｉｒ３に対し、赤外加算係数βを乗算した赤外加算信号Ｉｒ＿ａｄｄを出力する。
【0093】
（ステップＳ２６）赤外減算処理部１０４６の赤外信号減算部１０４６ａが、赤外分離部１０４３から出力された色信号（Ｒ３，Ｇ３，Ｂ３）に対し、赤外減算算出部１０４４から出力された赤外除去信号を減算した赤外減算信号（Ｒ３－Ｉｒ＿ｓｕｂ，Ｇ３－Ｉｒ＿ｓｕｂ，Ｂ３－Ｉｒ＿ｓｕｂ）を算出し、さらに、赤外減算処理部１０４６の赤外減算信号補正部１０４６ｂが、赤外減算信号と０のいずれか大きいほうである赤外減算信号補正値（Ｒ４，Ｇ４，Ｂ４）を出力する。
【0094】
（ステップＳ２８）色温度補正部１０４７が、赤外減算処理部１０４６から出力された色信号（Ｒ４，Ｇ４，Ｂ４）それぞれに対し、色温度に応じた補正係数（ＷＲ，ＷＧ，ＷＢ）を乗算して、色温度補正後の色信号（Ｒ５，Ｇ５，Ｂ５）を出力する。
【0095】
（ステップＳ３０）赤外信号加算部１０４８が、色温度補正部１０４７から出力された色信号（Ｒ５，Ｇ５，Ｂ５）それぞれに対し、赤外加算算出部１０４５から出力された赤外加算信号Ｉｒ＿ａｄｄを加算し、色信号強度調整信号（Ｒ０、Ｇ０，Ｂ０）を出力する。
【0096】
（ステップＳ３２）色差信号生成部１０７が、色信号生成部１０４ａの出力色信号（Ｒ０，Ｇ０，Ｂ０）を用いて色差信号（Ｕ１，Ｖ１）を算出する。
【0097】
（ステップＳ３４）輝度信号生成部１０５が出力信号ＲＡＷ０から輝度信号Ｙ０を生成する。
【0098】
（ステップＳ３６）輝度信号補正部１０６が、輝度信号Ｙ０に対してガンマ補正やヒストグラム補正等のコントラスト調整を実施して、輝度補正信号Ｙ１を生成する。
【0099】
（ステップＳ３８）色輝度合成部１０９が、色差信号（Ｕ１，Ｖ１）と輝度補正信号Ｙ２を合成してＹＵＶ形式の映像信号を生成する。
（第１の実施形態の効果）
（第１の実施形態の効果）
【0100】
以上のように構成された本実施形態の撮像装置１０では、赤外信号減算部１０４６ａが、近赤外光成分の強度の値に第一の所定値である１＋αを乗じた値を出力信号の強度の値から減算して赤外減算信号を生成し、この赤外減算信号の値が０以下であったときに、赤外減算信号補正部１０４６ｂが赤外減算信号の値を０とする赤外減算信号補正値を算出し、そして、この赤外減算信号補正値に、赤外信号加算部１０４８が近赤外光成分の強度の値に第二の所定値であるβを乗じた値を加算して色信号強度調整信号を生成する。
【0101】
このようにすることで、上述した色信号生成部１０４ａの作用で説明したように、可視光成分と近赤外光成分とが合成された色信号における近赤外光成分の比率が大きい場合、近赤外光成分のみの信号における色成分を完全に０（無色）とすることができ、ノイズ成分を除去できる。一方、可視光成分と近赤外光成分とが合成された色信号における近赤外光成分の比率が小さい場合、色信号生成部１０４ａによる色信号処理の結果における色ずれを改善することができる。従って、本実施形態の撮像装置１０によれば、撮像された画像信号の中に含まれる近赤外光成分の量によらずに、ノイズの影響を抑えて、人間の視覚に近い色再現性を持った色信号を得ることが可能となる。
【0102】
【0103】
上述した第１の実施形態である撮像装置１０では、撮像素子１０２で撮像された出力信号ＲＡＷ０を信号分離部１０３により同一の２つの出力信号ＲＡＷ０、ＲＡＷ０に分離し、それぞれ色信号及び輝度信号に分離して処理し、色輝度合成部１０８において合成して出力していたが、処理の軽減を目的として、色信号と輝度信号とを分離せずに処理を行ってもよい。
【0104】
かかる観点から、本実施形態の撮像装置１０では、第１の実施形態で設けられていた信号分離部１０３に代えて撮像素子制御部１１０を設け、この撮像素子制御部１１０により撮像素子１０２に対して撮像を行うタイミングを指示するとともに、撮像素子１０２で撮像された出力信号ＲＡＷ０を色信号生成部１０４ａに出力している。
【0105】
さらに、色信号と輝度信号とに分離して処理をしていないことから、輝度信号生成部１０５、輝度信号補正部１０６及び色輝度合成部１０８を省略している。
【0106】
それ以外の各ブロックの構成及び作用、動作については上述の第１の実施形態である撮像装置１０と同一であるので、ここでの説明は省略する。
【0107】
（第３の実施形態）
次に、図１４は、本発明の第３の実施形態である撮像装置の概略構成を示す図である。
次に、図１４は、本発明の第３の実施形態である撮像装置の概略構成を示す図である。
【0108】
撮像装置１０からの出力である映像信号はＹＵＶ形式に限定されず、ＲＧＢ形式であってもよい。かかる観点から、第３の実施形態である撮像装置１０は、第２の実施形態である撮像装置１０において色差信号生成部１０７を省略し、色信号生成部１０４ａから直接ＲＧＢ形式の映像信号を出力している。
【0109】
それ以外の各ブロックの構成及び作用、動作については上述の第２の実施形態である撮像装置１０と同一であるので、ここでの説明は省略する。
【0110】
【0111】
上述した第１の実施形態である撮像装置１０では、輝度信号として可視光成分の信号と近赤外光成分の信号との両方を使用していた。これは、近赤外光成分の信号を使用することで、暗い箇所を明るく表示するためである。一方、近赤外光成分の信号を使用すると、出力された映像信号の特性が人間の眼の特性と異なってくる。
【0112】
かかる観点から、本実施形態の撮像装置１０では、近赤外光成分を除いた色信号に基づくカラー映像と、近赤外光成分に基づくモノクロ映像とを同時に出力している。
【0113】
具体的には、図１７に示すように、色信号生成部１０４ｂの赤外分離部１０４３ａは、色線形補間処理部１０４２から出力された色信号（Ｒ２，Ｇ２，Ｂ２，Ｃ２）に対してリニアマトリクス演算を行った４つの線形補正色信号（Ｒ３，Ｇ３，Ｂ３，Ｉｒ３）を出力し、可視光成分に対応する信号（Ｒ３，Ｇ３，Ｂ３）を赤外減算処理部１０４６に出力し、近赤外光成分の強度に対応する信号Ｉｒ３を赤外減算算出部１０４４及び赤外加算算出部１０４５にそれぞれ出力するとともに、信号Ｉｒ３を色信号生成部１０４ｂの近赤外光出力信号Ｉｒ０として出力する。
【0114】
それ以外の各ブロックの構成及び作用、動作については上述の第２の実施形態である撮像装置１０と同一であるので、ここでの説明は省略する。
【0115】
（第５の実施形態）
次に、図１６は、本発明の第５の実施形態である撮像装置の概略構成を示す図である。
次に、図１６は、本発明の第５の実施形態である撮像装置の概略構成を示す図である。
【0116】
本実施形態の撮像装置１０は、第４の実施形態の撮像装置１０において、第３の実施形態と同様に、色差信号生成部１０７を省略し、色信号生成部１０４ｂから直接ＲＧＢ形式の映像信号を出力している。
【0117】
それ以外の各ブロックの構成及び作用、動作については上述の第４の実施形態である撮像装置１０と同一であるので、ここでの説明は省略する。
【0118】
【0119】
上述した第１～第５の実施形態である撮像装置１０では、撮像素子１０２にＲＧＢＣセンサを用いていたが、本実施形態の撮像装置１０、及び以降説明する撮像装置１０では撮像素子１０２ａにＲＧＢＩｒセンサを用いている。これに伴って、色信号生成部１０４ｃの構成も上述した第１～第５の実施形態である撮像装置１０における色信号生成部１０４ａ、１０４ｂと異なっている。以下、第１～第５の実施形態である撮像装置１０との相違点について詳細に説明する。
【0120】
撮像素子１０２ａを構成する各画素の上には、透過する波長帯域が異なる４種類のフィルタ（赤色フィルタＲ、緑色フィルタＧ、青色フィルタＢ、近赤外フィルタＩｒ）がそれぞれ規則的に配列され、これら４種類のフィルタにより光学フィルタが構成されている。
【0121】
また、図１９に示すように、色信号生成部１０４ｃの色分離部１０４１ａは、信号分離部１０３で分離された信号のうち一方の出力信号ＲＡＷ０を、出力信号ＲＡＷ０を構成する各色に対応する４つの色信号（Ｒ１，Ｇ１，Ｂ１，Ｉｒ１）に分離する。
【0122】
色線形補間処理部１０４２ａは、色分離部１０４１ａにおいて信号を分離する際に発生した空白の画素において観測されると予想される画素値を、近傍の画素値を用いて線形補間する。そして、全ての画素において、それぞれ４つの線形色信号（Ｒ２，Ｇ２，Ｂ２，Ｉｒ２）を生成する。
【0123】
赤外分離部１０４３ｂは、色線形補間処理部１０４２ａから出力された色信号（Ｒ２，Ｇ２，Ｂ２，Ｉｒ２）に対して、次式に示すようなリニアマトリクス演算を行い、出力が飽和していない非飽和画素（通常画素）で再現される色がターゲットカラーとなるように補正して、補正された４つの色信号（Ｒ３，Ｇ３，Ｂ３，Ｉｒ３）を出力する。
［数１０］
［数１０］
【0124】
近赤外光強度取得部１０４３ｂ－１及び赤外信号減算部１０４３ｂ－２として機能する本実施形態の赤外分離部１０４３ｂは、上述した第１の実施形態である撮像装置１０の色信号生成部１０４ａにおける赤外減算算出部１０４４、赤外加算算出部１０４５の処理、及び赤外信号減算部１０４６ａの処理を同時に実施することができる。
【0125】
すなわち、ｘ１４′、ｙ１４′、ｚ１４′の値をそれぞれ－（１＋α）にし、ｔ１１′～ｔ１３′の値をそれぞれ０、ｔ１４′の値をβにすることで、赤外分離部１０４３ｂからの出力信号（Ｒ３，Ｇ３，Ｂ３，Ｉｒ３）を次式のようにすることができる。
［数１１］
Ｒ３＝Ｒ２－Ｉｒ＿ｓｕｂ
Ｇ３＝Ｇ２－Ｉｒ＿ｓｕｂ
Ｂ３＝Ｂ２－Ｉｒ＿ｓｕｂ
Ｉｒ３＝Ｉｒ２＊β
つまり、赤外分離部１０４３ｂから出力された色信号（Ｒ３，Ｇ３，Ｂ３）は赤外減算信号であり、近赤外信号Ｉｒ３は赤外加算信号となる。ここで、
［数１２］
Ｉｒ＿ｓｕｂ＝Ｉｒ２＊（１＋α）
である。
［数１１］
Ｒ３＝Ｒ２－Ｉｒ＿ｓｕｂ
Ｇ３＝Ｇ２－Ｉｒ＿ｓｕｂ
Ｂ３＝Ｂ２－Ｉｒ＿ｓｕｂ
Ｉｒ３＝Ｉｒ２＊β
つまり、赤外分離部１０４３ｂから出力された色信号（Ｒ３，Ｇ３，Ｂ３）は赤外減算信号であり、近赤外信号Ｉｒ３は赤外加算信号となる。ここで、
［数１２］
Ｉｒ＿ｓｕｂ＝Ｉｒ２＊（１＋α）
である。
【0126】
赤外減算信号補正部として機能する色信号リミッタ部１０４９は、赤外分離部１０４３ｂから出力された赤外減算信号（Ｒ３，Ｇ３，Ｂ３）と０のいずれか大きいほうである赤外減算信号補正値（Ｒ４，Ｇ４，Ｂ４）を出力する。
［数１３］
Ｒ４＝ｍａｘ（Ｒ３，０）
Ｇ４＝ｍａｘ（Ｇ３，０）
Ｂ４＝ｍａｘ（Ｂ３，０）
［数１３］
Ｒ４＝ｍａｘ（Ｒ３，０）
Ｇ４＝ｍａｘ（Ｇ３，０）
Ｂ４＝ｍａｘ（Ｂ３，０）
【0127】
そして、赤外信号加算部１０４８ａは、色温度補正部１０４７から出力された色信号（Ｒ５，Ｇ５，Ｂ５）それぞれに対し、赤外分離部１０４３ｂから出力された赤外加算信号Ｉｒ３を加算し、色信号強度調整信号（Ｒ６、Ｇ６，Ｂ６）を出力する。
［数１４］
Ｒ６＝Ｒ５＋Ｉｒ３
Ｇ６＝Ｇ５＋Ｉｒ３
Ｂ６＝Ｂ５＋Ｉｒ３
［数１４］
Ｒ６＝Ｒ５＋Ｉｒ３
Ｇ６＝Ｇ５＋Ｉｒ３
Ｂ６＝Ｂ５＋Ｉｒ３
【0128】
このようにして、本実施形態の撮像装置１０によっても、上述の第１の実施形態の撮像装置１０と同一の出力である映像信号を得ることができる。
【0129】
（第７の実施形態）
次に、図２０は、本発明の第７の実施形態である撮像装置の概略構成を示す図である。
次に、図２０は、本発明の第７の実施形態である撮像装置の概略構成を示す図である。
【0130】
本実施形態の撮像装置１０は、第６の実施形態の撮像装置１０において、第２の実施形態である撮像装置１０と同様に、処理の軽減を目的として、色信号と輝度信号とを分離せずに処理を行ったものである。
【0131】
それ以外の各ブロックの構成及び作用、動作については上述の第２、第６の実施形態である撮像装置１０と同一であるので、ここでの説明は省略する。
【0132】
（第８の実施形態）
次に、図２１は、本発明の第８の実施形態である撮像装置の概略構成を示す図である。
次に、図２１は、本発明の第８の実施形態である撮像装置の概略構成を示す図である。
【0133】
本実施形態の撮像装置１０は、第６の実施形態の撮像装置１０において、第３の実施形態である撮像装置１０と同様に、色信号生成部１０４ｃから直接ＲＧＢ形式の映像信号を出力している。
【0134】
それ以外の各ブロックの構成及び作用、動作については上述の第３、第６の実施形態である撮像装置１０と同一であるので、ここでの説明は省略する。
【0135】
【0136】
本実施形態の撮像装置１０は、第６の実施形態の撮像装置１０において、第４の実施形態である撮像装置１０と同様に、近赤外光成分を除いた色信号に基づくカラー映像と、近赤外光成分に基づくモノクロ映像とを同時に出力している。
【0137】
具体的には、図２４に示すように、近赤外光強度取得部１０４３ｃ－１及び赤外信号減算部１０４３ｃ－２として機能する色信号生成部１０４ｄの赤外分離部１０４３ｃは、色線形補間処理部１０４２から出力された色信号（Ｒ２，Ｇ２，Ｂ２，Ｃ２）に対してリニアマトリクス演算を行った４つの色信号（Ｒ３，Ｇ３，Ｂ３，Ｉｒ３）を出力する。
［数１５］
［数１５］
【0138】
ここに、ｘ１４′、ｙ１４′、ｚ１４′の値はそれぞれ－（１＋α）にする一方、ｔ１１″～ｔ１３″の値を０に、ｔ１４″の値を１にすることで、赤外分離部１０４３ｃからの出力信号（Ｒ３，Ｇ３，Ｂ３，Ｉｒ３）を次式のようにすることができる。
［数１６］
Ｒ３＝Ｒ２－Ｉｒ＿ｓｕｂ
Ｇ３＝Ｇ２－Ｉｒ＿ｓｕｂ
Ｂ３＝Ｂ２－Ｉｒ＿ｓｕｂ
Ｉｒ３＝Ｉｒ２
つまり、赤外分離部１０４３ｂから出力された色信号（Ｒ３，Ｇ３，Ｂ３）は赤外減算信号となる。ここに、既に説明したように、
［数１７］
Ｉｒ＿ｓｕｂ＝Ｉｒ２＊（１＋α）
である。
［数１６］
Ｒ３＝Ｒ２－Ｉｒ＿ｓｕｂ
Ｇ３＝Ｇ２－Ｉｒ＿ｓｕｂ
Ｂ３＝Ｂ２－Ｉｒ＿ｓｕｂ
Ｉｒ３＝Ｉｒ２
つまり、赤外分離部１０４３ｂから出力された色信号（Ｒ３，Ｇ３，Ｂ３）は赤外減算信号となる。ここに、既に説明したように、
［数１７］
Ｉｒ＿ｓｕｂ＝Ｉｒ２＊（１＋α）
である。
【0139】
赤外分離部１０４３ｃから出力される４つの色信号（Ｒ３，Ｇ３，Ｂ３，Ｉｒ３）のうち、信号（Ｒ３，Ｇ３，Ｂ３）は赤外減算信号補正部として機能する色信号リミッタ部１０４９に入力され、近赤外光成分に対応する信号Ｉｒ３は、赤外加算算出部１０４５にそれぞれ入力されるとともに、色信号生成部１０４ｂの近赤外光出力信号Ｉｒ０として出力される。
【0140】
それ以外の各ブロックの構成及び作用、動作については上述の第４、第６の実施形態である撮像装置１０と同一であるので、ここでの説明は省略する。
【0141】
（第１０の実施形態）
次に、図２３は、本発明の第１０の実施形態である撮像装置の概略構成を示す図である。
次に、図２３は、本発明の第１０の実施形態である撮像装置の概略構成を示す図である。
【0142】
本実施形態の撮像装置１０は、第９の実施形態の撮像装置１０において、第８の実施形態と同様に、色差信号生成部１０７を省略し、色信号生成部１０４ｄから直接ＲＧＢ形式の映像信号を出力している。
【0143】
それ以外の各ブロックの構成及び作用、動作については上述の第８、第９の実施形態である撮像装置１０と同一であるので、ここでの説明は省略する。
【0144】
（その他）
以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
【符号の説明】
【0145】
１０ 撮像装置
１０２、１０２ａ 撮像素子
１０４３、１０４３ａ 赤外分離部（近赤外光強度取得部）
１０４３ｂ－１、１０４３ｃ－１ 近赤外光強度取得部
１０４３ｂ－２、１０４３ｃ－２、１０４６ａ 赤外信号減算部
１０４６ｂ 赤外減算信号補正部
１０４８、１０４８ａ 赤外信号加算部
１０４９ 色信号リミッタ部（赤外減算信号補正部）
１０２、１０２ａ 撮像素子
１０４３、１０４３ａ 赤外分離部（近赤外光強度取得部）
１０４３ｂ－１、１０４３ｃ－１ 近赤外光強度取得部
１０４３ｂ－２、１０４３ｃ－２、１０４６ａ 赤外信号減算部
１０４６ｂ 赤外減算信号補正部
１０４８、１０４８ａ 赤外信号加算部
１０４９ 色信号リミッタ部（赤外減算信号補正部）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
