特許 6231284 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6231284

(24)【登録日】2017年10月27日

(45)【発行日】2017年11月15日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 9/07 20060101AFI20171106BHJP

   H04N 5/225 20060101ALI20171106BHJP

   H04N 5/243 20060101ALI20171106BHJP

   H04N 9/68 20060101ALI20171106BHJP

【ＦＩ】

   H04N9/07 A

   H04N5/225 800

   H04N5/243

   H04N9/68 A

【請求項の数】3

【全頁数】24

(21)【出願番号】特願2013-32202(P2013-32202)

(22)【出願日】2013年2月21日

(65)【公開番号】特開2014-165528(P2014-165528A)

(43)【公開日】2014年9月8日

【審査請求日】2016年1月29日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(74)【代理人】

【識別番号】100082670

【弁理士】

【氏名又は名称】西脇 民雄

(74)【代理人】

【識別番号】100180068

【弁理士】

【氏名又は名称】西脇 怜史

(72)【発明者】

【氏名】高橋 輝樹

(72)【発明者】

【氏名】小島 崇英

(72)【発明者】

【氏名】小幡 浩二

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２０１１−２５９０６０（ＪＰ，Ａ）

【文献】 特開２００８−２１９１４０（ＪＰ，Ａ）

【文献】 国際公開第２００９／０５７４７８（ＷＯ，Ａ１）

【文献】 国際公開第２０１１／１５５１３６（ＷＯ，Ａ１）

【文献】 特開２０１０−２０６６７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／０７

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２４３

Ｈ０４Ｎ ９／６８

(57)【特許請求の範囲】

【請求項1】

互いに異なる可視光領域の光を選択的に透過して、かつ近赤外光領域において、互いに等しい分光透過率を持つ３種類のフィルタと、可視光領域の分光透過率が前記３種類のフィルタの各々の分光透過率の線形和で表わされて、かつ、近赤外光領域において、前記３種類のフィルタの分光透過率と等しい分光透過率を持つ１種類のフィルタと、からなる複数のフィルタが所定のパターンで配列された複数の画素を備えて、前記複数の画素から、それぞれ、前記画素に入射する入射光の輝度に応じて非線形に変化する第１の出力信号を出力する撮像素子と、
前記撮像素子が入射光の輝度範囲に亘って線形に変化する第２の出力信号を出力すると仮定したときに、前記複数の画素から出力される複数の前記第１の出力信号を、それぞれ、前記第２の出力信号に変換する出力信号線形変換部と、
前記第２の出力信号から、前記複数のフィルタのうち前記複数の画素にそれぞれ配列されたフィルタ以外のフィルタを配列したと仮定したときに前記複数の画素からそれぞれ出力されると予測される複数の色信号を生成する色信号生成部と、
前記複数の色信号の中から、近赤外光成分が分離された複数の赤外分離色信号を生成する赤外分離部と、
前記第１の出力信号から輝度信号を生成する輝度信号生成部と、
前記複数の赤外分離色信号と前記輝度信号とを合成して映像信号を生成する色輝度合成部と、
前記色信号が飽和していることを検出する色飽和検出部と、
飽和が検出された色信号を、予め決められた所定の値に変換するクリッピング処理を行って赤外未分離色信号を出力する飽和抑制部と、を有し、
前記色飽和検出部において、飽和している色信号が検出されたときには、前記色輝度合成部において、前記赤外未分離色信号と前記輝度信号とを合成して前記映像信号を生成して、
前記色飽和検出部において、飽和している色信号が検出されないときには、前記色輝度合成部において、前記赤外分離部から出力される赤外分離色信号と前記輝度信号とを合成して前記映像信号を生成することを特徴とする撮像装置。

【請求項2】

前記赤外分離部は、さらに、赤外分離色信号が生成された後に残る近赤外光成分量を算
出して、
前記飽和抑制部は、前記色飽和検出部の出力、または、前記近赤外光成分量に基づいて飽和画素の発生を判断して、飽和画素が検出されたときに、前記飽和画素の画素値を予め決められた所定の値に変換するクリッピング処理を行って赤外未分離色信号を出力して、
前記色輝度合成部において、前記赤外未分離色信号と前記輝度信号とを合成して前記映像信号を生成することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記色輝度合成部は、前記赤外分離色信号を前記赤外分離色信号から算出された輝度成分によって正規化した正規化色信号、または前記赤外未分離色信号を前記赤外未分離色信号から算出された輝度成分によって正規化した正規化色信号と、前記輝度信号と、を乗算することによって合成して前記映像信号を生成することを特徴とする請求項１または請求項２に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像素子を備えた撮像装置に関し、特に、明暗の差（ダイナミックレンジ）が大きい被写体を撮影した場合であっても、適切なカラー画像を生成することができる撮像装置に関するものである。

【背景技術】

【0002】

近年、交通事故の予防安全への関心が高まってきており、自動車の運転支援システムにおける要素技術として、車載監視用の撮像装置の研究開発が盛んに行われている。その中では、夜間の暗闇と高輝度な信号灯や車両灯（ヘッドライトなど）とが同時に存在する、明暗の差が非常に大きくて視界不良となり得る状況において、撮像装置の監視性能を確保すること、すなわち、視界不良となり得る状況においても信号や車線の色を判別できるように、撮像装置において、人間の色覚特性と合致した色再現性を確保することが課題となっている。

【0003】

このような明暗の差が非常に大きいシーンでは、一般の撮像素子ではダイナミックレンジの限界を超えてしまうため、露出オーバーとなって階調の情報を失い、真っ白な画像になってしまう白飛びや、逆に露出アンダーとなって階調の情報を失い、真っ黒な画像になってしまう黒潰れと呼ばれる現象が発生するという課題があった。

【0004】

そのため、入力輝度と出力信号の関係に非線形特性を持たせることによってダイナミックレンジを拡大することができる撮像素子が提案されている。

【0005】

そして、このような非線形特性を有する撮像素子において、非線形特性を有する領域の出力信号を線形信号に変換（線形化）してから種々の色信号処理を行い、その後、画像を出力するモニタに合わせてビット幅を狭めて出力する方法が提案されている（例えば特許文献１）。

【0006】

一方、暗闇において、歩行者や車線の監視性能を向上させるための手段として、近赤外線を透過する色フィルタを用いて、近赤外光領域に感度を持ったまま色再現を行うＩＲカラーカメラ技術の開発が行われている。

【0007】

ＩＲカラーカメラは、赤外線除去フィルタ（ＩＲカットフィルタ）を有していないため、近赤外光領域の光に対しても感度を有しており、観測対象から放射される近赤外光、または、赤外投光器によって照射された近赤外光の反射光をＩＲカラーカメラで観測することによって、車両のヘッドライトが照射されていない暗い領域においても撮像を行うことが可能となる。

【0008】

そして、このようなＩＲカラーカメラに適用できる撮像素子の開発が行われている（例えば特許文献２，３，４）。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２００１−８６４０２号公報

【特許文献2】特許第４４０７４４８号

【特許文献3】ＵＳ２００７／０１４５２７３号

【特許文献4】特許第４３８６０９６号

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、特許文献１に記載された画像処理装置では、信号処理過程でビット幅を狭めることによって信号を圧縮している。これは低輝度部分の情報を削減することに相当するため、撮像素子の持つ本来のダイナミックレンジを十分に活用したカラー画像を得ることができない。したがって、例えば、低輝度の被写体と高輝度の被写体が同時に存在するシーンでは、低輝度の被写体の画像領域から得られる出力信号が、削減される下位ビットに含まれている場合、最終的に出力される画像において低輝度の被写体の色を再現できないことになる。すなわち、明暗の差（ダイナミックレンジ）が大きい被写体を撮影した場合に、それらを確実に判別できるカラー画像を生成することができないという問題があった。

【0011】

また、特許文献２に記載された撮像装置では、近赤外光領域の分光反射率が色補正の際にターゲットとして使用するカラーチャートと異なっている場合に、再現される色が実際の色と異なってしまうという問題があった。例えば、木の葉や化繊の服など、近赤外光領域における分光反射率がカラーチャートと大きく異なる被写体においては、正しい色再現性を確保できない。

【0012】

さらに、特許文献３，４に記載された撮像装置では、４色の色フィルタ配列を用いて、４色の分光感度特性の加算・減算を基本とする信号処理によって近赤外光成分の除去を行っている。しかしながら、この信号処理は４色いずれかの信号が飽和した、いわゆる色飽和が発生した場合には近赤外光成分の除去ができないだけでなく、実際の色とは異なる色を表わす信号が出力される、飽和偽色が発生してしまうという問題があった。

【0013】

すなわち、いずれの従来技術にあっても、明暗の差が大きい被写体を撮影したときに、それらを確実に判別することができる広いダイナミックレンジを有して、なおかつ、人間の色覚特性と合致した色再現性を有する適切なカラー画像を生成することができなかった。

【0014】

本発明は、上記課題に鑑みてなされたもので、明暗の差が非常に大きい状況下であっても、黒潰れと白飛びの発生が抑制されて、人間の色覚特性と合致した色再現性を有する適切なカラー画像を生成することができる撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0015】

本発明に係る撮像装置は、明るさに対して非線形の出力特性を有する撮像素子の持つ本来のダイナミックレンジを十分に活用するとともに、前記撮像素子に備えられた分光透過率の異なる複数のフィルタ配列によって生じる出力信号の信号差を活用することによって、明暗の差（ダイナミックレンジ）が大きい被写体を撮影した場合であっても、黒潰れや白飛びがなく、かつ色再現性が高い、適切なカラー画像を生成するものである。

【0016】

すなわち、本発明に係る撮像装置は、互いに異なる可視光領域の光を選択的に透過して、かつ近赤外光領域において、互いに等しい分光透過率を持つ３種類のフィルタと、可視光領域の分光透過率が前記３種類のフィルタの各々の分光透過率の線形和で表わされて、かつ、近赤外光領域において、前記３種類のフィルタの分光透過率と等しい分光透過率を持つ１種類のフィルタと、からなる複数のフィルタが所定のパターンで配列された複数の画素を備えて、前記複数の画素から、それぞれ、前記画素に入射する入射光の輝度に応じて非線形に変化する第１の出力信号を出力する撮像素子と、前記撮像素子が入射光の輝度範囲に亘って線形に変化する第２の出力信号を出力すると仮定したときに、前記複数の画素から出力される複数の前記第１の出力信号を、それぞれ、前記第２の出力信号に変換する出力信号線形変換部と、前記第２の出力信号から、前記複数のフィルタのうち前記複数の画素にそれぞれ配列されたフィルタ以外のフィルタを配列したと仮定したときに前記複数の画素からそれぞれ出力されると予測される複数の色信号を生成する色信号生成部と、前記複数の色信号の中から、近赤外光成分が分離された複数の赤外分離色信号を生成する赤外分離部と、前記第１の出力信号から輝度信号を生成する輝度信号生成部と、前記複数の赤外分離色信号と前記輝度信号とを合成して映像信号を生成する色輝度合成部と、を有することを特徴とする。

【0017】

このように構成された本発明に係る撮像装置によれば、互いに異なる可視光領域の光を選択的に透過して、かつ近赤外光領域において、互いに等しい分光透過率を持つ３種類のフィルタと、可視光領域の分光透過率が前記３種類のフィルタの各々の分光透過率の線形和で表わされて、かつ、近赤外光領域において、前記３種類のフィルタの分光透過率と等しい分光透過率を持つ１種類のフィルタと、からなる複数のフィルタが所定のパターンで配列された複数の画素を備えた撮像素子が、その複数の画素から、それぞれ入射光の輝度に応じて非線形に変化する第１の出力信号を出力して、この第１の出力信号を、出力信号線形変換部において、撮像素子が入射光の入力輝度範囲に亘って線形に変化する第２の出力信号を出力すると仮定したときに、撮像素子が出力すると予測される第２の出力信号に変換して、この第２の出力信号に基づいて、色信号生成部が、全ての画素に対して、欠落した複数の色信号を補間によって生成し、生成された複数の色信号の中から、赤外分離部が近赤外光成分を分離して線形性を有する複数の赤外分離色信号を生成して、また輝度信号生成部が、第１の出力信号から、非線形性を有する輝度信号を生成して、色輝度合成部が、こうして生成された複数の線形性を有する赤外分離色信号と非線形性を有する輝度信号とを合成して映像信号を生成するため、ダイナミックレンジが大きい被写体を撮影した場合であっても、非線形性を有する輝度信号によって白飛びや黒潰れがなく、かつ、近赤外光成分が分離された線形性を有する色信号によって色再現性が高い、適切なカラー画像を生成することができる。

【発明の効果】

【0018】

本発明に係る撮像装置によれば、ダイナミックレンジが大きい被写体を撮影した場合であっても、黒潰れと白飛びの発生が抑制されて、人間の色覚特性と合致した色再現性を有する適切なカラー画像を生成することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施例１に係る撮像装置の概略構成を示すブロック図である。

【図2】本発明を適用するシーンの一例を示す図である。

【図3】撮像素子の入出力特性の概要を説明する図である。

【図4】（ａ）は本発明の実施例１で使用される撮像素子の入出力特性の一例を示す図である。（ｂ）は、図４（ａ）の横軸を対数目盛とした図である。

【図5】（ａ）は本発明の実施例１で使用される撮像素子の色フィルタの配列の一例を説明する図である。（ｂ）は（ａ）の色フィルタに、赤色光，緑色光，青色光，可視光全体をそれぞれ選択的に透過する色フィルタを当てはめたときのフィルタの構成例である。（ｃ）は（ｂ）の色フィルタから出力される色信号に基づいて、欠落した色信号を算出する方法を説明する図である。

【図6】本発明の実施例１において、出力信号線形変換部で行われる信号変換処理について説明する図である。

【図7】（ａ）は本発明の実施例１で使用されるフィルタの分光透過率特性の一例を示す図である。（ｂ）は、（ａ）の分光透過率特性を、撮像素子の入力輝度と出力信号が線形関係になるように階調変換した後の分光透過率特性の一例を示す。（ｃ）は、（ｂ）の信号から近赤外光成分を分離した後の分光透過率特性の一例を示す。

【図8】本発明の実施例１における色信号生成部の詳細構成を説明する図である。

【図9】（ａ）はクリッピング処理の概要を説明する図である。（ｂ）はクリッピング処理の適用例を説明する図であり、クリッピング処理を行う前の階調の例である。（ｃ）はクリッピング処理を適用した後の階調の例である。

【図10】本発明の実施例１において、色輝度合成部で行われる色信号と輝度信号の合成処理について説明する図である。

【図11】本発明の実施例１における処理の流れを示すフローチャートである。

【図12】本発明の実施例２に係る撮像装置の概略構成を示すブロック図である。

【図13】本発明の実施例２における色信号生成部の詳細構成を説明する図である。

【発明を実施するための形態】

【0020】

以下、本発明に係る撮像装置の実施形態について、図面を参照して説明する。

【実施例1】

【0021】

本実施例は、本発明に係る撮像装置を、車両周囲の監視を行って、撮像された画像、および撮像された画像の認識結果に基づく警報や警告灯を車両の乗員に提示する周囲監視装置に適用した例である。

【0022】

［撮像装置の概略構成の説明］
まず、図面を用いて装置の構成を説明する。本実施例に係る撮像装置１０は、図１に示すように車両（図示省略）に設置されて、被写体を観測するレンズ系１０１と、撮像素子１０２と、信号分離部１０３と、出力信号線形変換部１０４と、色信号生成部１０５ａと、輝度信号生成部１０７と、輝度信号補正部１０８と、色輝度合成部１０９と、画像出力部１１０を備えている。

【0023】

レンズ系１０１は、被写体から出射した光、または被写体で反射した光を後述する撮像素子１０２上に導く光学系である。

【0024】

レンズ系１０１は、車載監視用途の撮像装置の場合には、一般に狭角、広角、魚眼等のパンフォーカスレンズを用いる。しかし、その限りではなく、ズーム機構やオートフォーカス機構を備えたレンズ系を用いてもよいし、絞りやシャッターを備えたレンズ系を用いてもよい。また、画質や色再現性の向上のために光学ローパスフィルタや帯域分離フィルタや偏光フィルタ等の各種フィルタ類を備えたレンズ系を用いてもよい。

【0025】

撮像素子１０２は光電変換素子から構成される。光電変換素子は複数の画素から構成されており、レンズ系１０１を通して観測された被写体の像が結像して、入力した光を、その輝度に応じた出力電圧信号ｅに光電変換する。光電変換された出力電圧信号ｅは、内部に備えたアンプ（図示省略）、更に同じく内部に備えたＡＤコンバータ（図示省略）を通してデジタル化されて、出力信号ＲＡＷ０を生成する。出力信号ＲＡＷ０として、例えば１２ビット（０〜４０９５）にデジタル化された信号を出力する。撮像素子１０２としては、最大１２０ｄＢ程度の入力輝度のダイナミックレンジを有する、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の素子が用いられる。なお、撮像素子１０２を構成する各画素の上には、後述するように、４種類のフィルタが規則的に配列されている。

【0026】

信号分離部１０３は、撮像素子１０２に対して撮像を行うタイミングを指示するとともに、撮像素子１０２で撮像された出力信号ＲＡＷ０を受けて、同一の２つの出力信号ＲＡＷ０、ＲＡＷ０に分離する。

【0027】

出力信号線形変換部１０４は、信号分離部１０３で分離された信号のうち一方の出力信号ＲＡＷ０を、階調変換（線形化）処理によって、線形性を有する線形化出力信号ＲＡＷ１に変換する。ここで行われる変換処理の内容は後述する。

【0028】

色信号生成部１０５ａは、出力信号線形変換部１０４で変換された線形化出力信号ＲＡＷ１を、ＲＧＢＣ各色に対応する４つの信号に分離するとともに、分離する際に発生する空白の画素に対して、近傍の画素の値を用いて線形補間を行い、線形色信号（Ｒ_０，Ｇ_０，Ｂ_０）を生成する。そして、さらに、線形色信号（Ｒ_０，Ｇ_０，Ｂ_０）から赤外光成分を分離して、線形性を有する赤外分離色信号を生成するとともに、色補正を行って線形補正色信号（Ｒ_１，Ｇ_１，Ｂ_１）を生成する。また、色信号生成部１０５ａは、飽和画素に対してクリッピング処理を行うとともに、色飽和を起こしている飽和領域の検出を行う。そして、飽和領域を構成する画素であるか否かに応じて、適切な線形補正色信号（Ｒ_１，Ｇ_１，Ｂ_１）を出力する。なお、色信号生成部１０５ａは、図８に示す詳細構成を有しているが、その内容と、色信号生成部１０５ａで行われる具体的な処理内容は後述する。

【0029】

輝度信号生成部１０７は、信号分離部１０３で分離された信号のうち他方の出力信号ＲＡＷ０から輝度信号Ｙ_１を生成する。ここで行われる処理の内容は後述する。

【0030】

輝度信号補正部１０８は、輝度信号生成部１０７で生成された輝度信号Ｙ_１を必要に応じて補正して、輝度補正信号Ｙ_２を生成する。ここで行われる処理の内容は後述する。

【0031】

色輝度合成部１０９は、線形補正色信号（Ｒ_１，Ｇ_１，Ｂ_１）と輝度補正信号Ｙ_２を合成して映像信号（Ｒ_２，Ｇ_２，Ｂ_２）を生成する。ここで行われる処理の内容は後述する。

【0032】

画像出力部１１０は、色輝度合成部１０９で合成された映像信号（Ｒ_２，Ｇ_２，Ｂ_２）を出力する、例えば表示用モニタである。

【0033】

以下、撮像装置１０の作用について、図面を用いて順に説明する。

【0034】

まず、図２に基づいて、撮像装置１０の利用シーンについて説明する。図２は撮像装置１０を用いて、夜間の道路を撮影したときに得られる画像を模擬的に表したものである。すなわち、道路上の被写体である、先行車２０１や対向車２０３、道路標識等による反射装置２０５、２０６、信号機２０７、歩行者２０８、レーンマーカ２０９などが撮像されて画像化された様子を示している。

【0035】

図３は、線形の入出力特性を持つ一般的な撮像素子を用いて、図２に示す道路を撮像して画像化したときの入力輝度Ｉと出力電圧信号ｅの関係を表している。

【0036】

すなわち、撮像素子１０２に対して、異なる２つの露光時間を与えたときの入出力特性として、露光時間が長いときの入出力特性３０１と、露光時間が短いときの入出力特性３０２、および道路上の被写体を撮像して、全ての被写体を画像化したときに、白飛びや黒潰れが発生せずに適切なカラー画像を生成することができると考えられる入出力特性３０３を示している。

【0037】

このような夜間のシーンは明暗の差が非常に大きいため、線形の入出力特性を持つ撮像素子で撮像したのでは、ダイナミックレンジの限界を超えてしまうため、白飛びや黒潰れと呼ばれる現象が発生してしまう課題があった。

【0038】

すなわち、自車両のヘッドライトや道路照明が当たっていない、もしくは自車両のヘッドライトや道路照明を反射し難いレーンマーカ２０９や歩行者２０８の分布頻度が多い入力輝度帯域３０４が最適に映るように露光時間を決定して撮影すると、入出力特性３０１のように、ヘッドライト２０４の分布頻度が多い入力輝度帯域３０７やテールライト２０２の分布頻度が多い入力輝度帯域３０５における出力電圧信号ｅが飽和してしまい、所謂「白飛び」と呼ばれる現象が生じる（図３の領域Ｘ_１が、白飛びを起こす領域を表す）。

【0039】

逆に、最も明るいヘッドライト２０４の分布頻度が多い入力輝度帯域３０７が最適に映るように露光時間を決定して撮影すると、入出力特性３０２のように、レーンマーカ２０９や歩行者２０８の分布頻度が多い入力輝度帯域３０４やテールライト２０２の分布頻度が多い入力輝度帯域３０５における出力電圧信号ｅが黒潰れのラインを下回ってしまい、いわゆる「黒潰れ」と呼ばれる現象が生じる（図３の領域Ｘ_２が、黒潰れを起こす領域を表す）。

【0040】

ここで、入出力特性３０３に基づいて画像を生成すると、出力電圧信号ｅは、最も暗いレーンマーカ２０９から最も明るいヘッドライト２０４まで、一つの入出力特性３０３の白飛びも黒潰れもしない範囲に収まっている。本実施例で用いる撮像素子１０２の入出力特性は、入出力特性３０３にほぼ一致しているものとする。

【0041】

次に、撮像装置１０の作用について、順を追って説明する。

【0042】

［撮像素子の入出力特性の説明］
前記撮像素子１０２の光電変換特性（以下、入出力特性と呼ぶ）は、図４（ａ）に示すように複数の入出力特性を備えており、入射光を受光した撮像素子１０２の各画素に蓄積される電荷のリセットタイミングやリセット電圧を変更することによって、入出力特性を変更することができる。

【0043】

そして、図４（ａ）に示す入出力特性は、入力輝度Ｉに対して出力電圧信号ｅが非線形に変化する非線形の入出力特性を有している。これは、対数変換型の光電変換素子の代表的な入出力特性としてよく知られたものである。

【0044】

なお、図４（ｂ）は、図４（ａ）のグラフの横軸を対数目盛りに変換したグラフであり、入出力特性の違いによって、白飛びや黒潰れせずに出力できる入力輝度Ｉのダイナミックレンジが変化することを示している。

【0045】

そして、図４（ａ），（ｂ）では、入出力特性に付与した番号が大きいほど、入力輝度Ｉのダイナミックレンジが広い特性を有している。

【0046】

なお、図４（ａ）に記載された複数の入出力特性は、撮像シーンに応じて、図１に図示しない、撮像素子１０２に内蔵された露光制御部によって１つ選択される。例えば、撮像シーンの明るさに基づいて、白飛びや黒潰れが発生せずに、できるだけコントラストが高い画像が撮像される入出力特性が選択されて、撮像が行われる。

【0047】

具体的には、前記した露光制御部において、１フレーム毎に画像の出力統計情報を算出して、白飛び、黒潰れの画素数を取得し、閾値判定により検出を行う。白飛びが検出された場合、入出力特性に付与された番号が現在の入出力特性よりも大きい（ダイナミックレンジが広い）入出力特性が選択されて、白飛びが検出されない場合、入出力特性に付与された番号が現在の入出力特性よりも小さい（ダイナミックレンジが狭い）入出力特性が選択される。

【0048】

また、黒潰れが検出された場合、露光時間を現在より大きくして、黒潰れが検出されない場合、露光時間を現在より短くする。

【0049】

図３に示した入出力特性３０３は、図４（ａ）の入出力特性９、および図４（ｂ）の入出力特性９に対応するものである。

【0050】

［撮像素子のフィルタ構成の説明］
撮像素子１０２は、図４（ａ）または（ｂ）に示す出力電圧信号ｅを出力する複数の画素を二次元的に備えている。

【0051】

各画素の受光面の上には、図５（ａ）に示すように、可視光を波長毎に選択的に透過し、かつ近赤外光に対しては互いに等しい透過率をもつ３種類のフィルタＸ，Ｙ，Ｚと可視光の波長毎の透過率を３種類のフィルタの透過率の線形和で表すことができ、かつ近赤外光に対しては３種類のフィルタと等しい透過率をもつ第４のフィルタＴが規則的に配列されている。

【0052】

図７（ａ）は、このような特性を有するフィルタの例として、多くの撮像素子に用いられているＲＧＢフィルタを配列した撮像素子１０２の波長毎の出力値である分光感度Ｓを示している。すなわち、図５（ｂ）のように、前述した３種類のフィルタＸ，Ｙ，Ｚが、それぞれ、赤色フィルタＲ，緑色フィルタＧ，青色フィルタＢに対応し、第４のフィルタＴに対応するフィルタとして、可視光全体を透過する透明フィルタＣを適用した例である。

【0053】

図７（ａ）において、可視光と近赤外光の境目は曖昧であるが、一般的に約７００ｎｍ〜約８５０ｎｍの波長領域と考えてよく、この波長領域よりも高波長領域では、４種類のフィルタの分光透過率に差が生じなくなるため、４種類のフィルタを透過した光がそれぞれ入射した画素の出力値は互いに漸近する。

【0054】

本発明は、この４種類のフィルタの特性を活用したものであり、撮像素子１０２の特性に基づき４種類の色フィルタの出力値が十分に漸近して一致するとみなした点（図７（ａ）の例では、波長８４０ｎｍ付近）を可視光領域と近赤外光領域の境界とみなして、撮像素子１０２の出力信号の中から、可視光領域に占める成分（可視光成分）を保持して、近赤外光領域に占める成分（近赤外光成分）のみを分離、除去することを特徴としている。

【0055】

次に、前記４種類のフィルタの特性に関して説明する。前記４種類のフィルタＸ，Ｙ，Ｚ，Ｔの可視光領域の任意の波長における透過率を、それぞれＸ_Ｔ、Ｙ_Ｔ、Ｚ_Ｔ、Ｔ_Ｔとすると、それらの関係は（式１）のように表せる。
Ｔ_Ｔ＝αＸ_Ｔ＋βＹ_Ｔ＋γＺ_Ｔ （式１）

【0056】

このように、第４のフィルタＴの透過率Ｔ_Ｔは３種類のフィルタＸ，Ｙ，Ｚの各透過率Ｘ_Ｔ、Ｙ_Ｔ、Ｚ_Ｔの線形和で表すことができ、正負を問わない係数α、係数β、係数γが一意に定まるものとする。すなわち、撮像装置１０は（式１）の条件を満たす４色のフィルタを使用する必要があるが、これは、前述したように、多くの撮像素子に用いられるＲＧＢフィルタを用いることによって実現できる。そして、さらに、第４のフィルタＴとして、可視光領域全体を透過する透明（Ｃｌｅａｒ）フィルタＣを用いればよい。

【0057】

これら４種類のフィルタを用いた撮像素子１０２の波長λに対する出力値から、図７（ａ）のような分光感度Ｓが得られ、更に、後述する階調変換処理によって、撮像素子１０２への入力輝度と撮像素子１０２から出力される出力信号との関係を線形関係に変換することによって、図７（ｂ）に示す分光感度Ｓが得られる。そして、図７（ｂ）に示す分光感度Ｓから、（式１）を満たす係数α，β，γの値を算出することができる。

【0058】

係数α，β，γの値は、複数の異なる波長λの光に対して計測された分光感度Ｓから、最小二乗法を用いて、真値に対して許容範囲内に収まるように最適な係数α，β，γの値を定めることによって設定できる。そして、本実施例は、ＲＧＢＣフィルタ配列に限らず、（式１）の関係式で表すことができる任意の４種類のフィルタ配列に適用することができる。

【0059】

前記ＲＧＢＣフィルタを通して撮像素子１０２から出力された出力信号ＲＡＷ０（１２ビット）は、まず、信号分離部１０３において色信号処理と輝度信号処理に用いるための２つの信号に分離される分離処理が行われる。ただし、分離後の２つの信号は、分離前の出力信号ＲＡＷ０と全く同一のものである。

【0060】

［線形変換処理の説明］
次に、信号分離部１０３によって分離された２つの信号のうち、色信号処理に用いられる信号について、出力信号線形変換部１０４によって、図６に示すように、入力輝度Ｉに対して、撮像素子１０２の出力電圧信号ｅが線形に変化する予測線形特性６１２を有すると仮定して、入力輝度Ｉと出力電圧信号ｅとが非線形関係にある領域に該当する信号部分を、線形関係をもつ信号になるように線形変換処理（線形化）を行う。

【0061】

撮像素子１０２は、図６の入出力特性６００に示すように、入力輝度Ｉが小さい領域では線形特性６０１を有し、この領域では、入力輝度Ｉに対して線形に変化する出力信号を出力する。

【0062】

また、入力輝度Ｉが大きい領域では非線形特性６０２を有し、この領域では、入力輝度Ｉに対して非線形に変化する出力信号を出力する。

【0063】

そして、線形特性６０１を有する領域と非線形特性６０２を有する領域とは、接続点６０５において連続している。なお、撮像素子１０２が出力する出力電圧信号ｅを第１の出力信号Ｓ_１とする。

【0064】

このとき、撮像素子１０２の全入力輝度範囲に亘って、入出力特性の線形性が成り立つと仮定する。すなわち、図６の点線で示すように、入出力特性が予測線形特性６１２を呈すると仮定する。そして、撮像素子１０２から、この予測線形特性６１２に基づいて出力されると予測される出力信号を第２の出力信号Ｓ_２とする。

【0065】

出力信号線形変換部１０４では、撮像素子１０２が出力した第１の出力信号Ｓ_１を、入出力特性が予測線形特性６１２をなすと仮定したときに、撮像素子１０２が出力すると予測される第２の出力信号Ｓ_２に変換する処理を行う。

【0066】

すなわち、図６の場合、入力輝度Ｉ_１に対して入出力特性６００によって得られた出力電圧信号がｅ_１であり、入出力特性が予測線形特性６１２をなすと仮定したときに、入力輝度Ｉ_１に対して予測される出力電圧信号がｅ_２であるとすると、出力電圧信号ｅ_１をｅ_２／ｅ_１倍する処理が行われる。

【0067】

線形化の方法には、様々なものが存在するが、例えば、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を用いて変換すればよい。すなわち、あらかじめ撮像素子１０２の入出力特性を全ての入出力特性の番号の数だけ測定しておき、ある入力輝度Ｉのときに得られた出力電圧信号ｅ_１と、入出力特性が線形特性をなすと仮定したときに予想される出力電圧信号ｅ_２の対応関係をＬＵＴに記憶しておき、階調変換処理時には、現在の入出力特性の番号と、実際に計測された出力電圧信号ｅ_１の値から、そこに対応するＬＵＴに記憶された値を参照して階調変換を行えばよい。

【0068】

このとき作成されるＬＵＴには、撮像素子１０２の入出力特性の番号と、入出力特性６００によって得られた出力電圧値と、線形変換された出力電圧値が記憶される。

【0069】

なお、撮像装置の入出力特性の番号，撮像装置の出力信号ＲＡＷ０，階調変換を行うために用いるＬＵＴは、いずれもデジタル情報として取り扱う。実施例１において、これらの情報を漏れなく記憶しておくために必要なビット数は、例えば図４（ａ）の入出力特性を有する撮像素子１０２を用いる場合、入出力特性の総数は１０通りであるので、入出力特性を漏れなく表現するのに必要なビット数は４ビット、撮像素子１０２の出力信号ＲＡＷ０は１２ビット、そして、ＬＵＴに必要なビット数（線形変換後の出力電圧値）は、入力輝度のダイナミックレンジが最大１２０ｄＢ（１：１０^６）程度であることを考慮して、２０ビット（＞１２０ｄＢ）となる。

【0070】

そして、この線形変換によって、１２ビットの出力信号ＲＡＷ０から、２０ビットの線形化出力信号ＲＡＷ１が得られる。

【0071】

この他にも、撮像素子１０２の入出力特性における屈曲点であるニーポイントの位置を予測して区分線形変換を行う方法や、対数特性に近似して式による変換を行う方法など、様々考えられるが、いずれも、色信号処理のために入出力特性を線形な関係にするという結果は同じになる。

【0072】

［色信号の線形補間処理の説明］
次に、色信号生成部１０５ａで行わる色再現処理について、図８を用いて説明する。

【0073】

図８は、色信号生成部１０５ａの詳細な構成を示す図である。すなわち、色信号生成部１０５ａは、第１色分離部１０５１と、第１線形補間処理部１０５２と、赤外分離部１０５３ａと、赤外分離色信号補正部１０５４と、第２色分離部１０５５（飽和抑制部）と、第２線形補間処理部１０５６と、赤外含有色信号補正部１０５７と、飽和領域判定部１０５８ａ（色飽和検出部）と、色信号選択部１０５９を備えている。

【0074】

出力信号線形変換部１０４（図１参照）によって変換された線形化出力信号ＲＡＷ１（２０ビット）は３つの信号に分離されて、第１色分離部１０５１と、第２色分離部１０５５（飽和抑制部）、および飽和領域判定部１０５８ａ（色飽和検出部）に入力される。このとき、分離後の３つの信号は、分離前の線形化出力信号ＲＡＷ１と全く同一のものである。

【0075】

第１色分離部１０５１は、線形化出力信号ＲＡＷ１を、線形化出力信号ＲＡＷ１を構成する各色に対応する４つの色信号に分離する。このとき、信号がない画素は出力を０（空白）とする。

【0076】

第１線形補間処理部１０５２は、第１色分離部１０５１において信号を分離する際に発生した空白の画素において観測されると予想される画素値を、近傍の画素値を用いて線形補間する。そして、全ての画素において、それぞれ４つの線形色信号（Ｒ_０，Ｇ_０，Ｂ_０，Ｃ_０）を生成する。

【0077】

この線形補間の方法について、図５（ｃ）を用いて具体的に説明する。図５（ｃ）のように配列されたフィルタにおいて、例えば、Ｂ_２２で示される画素には、青色光を透過するフィルタが配列されている。したがって、Ｂ_２２で示される画素からは、青色に対応する出力電圧信号ｅが得られるのみである。

【0078】

したがって、Ｂ_２２で示される画素から出力されると予想される赤色光，緑色光，白色光に対応する信号は、Ｂ_２２で示される画素の周囲の出力電圧信号ｅを補間して予測する必要がある。

【0079】

例えば、Ｂ_２２で示される画素から出力されると予想される赤色光成分は、Ｂ_２２で示される画素に隣接する画素のうち、赤色フィルタＲが配列された画素であるＲ_１１，Ｒ_１３，Ｒ_３１，Ｒ_３３で示される画素の出力電圧信号ｅの平均値を当てはめることによって予測する。

【0080】

また、Ｂ_２２で示される画素から出力されると予想される緑色光成分は、Ｂ_２２で示される画素に隣接する画素のうち、緑色フィルタＧが配列された画素であるＧ_１２，Ｇ_３２で示される画素の出力電圧信号ｅの平均値を当てはめることによって予測する。

【0081】

そして、Ｂ_２２で示される画素から出力されると予想される白色光成分は、Ｂ_２２で示される画素に隣接する画素のうち、透明フィルタＣが配列された画素であるＣ_２１，Ｃ_２３で示される画素の出力電圧信号ｅの平均値を当てはめることによって予測する。

【0082】

なお、このとき、単に補間するだけではなく、ローパスフィルタや、バンドパスフィルタなどのディジタルフィルタを用いて周波数選択のためのディジタルフィルタリングを実施してもよい。

【0083】

［赤外光分離処理の説明］
赤外分離部１０５３ａは、第１線形補間処理部１０５２において得られた前記４つの線形色信号（Ｒ_０，Ｇ_０，Ｂ_０，Ｃ_０）に対してリニアマトリクスによる赤外分離処理を行う。具体的に赤外分離処理を行うために用いる行列演算を（式２）及び（式３）に示す。

【数1】

【数2】

【0084】

（式２）において右辺右側の４行１列の行列は、線形補間後の、近赤外光を含む４つの色信号を表し、左辺の行列は近赤外光分離後の３つの色信号を表している。例えば色信号Ｘの場合は、信号には可視光成分の他に近赤外光成分が含まれているため、信号に含まれる可視光成分をＸ、近赤外光成分をｉで表して信号量はＸ＋ｉとなる。Ｙ，Ｚ，Ｔについても、可視光成分がＸと異なる以外は同様になる。

【0085】

ここで（式１）を用いて（式２）の右辺を展開して（式３）を代入すると、（式２）の左辺が得られる。即ち、あらかじめ（式１）の係数α、β、γを求めておいて（式３）を導出しておくことで、近赤外光を含む線形色信号（Ｒ_０，Ｇ_０，Ｂ_０，Ｃ_０）に対して、比較的簡単な線形演算を行うことによって赤外分離された線形色信号を計算することが可能である。

【0086】

実際にＲＧＢＣフィルタからなる撮像素子１０２を用いた場合、Ｘ＝Ｒ、Ｙ＝Ｇ、Ｚ＝Ｂ、Ｔ＝Ｃとして、図７（ｂ）の分光感度特性からα、β、γを求めると、α＝０.５、β＝０．６、γ＝０．６となる。そして、後述する色再現処理を適用すると、図７（ｃ）の分光感度特性を持つ撮像素子で得られる色信号と同等になることが計算により求められる。したがって、結果として得られる色信号は、近赤外光成分がほとんど分離除去されたものであることがわかる。

【0087】

赤外分離色信号補正部１０５４は、一般的な線形特性を持つ撮像素子を用いた撮像装置１０で実施されている技術（ターゲットカラーに基づくリニアマトリクス演算）により、撮像装置１０によって再現される色がターゲットカラーとなるように色信号補正処理を行う。

【0088】

具体的には、赤外分離色信号補正部１０５４において、赤外分離部１０５３ａから出力される３つの赤外分離色信号に対して、（式４）を用いてリニアマトリクス演算を行い、出力が飽和していない非飽和画素（通常画素）で再現される色がターゲットカラーとなるように補正して、補正された３つの線形補正色信号（Ｘｃ，Ｙｃ，Ｚｃ）を出力する。

【数3】

【0089】

特に、前述したＲＧＢＣフィルタを備えた撮像素子１０２から得られた線形補正色信号を（Ｒ_１，Ｇ_１，Ｂ_１）と呼ぶことにする。線形補正色信号（Ｒ_１，Ｇ_１，Ｂ_１）は、（式４）において、Ｘ＝Ｒ、Ｙ＝Ｇ、Ｚ＝Ｂ、Ｔ＝Ｃと置き換えることによって算出することができる。

【0090】

［クリッピング処理の説明］
第２色分離部１０５５（飽和抑制部）は、第１色分離部１０５１と同様に、線形化出力信号ＲＡＷ１が入力されて、４つの色信号に分離（信号がない部分は空白０を挿入）されるが、分離前に、飽和信号レベル（１２ビットの場合は４０９５）に対して色信号毎に予め定められたクリップレベルを用いてクリッピングを行う。

【0091】

クリッピング処理とは、線形化出力信号ＲＡＷ１が、予め決めておいた所定の値を超えていたときに、その画素値を予め決めておいた所定の値に設定する処理のことである。

【0092】

クリッピング処理の１例を図９（ａ）に示す。例えば、緑色フィルタＧが配列された画素から出力された信号が、予め決めた所定値Ｔｈｒよりも大きいときは、その画素に強制的に所定値Ｔｈｒを与える。

【0093】

そして、このとき、同じ輝度の白色光が、赤色フィルタＲが配列された画素に入射したときに、その画素から出力される信号も飽和するように、赤色フィルタが配列された画素に対する所定値Ｒ＿Ｔｈｒが設定される。ここで、Ｒ＿Ｔｈｒの値は、（式５）によって算出する。
Ｒ＿Ｔｈｒ＝Ｔｈｒ×Ｇ＿Ｇａｉｎ／Ｒ＿Ｇａｉn （式５）
ここで、Ｇ＿Ｇａｉn，Ｒ＿Ｇａｉｎはそれぞれ、色温度を調整するパラメータであり、緑色の強さを表わすＧゲインと、赤色の強さを表わすＲゲインである。

【0094】

そして、同様にして、青色フィルタが配列された画素に対する所定値Ｂ＿Ｔｈｒが設定される。ここで、Ｂ＿Ｔｈｒの値は、（式６）によって算出する。
Ｂ＿Ｔｈｒ＝Ｔｈｒ×Ｒ＿Ｇａｉｎ／Ｂ＿Ｇａｉn （式６）
ここで、Ｂ＿Ｇａｉnは、色温度を調整するパラメータであり、青色の強さを表わすＢゲインである。

【0095】

その後、第２線形補間処理部１０５６で第１線形補間処理部１０５２と同様の線形補間処理を行う。また、赤外含有色信号補正部１０５７は、第２線形補間処理部１０５６から出力される近赤外光を含む４つの色信号に対して、（式７）を用いてリニアマトリクス演算を行い、飽和領域で再現される色がターゲットカラーとなるように補正して、補正された４つの線形補正色信号（Ｘｓ，Ｙｓ，Ｚｓ，Ｔｓ）のうち、（Ｘｓ，Ｙｓ，Ｚｓ）の３信号を出力する。

【数4】

【0096】

なお、前述したＲＧＢＣフィルタを備えた撮像素子１０２の場合、（式７）において、Ｘ＝Ｒ、Ｙ＝Ｇ、Ｚ＝Ｂ、Ｔ＝Ｃと置き換えることによって、線形補正色信号（Ｒ_１，Ｇ_１，Ｂ_１）が算出される。こうして算出される線形補正色信号（Ｒ_１，Ｇ_１，Ｂ_１）は、近赤外光が分離されていない赤外未分離色信号である。

【0097】

［飽和領域判定処理の説明］
色信号選択部１０５９は、画素単位で並行して生成される前記２種類の線形補正色信号（赤外分離色信号、赤外未分離色信号）のうち、どちらの線形補正色信号を使用するかを選択するための判定を行う。そのため、まず、飽和領域判定部１０５８ａ（色飽和検出部）において、線形化出力信号ＲＡＷ１に対して、飽和画素、または飽和画素の周辺画素（線形補間で飽和画素の影響を受けている画素）のみを表わす二値信号を生成する。

【0098】

具体的には、飽和信号レベル以上で飽和と判定された画素を１とし、それ以外を０とする二値画像に対して、線形補間処理を行った際のカーネルサイズに合わせたダイレーション（膨張）処理を行って、このダイレーション処理の結果得られた二値画像信号を、飽和画素を表わす飽和画素信号として色信号選択部１０５９へ入力する。このとき、領域の膨張処理を行うため、飽和画素とともに、飽和画素の影響を受けていると考えられる周辺画素も合わせて抽出される。

【0099】

色信号選択部１０５９は、着目した画素が、飽和画素、またはその周辺画素として抽出されているか否かに従って、２種類の色信号のうち、どちらの色信号を出力するかの選択を行う。すなわち、前述した二値画像信号が０のときは、飽和画素ではなく、かつ飽和画素の周辺画素でもないと判断されて、赤外分離された線形補正色信号（Ｒ_１，Ｇ_１，Ｂ_１）が選択される。

【0100】

一方、二値画像信号が１のときは、飽和画素または、飽和画素の周辺画素と判断されて、クリッピング処理された赤外未分離の線形補正色信号（Ｒ_１，Ｇ_１，Ｂ_１）が選択される。

【0101】

以上により、線形化出力信号ＲＡＷ１（２０ビット）から、人間の色覚特性に一致するように、近赤外光成分が分離されて、彩度や色相などが調整された３つの線形補正色信号（Ｒ_１、Ｇ_１、Ｂ_１）（符号付き２１ビット）が選択されて出力される。

【0102】

この色信号の選択を図９（ｂ），（ｃ）を用いて説明する。図９（ｂ），（ｃ）に示すように、非飽和画素、またはクリッピング処理を行った飽和画素であれば、色補正後の信号は無彩色となる。これに対してクリッピング処理を行わない飽和画素では、色補正を行った際にＲＧＢのバランスが崩れて、図９（ｃ）に示すように色ずれが発生する。したがって、前述したように、飽和画素信号であるときには、クリッピング処理を行った色信号を選択することによって、色ずれの発生を防止することができる。

【0103】

［色輝度合成による色再現処理の説明］
信号分離部１０３によって分離された２つの出力信号ＲＡＷ０のうち、色信号処理に用いない出力信号ＲＡＷ０は、輝度信号処理に利用される。

【0104】

輝度信号生成部１０７は、出力信号ＲＡＷ０から輝度信号Ｙ_１（１２ビット）を生成する。処理の内容は、出力信号線形変換部１０４で行う処理と、色分離をしない点以外は同様であり、ローパスフィルタや、バンドパスフィルタなどのディジタルフィルタを用いて周波数選択のためのディジタルフィルタリングを実施することも可能である。

【0105】

輝度信号補正部１０８は、輝度信号Ｙ_１に対してガンマ補正やヒストグラム補正等のコントラスト調整を実施して、輝度補正信号Ｙ_２（１２ビット）を生成する。

【0106】

そして、線形補正色信号と輝度補正信号を用いて、色輝度合成部１０９おいて、画像出力部１１０に出力する映像信号を生成する。

【0107】

［色輝度合成処理の説明］
以下、ＲＧＢＣフィルタを備えた撮像素子１０２から得られた線形補正色信号（Ｒ_１，Ｇ_１，Ｂ_１）と輝度補正信号Ｙ_２を用いて、映像信号（Ｒ_２，Ｇ_２，Ｂ_２）を生成する方法について、順を追って説明する。

【0108】

図１０に色輝度合成部１０９の内部構成図を示す。まず、線形補正色信号（Ｒ_１、Ｇ_１、Ｂ_１）を２つに分離し、処理ブロック１０９１において、分離した一方の線形補正色信号（Ｒ_１、Ｇ_１、Ｂ_１）から、それらの輝度成分Ｙｃを（式８）を用いて求める。
Ｙｃ ＝ 0.299×Ｒ_１＋0.587×Ｇ_１＋0.114×Ｂ_１ （式８）

【0109】

（式８）において、線形補正色信号（Ｒ_１、Ｇ_１、Ｂ_１）の各成分に積算される係数は、それぞれ、ＲＧＢ色度を輝度に変換する際の変換係数として求められた値の一例である。

【0110】

（式８）の演算は、入力される線形補正色信号（Ｒ_１，Ｇ_１，Ｂ_１）（符号付き２１ビット）の値の範囲が広いため、線形補正色信号（Ｒ_１，Ｇ_１，Ｂ_１）を浮動小数点に変換して、浮動小数点演算として行う。

【0111】

次に、処理ブロック１０９２において、（式９）から（式１１）で示すように、（式８）で導出された輝度成分Ｙｃの値によって、線形補正色信号（Ｒ_１、Ｇ_１、Ｂ_１）の各成分をそれぞれ除算して、線形補正色信号（Ｒ_１、Ｇ_１、Ｂ_１）の正規化を行い、正規化色信号（Ｒｃ，Ｇｃ，Ｂｃ）を生成する。この演算も浮動小数点演算として行われ、結果は１２ビットに整数化されて出力される。
Ｒｃ ＝ Ｒ_１／Ｙｃ （式９）
Ｇｃ ＝ Ｇ_１／Ｙｃ （式１０）
Ｂｃ ＝ Ｂ_１／Ｙｃ （式１１）

【0112】

そして、処理ブロック１０９３において、（式１２）から（式１４）で示すように、正規化色信号（Ｒｃ，Ｇｃ，Ｂｃ）に対して、輝度信号補正部１０８によって生成された輝度補正信号Ｙ_２を乗算して、色輝度合成部１０９の出力信号である映像信号（Ｒ_２、Ｇ_２、Ｂ_２）が生成される。
Ｒ_２ ＝ Ｘｃ×Ｙ_２ （式１２）
Ｇ_２ ＝ Ｙｃ×Ｙ_２ （式１３）
Ｂ_２ ＝ Ｚｃ×Ｙ_２ （式１４）

【0113】

ここで、留意すべきは、正規化色信号（Ｒｃ，Ｇｃ，Ｂｃ）は線形特性を持つ信号であり、輝度補正信号Ｙ_２は非線形特性を持つ信号であるため、それらが合成された映像信号（Ｒ_２、Ｇ_２、Ｂ_２）は非線形特性を持つ信号となることである。

【0114】

このとき、線形補正色信号（Ｒ_１、Ｇ_１、Ｂ_１）と輝度補正信号Ｙ_２と映像信号（Ｒ_２、Ｇ_２、Ｂ_２）の間には、（式１５），（式１６）の関係式が成り立つ。但し、演算時のビット幅縮小に伴う誤差による影響は、十分小さいものとしている。
Ｙ_２ ＝ 0.299×Ｒ_２＋0.587×Ｇ_２＋0.114×Ｂ_２ （式１５）
Ｒ_１：Ｇ_１：Ｂ_１ ＝ Ｒ_２：Ｇ_２：Ｂ_２ （式１６）

【0115】

（式１５）は、映像信号（Ｒ_２、Ｇ_２、Ｂ_２）と輝度補正信号Ｙ_２が３原色ベクトルとそれからなる輝度ベクトルの関係であることを表しており、映像信号（Ｒ_２、Ｇ_２、Ｂ_２）が輝度補正信号Ｙ_２の持つ広ダイナミックレンジの輝度情報を保持していることを示している。

【0116】

また、（式１６）は、線形補正色信号（Ｒ_１、Ｇ_１、Ｂ_１）と映像信号（Ｒ_２、Ｇ_２、Ｂ_２）の色の組成比（色相）が同一であることを表していて、さらに、（式１５）と合わせて、輝度信号に対する信号強度（彩度）が同一であることを表している。すなわち、線形特性から非線形特性への変換の際に、線形色信号（Ｒ_０，Ｇ_０，Ｂ_０）が有していた色再現性が保持されていることを示している。

【0117】

こうして生成された映像信号（Ｒ_２、Ｇ_２、Ｂ_２）は、画像出力部１１０に表示されて、車両の乗員に提示される。

【0118】

［処理の流れの説明］
次に、図１１のフローチャートを用いて、実施例１の一連の処理の流れを説明する。

【0119】

（ステップＳ１０）信号分離部１０３から撮像素子１０２に対して、撮像タイミングが指示されて、撮像が行われる。

【0120】

（ステップＳ１２）撮像素子１０２は、レンズ系１０１を透過した光を受光して、光電変換を行い、出力信号ＲＡＷ０を出力する。

【0121】

（ステップＳ１４）信号分離部１０３において、出力信号ＲＡＷ０を同一の２つの出力信号ＲＡＷ０，ＲＡＷ０に分離する。

【0122】

（ステップＳ１６）出力信号線形変換部１０４において、一方の出力信号ＲＡＷ０を、線形性を有する線形化出力信号ＲＡＷ１に変換する。

【0123】

（ステップＳ１８）第１色分離部１０５１において、線形化出力信号ＲＡＷ１をＲＧＢＣ各色に対応する４つの信号に分離して、第１線形補間処理部１０５２において、分離の際に発生する空白の画素に対して、近傍の画素の値を用いて線形補間を行い、線形色信号（Ｒ_０，Ｇ_０，Ｂ_０）を生成する。

【0124】

（ステップＳ２０）赤外分離部１０５３ａにおいて、線形色信号Ｒ_０，Ｇ_０，Ｂ_０から赤外光成分を分離して、赤外分離色信号を生成する。さらに、赤外分離色信号補正部１０５４で色補正を行って線形補正色信号（Ｒ_１，Ｇ_１，Ｂ_１）を生成する。

【0125】

（ステップＳ２２）第２色分離部１０５５（飽和抑制部）において、クリッピング処理を行い、さらに、第２線形補間処理部１０５６において、線形色信号（Ｒ_０，Ｇ_０，Ｂ_０，Ｃ_０）を生成する。

【0126】

（ステップＳ２４）赤外含有色信号補正部１０５７において、第２線形補間処理部１０５６から出力される４つの色信号に対してリニアマトリクス演算を行い、色補正された４つの線形補正色信号を生成する。

【0127】

（ステップＳ２６）飽和領域判定部１０５８ａ（色飽和検出部）において、線形化出力信号ＲＡＷ１に対して飽和判定を行い、飽和画素、または飽和画素の周辺画素のみを表わす二値画像を生成する。

【0128】

（ステップＳ２８）輝度信号生成部１０７において、出力信号ＲＡＷ０から輝度信号Ｙ_１を生成する。

【0129】

（ステップＳ３０）輝度信号補正部１０８において、輝度信号Ｙ_１に対してガンマ補正やヒストグラム補正等のコントラスト調整を実施して、輝度補正信号Ｙ_２を生成する。

【0130】

（ステップＳ３２）色輝度合成部１０９において、線形補正色信号（Ｒ_１，Ｇ_１，Ｂ_１）と輝度補正信号Ｙ_２を合成して映像信号（Ｒ_２，Ｇ_２，Ｂ_２）を生成する。

【0131】

（ステップＳ３４）生成された映像信号（Ｒ_２，Ｇ_２，Ｂ_２）を、画像出力部１１０に出力する。

【0132】

以上、説明したように、実施例１に係る撮像装置１０によれば、互いに異なる可視光領域の光を選択的に透過して、かつ近赤外光領域において、互いに等しい分光透過率を持つ３種類のフィルタＲ，Ｇ，Ｂと、可視光領域の分光透過率が前記３種類のフィルタＲ，Ｇ，Ｂの各々の分光透過率の線形和で表わされて、かつ、近赤外光領域において、前記３種類のフィルタＲ，Ｇ，Ｂの分光透過率と等しい分光透過率を持つ１種類のフィルタＣと、からなる複数のフィルタＲ，Ｇ，Ｂ，Ｃが所定のパターンで配列された複数の画素を備えた撮像素子１０２が、その複数の画素から、それぞれ入射光の輝度に応じて非線形に変化する第１の出力信号Ｓ_１を出力して、この第１の出力信号Ｓ_１を、出力信号線形変換部１０４において、撮像素子１０２が入射光の入力輝度範囲に亘って線形に変化する第２の出力信号Ｓ_２を出力すると仮定したときに、撮像素子１０２が出力すると予測される第２の出力信号Ｓ_２に変換して、この第２の出力信号Ｓ_２に基づいて、色信号生成部１０５ａが、全ての画素に対して、欠落した複数の色信号を補間して生成し、生成された複数の線形色信号（Ｒ_０，Ｇ_０，Ｂ_０）（または線形補正色信号（Ｒ_１，Ｇ_１，Ｂ_１））の中から、赤外分離部１０５３ａが、近赤外光成分を分離して線形性を有する複数の赤外分離色信号を生成し、また、輝度信号生成部１０７が、第１の出力信号Ｓ_１から、非線形性を有する輝度信号Ｙ_１を生成して、色輝度合成部１０９が、こうして生成された複数の線形性を有する赤外分離色信号と非線形性を有する輝度信号Ｙ_１（または輝度補正信号Ｙ_２）とを合成して映像信号（Ｒ_２，Ｇ_２，Ｂ_２）を生成するため、ダイナミックレンジが大きい被写体を撮影した場合であっても、非線形性を有する輝度信号Ｙ_１（または輝度補正信号Ｙ_２）によって白飛びや黒潰れがなく、かつ、近赤外光成分が分離された線形性を有する色信号によって色再現性が高い適切なカラー画像を生成することができる。

【0133】

また、実施例１に係る撮像装置１０によれば、飽和領域判定部１０５８ａ（色飽和検出部）において、線形化出力信号ＲＡＷ1が飽和していることが検出されたときには、第２色分離部１０５５（飽和抑制部）において、飽和が検出された線形化出力信号ＲＡＷ1に対応する赤外未分離色信号を、予め決められた所定の値に変換するクリッピング処理を行って、クリッピング処理によって生成された赤外未分離色信号と輝度信号Ｙ_１（または輝度補正信号Ｙ_２）を合成して映像信号（Ｒ_２，Ｇ_２，Ｂ_２）を生成し、一方、飽和領域判定部１０５８ａ（色飽和検出部）において、線形化出力信号ＲＡＷ1が飽和していることが検出されないときには、赤外分離部１０５３ａから出力される赤外分離色信号と輝度信号Ｙ_１（または輝度補正信号Ｙ_２）を合成して映像信号（Ｒ_２，Ｇ_２，Ｂ_２）を生成するため、色飽和が発生しないときは赤外成分を含まない人間の色覚特性にほぼ等しい色を出力できるとともに、色飽和が発生したときであっても飽和偽色の発生が防止され、かつクリッピング処理によって無彩色の色ずれの発生が防止されて、人間の色覚特性に違和感なく実際の色に近い色を出力することができる。

【0134】

また、実施例１に係る撮像装置１０によれば、色輝度合成部１０９が、第１線形補間処理部１０５２で生成された赤外分離色信号である線形色信号（Ｒ_０，Ｇ_０，Ｂ_０）（または線形補正色信号（Ｒ_１，Ｇ_１，Ｂ_１））を輝度成分Ｙｃによって正規化して正規化色信号（Ｒｃ，Ｇｃ，Ｂｃ）を生成し、または、第２線形補間処理部１０５６で生成された赤外未分離色信号である線形色信号（Ｒ_０，Ｇ_０，Ｂ_０）（または線形補正色信号（Ｒ_１，Ｇ_１，Ｂ_１）を輝度成分Ｙｃによって正規化して正規化色信号（Ｒｃ，Ｇｃ，Ｂｃ）を生成し、このようにして生成された正規化色信号（Ｒｃ，Ｇｃ，Ｂｃ）と、輝度信号Ｙ_１（または輝度補正信号Ｙ_２）と、を乗算することによって映像信号（Ｒ_２，Ｇ_２，Ｂ_２）を生成するため、簡単な演算処理によって色信号と輝度信号を合成して、白飛びや黒潰れがなく、かつ線形性を有する色信号によって色再現性が高い映像信号（Ｒ_２，Ｇ_２，Ｂ_２）を生成することができる。

【0135】

なお、本実施例では、撮像素子１０２が原色系の色フィルタを有するものとして説明したが、これは、補色系の色フィルタを用いても実現可能である。さらに、人間の色覚特性に基づき、輝度と色との関係が少なくとも１つの式で表わされる複数の色フィルタを用いることも可能である。

【0136】

また、本実施例は、赤外分離色信号補正部１０５４、赤外含有色信号補正部１０５７において色補正処理を行い、輝度信号補正部１０８において輝度補正処理を行う構成としたが、この色補正と輝度補正は、必要に応じて適宜実施すればよい。

【0137】

さらに、本実施例は、全く同一の画像データである出力信号ＲＡＷ０を色信号と輝度信号に分離し、合成する例を示したが、色信号と輝度信号は全く同一の画像データから生成されなくてもよい。例えば、撮像素子側で色信号用と輝度信号用に入出力特性を連続的に切り替えて撮像を行い、撮像された異なる２枚の画像を用いて合成を行ってもよいし、また、撮像範囲がほぼ等しい２つの撮像素子を用いて、色信号用と輝度信号用に２つの異なる入出力特性の画像を撮像して、合成を行うことも可能である。

【実施例2】

【0138】

次に、本発明に係る撮像装置の実施例２について、図１２を参照して説明する。

【0139】

図１２は、実施例２に係る撮像装置１２の構成を示す。撮像装置１２は、実施例１で説明した撮像装置１０に、さらに、赤外投光器１２０を設けて、撮像素子１０２の撮像視野内を近赤外光で照明することによって、車両の後方や側方、後側方を監視する用途に適用したものである。

【0140】

撮像装置１２にあっては、赤外投光器１２０から近赤外照明光を照射することによって、暗闇における監視性能がより一層高くなる。しかし、観測される画像信号の中に近赤外光成分が非常に多くなるため、実施例１で説明した信号処理では、近赤外光の分離が十分にできずに、近赤外光成分が残ってしまうことによって、また、近赤外光成分が残留することによって通常よりも多くのノイズが発生して、適切な色再現ができない恐れがある。

【0141】

本実施例２は、このような問題に対してなされたものである。撮像装置１２の構成は、実施例１で説明した撮像装置１０に対して、近赤外照明光を照射する赤外投光器１２０を設けた点と、色信号生成部１０５ａに替えて色信号生成部１０５ｂを設けた点、また、飽和領域判定部１０５８ａに替えて飽和領域判定部１０５８ｂを設けた点が異なっている。

【0142】

色信号生成部１０５ｂの詳細構成を図１３に示す。色信号生成部１０５ｂの構成は、実施例１で説明した色信号生成部１０５ａに対して、赤外分離部１０５３ａに替えて赤外分離部１０５３ｂを設けた点、および、飽和領域判定部１０５８ａに替えて飽和領域判定部１０５８ｂを設けた点が異なっている。

【0143】

以下、撮像装置１２の作用について、実施例１で説明した撮像装置１０との違いについて説明する。

【0144】

可視光領域においては、（式１）を変形すると（式１７）のようになり、可視光成分を相殺できることがわかる。
αＸ_Ｔ＋βＹ_Ｔ＋γＺ_Ｔ−Ｔ_Ｔ＝０ （式１７）

【0145】

しかし、このとき、（α＋β＋γ―１）ｉだけの近赤外光成分が分離されずに残ってしまうため、図１１のフローチャートに記載したステップＳ２０に替えて、前述した（式２），（式３）を、それぞれ（式１８），（式１９）のように変更することによって、分離されずに残った近赤外光成分を算出することができる。

【数5】

【数6】

【0146】

さらに、図１１のフローチャートのステップＳ２６において、飽和領域判定部１０５８ｂによる飽和画素の判定と、赤外除去するか否かの判定を行う際に、この判定処理の中に、赤外分離部１０５３ｂで分離された近赤外光成分の量に基づく判定項目を追加する。

【0147】

すなわち、飽和領域判定部１０５８ｂは、飽和信号レベル以上で飽和と判定された画素、または、赤外分離部１０５３ｂにおいて、（式１８），（式１９）によって算出された近赤外光成分量が、所定の赤外光成分量基準値を上回った画素を飽和画素と判定する。そして、以後、実施例１と同様にして、飽和画素を１、それ以外を０とする二値画像を生成し、その二値画像に対して線形補間のカーネルサイズに合わせたダイレーション（膨張）処理を行う。

【0148】

これによって、赤外投光器１２０が照射された領域においても色ずれの発生を防止することができる。但し、ハロゲン灯の信号器のように色再現性の重要視される対象も飽和画素と判定されてしまうため、判定に用いる近赤外光成分の信号量や赤外成分量基準値は、可視光成分量で補正（正規化）してもよい。

【0149】

以上、説明したように、実施例２に係る撮像装置１２によれば、飽和領域判定部１０５８ｂ（色飽和検出部）が、線形化出力信号ＲＡＷ1が飽和信号レベル以上であるとき、または、赤外分離部１０５３ｂにおいて赤外分離色信号が生成された後で残った近赤外光成分量が赤外光成分量基準値を超えたときに飽和画素が発生したと判断して、第２色分離部１０５５（飽和抑制部）において、飽和が検出された赤外未分離色信号を、予め決められた所定の値に変換するクリッピング処理を行って、色輝度合成部１０９において、クリッピング処理された赤外未分離色信号と輝度信号Ｙ_１（または輝度補正信号Ｙ_２）とを合成して映像信号（Ｒ_２，Ｇ_２，Ｂ_２）を生成するため、赤外投光器１２０が撮像素子１０２の撮像範囲に向かって近赤外光を照射しているときであっても、照射された近赤外光の反射光における偽色の発生を防止し、かつクリッピング処理によって無彩色の色ずれの発生が防止されて、近赤外光の影響を受けずに実際の色に近い色を出力することができる。

【0150】

なお、実施例２は赤外投光器１２０を備える構成を説明したが、赤外投光器１２０がないときに同様の飽和判定を行ってもよい。

【0151】

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

【符号の説明】

【0152】

１０ 撮像装置
１０１ レンズ系
１０２ 撮像素子
１０３ 信号分離部
１０４ 出力信号線形変換部
１０５ａ 色信号生成部
１０７ 輝度信号生成部
１０８ 輝度信号補正部
１０９ 色輝度合成部
１１０ 画像出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】