特許第6231284号(P6231284)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クラリオン株式会社の特許一覧
<>
  • 特許6231284-撮像装置 図000008
  • 特許6231284-撮像装置 図000009
  • 特許6231284-撮像装置 図000010
  • 特許6231284-撮像装置 図000011
  • 特許6231284-撮像装置 図000012
  • 特許6231284-撮像装置 図000013
  • 特許6231284-撮像装置 図000014
  • 特許6231284-撮像装置 図000015
  • 特許6231284-撮像装置 図000016
  • 特許6231284-撮像装置 図000017
  • 特許6231284-撮像装置 図000018
  • 特許6231284-撮像装置 図000019
  • 特許6231284-撮像装置 図000020
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6231284
(24)【登録日】2017年10月27日
(45)【発行日】2017年11月15日
(54)【発明の名称】撮像装置
(51)【国際特許分類】
   H04N 9/07 20060101AFI20171106BHJP
   H04N 5/225 20060101ALI20171106BHJP
   H04N 5/243 20060101ALI20171106BHJP
   H04N 9/68 20060101ALI20171106BHJP
【FI】
   H04N9/07 A
   H04N5/225 800
   H04N5/243
   H04N9/68 A
【請求項の数】3
【全頁数】24
(21)【出願番号】特願2013-32202(P2013-32202)
(22)【出願日】2013年2月21日
(65)【公開番号】特開2014-165528(P2014-165528A)
(43)【公開日】2014年9月8日
【審査請求日】2016年1月29日
(73)【特許権者】
【識別番号】000001487
【氏名又は名称】クラリオン株式会社
(74)【代理人】
【識別番号】240000327
【弁護士】
【氏名又は名称】弁護士法人クレオ国際法律特許事務所
(74)【代理人】
【識別番号】100082670
【弁理士】
【氏名又は名称】西脇 民雄
(74)【代理人】
【識別番号】100180068
【弁理士】
【氏名又は名称】西脇 怜史
(72)【発明者】
【氏名】高橋 輝樹
(72)【発明者】
【氏名】小島 崇英
(72)【発明者】
【氏名】小幡 浩二
【審査官】 西谷 憲人
(56)【参考文献】
【文献】 特開2011−259060(JP,A)
【文献】 特開2008−219140(JP,A)
【文献】 国際公開第2009/057478(WO,A1)
【文献】 国際公開第2011/155136(WO,A1)
【文献】 特開2010−206678(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 9/07
H04N 5/225
H04N 5/243
H04N 9/68
(57)【特許請求の範囲】
【請求項1】
互いに異なる可視光領域の光を選択的に透過して、かつ近赤外光領域において、互いに等しい分光透過率を持つ3種類のフィルタと、可視光領域の分光透過率が前記3種類のフィルタの各々の分光透過率の線形和で表わされて、かつ、近赤外光領域において、前記3種類のフィルタの分光透過率と等しい分光透過率を持つ1種類のフィルタと、からなる複数のフィルタが所定のパターンで配列された複数の画素を備えて、前記複数の画素から、それぞれ、前記画素に入射する入射光の輝度に応じて非線形に変化する第1の出力信号を出力する撮像素子と、
前記撮像素子が入射光の輝度範囲に亘って線形に変化する第2の出力信号を出力すると仮定したときに、前記複数の画素から出力される複数の前記第1の出力信号を、それぞれ、前記第2の出力信号に変換する出力信号線形変換部と、
前記第2の出力信号から、前記複数のフィルタのうち前記複数の画素にそれぞれ配列されたフィルタ以外のフィルタを配列したと仮定したときに前記複数の画素からそれぞれ出力されると予測される複数の色信号を生成する色信号生成部と、
前記複数の色信号の中から、近赤外光成分が分離された複数の赤外分離色信号を生成する赤外分離部と、
前記第1の出力信号から輝度信号を生成する輝度信号生成部と、
前記複数の赤外分離色信号と前記輝度信号とを合成して映像信号を生成する色輝度合成部と、
前記色信号が飽和していることを検出する色飽和検出部と、
飽和が検出された色信号を、予め決められた所定の値に変換するクリッピング処理を行って赤外未分離色信号を出力する飽和抑制部と、を有し、
前記色飽和検出部において、飽和している色信号が検出されたときには、前記色輝度合成部において、前記赤外未分離色信号と前記輝度信号とを合成して前記映像信号を生成して、
前記色飽和検出部において、飽和している色信号が検出されないときには、前記色輝度合成部において、前記赤外分離部から出力される赤外分離色信号と前記輝度信号とを合成して前記映像信号を生成することを特徴とする撮像装置。
【請求項2】
前記赤外分離部は、さらに、赤外分離色信号が生成された後に残る近赤外光成分量を算
出して、
前記飽和抑制部は、前記色飽和検出部の出力、または、前記近赤外光成分量に基づいて飽和画素の発生を判断して、飽和画素が検出されたときに、前記飽和画素の画素値を予め決められた所定の値に変換するクリッピング処理を行って赤外未分離色信号を出力して、
前記色輝度合成部において、前記赤外未分離色信号と前記輝度信号とを合成して前記映像信号を生成することを特徴とする請求項に記載の撮像装置。
【請求項3】
前記色輝度合成部は、前記赤外分離色信号を前記赤外分離色信号から算出された輝度成分によって正規化した正規化色信号、または前記赤外未分離色信号を前記赤外未分離色信号から算出された輝度成分によって正規化した正規化色信号と、前記輝度信号と、を乗算することによって合成して前記映像信号を生成することを特徴とする請求項または請求項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子を備えた撮像装置に関し、特に、明暗の差(ダイナミックレンジ)が大きい被写体を撮影した場合であっても、適切なカラー画像を生成することができる撮像装置に関するものである。
【背景技術】
【0002】
近年、交通事故の予防安全への関心が高まってきており、自動車の運転支援システムにおける要素技術として、車載監視用の撮像装置の研究開発が盛んに行われている。その中では、夜間の暗闇と高輝度な信号灯や車両灯(ヘッドライトなど)とが同時に存在する、明暗の差が非常に大きくて視界不良となり得る状況において、撮像装置の監視性能を確保すること、すなわち、視界不良となり得る状況においても信号や車線の色を判別できるように、撮像装置において、人間の色覚特性と合致した色再現性を確保することが課題となっている。
【0003】
このような明暗の差が非常に大きいシーンでは、一般の撮像素子ではダイナミックレンジの限界を超えてしまうため、露出オーバーとなって階調の情報を失い、真っ白な画像になってしまう白飛びや、逆に露出アンダーとなって階調の情報を失い、真っ黒な画像になってしまう黒潰れと呼ばれる現象が発生するという課題があった。
【0004】
そのため、入力輝度と出力信号の関係に非線形特性を持たせることによってダイナミックレンジを拡大することができる撮像素子が提案されている。
【0005】
そして、このような非線形特性を有する撮像素子において、非線形特性を有する領域の出力信号を線形信号に変換(線形化)してから種々の色信号処理を行い、その後、画像を出力するモニタに合わせてビット幅を狭めて出力する方法が提案されている(例えば特許文献1)。
【0006】
一方、暗闇において、歩行者や車線の監視性能を向上させるための手段として、近赤外線を透過する色フィルタを用いて、近赤外光領域に感度を持ったまま色再現を行うIRカラーカメラ技術の開発が行われている。
【0007】
IRカラーカメラは、赤外線除去フィルタ(IRカットフィルタ)を有していないため、近赤外光領域の光に対しても感度を有しており、観測対象から放射される近赤外光、または、赤外投光器によって照射された近赤外光の反射光をIRカラーカメラで観測することによって、車両のヘッドライトが照射されていない暗い領域においても撮像を行うことが可能となる。
【0008】
そして、このようなIRカラーカメラに適用できる撮像素子の開発が行われている(例えば特許文献2,3,4)。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2001−86402号公報
【特許文献2】特許第4407448号
【特許文献3】US2007/0145273号
【特許文献4】特許第4386096号
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、特許文献1に記載された画像処理装置では、信号処理過程でビット幅を狭めることによって信号を圧縮している。これは低輝度部分の情報を削減することに相当するため、撮像素子の持つ本来のダイナミックレンジを十分に活用したカラー画像を得ることができない。したがって、例えば、低輝度の被写体と高輝度の被写体が同時に存在するシーンでは、低輝度の被写体の画像領域から得られる出力信号が、削減される下位ビットに含まれている場合、最終的に出力される画像において低輝度の被写体の色を再現できないことになる。すなわち、明暗の差(ダイナミックレンジ)が大きい被写体を撮影した場合に、それらを確実に判別できるカラー画像を生成することができないという問題があった。
【0011】
また、特許文献2に記載された撮像装置では、近赤外光領域の分光反射率が色補正の際にターゲットとして使用するカラーチャートと異なっている場合に、再現される色が実際の色と異なってしまうという問題があった。例えば、木の葉や化繊の服など、近赤外光領域における分光反射率がカラーチャートと大きく異なる被写体においては、正しい色再現性を確保できない。
【0012】
さらに、特許文献3,4に記載された撮像装置では、4色の色フィルタ配列を用いて、4色の分光感度特性の加算・減算を基本とする信号処理によって近赤外光成分の除去を行っている。しかしながら、この信号処理は4色いずれかの信号が飽和した、いわゆる色飽和が発生した場合には近赤外光成分の除去ができないだけでなく、実際の色とは異なる色を表わす信号が出力される、飽和偽色が発生してしまうという問題があった。
【0013】
すなわち、いずれの従来技術にあっても、明暗の差が大きい被写体を撮影したときに、それらを確実に判別することができる広いダイナミックレンジを有して、なおかつ、人間の色覚特性と合致した色再現性を有する適切なカラー画像を生成することができなかった。
【0014】
本発明は、上記課題に鑑みてなされたもので、明暗の差が非常に大きい状況下であっても、黒潰れと白飛びの発生が抑制されて、人間の色覚特性と合致した色再現性を有する適切なカラー画像を生成することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0015】
本発明に係る撮像装置は、明るさに対して非線形の出力特性を有する撮像素子の持つ本来のダイナミックレンジを十分に活用するとともに、前記撮像素子に備えられた分光透過率の異なる複数のフィルタ配列によって生じる出力信号の信号差を活用することによって、明暗の差(ダイナミックレンジ)が大きい被写体を撮影した場合であっても、黒潰れや白飛びがなく、かつ色再現性が高い、適切なカラー画像を生成するものである。
【0016】
すなわち、本発明に係る撮像装置は、互いに異なる可視光領域の光を選択的に透過して、かつ近赤外光領域において、互いに等しい分光透過率を持つ3種類のフィルタと、可視光領域の分光透過率が前記3種類のフィルタの各々の分光透過率の線形和で表わされて、かつ、近赤外光領域において、前記3種類のフィルタの分光透過率と等しい分光透過率を持つ1種類のフィルタと、からなる複数のフィルタが所定のパターンで配列された複数の画素を備えて、前記複数の画素から、それぞれ、前記画素に入射する入射光の輝度に応じて非線形に変化する第1の出力信号を出力する撮像素子と、前記撮像素子が入射光の輝度範囲に亘って線形に変化する第2の出力信号を出力すると仮定したときに、前記複数の画素から出力される複数の前記第1の出力信号を、それぞれ、前記第2の出力信号に変換する出力信号線形変換部と、前記第2の出力信号から、前記複数のフィルタのうち前記複数の画素にそれぞれ配列されたフィルタ以外のフィルタを配列したと仮定したときに前記複数の画素からそれぞれ出力されると予測される複数の色信号を生成する色信号生成部と、前記複数の色信号の中から、近赤外光成分が分離された複数の赤外分離色信号を生成する赤外分離部と、前記第1の出力信号から輝度信号を生成する輝度信号生成部と、前記複数の赤外分離色信号と前記輝度信号とを合成して映像信号を生成する色輝度合成部と、を有することを特徴とする。
【0017】
このように構成された本発明に係る撮像装置によれば、互いに異なる可視光領域の光を選択的に透過して、かつ近赤外光領域において、互いに等しい分光透過率を持つ3種類のフィルタと、可視光領域の分光透過率が前記3種類のフィルタの各々の分光透過率の線形和で表わされて、かつ、近赤外光領域において、前記3種類のフィルタの分光透過率と等しい分光透過率を持つ1種類のフィルタと、からなる複数のフィルタが所定のパターンで配列された複数の画素を備えた撮像素子が、その複数の画素から、それぞれ入射光の輝度に応じて非線形に変化する第1の出力信号を出力して、この第1の出力信号を、出力信号線形変換部において、撮像素子が入射光の入力輝度範囲に亘って線形に変化する第2の出力信号を出力すると仮定したときに、撮像素子が出力すると予測される第2の出力信号に変換して、この第2の出力信号に基づいて、色信号生成部が、全ての画素に対して、欠落した複数の色信号を補間によって生成し、生成された複数の色信号の中から、赤外分離部が近赤外光成分を分離して線形性を有する複数の赤外分離色信号を生成して、また輝度信号生成部が、第1の出力信号から、非線形性を有する輝度信号を生成して、色輝度合成部が、こうして生成された複数の線形性を有する赤外分離色信号と非線形性を有する輝度信号とを合成して映像信号を生成するため、ダイナミックレンジが大きい被写体を撮影した場合であっても、非線形性を有する輝度信号によって白飛びや黒潰れがなく、かつ、近赤外光成分が分離された線形性を有する色信号によって色再現性が高い、適切なカラー画像を生成することができる。
【発明の効果】
【0018】
本発明に係る撮像装置によれば、ダイナミックレンジが大きい被写体を撮影した場合であっても、黒潰れと白飛びの発生が抑制されて、人間の色覚特性と合致した色再現性を有する適切なカラー画像を生成することができる。
【図面の簡単な説明】
【0019】
図1】本発明の実施例1に係る撮像装置の概略構成を示すブロック図である。
図2】本発明を適用するシーンの一例を示す図である。
図3】撮像素子の入出力特性の概要を説明する図である。
図4】(a)は本発明の実施例1で使用される撮像素子の入出力特性の一例を示す図である。(b)は、図4(a)の横軸を対数目盛とした図である。
図5】(a)は本発明の実施例1で使用される撮像素子の色フィルタの配列の一例を説明する図である。(b)は(a)の色フィルタに、赤色光,緑色光,青色光,可視光全体をそれぞれ選択的に透過する色フィルタを当てはめたときのフィルタの構成例である。(c)は(b)の色フィルタから出力される色信号に基づいて、欠落した色信号を算出する方法を説明する図である。
図6】本発明の実施例1において、出力信号線形変換部で行われる信号変換処理について説明する図である。
図7】(a)は本発明の実施例1で使用されるフィルタの分光透過率特性の一例を示す図である。(b)は、(a)の分光透過率特性を、撮像素子の入力輝度と出力信号が線形関係になるように階調変換した後の分光透過率特性の一例を示す。(c)は、(b)の信号から近赤外光成分を分離した後の分光透過率特性の一例を示す。
図8】本発明の実施例1における色信号生成部の詳細構成を説明する図である。
図9】(a)はクリッピング処理の概要を説明する図である。(b)はクリッピング処理の適用例を説明する図であり、クリッピング処理を行う前の階調の例である。(c)はクリッピング処理を適用した後の階調の例である。
図10】本発明の実施例1において、色輝度合成部で行われる色信号と輝度信号の合成処理について説明する図である。
図11】本発明の実施例1における処理の流れを示すフローチャートである。
図12】本発明の実施例2に係る撮像装置の概略構成を示すブロック図である。
図13】本発明の実施例2における色信号生成部の詳細構成を説明する図である。
【発明を実施するための形態】
【0020】
以下、本発明に係る撮像装置の実施形態について、図面を参照して説明する。
【実施例1】
【0021】
本実施例は、本発明に係る撮像装置を、車両周囲の監視を行って、撮像された画像、および撮像された画像の認識結果に基づく警報や警告灯を車両の乗員に提示する周囲監視装置に適用した例である。
【0022】
[撮像装置の概略構成の説明]
まず、図面を用いて装置の構成を説明する。本実施例に係る撮像装置10は、図1に示すように車両(図示省略)に設置されて、被写体を観測するレンズ系101と、撮像素子102と、信号分離部103と、出力信号線形変換部104と、色信号生成部105aと、輝度信号生成部107と、輝度信号補正部108と、色輝度合成部109と、画像出力部110を備えている。
【0023】
レンズ系101は、被写体から出射した光、または被写体で反射した光を後述する撮像素子102上に導く光学系である。
【0024】
レンズ系101は、車載監視用途の撮像装置の場合には、一般に狭角、広角、魚眼等のパンフォーカスレンズを用いる。しかし、その限りではなく、ズーム機構やオートフォーカス機構を備えたレンズ系を用いてもよいし、絞りやシャッターを備えたレンズ系を用いてもよい。また、画質や色再現性の向上のために光学ローパスフィルタや帯域分離フィルタや偏光フィルタ等の各種フィルタ類を備えたレンズ系を用いてもよい。
【0025】
撮像素子102は光電変換素子から構成される。光電変換素子は複数の画素から構成されており、レンズ系101を通して観測された被写体の像が結像して、入力した光を、その輝度に応じた出力電圧信号eに光電変換する。光電変換された出力電圧信号eは、内部に備えたアンプ(図示省略)、更に同じく内部に備えたADコンバータ(図示省略)を通してデジタル化されて、出力信号RAW0を生成する。出力信号RAW0として、例えば12ビット(0〜4095)にデジタル化された信号を出力する。撮像素子102としては、最大120dB程度の入力輝度のダイナミックレンジを有する、CMOSイメージセンサやCCDイメージセンサ等の素子が用いられる。なお、撮像素子102を構成する各画素の上には、後述するように、4種類のフィルタが規則的に配列されている。
【0026】
信号分離部103は、撮像素子102に対して撮像を行うタイミングを指示するとともに、撮像素子102で撮像された出力信号RAW0を受けて、同一の2つの出力信号RAW0、RAW0に分離する。
【0027】
出力信号線形変換部104は、信号分離部103で分離された信号のうち一方の出力信号RAW0を、階調変換(線形化)処理によって、線形性を有する線形化出力信号RAW1に変換する。ここで行われる変換処理の内容は後述する。
【0028】
色信号生成部105aは、出力信号線形変換部104で変換された線形化出力信号RAW1を、RGBC各色に対応する4つの信号に分離するとともに、分離する際に発生する空白の画素に対して、近傍の画素の値を用いて線形補間を行い、線形色信号(R,G,B)を生成する。そして、さらに、線形色信号(R,G,B)から赤外光成分を分離して、線形性を有する赤外分離色信号を生成するとともに、色補正を行って線形補正色信号(R,G,B)を生成する。また、色信号生成部105aは、飽和画素に対してクリッピング処理を行うとともに、色飽和を起こしている飽和領域の検出を行う。そして、飽和領域を構成する画素であるか否かに応じて、適切な線形補正色信号(R,G,B)を出力する。なお、色信号生成部105aは、図8に示す詳細構成を有しているが、その内容と、色信号生成部105aで行われる具体的な処理内容は後述する。
【0029】
輝度信号生成部107は、信号分離部103で分離された信号のうち他方の出力信号RAW0から輝度信号Yを生成する。ここで行われる処理の内容は後述する。
【0030】
輝度信号補正部108は、輝度信号生成部107で生成された輝度信号Yを必要に応じて補正して、輝度補正信号Yを生成する。ここで行われる処理の内容は後述する。
【0031】
色輝度合成部109は、線形補正色信号(R,G,B)と輝度補正信号Yを合成して映像信号(R,G,B)を生成する。ここで行われる処理の内容は後述する。
【0032】
画像出力部110は、色輝度合成部109で合成された映像信号(R,G,B)を出力する、例えば表示用モニタである。
【0033】
以下、撮像装置10の作用について、図面を用いて順に説明する。
【0034】
まず、図2に基づいて、撮像装置10の利用シーンについて説明する。図2は撮像装置10を用いて、夜間の道路を撮影したときに得られる画像を模擬的に表したものである。すなわち、道路上の被写体である、先行車201や対向車203、道路標識等による反射装置205、206、信号機207、歩行者208、レーンマーカ209などが撮像されて画像化された様子を示している。
【0035】
図3は、線形の入出力特性を持つ一般的な撮像素子を用いて、図2に示す道路を撮像して画像化したときの入力輝度Iと出力電圧信号eの関係を表している。
【0036】
すなわち、撮像素子102に対して、異なる2つの露光時間を与えたときの入出力特性として、露光時間が長いときの入出力特性301と、露光時間が短いときの入出力特性302、および道路上の被写体を撮像して、全ての被写体を画像化したときに、白飛びや黒潰れが発生せずに適切なカラー画像を生成することができると考えられる入出力特性303を示している。
【0037】
このような夜間のシーンは明暗の差が非常に大きいため、線形の入出力特性を持つ撮像素子で撮像したのでは、ダイナミックレンジの限界を超えてしまうため、白飛びや黒潰れと呼ばれる現象が発生してしまう課題があった。
【0038】
すなわち、自車両のヘッドライトや道路照明が当たっていない、もしくは自車両のヘッドライトや道路照明を反射し難いレーンマーカ209や歩行者208の分布頻度が多い入力輝度帯域304が最適に映るように露光時間を決定して撮影すると、入出力特性301のように、ヘッドライト204の分布頻度が多い入力輝度帯域307やテールライト202の分布頻度が多い入力輝度帯域305における出力電圧信号eが飽和してしまい、所謂「白飛び」と呼ばれる現象が生じる(図3の領域Xが、白飛びを起こす領域を表す)。
【0039】
逆に、最も明るいヘッドライト204の分布頻度が多い入力輝度帯域307が最適に映るように露光時間を決定して撮影すると、入出力特性302のように、レーンマーカ209や歩行者208の分布頻度が多い入力輝度帯域304やテールライト202の分布頻度が多い入力輝度帯域305における出力電圧信号eが黒潰れのラインを下回ってしまい、いわゆる「黒潰れ」と呼ばれる現象が生じる(図3の領域Xが、黒潰れを起こす領域を表す)。
【0040】
ここで、入出力特性303に基づいて画像を生成すると、出力電圧信号eは、最も暗いレーンマーカ209から最も明るいヘッドライト204まで、一つの入出力特性303の白飛びも黒潰れもしない範囲に収まっている。本実施例で用いる撮像素子102の入出力特性は、入出力特性303にほぼ一致しているものとする。
【0041】
次に、撮像装置10の作用について、順を追って説明する。
【0042】
[撮像素子の入出力特性の説明]
前記撮像素子102の光電変換特性(以下、入出力特性と呼ぶ)は、図4(a)に示すように複数の入出力特性を備えており、入射光を受光した撮像素子102の各画素に蓄積される電荷のリセットタイミングやリセット電圧を変更することによって、入出力特性を変更することができる。
【0043】
そして、図4(a)に示す入出力特性は、入力輝度Iに対して出力電圧信号eが非線形に変化する非線形の入出力特性を有している。これは、対数変換型の光電変換素子の代表的な入出力特性としてよく知られたものである。
【0044】
なお、図4(b)は、図4(a)のグラフの横軸を対数目盛りに変換したグラフであり、入出力特性の違いによって、白飛びや黒潰れせずに出力できる入力輝度Iのダイナミックレンジが変化することを示している。
【0045】
そして、図4(a),(b)では、入出力特性に付与した番号が大きいほど、入力輝度Iのダイナミックレンジが広い特性を有している。
【0046】
なお、図4(a)に記載された複数の入出力特性は、撮像シーンに応じて、図1に図示しない、撮像素子102に内蔵された露光制御部によって1つ選択される。例えば、撮像シーンの明るさに基づいて、白飛びや黒潰れが発生せずに、できるだけコントラストが高い画像が撮像される入出力特性が選択されて、撮像が行われる。
【0047】
具体的には、前記した露光制御部において、1フレーム毎に画像の出力統計情報を算出して、白飛び、黒潰れの画素数を取得し、閾値判定により検出を行う。白飛びが検出された場合、入出力特性に付与された番号が現在の入出力特性よりも大きい(ダイナミックレンジが広い)入出力特性が選択されて、白飛びが検出されない場合、入出力特性に付与された番号が現在の入出力特性よりも小さい(ダイナミックレンジが狭い)入出力特性が選択される。
【0048】
また、黒潰れが検出された場合、露光時間を現在より大きくして、黒潰れが検出されない場合、露光時間を現在より短くする。
【0049】
図3に示した入出力特性303は、図4(a)の入出力特性9、および図4(b)の入出力特性9に対応するものである。
【0050】
[撮像素子のフィルタ構成の説明]
撮像素子102は、図4(a)または(b)に示す出力電圧信号eを出力する複数の画素を二次元的に備えている。
【0051】
各画素の受光面の上には、図5(a)に示すように、可視光を波長毎に選択的に透過し、かつ近赤外光に対しては互いに等しい透過率をもつ3種類のフィルタX,Y,Zと可視光の波長毎の透過率を3種類のフィルタの透過率の線形和で表すことができ、かつ近赤外光に対しては3種類のフィルタと等しい透過率をもつ第4のフィルタTが規則的に配列されている。
【0052】
図7(a)は、このような特性を有するフィルタの例として、多くの撮像素子に用いられているRGBフィルタを配列した撮像素子102の波長毎の出力値である分光感度Sを示している。すなわち、図5(b)のように、前述した3種類のフィルタX,Y,Zが、それぞれ、赤色フィルタR,緑色フィルタG,青色フィルタBに対応し、第4のフィルタTに対応するフィルタとして、可視光全体を透過する透明フィルタCを適用した例である。
【0053】
図7(a)において、可視光と近赤外光の境目は曖昧であるが、一般的に約700nm〜約850nmの波長領域と考えてよく、この波長領域よりも高波長領域では、4種類のフィルタの分光透過率に差が生じなくなるため、4種類のフィルタを透過した光がそれぞれ入射した画素の出力値は互いに漸近する。
【0054】
本発明は、この4種類のフィルタの特性を活用したものであり、撮像素子102の特性に基づき4種類の色フィルタの出力値が十分に漸近して一致するとみなした点(図7(a)の例では、波長840nm付近)を可視光領域と近赤外光領域の境界とみなして、撮像素子102の出力信号の中から、可視光領域に占める成分(可視光成分)を保持して、近赤外光領域に占める成分(近赤外光成分)のみを分離、除去することを特徴としている。
【0055】
次に、前記4種類のフィルタの特性に関して説明する。前記4種類のフィルタX,Y,Z,Tの可視光領域の任意の波長における透過率を、それぞれX、Y、Z、Tとすると、それらの関係は(式1)のように表せる。
=αX+βY+γZ (式1)
【0056】
このように、第4のフィルタTの透過率Tは3種類のフィルタX,Y,Zの各透過率X、Y、Zの線形和で表すことができ、正負を問わない係数α、係数β、係数γが一意に定まるものとする。すなわち、撮像装置10は(式1)の条件を満たす4色のフィルタを使用する必要があるが、これは、前述したように、多くの撮像素子に用いられるRGBフィルタを用いることによって実現できる。そして、さらに、第4のフィルタTとして、可視光領域全体を透過する透明(Clear)フィルタCを用いればよい。
【0057】
これら4種類のフィルタを用いた撮像素子102の波長λに対する出力値から、図7(a)のような分光感度Sが得られ、更に、後述する階調変換処理によって、撮像素子102への入力輝度と撮像素子102から出力される出力信号との関係を線形関係に変換することによって、図7(b)に示す分光感度Sが得られる。そして、図7(b)に示す分光感度Sから、(式1)を満たす係数α,β,γの値を算出することができる。
【0058】
係数α,β,γの値は、複数の異なる波長λの光に対して計測された分光感度Sから、最小二乗法を用いて、真値に対して許容範囲内に収まるように最適な係数α,β,γの値を定めることによって設定できる。そして、本実施例は、RGBCフィルタ配列に限らず、(式1)の関係式で表すことができる任意の4種類のフィルタ配列に適用することができる。
【0059】
前記RGBCフィルタを通して撮像素子102から出力された出力信号RAW0(12ビット)は、まず、信号分離部103において色信号処理と輝度信号処理に用いるための2つの信号に分離される分離処理が行われる。ただし、分離後の2つの信号は、分離前の出力信号RAW0と全く同一のものである。
【0060】
[線形変換処理の説明]
次に、信号分離部103によって分離された2つの信号のうち、色信号処理に用いられる信号について、出力信号線形変換部104によって、図6に示すように、入力輝度Iに対して、撮像素子102の出力電圧信号eが線形に変化する予測線形特性612を有すると仮定して、入力輝度Iと出力電圧信号eとが非線形関係にある領域に該当する信号部分を、線形関係をもつ信号になるように線形変換処理(線形化)を行う。
【0061】
撮像素子102は、図6の入出力特性600に示すように、入力輝度Iが小さい領域では線形特性601を有し、この領域では、入力輝度Iに対して線形に変化する出力信号を出力する。
【0062】
また、入力輝度Iが大きい領域では非線形特性602を有し、この領域では、入力輝度Iに対して非線形に変化する出力信号を出力する。
【0063】
そして、線形特性601を有する領域と非線形特性602を有する領域とは、接続点605において連続している。なお、撮像素子102が出力する出力電圧信号eを第1の出力信号Sとする。
【0064】
このとき、撮像素子102の全入力輝度範囲に亘って、入出力特性の線形性が成り立つと仮定する。すなわち、図6の点線で示すように、入出力特性が予測線形特性612を呈すると仮定する。そして、撮像素子102から、この予測線形特性612に基づいて出力されると予測される出力信号を第2の出力信号Sとする。
【0065】
出力信号線形変換部104では、撮像素子102が出力した第1の出力信号Sを、入出力特性が予測線形特性612をなすと仮定したときに、撮像素子102が出力すると予測される第2の出力信号Sに変換する処理を行う。
【0066】
すなわち、図6の場合、入力輝度Iに対して入出力特性600によって得られた出力電圧信号がeであり、入出力特性が予測線形特性612をなすと仮定したときに、入力輝度Iに対して予測される出力電圧信号がeであるとすると、出力電圧信号eをe/e倍する処理が行われる。
【0067】
線形化の方法には、様々なものが存在するが、例えば、LUT(Look Up Table)を用いて変換すればよい。すなわち、あらかじめ撮像素子102の入出力特性を全ての入出力特性の番号の数だけ測定しておき、ある入力輝度Iのときに得られた出力電圧信号eと、入出力特性が線形特性をなすと仮定したときに予想される出力電圧信号eの対応関係をLUTに記憶しておき、階調変換処理時には、現在の入出力特性の番号と、実際に計測された出力電圧信号eの値から、そこに対応するLUTに記憶された値を参照して階調変換を行えばよい。
【0068】
このとき作成されるLUTには、撮像素子102の入出力特性の番号と、入出力特性600によって得られた出力電圧値と、線形変換された出力電圧値が記憶される。
【0069】
なお、撮像装置の入出力特性の番号,撮像装置の出力信号RAW0,階調変換を行うために用いるLUTは、いずれもデジタル情報として取り扱う。実施例1において、これらの情報を漏れなく記憶しておくために必要なビット数は、例えば図4(a)の入出力特性を有する撮像素子102を用いる場合、入出力特性の総数は10通りであるので、入出力特性を漏れなく表現するのに必要なビット数は4ビット、撮像素子102の出力信号RAW0は12ビット、そして、LUTに必要なビット数(線形変換後の出力電圧値)は、入力輝度のダイナミックレンジが最大120dB(1:10)程度であることを考慮して、20ビット(>120dB)となる。
【0070】
そして、この線形変換によって、12ビットの出力信号RAW0から、20ビットの線形化出力信号RAW1が得られる。
【0071】
この他にも、撮像素子102の入出力特性における屈曲点であるニーポイントの位置を予測して区分線形変換を行う方法や、対数特性に近似して式による変換を行う方法など、様々考えられるが、いずれも、色信号処理のために入出力特性を線形な関係にするという結果は同じになる。
【0072】
[色信号の線形補間処理の説明]
次に、色信号生成部105aで行わる色再現処理について、図8を用いて説明する。
【0073】
図8は、色信号生成部105aの詳細な構成を示す図である。すなわち、色信号生成部105aは、第1色分離部1051と、第1線形補間処理部1052と、赤外分離部1053aと、赤外分離色信号補正部1054と、第2色分離部1055(飽和抑制部)と、第2線形補間処理部1056と、赤外含有色信号補正部1057と、飽和領域判定部1058a(色飽和検出部)と、色信号選択部1059を備えている。
【0074】
出力信号線形変換部104(図1参照)によって変換された線形化出力信号RAW1(20ビット)は3つの信号に分離されて、第1色分離部1051と、第2色分離部1055(飽和抑制部)、および飽和領域判定部1058a(色飽和検出部)に入力される。このとき、分離後の3つの信号は、分離前の線形化出力信号RAW1と全く同一のものである。
【0075】
第1色分離部1051は、線形化出力信号RAW1を、線形化出力信号RAW1を構成する各色に対応する4つの色信号に分離する。このとき、信号がない画素は出力を0(空白)とする。
【0076】
第1線形補間処理部1052は、第1色分離部1051において信号を分離する際に発生した空白の画素において観測されると予想される画素値を、近傍の画素値を用いて線形補間する。そして、全ての画素において、それぞれ4つの線形色信号(R,G,B,C)を生成する。
【0077】
この線形補間の方法について、図5(c)を用いて具体的に説明する。図5(c)のように配列されたフィルタにおいて、例えば、B22で示される画素には、青色光を透過するフィルタが配列されている。したがって、B22で示される画素からは、青色に対応する出力電圧信号eが得られるのみである。
【0078】
したがって、B22で示される画素から出力されると予想される赤色光,緑色光,白色光に対応する信号は、B22で示される画素の周囲の出力電圧信号eを補間して予測する必要がある。
【0079】
例えば、B22で示される画素から出力されると予想される赤色光成分は、B22で示される画素に隣接する画素のうち、赤色フィルタRが配列された画素であるR11,R13,R31,R33で示される画素の出力電圧信号eの平均値を当てはめることによって予測する。
【0080】
また、B22で示される画素から出力されると予想される緑色光成分は、B22で示される画素に隣接する画素のうち、緑色フィルタGが配列された画素であるG12,G32で示される画素の出力電圧信号eの平均値を当てはめることによって予測する。
【0081】
そして、B22で示される画素から出力されると予想される白色光成分は、B22で示される画素に隣接する画素のうち、透明フィルタCが配列された画素であるC21,C23で示される画素の出力電圧信号eの平均値を当てはめることによって予測する。
【0082】
なお、このとき、単に補間するだけではなく、ローパスフィルタや、バンドパスフィルタなどのディジタルフィルタを用いて周波数選択のためのディジタルフィルタリングを実施してもよい。
【0083】
[赤外光分離処理の説明]
赤外分離部1053aは、第1線形補間処理部1052において得られた前記4つの線形色信号(R,G,B,C)に対してリニアマトリクスによる赤外分離処理を行う。具体的に赤外分離処理を行うために用いる行列演算を(式2)及び(式3)に示す。
【数1】
【数2】
【0084】
(式2)において右辺右側の4行1列の行列は、線形補間後の、近赤外光を含む4つの色信号を表し、左辺の行列は近赤外光分離後の3つの色信号を表している。例えば色信号Xの場合は、信号には可視光成分の他に近赤外光成分が含まれているため、信号に含まれる可視光成分をX、近赤外光成分をiで表して信号量はX+iとなる。Y,Z,Tについても、可視光成分がXと異なる以外は同様になる。
【0085】
ここで(式1)を用いて(式2)の右辺を展開して(式3)を代入すると、(式2)の左辺が得られる。即ち、あらかじめ(式1)の係数α、β、γを求めておいて(式3)を導出しておくことで、近赤外光を含む線形色信号(R,G,B,C)に対して、比較的簡単な線形演算を行うことによって赤外分離された線形色信号を計算することが可能である。
【0086】
実際にRGBCフィルタからなる撮像素子102を用いた場合、X=R、Y=G、Z=B、T=Cとして、図7(b)の分光感度特性からα、β、γを求めると、α=0.5、β=0.6、γ=0.6となる。そして、後述する色再現処理を適用すると、図7(c)の分光感度特性を持つ撮像素子で得られる色信号と同等になることが計算により求められる。したがって、結果として得られる色信号は、近赤外光成分がほとんど分離除去されたものであることがわかる。
【0087】
赤外分離色信号補正部1054は、一般的な線形特性を持つ撮像素子を用いた撮像装置10で実施されている技術(ターゲットカラーに基づくリニアマトリクス演算)により、撮像装置10によって再現される色がターゲットカラーとなるように色信号補正処理を行う。
【0088】
具体的には、赤外分離色信号補正部1054において、赤外分離部1053aから出力される3つの赤外分離色信号に対して、(式4)を用いてリニアマトリクス演算を行い、出力が飽和していない非飽和画素(通常画素)で再現される色がターゲットカラーとなるように補正して、補正された3つの線形補正色信号(Xc,Yc,Zc)を出力する。
【数3】
【0089】
特に、前述したRGBCフィルタを備えた撮像素子102から得られた線形補正色信号を(R,G,B)と呼ぶことにする。線形補正色信号(R,G,B)は、(式4)において、X=R、Y=G、Z=B、T=Cと置き換えることによって算出することができる。
【0090】
[クリッピング処理の説明]
第2色分離部1055(飽和抑制部)は、第1色分離部1051と同様に、線形化出力信号RAW1が入力されて、4つの色信号に分離(信号がない部分は空白0を挿入)されるが、分離前に、飽和信号レベル(12ビットの場合は4095)に対して色信号毎に予め定められたクリップレベルを用いてクリッピングを行う。
【0091】
クリッピング処理とは、線形化出力信号RAW1が、予め決めておいた所定の値を超えていたときに、その画素値を予め決めておいた所定の値に設定する処理のことである。
【0092】
クリッピング処理の1例を図9(a)に示す。例えば、緑色フィルタGが配列された画素から出力された信号が、予め決めた所定値Thrよりも大きいときは、その画素に強制的に所定値Thrを与える。
【0093】
そして、このとき、同じ輝度の白色光が、赤色フィルタRが配列された画素に入射したときに、その画素から出力される信号も飽和するように、赤色フィルタが配列された画素に対する所定値R_Thrが設定される。ここで、R_Thrの値は、(式5)によって算出する。
R_Thr=Thr×G_Gain/R_Gain (式5)
ここで、G_Gain,R_Gainはそれぞれ、色温度を調整するパラメータであり、緑色の強さを表わすGゲインと、赤色の強さを表わすRゲインである。
【0094】
そして、同様にして、青色フィルタが配列された画素に対する所定値B_Thrが設定される。ここで、B_Thrの値は、(式6)によって算出する。
B_Thr=Thr×R_Gain/B_Gain (式6)
ここで、B_Gainは、色温度を調整するパラメータであり、青色の強さを表わすBゲインである。
【0095】
その後、第2線形補間処理部1056で第1線形補間処理部1052と同様の線形補間処理を行う。また、赤外含有色信号補正部1057は、第2線形補間処理部1056から出力される近赤外光を含む4つの色信号に対して、(式7)を用いてリニアマトリクス演算を行い、飽和領域で再現される色がターゲットカラーとなるように補正して、補正された4つの線形補正色信号(Xs,Ys,Zs,Ts)のうち、(Xs,Ys,Zs)の3信号を出力する。
【数4】
【0096】
なお、前述したRGBCフィルタを備えた撮像素子102の場合、(式7)において、X=R、Y=G、Z=B、T=Cと置き換えることによって、線形補正色信号(R,G,B)が算出される。こうして算出される線形補正色信号(R,G,B)は、近赤外光が分離されていない赤外未分離色信号である。
【0097】
[飽和領域判定処理の説明]
色信号選択部1059は、画素単位で並行して生成される前記2種類の線形補正色信号(赤外分離色信号、赤外未分離色信号)のうち、どちらの線形補正色信号を使用するかを選択するための判定を行う。そのため、まず、飽和領域判定部1058a(色飽和検出部)において、線形化出力信号RAW1に対して、飽和画素、または飽和画素の周辺画素(線形補間で飽和画素の影響を受けている画素)のみを表わす二値信号を生成する。
【0098】
具体的には、飽和信号レベル以上で飽和と判定された画素を1とし、それ以外を0とする二値画像に対して、線形補間処理を行った際のカーネルサイズに合わせたダイレーション(膨張)処理を行って、このダイレーション処理の結果得られた二値画像信号を、飽和画素を表わす飽和画素信号として色信号選択部1059へ入力する。このとき、領域の膨張処理を行うため、飽和画素とともに、飽和画素の影響を受けていると考えられる周辺画素も合わせて抽出される。
【0099】
色信号選択部1059は、着目した画素が、飽和画素、またはその周辺画素として抽出されているか否かに従って、2種類の色信号のうち、どちらの色信号を出力するかの選択を行う。すなわち、前述した二値画像信号が0のときは、飽和画素ではなく、かつ飽和画素の周辺画素でもないと判断されて、赤外分離された線形補正色信号(R,G,B)が選択される。
【0100】
一方、二値画像信号が1のときは、飽和画素または、飽和画素の周辺画素と判断されて、クリッピング処理された赤外未分離の線形補正色信号(R,G,B)が選択される。
【0101】
以上により、線形化出力信号RAW1(20ビット)から、人間の色覚特性に一致するように、近赤外光成分が分離されて、彩度や色相などが調整された3つの線形補正色信号(R、G、B)(符号付き21ビット)が選択されて出力される。
【0102】
この色信号の選択を図9(b),(c)を用いて説明する。図9(b),(c)に示すように、非飽和画素、またはクリッピング処理を行った飽和画素であれば、色補正後の信号は無彩色となる。これに対してクリッピング処理を行わない飽和画素では、色補正を行った際にRGBのバランスが崩れて、図9(c)に示すように色ずれが発生する。したがって、前述したように、飽和画素信号であるときには、クリッピング処理を行った色信号を選択することによって、色ずれの発生を防止することができる。
【0103】
[色輝度合成による色再現処理の説明]
信号分離部103によって分離された2つの出力信号RAW0のうち、色信号処理に用いない出力信号RAW0は、輝度信号処理に利用される。
【0104】
輝度信号生成部107は、出力信号RAW0から輝度信号Y(12ビット)を生成する。処理の内容は、出力信号線形変換部104で行う処理と、色分離をしない点以外は同様であり、ローパスフィルタや、バンドパスフィルタなどのディジタルフィルタを用いて周波数選択のためのディジタルフィルタリングを実施することも可能である。
【0105】
輝度信号補正部108は、輝度信号Yに対してガンマ補正やヒストグラム補正等のコントラスト調整を実施して、輝度補正信号Y(12ビット)を生成する。
【0106】
そして、線形補正色信号と輝度補正信号を用いて、色輝度合成部109おいて、画像出力部110に出力する映像信号を生成する。
【0107】
[色輝度合成処理の説明]
以下、RGBCフィルタを備えた撮像素子102から得られた線形補正色信号(R,G,B)と輝度補正信号Yを用いて、映像信号(R,G,B)を生成する方法について、順を追って説明する。
【0108】
図10に色輝度合成部109の内部構成図を示す。まず、線形補正色信号(R、G、B)を2つに分離し、処理ブロック1091において、分離した一方の線形補正色信号(R、G、B)から、それらの輝度成分Ycを(式8)を用いて求める。
Yc = 0.299×R+0.587×G+0.114×B (式8)
【0109】
(式8)において、線形補正色信号(R、G、B)の各成分に積算される係数は、それぞれ、RGB色度を輝度に変換する際の変換係数として求められた値の一例である。
【0110】
(式8)の演算は、入力される線形補正色信号(R,G,B)(符号付き21ビット)の値の範囲が広いため、線形補正色信号(R,G,B)を浮動小数点に変換して、浮動小数点演算として行う。
【0111】
次に、処理ブロック1092において、(式9)から(式11)で示すように、(式8)で導出された輝度成分Ycの値によって、線形補正色信号(R、G、B)の各成分をそれぞれ除算して、線形補正色信号(R、G、B)の正規化を行い、正規化色信号(Rc,Gc,Bc)を生成する。この演算も浮動小数点演算として行われ、結果は12ビットに整数化されて出力される。
Rc = R/Yc (式9)
Gc = G/Yc (式10)
Bc = B/Yc (式11)
【0112】
そして、処理ブロック1093において、(式12)から(式14)で示すように、正規化色信号(Rc,Gc,Bc)に対して、輝度信号補正部108によって生成された輝度補正信号Yを乗算して、色輝度合成部109の出力信号である映像信号(R、G、B)が生成される。
= Xc×Y (式12)
= Yc×Y (式13)
= Zc×Y (式14)
【0113】
ここで、留意すべきは、正規化色信号(Rc,Gc,Bc)は線形特性を持つ信号であり、輝度補正信号Yは非線形特性を持つ信号であるため、それらが合成された映像信号(R、G、B)は非線形特性を持つ信号となることである。
【0114】
このとき、線形補正色信号(R、G、B)と輝度補正信号Yと映像信号(R、G、B)の間には、(式15),(式16)の関係式が成り立つ。但し、演算時のビット幅縮小に伴う誤差による影響は、十分小さいものとしている。
= 0.299×R+0.587×G+0.114×B (式15)
:G:B = R:G:B (式16)
【0115】
(式15)は、映像信号(R、G、B)と輝度補正信号Yが3原色ベクトルとそれからなる輝度ベクトルの関係であることを表しており、映像信号(R、G、B)が輝度補正信号Yの持つ広ダイナミックレンジの輝度情報を保持していることを示している。
【0116】
また、(式16)は、線形補正色信号(R、G、B)と映像信号(R、G、B)の色の組成比(色相)が同一であることを表していて、さらに、(式15)と合わせて、輝度信号に対する信号強度(彩度)が同一であることを表している。すなわち、線形特性から非線形特性への変換の際に、線形色信号(R,G,B)が有していた色再現性が保持されていることを示している。
【0117】
こうして生成された映像信号(R、G、B)は、画像出力部110に表示されて、車両の乗員に提示される。
【0118】
[処理の流れの説明]
次に、図11のフローチャートを用いて、実施例1の一連の処理の流れを説明する。
【0119】
(ステップS10)信号分離部103から撮像素子102に対して、撮像タイミングが指示されて、撮像が行われる。
【0120】
(ステップS12)撮像素子102は、レンズ系101を透過した光を受光して、光電変換を行い、出力信号RAW0を出力する。
【0121】
(ステップS14)信号分離部103において、出力信号RAW0を同一の2つの出力信号RAW0,RAW0に分離する。
【0122】
(ステップS16)出力信号線形変換部104において、一方の出力信号RAW0を、線形性を有する線形化出力信号RAW1に変換する。
【0123】
(ステップS18)第1色分離部1051において、線形化出力信号RAW1をRGBC各色に対応する4つの信号に分離して、第1線形補間処理部1052において、分離の際に発生する空白の画素に対して、近傍の画素の値を用いて線形補間を行い、線形色信号(R,G,B)を生成する。
【0124】
(ステップS20)赤外分離部1053aにおいて、線形色信号R,G,Bから赤外光成分を分離して、赤外分離色信号を生成する。さらに、赤外分離色信号補正部1054で色補正を行って線形補正色信号(R,G,B)を生成する。
【0125】
(ステップS22)第2色分離部1055(飽和抑制部)において、クリッピング処理を行い、さらに、第2線形補間処理部1056において、線形色信号(R,G,B,C)を生成する。
【0126】
(ステップS24)赤外含有色信号補正部1057において、第2線形補間処理部1056から出力される4つの色信号に対してリニアマトリクス演算を行い、色補正された4つの線形補正色信号を生成する。
【0127】
(ステップS26)飽和領域判定部1058a(色飽和検出部)において、線形化出力信号RAW1に対して飽和判定を行い、飽和画素、または飽和画素の周辺画素のみを表わす二値画像を生成する。
【0128】
(ステップS28)輝度信号生成部107において、出力信号RAW0から輝度信号Yを生成する。
【0129】
(ステップS30)輝度信号補正部108において、輝度信号Yに対してガンマ補正やヒストグラム補正等のコントラスト調整を実施して、輝度補正信号Yを生成する。
【0130】
(ステップS32)色輝度合成部109において、線形補正色信号(R,G,B)と輝度補正信号Yを合成して映像信号(R,G,B)を生成する。
【0131】
(ステップS34)生成された映像信号(R,G,B)を、画像出力部110に出力する。
【0132】
以上、説明したように、実施例1に係る撮像装置10によれば、互いに異なる可視光領域の光を選択的に透過して、かつ近赤外光領域において、互いに等しい分光透過率を持つ3種類のフィルタR,G,Bと、可視光領域の分光透過率が前記3種類のフィルタR,G,Bの各々の分光透過率の線形和で表わされて、かつ、近赤外光領域において、前記3種類のフィルタR,G,Bの分光透過率と等しい分光透過率を持つ1種類のフィルタCと、からなる複数のフィルタR,G,B,Cが所定のパターンで配列された複数の画素を備えた撮像素子102が、その複数の画素から、それぞれ入射光の輝度に応じて非線形に変化する第1の出力信号Sを出力して、この第1の出力信号Sを、出力信号線形変換部104において、撮像素子102が入射光の入力輝度範囲に亘って線形に変化する第2の出力信号Sを出力すると仮定したときに、撮像素子102が出力すると予測される第2の出力信号Sに変換して、この第2の出力信号Sに基づいて、色信号生成部105aが、全ての画素に対して、欠落した複数の色信号を補間して生成し、生成された複数の線形色信号(R,G,B)(または線形補正色信号(R,G,B))の中から、赤外分離部1053aが、近赤外光成分を分離して線形性を有する複数の赤外分離色信号を生成し、また、輝度信号生成部107が、第1の出力信号Sから、非線形性を有する輝度信号Yを生成して、色輝度合成部109が、こうして生成された複数の線形性を有する赤外分離色信号と非線形性を有する輝度信号Y(または輝度補正信号Y)とを合成して映像信号(R,G,B)を生成するため、ダイナミックレンジが大きい被写体を撮影した場合であっても、非線形性を有する輝度信号Y(または輝度補正信号Y)によって白飛びや黒潰れがなく、かつ、近赤外光成分が分離された線形性を有する色信号によって色再現性が高い適切なカラー画像を生成することができる。
【0133】
また、実施例1に係る撮像装置10によれば、飽和領域判定部1058a(色飽和検出部)において、線形化出力信号RAW1が飽和していることが検出されたときには、第2色分離部1055(飽和抑制部)において、飽和が検出された線形化出力信号RAW1に対応する赤外未分離色信号を、予め決められた所定の値に変換するクリッピング処理を行って、クリッピング処理によって生成された赤外未分離色信号と輝度信号Y(または輝度補正信号Y)を合成して映像信号(R,G,B)を生成し、一方、飽和領域判定部1058a(色飽和検出部)において、線形化出力信号RAW1が飽和していることが検出されないときには、赤外分離部1053aから出力される赤外分離色信号と輝度信号Y(または輝度補正信号Y)を合成して映像信号(R,G,B)を生成するため、色飽和が発生しないときは赤外成分を含まない人間の色覚特性にほぼ等しい色を出力できるとともに、色飽和が発生したときであっても飽和偽色の発生が防止され、かつクリッピング処理によって無彩色の色ずれの発生が防止されて、人間の色覚特性に違和感なく実際の色に近い色を出力することができる。
【0134】
また、実施例1に係る撮像装置10によれば、色輝度合成部109が、第1線形補間処理部1052で生成された赤外分離色信号である線形色信号(R,G,B)(または線形補正色信号(R,G,B))を輝度成分Ycによって正規化して正規化色信号(Rc,Gc,Bc)を生成し、または、第2線形補間処理部1056で生成された赤外未分離色信号である線形色信号(R,G,B)(または線形補正色信号(R,G,B)を輝度成分Ycによって正規化して正規化色信号(Rc,Gc,Bc)を生成し、このようにして生成された正規化色信号(Rc,Gc,Bc)と、輝度信号Y(または輝度補正信号Y)と、を乗算することによって映像信号(R,G,B)を生成するため、簡単な演算処理によって色信号と輝度信号を合成して、白飛びや黒潰れがなく、かつ線形性を有する色信号によって色再現性が高い映像信号(R,G,B)を生成することができる。
【0135】
なお、本実施例では、撮像素子102が原色系の色フィルタを有するものとして説明したが、これは、補色系の色フィルタを用いても実現可能である。さらに、人間の色覚特性に基づき、輝度と色との関係が少なくとも1つの式で表わされる複数の色フィルタを用いることも可能である。
【0136】
また、本実施例は、赤外分離色信号補正部1054、赤外含有色信号補正部1057において色補正処理を行い、輝度信号補正部108において輝度補正処理を行う構成としたが、この色補正と輝度補正は、必要に応じて適宜実施すればよい。
【0137】
さらに、本実施例は、全く同一の画像データである出力信号RAW0を色信号と輝度信号に分離し、合成する例を示したが、色信号と輝度信号は全く同一の画像データから生成されなくてもよい。例えば、撮像素子側で色信号用と輝度信号用に入出力特性を連続的に切り替えて撮像を行い、撮像された異なる2枚の画像を用いて合成を行ってもよいし、また、撮像範囲がほぼ等しい2つの撮像素子を用いて、色信号用と輝度信号用に2つの異なる入出力特性の画像を撮像して、合成を行うことも可能である。
【実施例2】
【0138】
次に、本発明に係る撮像装置の実施例2について、図12を参照して説明する。
【0139】
図12は、実施例2に係る撮像装置12の構成を示す。撮像装置12は、実施例1で説明した撮像装置10に、さらに、赤外投光器120を設けて、撮像素子102の撮像視野内を近赤外光で照明することによって、車両の後方や側方、後側方を監視する用途に適用したものである。
【0140】
撮像装置12にあっては、赤外投光器120から近赤外照明光を照射することによって、暗闇における監視性能がより一層高くなる。しかし、観測される画像信号の中に近赤外光成分が非常に多くなるため、実施例1で説明した信号処理では、近赤外光の分離が十分にできずに、近赤外光成分が残ってしまうことによって、また、近赤外光成分が残留することによって通常よりも多くのノイズが発生して、適切な色再現ができない恐れがある。
【0141】
本実施例2は、このような問題に対してなされたものである。撮像装置12の構成は、実施例1で説明した撮像装置10に対して、近赤外照明光を照射する赤外投光器120を設けた点と、色信号生成部105aに替えて色信号生成部105bを設けた点、また、飽和領域判定部1058aに替えて飽和領域判定部1058bを設けた点が異なっている。
【0142】
色信号生成部105bの詳細構成を図13に示す。色信号生成部105bの構成は、実施例1で説明した色信号生成部105aに対して、赤外分離部1053aに替えて赤外分離部1053bを設けた点、および、飽和領域判定部1058aに替えて飽和領域判定部1058bを設けた点が異なっている。
【0143】
以下、撮像装置12の作用について、実施例1で説明した撮像装置10との違いについて説明する。
【0144】
可視光領域においては、(式1)を変形すると(式17)のようになり、可視光成分を相殺できることがわかる。
αX+βY+γZ−T=0 (式17)
【0145】
しかし、このとき、(α+β+γ―1)iだけの近赤外光成分が分離されずに残ってしまうため、図11のフローチャートに記載したステップS20に替えて、前述した(式2),(式3)を、それぞれ(式18),(式19)のように変更することによって、分離されずに残った近赤外光成分を算出することができる。
【数5】
【数6】
【0146】
さらに、図11のフローチャートのステップS26において、飽和領域判定部1058bによる飽和画素の判定と、赤外除去するか否かの判定を行う際に、この判定処理の中に、赤外分離部1053bで分離された近赤外光成分の量に基づく判定項目を追加する。
【0147】
すなわち、飽和領域判定部1058bは、飽和信号レベル以上で飽和と判定された画素、または、赤外分離部1053bにおいて、(式18),(式19)によって算出された近赤外光成分量が、所定の赤外光成分量基準値を上回った画素を飽和画素と判定する。そして、以後、実施例1と同様にして、飽和画素を1、それ以外を0とする二値画像を生成し、その二値画像に対して線形補間のカーネルサイズに合わせたダイレーション(膨張)処理を行う。
【0148】
これによって、赤外投光器120が照射された領域においても色ずれの発生を防止することができる。但し、ハロゲン灯の信号器のように色再現性の重要視される対象も飽和画素と判定されてしまうため、判定に用いる近赤外光成分の信号量や赤外成分量基準値は、可視光成分量で補正(正規化)してもよい。
【0149】
以上、説明したように、実施例2に係る撮像装置12によれば、飽和領域判定部1058b(色飽和検出部)が、線形化出力信号RAW1が飽和信号レベル以上であるとき、または、赤外分離部1053bにおいて赤外分離色信号が生成された後で残った近赤外光成分量が赤外光成分量基準値を超えたときに飽和画素が発生したと判断して、第2色分離部1055(飽和抑制部)において、飽和が検出された赤外未分離色信号を、予め決められた所定の値に変換するクリッピング処理を行って、色輝度合成部109において、クリッピング処理された赤外未分離色信号と輝度信号Y(または輝度補正信号Y)とを合成して映像信号(R,G,B)を生成するため、赤外投光器120が撮像素子102の撮像範囲に向かって近赤外光を照射しているときであっても、照射された近赤外光の反射光における偽色の発生を防止し、かつクリッピング処理によって無彩色の色ずれの発生が防止されて、近赤外光の影響を受けずに実際の色に近い色を出力することができる。
【0150】
なお、実施例2は赤外投光器120を備える構成を説明したが、赤外投光器120がないときに同様の飽和判定を行ってもよい。
【0151】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
【符号の説明】
【0152】
10 撮像装置
101 レンズ系
102 撮像素子
103 信号分離部
104 出力信号線形変換部
105a 色信号生成部
107 輝度信号生成部
108 輝度信号補正部
109 色輝度合成部
110 画像出力部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13