【実施例1】
【0021】
本実施例は、本発明に係る撮像装置を、車両周囲の監視を行って、撮像された画像、および撮像された画像の認識結果に基づく警報や警告灯を車両の乗員に提示する周囲監視装置に適用した例である。
【0022】
[撮像装置の概略構成の説明]
まず、図面を用いて装置の構成を説明する。本実施例に係る撮像装置10は、
図1に示すように車両(図示省略)に設置されて、被写体を観測するレンズ系101と、撮像素子102と、信号分離部103と、出力信号線形変換部104と、色信号生成部105aと、輝度信号生成部107と、輝度信号補正部108と、色輝度合成部109と、画像出力部110を備えている。
【0023】
レンズ系101は、被写体から出射した光、または被写体で反射した光を後述する撮像素子102上に導く光学系である。
【0024】
レンズ系101は、車載監視用途の撮像装置の場合には、一般に狭角、広角、魚眼等のパンフォーカスレンズを用いる。しかし、その限りではなく、ズーム機構やオートフォーカス機構を備えたレンズ系を用いてもよいし、絞りやシャッターを備えたレンズ系を用いてもよい。また、画質や色再現性の向上のために光学ローパスフィルタや帯域分離フィルタや偏光フィルタ等の各種フィルタ類を備えたレンズ系を用いてもよい。
【0025】
撮像素子102は光電変換素子から構成される。光電変換素子は複数の画素から構成されており、レンズ系101を通して観測された被写体の像が結像して、入力した光を、その輝度に応じた出力電圧信号eに光電変換する。光電変換された出力電圧信号eは、内部に備えたアンプ(図示省略)、更に同じく内部に備えたADコンバータ(図示省略)を通してデジタル化されて、出力信号RAW0を生成する。出力信号RAW0として、例えば12ビット(0〜4095)にデジタル化された信号を出力する。撮像素子102としては、最大120dB程度の入力輝度のダイナミックレンジを有する、CMOSイメージセンサやCCDイメージセンサ等の素子が用いられる。なお、撮像素子102を構成する各画素の上には、後述するように、4種類のフィルタが規則的に配列されている。
【0026】
信号分離部103は、撮像素子102に対して撮像を行うタイミングを指示するとともに、撮像素子102で撮像された出力信号RAW0を受けて、同一の2つの出力信号RAW0、RAW0に分離する。
【0027】
出力信号線形変換部104は、信号分離部103で分離された信号のうち一方の出力信号RAW0を、階調変換(線形化)処理によって、線形性を有する線形化出力信号RAW1に変換する。ここで行われる変換処理の内容は後述する。
【0028】
色信号生成部105aは、出力信号線形変換部104で変換された線形化出力信号RAW1を、RGBC各色に対応する4つの信号に分離するとともに、分離する際に発生する空白の画素に対して、近傍の画素の値を用いて線形補間を行い、線形色信号(R
0,G
0,B
0)を生成する。そして、さらに、線形色信号(R
0,G
0,B
0)から赤外光成分を分離して、線形性を有する赤外分離色信号を生成するとともに、色補正を行って線形補正色信号(R
1,G
1,B
1)を生成する。また、色信号生成部105aは、飽和画素に対してクリッピング処理を行うとともに、色飽和を起こしている飽和領域の検出を行う。そして、飽和領域を構成する画素であるか否かに応じて、適切な線形補正色信号(R
1,G
1,B
1)を出力する。なお、色信号生成部105aは、
図8に示す詳細構成を有しているが、その内容と、色信号生成部105aで行われる具体的な処理内容は後述する。
【0029】
輝度信号生成部107は、信号分離部103で分離された信号のうち他方の出力信号RAW0から輝度信号Y
1を生成する。ここで行われる処理の内容は後述する。
【0030】
輝度信号補正部108は、輝度信号生成部107で生成された輝度信号Y
1を必要に応じて補正して、輝度補正信号Y
2を生成する。ここで行われる処理の内容は後述する。
【0031】
色輝度合成部109は、線形補正色信号(R
1,G
1,B
1)と輝度補正信号Y
2を合成して映像信号(R
2,G
2,B
2)を生成する。ここで行われる処理の内容は後述する。
【0032】
画像出力部110は、色輝度合成部109で合成された映像信号(R
2,G
2,B
2)を出力する、例えば表示用モニタである。
【0033】
以下、撮像装置10の作用について、図面を用いて順に説明する。
【0034】
まず、
図2に基づいて、撮像装置10の利用シーンについて説明する。
図2は撮像装置10を用いて、夜間の道路を撮影したときに得られる画像を模擬的に表したものである。すなわち、道路上の被写体である、先行車201や対向車203、道路標識等による反射装置205、206、信号機207、歩行者208、レーンマーカ209などが撮像されて画像化された様子を示している。
【0035】
図3は、線形の入出力特性を持つ一般的な撮像素子を用いて、
図2に示す道路を撮像して画像化したときの入力輝度Iと出力電圧信号eの関係を表している。
【0036】
すなわち、撮像素子102に対して、異なる2つの露光時間を与えたときの入出力特性として、露光時間が長いときの入出力特性301と、露光時間が短いときの入出力特性302、および道路上の被写体を撮像して、全ての被写体を画像化したときに、白飛びや黒潰れが発生せずに適切なカラー画像を生成することができると考えられる入出力特性303を示している。
【0037】
このような夜間のシーンは明暗の差が非常に大きいため、線形の入出力特性を持つ撮像素子で撮像したのでは、ダイナミックレンジの限界を超えてしまうため、白飛びや黒潰れと呼ばれる現象が発生してしまう課題があった。
【0038】
すなわち、自車両のヘッドライトや道路照明が当たっていない、もしくは自車両のヘッドライトや道路照明を反射し難いレーンマーカ209や歩行者208の分布頻度が多い入力輝度帯域304が最適に映るように露光時間を決定して撮影すると、入出力特性301のように、ヘッドライト204の分布頻度が多い入力輝度帯域307やテールライト202の分布頻度が多い入力輝度帯域305における出力電圧信号eが飽和してしまい、所謂「白飛び」と呼ばれる現象が生じる(
図3の領域X
1が、白飛びを起こす領域を表す)。
【0039】
逆に、最も明るいヘッドライト204の分布頻度が多い入力輝度帯域307が最適に映るように露光時間を決定して撮影すると、入出力特性302のように、レーンマーカ209や歩行者208の分布頻度が多い入力輝度帯域304やテールライト202の分布頻度が多い入力輝度帯域305における出力電圧信号eが黒潰れのラインを下回ってしまい、いわゆる「黒潰れ」と呼ばれる現象が生じる(
図3の領域X
2が、黒潰れを起こす領域を表す)。
【0040】
ここで、入出力特性303に基づいて画像を生成すると、出力電圧信号eは、最も暗いレーンマーカ209から最も明るいヘッドライト204まで、一つの入出力特性303の白飛びも黒潰れもしない範囲に収まっている。本実施例で用いる撮像素子102の入出力特性は、入出力特性303にほぼ一致しているものとする。
【0041】
次に、撮像装置10の作用について、順を追って説明する。
【0042】
[撮像素子の入出力特性の説明]
前記撮像素子102の光電変換特性(以下、入出力特性と呼ぶ)は、
図4(a)に示すように複数の入出力特性を備えており、入射光を受光した撮像素子102の各画素に蓄積される電荷のリセットタイミングやリセット電圧を変更することによって、入出力特性を変更することができる。
【0043】
そして、
図4(a)に示す入出力特性は、入力輝度Iに対して出力電圧信号eが非線形に変化する非線形の入出力特性を有している。これは、対数変換型の光電変換素子の代表的な入出力特性としてよく知られたものである。
【0044】
なお、
図4(b)は、
図4(a)のグラフの横軸を対数目盛りに変換したグラフであり、入出力特性の違いによって、白飛びや黒潰れせずに出力できる入力輝度Iのダイナミックレンジが変化することを示している。
【0045】
そして、
図4(a),(b)では、入出力特性に付与した番号が大きいほど、入力輝度Iのダイナミックレンジが広い特性を有している。
【0046】
なお、
図4(a)に記載された複数の入出力特性は、撮像シーンに応じて、
図1に図示しない、撮像素子102に内蔵された露光制御部によって1つ選択される。例えば、撮像シーンの明るさに基づいて、白飛びや黒潰れが発生せずに、できるだけコントラストが高い画像が撮像される入出力特性が選択されて、撮像が行われる。
【0047】
具体的には、前記した露光制御部において、1フレーム毎に画像の出力統計情報を算出して、白飛び、黒潰れの画素数を取得し、閾値判定により検出を行う。白飛びが検出された場合、入出力特性に付与された番号が現在の入出力特性よりも大きい(ダイナミックレンジが広い)入出力特性が選択されて、白飛びが検出されない場合、入出力特性に付与された番号が現在の入出力特性よりも小さい(ダイナミックレンジが狭い)入出力特性が選択される。
【0048】
また、黒潰れが検出された場合、露光時間を現在より大きくして、黒潰れが検出されない場合、露光時間を現在より短くする。
【0049】
図3に示した入出力特性303は、
図4(a)の入出力特性9、および
図4(b)の入出力特性9に対応するものである。
【0050】
[撮像素子のフィルタ構成の説明]
撮像素子102は、
図4(a)または(b)に示す出力電圧信号eを出力する複数の画素を二次元的に備えている。
【0051】
各画素の受光面の上には、
図5(a)に示すように、可視光を波長毎に選択的に透過し、かつ近赤外光に対しては互いに等しい透過率をもつ3種類のフィルタX,Y,Zと可視光の波長毎の透過率を3種類のフィルタの透過率の線形和で表すことができ、かつ近赤外光に対しては3種類のフィルタと等しい透過率をもつ第4のフィルタTが規則的に配列されている。
【0052】
図7(a)は、このような特性を有するフィルタの例として、多くの撮像素子に用いられているRGBフィルタを配列した撮像素子102の波長毎の出力値である分光感度Sを示している。すなわち、
図5(b)のように、前述した3種類のフィルタX,Y,Zが、それぞれ、赤色フィルタR,緑色フィルタG,青色フィルタBに対応し、第4のフィルタTに対応するフィルタとして、可視光全体を透過する透明フィルタCを適用した例である。
【0053】
図7(a)において、可視光と近赤外光の境目は曖昧であるが、一般的に約700nm〜約850nmの波長領域と考えてよく、この波長領域よりも高波長領域では、4種類のフィルタの分光透過率に差が生じなくなるため、4種類のフィルタを透過した光がそれぞれ入射した画素の出力値は互いに漸近する。
【0054】
本発明は、この4種類のフィルタの特性を活用したものであり、撮像素子102の特性に基づき4種類の色フィルタの出力値が十分に漸近して一致するとみなした点(
図7(a)の例では、波長840nm付近)を可視光領域と近赤外光領域の境界とみなして、撮像素子102の出力信号の中から、可視光領域に占める成分(可視光成分)を保持して、近赤外光領域に占める成分(近赤外光成分)のみを分離、除去することを特徴としている。
【0055】
次に、前記4種類のフィルタの特性に関して説明する。前記4種類のフィルタX,Y,Z,Tの可視光領域の任意の波長における透過率を、それぞれX
T、Y
T、Z
T、T
Tとすると、それらの関係は(式1)のように表せる。
T
T=αX
T+βY
T+γZ
T (式1)
【0056】
このように、第4のフィルタTの透過率T
Tは3種類のフィルタX,Y,Zの各透過率X
T、Y
T、Z
Tの線形和で表すことができ、正負を問わない係数α、係数β、係数γが一意に定まるものとする。すなわち、撮像装置10は(式1)の条件を満たす4色のフィルタを使用する必要があるが、これは、前述したように、多くの撮像素子に用いられるRGBフィルタを用いることによって実現できる。そして、さらに、第4のフィルタTとして、可視光領域全体を透過する透明(Clear)フィルタCを用いればよい。
【0057】
これら4種類のフィルタを用いた撮像素子102の波長λに対する出力値から、
図7(a)のような分光感度Sが得られ、更に、後述する階調変換処理によって、撮像素子102への入力輝度と撮像素子102から出力される出力信号との関係を線形関係に変換することによって、
図7(b)に示す分光感度Sが得られる。そして、
図7(b)に示す分光感度Sから、(式1)を満たす係数α,β,γの値を算出することができる。
【0058】
係数α,β,γの値は、複数の異なる波長λの光に対して計測された分光感度Sから、最小二乗法を用いて、真値に対して許容範囲内に収まるように最適な係数α,β,γの値を定めることによって設定できる。そして、本実施例は、RGBCフィルタ配列に限らず、(式1)の関係式で表すことができる任意の4種類のフィルタ配列に適用することができる。
【0059】
前記RGBCフィルタを通して撮像素子102から出力された出力信号RAW0(12ビット)は、まず、信号分離部103において色信号処理と輝度信号処理に用いるための2つの信号に分離される分離処理が行われる。ただし、分離後の2つの信号は、分離前の出力信号RAW0と全く同一のものである。
【0060】
[線形変換処理の説明]
次に、信号分離部103によって分離された2つの信号のうち、色信号処理に用いられる信号について、出力信号線形変換部104によって、
図6に示すように、入力輝度Iに対して、撮像素子102の出力電圧信号eが線形に変化する予測線形特性612を有すると仮定して、入力輝度Iと出力電圧信号eとが非線形関係にある領域に該当する信号部分を、線形関係をもつ信号になるように線形変換処理(線形化)を行う。
【0061】
撮像素子102は、
図6の入出力特性600に示すように、入力輝度Iが小さい領域では線形特性601を有し、この領域では、入力輝度Iに対して線形に変化する出力信号を出力する。
【0062】
また、入力輝度Iが大きい領域では非線形特性602を有し、この領域では、入力輝度Iに対して非線形に変化する出力信号を出力する。
【0063】
そして、線形特性601を有する領域と非線形特性602を有する領域とは、接続点605において連続している。なお、撮像素子102が出力する出力電圧信号eを第1の出力信号S
1とする。
【0064】
このとき、撮像素子102の全入力輝度範囲に亘って、入出力特性の線形性が成り立つと仮定する。すなわち、
図6の点線で示すように、入出力特性が予測線形特性612を呈すると仮定する。そして、撮像素子102から、この予測線形特性612に基づいて出力されると予測される出力信号を第2の出力信号S
2とする。
【0065】
出力信号線形変換部104では、撮像素子102が出力した第1の出力信号S
1を、入出力特性が予測線形特性612をなすと仮定したときに、撮像素子102が出力すると予測される第2の出力信号S
2に変換する処理を行う。
【0066】
すなわち、
図6の場合、入力輝度I
1に対して入出力特性600によって得られた出力電圧信号がe
1であり、入出力特性が予測線形特性612をなすと仮定したときに、入力輝度I
1に対して予測される出力電圧信号がe
2であるとすると、出力電圧信号e
1をe
2/e
1倍する処理が行われる。
【0067】
線形化の方法には、様々なものが存在するが、例えば、LUT(Look Up Table)を用いて変換すればよい。すなわち、あらかじめ撮像素子102の入出力特性を全ての入出力特性の番号の数だけ測定しておき、ある入力輝度Iのときに得られた出力電圧信号e
1と、入出力特性が線形特性をなすと仮定したときに予想される出力電圧信号e
2の対応関係をLUTに記憶しておき、階調変換処理時には、現在の入出力特性の番号と、実際に計測された出力電圧信号e
1の値から、そこに対応するLUTに記憶された値を参照して階調変換を行えばよい。
【0068】
このとき作成されるLUTには、撮像素子102の入出力特性の番号と、入出力特性600によって得られた出力電圧値と、線形変換された出力電圧値が記憶される。
【0069】
なお、撮像装置の入出力特性の番号,撮像装置の出力信号RAW0,階調変換を行うために用いるLUTは、いずれもデジタル情報として取り扱う。実施例1において、これらの情報を漏れなく記憶しておくために必要なビット数は、例えば
図4(a)の入出力特性を有する撮像素子102を用いる場合、入出力特性の総数は10通りであるので、入出力特性を漏れなく表現するのに必要なビット数は4ビット、撮像素子102の出力信号RAW0は12ビット、そして、LUTに必要なビット数(線形変換後の出力電圧値)は、入力輝度のダイナミックレンジが最大120dB(1:10
6)程度であることを考慮して、20ビット(>120dB)となる。
【0070】
そして、この線形変換によって、12ビットの出力信号RAW0から、20ビットの線形化出力信号RAW1が得られる。
【0071】
この他にも、撮像素子102の入出力特性における屈曲点であるニーポイントの位置を予測して区分線形変換を行う方法や、対数特性に近似して式による変換を行う方法など、様々考えられるが、いずれも、色信号処理のために入出力特性を線形な関係にするという結果は同じになる。
【0072】
[色信号の線形補間処理の説明]
次に、色信号生成部105aで行わる色再現処理について、
図8を用いて説明する。
【0073】
図8は、色信号生成部105aの詳細な構成を示す図である。すなわち、色信号生成部105aは、第1色分離部1051と、第1線形補間処理部1052と、赤外分離部1053aと、赤外分離色信号補正部1054と、第2色分離部1055(飽和抑制部)と、第2線形補間処理部1056と、赤外含有色信号補正部1057と、飽和領域判定部1058a(色飽和検出部)と、色信号選択部1059を備えている。
【0074】
出力信号線形変換部104(
図1参照)によって変換された線形化出力信号RAW1(20ビット)は3つの信号に分離されて、第1色分離部1051と、第2色分離部1055(飽和抑制部)、および飽和領域判定部1058a(色飽和検出部)に入力される。このとき、分離後の3つの信号は、分離前の線形化出力信号RAW1と全く同一のものである。
【0075】
第1色分離部1051は、線形化出力信号RAW1を、線形化出力信号RAW1を構成する各色に対応する4つの色信号に分離する。このとき、信号がない画素は出力を0(空白)とする。
【0076】
第1線形補間処理部1052は、第1色分離部1051において信号を分離する際に発生した空白の画素において観測されると予想される画素値を、近傍の画素値を用いて線形補間する。そして、全ての画素において、それぞれ4つの線形色信号(R
0,G
0,B
0,C
0)を生成する。
【0077】
この線形補間の方法について、
図5(c)を用いて具体的に説明する。
図5(c)のように配列されたフィルタにおいて、例えば、B
22で示される画素には、青色光を透過するフィルタが配列されている。したがって、B
22で示される画素からは、青色に対応する出力電圧信号eが得られるのみである。
【0078】
したがって、B
22で示される画素から出力されると予想される赤色光,緑色光,白色光に対応する信号は、B
22で示される画素の周囲の出力電圧信号eを補間して予測する必要がある。
【0079】
例えば、B
22で示される画素から出力されると予想される赤色光成分は、B
22で示される画素に隣接する画素のうち、赤色フィルタRが配列された画素であるR
11,R
13,R
31,R
33で示される画素の出力電圧信号eの平均値を当てはめることによって予測する。
【0080】
また、B
22で示される画素から出力されると予想される緑色光成分は、B
22で示される画素に隣接する画素のうち、緑色フィルタGが配列された画素であるG
12,G
32で示される画素の出力電圧信号eの平均値を当てはめることによって予測する。
【0081】
そして、B
22で示される画素から出力されると予想される白色光成分は、B
22で示される画素に隣接する画素のうち、透明フィルタCが配列された画素であるC
21,C
23で示される画素の出力電圧信号eの平均値を当てはめることによって予測する。
【0082】
なお、このとき、単に補間するだけではなく、ローパスフィルタや、バンドパスフィルタなどのディジタルフィルタを用いて周波数選択のためのディジタルフィルタリングを実施してもよい。
【0083】
[赤外光分離処理の説明]
赤外分離部1053aは、第1線形補間処理部1052において得られた前記4つの線形色信号(R
0,G
0,B
0,C
0)に対してリニアマトリクスによる赤外分離処理を行う。具体的に赤外分離処理を行うために用いる行列演算を(式2)及び(式3)に示す。
【数1】
【数2】
【0084】
(式2)において右辺右側の4行1列の行列は、線形補間後の、近赤外光を含む4つの色信号を表し、左辺の行列は近赤外光分離後の3つの色信号を表している。例えば色信号Xの場合は、信号には可視光成分の他に近赤外光成分が含まれているため、信号に含まれる可視光成分をX、近赤外光成分をiで表して信号量はX+iとなる。Y,Z,Tについても、可視光成分がXと異なる以外は同様になる。
【0085】
ここで(式1)を用いて(式2)の右辺を展開して(式3)を代入すると、(式2)の左辺が得られる。即ち、あらかじめ(式1)の係数α、β、γを求めておいて(式3)を導出しておくことで、近赤外光を含む線形色信号(R
0,G
0,B
0,C
0)に対して、比較的簡単な線形演算を行うことによって赤外分離された線形色信号を計算することが可能である。
【0086】
実際にRGBCフィルタからなる撮像素子102を用いた場合、X=R、Y=G、Z=B、T=Cとして、
図7(b)の分光感度特性からα、β、γを求めると、α=0.5、β=0.6、γ=0.6となる。そして、後述する色再現処理を適用すると、
図7(c)の分光感度特性を持つ撮像素子で得られる色信号と同等になることが計算により求められる。したがって、結果として得られる色信号は、近赤外光成分がほとんど分離除去されたものであることがわかる。
【0087】
赤外分離色信号補正部1054は、一般的な線形特性を持つ撮像素子を用いた撮像装置10で実施されている技術(ターゲットカラーに基づくリニアマトリクス演算)により、撮像装置10によって再現される色がターゲットカラーとなるように色信号補正処理を行う。
【0088】
具体的には、赤外分離色信号補正部1054において、赤外分離部1053aから出力される3つの赤外分離色信号に対して、(式4)を用いてリニアマトリクス演算を行い、出力が飽和していない非飽和画素(通常画素)で再現される色がターゲットカラーとなるように補正して、補正された3つの線形補正色信号(Xc,Yc,Zc)を出力する。
【数3】
【0089】
特に、前述したRGBCフィルタを備えた撮像素子102から得られた線形補正色信号を(R
1,G
1,B
1)と呼ぶことにする。線形補正色信号(R
1,G
1,B
1)は、(式4)において、X=R、Y=G、Z=B、T=Cと置き換えることによって算出することができる。
【0090】
[クリッピング処理の説明]
第2色分離部1055(飽和抑制部)は、第1色分離部1051と同様に、線形化出力信号RAW1が入力されて、4つの色信号に分離(信号がない部分は空白0を挿入)されるが、分離前に、飽和信号レベル(12ビットの場合は4095)に対して色信号毎に予め定められたクリップレベルを用いてクリッピングを行う。
【0091】
クリッピング処理とは、線形化出力信号RAW1が、予め決めておいた所定の値を超えていたときに、その画素値を予め決めておいた所定の値に設定する処理のことである。
【0092】
クリッピング処理の1例を
図9(a)に示す。例えば、緑色フィルタGが配列された画素から出力された信号が、予め決めた所定値Thrよりも大きいときは、その画素に強制的に所定値Thrを与える。
【0093】
そして、このとき、同じ輝度の白色光が、赤色フィルタRが配列された画素に入射したときに、その画素から出力される信号も飽和するように、赤色フィルタが配列された画素に対する所定値R_Thrが設定される。ここで、R_Thrの値は、(式5)によって算出する。
R_Thr=Thr×G_Gain/R_Gain (式5)
ここで、G_Gain,R_Gainはそれぞれ、色温度を調整するパラメータであり、緑色の強さを表わすGゲインと、赤色の強さを表わすRゲインである。
【0094】
そして、同様にして、青色フィルタが配列された画素に対する所定値B_Thrが設定される。ここで、B_Thrの値は、(式6)によって算出する。
B_Thr=Thr×R_Gain/B_Gain (式6)
ここで、B_Gainは、色温度を調整するパラメータであり、青色の強さを表わすBゲインである。
【0095】
その後、第2線形補間処理部1056で第1線形補間処理部1052と同様の線形補間処理を行う。また、赤外含有色信号補正部1057は、第2線形補間処理部1056から出力される近赤外光を含む4つの色信号に対して、(式7)を用いてリニアマトリクス演算を行い、飽和領域で再現される色がターゲットカラーとなるように補正して、補正された4つの線形補正色信号(Xs,Ys,Zs,Ts)のうち、(Xs,Ys,Zs)の3信号を出力する。
【数4】
【0096】
なお、前述したRGBCフィルタを備えた撮像素子102の場合、(式7)において、X=R、Y=G、Z=B、T=Cと置き換えることによって、線形補正色信号(R
1,G
1,B
1)が算出される。こうして算出される線形補正色信号(R
1,G
1,B
1)は、近赤外光が分離されていない赤外未分離色信号である。
【0097】
[飽和領域判定処理の説明]
色信号選択部1059は、画素単位で並行して生成される前記2種類の線形補正色信号(赤外分離色信号、赤外未分離色信号)のうち、どちらの線形補正色信号を使用するかを選択するための判定を行う。そのため、まず、飽和領域判定部1058a(色飽和検出部)において、線形化出力信号RAW1に対して、飽和画素、または飽和画素の周辺画素(線形補間で飽和画素の影響を受けている画素)のみを表わす二値信号を生成する。
【0098】
具体的には、飽和信号レベル以上で飽和と判定された画素を1とし、それ以外を0とする二値画像に対して、線形補間処理を行った際のカーネルサイズに合わせたダイレーション(膨張)処理を行って、このダイレーション処理の結果得られた二値画像信号を、飽和画素を表わす飽和画素信号として色信号選択部1059へ入力する。このとき、領域の膨張処理を行うため、飽和画素とともに、飽和画素の影響を受けていると考えられる周辺画素も合わせて抽出される。
【0099】
色信号選択部1059は、着目した画素が、飽和画素、またはその周辺画素として抽出されているか否かに従って、2種類の色信号のうち、どちらの色信号を出力するかの選択を行う。すなわち、前述した二値画像信号が0のときは、飽和画素ではなく、かつ飽和画素の周辺画素でもないと判断されて、赤外分離された線形補正色信号(R
1,G
1,B
1)が選択される。
【0100】
一方、二値画像信号が1のときは、飽和画素または、飽和画素の周辺画素と判断されて、クリッピング処理された赤外未分離の線形補正色信号(R
1,G
1,B
1)が選択される。
【0101】
以上により、線形化出力信号RAW1(20ビット)から、人間の色覚特性に一致するように、近赤外光成分が分離されて、彩度や色相などが調整された3つの線形補正色信号(R
1、G
1、B
1)(符号付き21ビット)が選択されて出力される。
【0102】
この色信号の選択を
図9(b),(c)を用いて説明する。
図9(b),(c)に示すように、非飽和画素、またはクリッピング処理を行った飽和画素であれば、色補正後の信号は無彩色となる。これに対してクリッピング処理を行わない飽和画素では、色補正を行った際にRGBのバランスが崩れて、
図9(c)に示すように色ずれが発生する。したがって、前述したように、飽和画素信号であるときには、クリッピング処理を行った色信号を選択することによって、色ずれの発生を防止することができる。
【0103】
[色輝度合成による色再現処理の説明]
信号分離部103によって分離された2つの出力信号RAW0のうち、色信号処理に用いない出力信号RAW0は、輝度信号処理に利用される。
【0104】
輝度信号生成部107は、出力信号RAW0から輝度信号Y
1(12ビット)を生成する。処理の内容は、出力信号線形変換部104で行う処理と、色分離をしない点以外は同様であり、ローパスフィルタや、バンドパスフィルタなどのディジタルフィルタを用いて周波数選択のためのディジタルフィルタリングを実施することも可能である。
【0105】
輝度信号補正部108は、輝度信号Y
1に対してガンマ補正やヒストグラム補正等のコントラスト調整を実施して、輝度補正信号Y
2(12ビット)を生成する。
【0106】
そして、線形補正色信号と輝度補正信号を用いて、色輝度合成部109おいて、画像出力部110に出力する映像信号を生成する。
【0107】
[色輝度合成処理の説明]
以下、RGBCフィルタを備えた撮像素子102から得られた線形補正色信号(R
1,G
1,B
1)と輝度補正信号Y
2を用いて、映像信号(R
2,G
2,B
2)を生成する方法について、順を追って説明する。
【0108】
図10に色輝度合成部109の内部構成図を示す。まず、線形補正色信号(R
1、G
1、B
1)を2つに分離し、処理ブロック1091において、分離した一方の線形補正色信号(R
1、G
1、B
1)から、それらの輝度成分Ycを(式8)を用いて求める。
Yc = 0.299×R
1+0.587×G
1+0.114×B
1 (式8)
【0109】
(式8)において、線形補正色信号(R
1、G
1、B
1)の各成分に積算される係数は、それぞれ、RGB色度を輝度に変換する際の変換係数として求められた値の一例である。
【0110】
(式8)の演算は、入力される線形補正色信号(R
1,G
1,B
1)(符号付き21ビット)の値の範囲が広いため、線形補正色信号(R
1,G
1,B
1)を浮動小数点に変換して、浮動小数点演算として行う。
【0111】
次に、処理ブロック1092において、(式9)から(式11)で示すように、(式8)で導出された輝度成分Ycの値によって、線形補正色信号(R
1、G
1、B
1)の各成分をそれぞれ除算して、線形補正色信号(R
1、G
1、B
1)の正規化を行い、正規化色信号(Rc,Gc,Bc)を生成する。この演算も浮動小数点演算として行われ、結果は12ビットに整数化されて出力される。
Rc = R
1/Yc (式9)
Gc = G
1/Yc (式10)
Bc = B
1/Yc (式11)
【0112】
そして、処理ブロック1093において、(式12)から(式14)で示すように、正規化色信号(Rc,Gc,Bc)に対して、輝度信号補正部108によって生成された輝度補正信号Y
2を乗算して、色輝度合成部109の出力信号である映像信号(R
2、G
2、B
2)が生成される。
R
2 = Xc×Y
2 (式12)
G
2 = Yc×Y
2 (式13)
B
2 = Zc×Y
2 (式14)
【0113】
ここで、留意すべきは、正規化色信号(Rc,Gc,Bc)は線形特性を持つ信号であり、輝度補正信号Y
2は非線形特性を持つ信号であるため、それらが合成された映像信号(R
2、G
2、B
2)は非線形特性を持つ信号となることである。
【0114】
このとき、線形補正色信号(R
1、G
1、B
1)と輝度補正信号Y
2と映像信号(R
2、G
2、B
2)の間には、(式15),(式16)の関係式が成り立つ。但し、演算時のビット幅縮小に伴う誤差による影響は、十分小さいものとしている。
Y
2 = 0.299×R
2+0.587×G
2+0.114×B
2 (式15)
R
1:G
1:B
1 = R
2:G
2:B
2 (式16)
【0115】
(式15)は、映像信号(R
2、G
2、B
2)と輝度補正信号Y
2が3原色ベクトルとそれからなる輝度ベクトルの関係であることを表しており、映像信号(R
2、G
2、B
2)が輝度補正信号Y
2の持つ広ダイナミックレンジの輝度情報を保持していることを示している。
【0116】
また、(式16)は、線形補正色信号(R
1、G
1、B
1)と映像信号(R
2、G
2、B
2)の色の組成比(色相)が同一であることを表していて、さらに、(式15)と合わせて、輝度信号に対する信号強度(彩度)が同一であることを表している。すなわち、線形特性から非線形特性への変換の際に、線形色信号(R
0,G
0,B
0)が有していた色再現性が保持されていることを示している。
【0117】
こうして生成された映像信号(R
2、G
2、B
2)は、画像出力部110に表示されて、車両の乗員に提示される。
【0118】
[処理の流れの説明]
次に、
図11のフローチャートを用いて、実施例1の一連の処理の流れを説明する。
【0119】
(ステップS10)信号分離部103から撮像素子102に対して、撮像タイミングが指示されて、撮像が行われる。
【0120】
(ステップS12)撮像素子102は、レンズ系101を透過した光を受光して、光電変換を行い、出力信号RAW0を出力する。
【0121】
(ステップS14)信号分離部103において、出力信号RAW0を同一の2つの出力信号RAW0,RAW0に分離する。
【0122】
(ステップS16)出力信号線形変換部104において、一方の出力信号RAW0を、線形性を有する線形化出力信号RAW1に変換する。
【0123】
(ステップS18)第1色分離部1051において、線形化出力信号RAW1をRGBC各色に対応する4つの信号に分離して、第1線形補間処理部1052において、分離の際に発生する空白の画素に対して、近傍の画素の値を用いて線形補間を行い、線形色信号(R
0,G
0,B
0)を生成する。
【0124】
(ステップS20)赤外分離部1053aにおいて、線形色信号R
0,G
0,B
0から赤外光成分を分離して、赤外分離色信号を生成する。さらに、赤外分離色信号補正部1054で色補正を行って線形補正色信号(R
1,G
1,B
1)を生成する。
【0125】
(ステップS22)第2色分離部1055(飽和抑制部)において、クリッピング処理を行い、さらに、第2線形補間処理部1056において、線形色信号(R
0,G
0,B
0,C
0)を生成する。
【0126】
(ステップS24)赤外含有色信号補正部1057において、第2線形補間処理部1056から出力される4つの色信号に対してリニアマトリクス演算を行い、色補正された4つの線形補正色信号を生成する。
【0127】
(ステップS26)飽和領域判定部1058a(色飽和検出部)において、線形化出力信号RAW1に対して飽和判定を行い、飽和画素、または飽和画素の周辺画素のみを表わす二値画像を生成する。
【0128】
(ステップS28)輝度信号生成部107において、出力信号RAW0から輝度信号Y
1を生成する。
【0129】
(ステップS30)輝度信号補正部108において、輝度信号Y
1に対してガンマ補正やヒストグラム補正等のコントラスト調整を実施して、輝度補正信号Y
2を生成する。
【0130】
(ステップS32)色輝度合成部109において、線形補正色信号(R
1,G
1,B
1)と輝度補正信号Y
2を合成して映像信号(R
2,G
2,B
2)を生成する。
【0131】
(ステップS34)生成された映像信号(R
2,G
2,B
2)を、画像出力部110に出力する。
【0132】
以上、説明したように、実施例1に係る撮像装置10によれば、互いに異なる可視光領域の光を選択的に透過して、かつ近赤外光領域において、互いに等しい分光透過率を持つ3種類のフィルタR,G,Bと、可視光領域の分光透過率が前記3種類のフィルタR,G,Bの各々の分光透過率の線形和で表わされて、かつ、近赤外光領域において、前記3種類のフィルタR,G,Bの分光透過率と等しい分光透過率を持つ1種類のフィルタCと、からなる複数のフィルタR,G,B,Cが所定のパターンで配列された複数の画素を備えた撮像素子102が、その複数の画素から、それぞれ入射光の輝度に応じて非線形に変化する第1の出力信号S
1を出力して、この第1の出力信号S
1を、出力信号線形変換部104において、撮像素子102が入射光の入力輝度範囲に亘って線形に変化する第2の出力信号S
2を出力すると仮定したときに、撮像素子102が出力すると予測される第2の出力信号S
2に変換して、この第2の出力信号S
2に基づいて、色信号生成部105aが、全ての画素に対して、欠落した複数の色信号を補間して生成し、生成された複数の線形色信号(R
0,G
0,B
0)(または線形補正色信号(R
1,G
1,B
1))の中から、赤外分離部1053aが、近赤外光成分を分離して線形性を有する複数の赤外分離色信号を生成し、また、輝度信号生成部107が、第1の出力信号S
1から、非線形性を有する輝度信号Y
1を生成して、色輝度合成部109が、こうして生成された複数の線形性を有する赤外分離色信号と非線形性を有する輝度信号Y
1(または輝度補正信号Y
2)とを合成して映像信号(R
2,G
2,B
2)を生成するため、ダイナミックレンジが大きい被写体を撮影した場合であっても、非線形性を有する輝度信号Y
1(または輝度補正信号Y
2)によって白飛びや黒潰れがなく、かつ、近赤外光成分が分離された線形性を有する色信号によって色再現性が高い適切なカラー画像を生成することができる。
【0133】
また、実施例1に係る撮像装置10によれば、飽和領域判定部1058a(色飽和検出部)において、線形化出力信号RAW1が飽和していることが検出されたときには、第2色分離部1055(飽和抑制部)において、飽和が検出された線形化出力信号RAW1に対応する赤外未分離色信号を、予め決められた所定の値に変換するクリッピング処理を行って、クリッピング処理によって生成された赤外未分離色信号と輝度信号Y
1(または輝度補正信号Y
2)を合成して映像信号(R
2,G
2,B
2)を生成し、一方、飽和領域判定部1058a(色飽和検出部)において、線形化出力信号RAW1が飽和していることが検出されないときには、赤外分離部1053aから出力される赤外分離色信号と輝度信号Y
1(または輝度補正信号Y
2)を合成して映像信号(R
2,G
2,B
2)を生成するため、色飽和が発生しないときは赤外成分を含まない人間の色覚特性にほぼ等しい色を出力できるとともに、色飽和が発生したときであっても飽和偽色の発生が防止され、かつクリッピング処理によって無彩色の色ずれの発生が防止されて、人間の色覚特性に違和感なく実際の色に近い色を出力することができる。
【0134】
また、実施例1に係る撮像装置10によれば、色輝度合成部109が、第1線形補間処理部1052で生成された赤外分離色信号である線形色信号(R
0,G
0,B
0)(または線形補正色信号(R
1,G
1,B
1))を輝度成分Ycによって正規化して正規化色信号(Rc,Gc,Bc)を生成し、または、第2線形補間処理部1056で生成された赤外未分離色信号である線形色信号(R
0,G
0,B
0)(または線形補正色信号(R
1,G
1,B
1)を輝度成分Ycによって正規化して正規化色信号(Rc,Gc,Bc)を生成し、このようにして生成された正規化色信号(Rc,Gc,Bc)と、輝度信号Y
1(または輝度補正信号Y
2)と、を乗算することによって映像信号(R
2,G
2,B
2)を生成するため、簡単な演算処理によって色信号と輝度信号を合成して、白飛びや黒潰れがなく、かつ線形性を有する色信号によって色再現性が高い映像信号(R
2,G
2,B
2)を生成することができる。
【0135】
なお、本実施例では、撮像素子102が原色系の色フィルタを有するものとして説明したが、これは、補色系の色フィルタを用いても実現可能である。さらに、人間の色覚特性に基づき、輝度と色との関係が少なくとも1つの式で表わされる複数の色フィルタを用いることも可能である。
【0136】
また、本実施例は、赤外分離色信号補正部1054、赤外含有色信号補正部1057において色補正処理を行い、輝度信号補正部108において輝度補正処理を行う構成としたが、この色補正と輝度補正は、必要に応じて適宜実施すればよい。
【0137】
さらに、本実施例は、全く同一の画像データである出力信号RAW0を色信号と輝度信号に分離し、合成する例を示したが、色信号と輝度信号は全く同一の画像データから生成されなくてもよい。例えば、撮像素子側で色信号用と輝度信号用に入出力特性を連続的に切り替えて撮像を行い、撮像された異なる2枚の画像を用いて合成を行ってもよいし、また、撮像範囲がほぼ等しい2つの撮像素子を用いて、色信号用と輝度信号用に2つの異なる入出力特性の画像を撮像して、合成を行うことも可能である。