【実施例1】
【0011】
図1は第1の実施例の車載撮像装置のブロックを説明する図である。
本実施例に係る車載撮像装置は、少なくとも赤色域、緑色域、青色域、及び全可視光域と赤外域の4種類のフィルタを用いた撮像部101と、赤色域信号、緑色域信号、青色域信号、及び全可視光域と赤外域信号から赤外域、を含む信号から赤色域信号、緑色域信号、青色域信号(以下それぞれをR信号、G信号、B信号という) の各色信号を生成する信号処理部102と、R信号、B信号、および、全可視光域と赤外域信号(以下C−ir信号という)、から、後述のシステム制御部105からの信号分布判定領域情報に基づき、画素信号分布情報を求める画素信号分布処理部103と、後述のシステム制御部105からの制御情報に基づきR信号,G信号,B信号が所望の値となるように所定のゲインをかけることで信号処理を行うホワイトバランス処理部104と、画素信号分布処理部103からの画素信号分布情報に基づきホワイトバランス処理部104の制御と、画素信号分布処理部103が画素信号分布を判断する為の信号分布判定領域情報の制御を行うシステム制御部105と、信号処理部102からの信号を所定の映像信号に信号変換する出力部106とを適宜用いて構成される。後述の通り、本構成によれば、撮像部101で赤色域、緑色域、青色域に加え、赤外域の情報を得ることができ、これを用いることで、システム制御部105は、簡単な構成でより正確に画素信号分布処理部で抽出されるシーン、すなわち光源ごとに異なる画素信号分布情報を抽出し、ホワイトバランス処理部のゲインを所定の値に設定することが可能となり、シーンに応じた光源を正確に推定したホワイトバランス処理を実施することができる。
【0012】
ここで、R信号、B信号、および、C−ir信号を用いた光源の識別並びに適切なホワイトバランス処理の詳細について、
図2乃至
図4を用いて説明する。
図2は車載撮像装置の画素信号分布処理部の処理として、R−Cir信号、B−Cir信号分布平面による画素信号分布処理を説明する図である。
このR−Cir信号、B−Cir信号分布平面は、Y軸をR−Cir信号軸とし、X軸をB−Cir信号軸とする。この平面上に対して撮影した信号を画素ごとにプロットすることで、撮影するシーンの光源毎の信号分布が表され、信号分布判定領域と比較することで光源の識別が可能となる。識別処理の詳細は
図4を用いて後述する。なおプロットする画素は全画素であっても、撮影映像の一部の画素であってもよい。
【0013】
一例として、本平面に置けるナトリウムランプ光源と、太陽の夕日の信号分布判定領域の例を示す。例えば、ナトリウムランプ光源の画素信号分布がおおよそ分布する領域に対して、枠1の示す信号分布判定領域を設定し、またナトリウムランプの色相に近似している夕日の画素信号分布がおおよそ分布する領域に対して、枠2で示す信号分布判定領域を設定している。
【0014】
以上のように、本実施例ではナトリウム光源と、他の光源、特に太陽光の夕日といった色相と輝度が類似した光源であっても識別可能で、ナトリウム光源と判定した際にホワイトバランス処理を所定の値で処理することで、人の見た目と同様な色再現となるようにホワイトバランス処理を実施する事可能となる。
【0015】
なお、特許文献1で示した処理では、
図3に上記ナトリウムランプ光源と太陽の夕日光源を、従来例の色相と彩度で信号分布を表す色差平面に示すと、これらの2つの光源の画素信号分布がおおよそ分布する領域は、枠1に示すように類似した信号分布判定領域となってしまうことからナトリウム光源と、他の光源、特に太陽光の夕日といった色相と輝度が類似した光源の識別が困難である為、本実施例で示したようにナトリウムランプ光源下のシーンを判定による、ホワイトバランス処理の信号処理に対して所定の値に設定する事で、ナトリウム光源下での人の目で見た見た目と同等の色相にあわせるといった制御を実施することが困難となってしまう。
【0016】
また、ナトリムランプ光源下で、ホワイトバランス処理として例えば、R信号、G信号、B信号の各信号量が同等となるよう信号処理を行う場合には、R信号、G信号、B信号の信号量が偏っている為に、人の見た目と同様な色再現となるようにホワイトバランス処理を実施する事が出来ない。
【0017】
以上から特許文献1のように赤外域情報を用いない従来の色差平面上では、ナトリウム光源と夕日のような類似した平面上の領域に分布して判別できない光源であっても、本実施例の
図2の信号平面では、R信号と,B信号と、赤外域情報を含むC−ir信号を用いて分布を表している為、赤外域波長を含まないナトリウム光源と、赤外波長を含む夕日といった光源の違いを2次元平面上における分布領域の違いで容易に判別しできるという利点がある。また光源判別の結果、人の目で見た見た目と同等の色相にあわせるといった制御を実施可能であるという利点がある。
【0018】
図4は車載撮像装置による光源の識別並びに適切なホワイトバランス処理の処理フローの一例を説明する図である。
まず、ステップ401は、R信号及び、B信号、と赤外を含む全可視光領域のCir信号を用いて、R−Cir信号、B−Cir信号を生成する。ステップ402ではR信号、B信号、Cir信号を用いて、所定の信号領域に含まれる画素信号を検出してカウントし、画素信号分布情報を抽出する。このようにして画素信号分布処理部103で抽出された領域毎の画素信号分布情報はシステム制御部105に出力される。ここで、画素信号分布情報は、信号分布判定領域毎に含まれる画素の数をいう。
【0019】
次に、ステップ403では、システム制御部105により所定の信号領域に含まれる画素が所定の値以上あるか判定をする。例えば、
図2の場合、枠1の領域に含まれる画素数と枠2の領域に含まれる画素数それぞれについて所定の閾値以上か否かを判定し、枠1の領域に含まれる画素数だけが閾値以上である場合には、光源はナトリウムランプと識別され、ステップ404にてホワイトバランス処理は所定のゲイン設定値で制御する。また、その他の場合には、光源は夕日時の太陽又はその他ナトリウムランプ以外のものと判定され、ステップ405にてホワイトバランス処理は例えば、R信号、G信号、B信号の信号レベルが同等となるように制御する。
【0020】
以上のフローにより、所定の光源であるかの判定を信号の分布領域判定情報に基づく領域内の画素数を用いて実施することで、簡単な処理によって、ホワイトバランス処理部のゲインを所定の値に設定することと、ホワイトバランス処理は例えば、R信号、G信号、B信号の信号レベルが同等となるように制御する事の切り替えが可能となる事で、シーンに応じた光源を正確に推定したホワイトバランス処理を実施することができる。なお、ここでは、システム制御部105で閾値以上か否かを判定する例を示したが、画素信号分布処理部103にて領域毎の判定まで行い、判定結果をシステム制御部105に出力するようにしても構わない。
【0021】
なお撮像装置の電源がONの場合や、ホワイトバランス制御が動作している場合等には、フロー404あるいはフロー405の終了後、継続してフロー401から実施される。また、本フローは毎フレームの実施であっても、フレームを間引いて実施してもよい。
【0022】
また、本実施例ではナトリウム光源を例として述べているが、任意の判定領域に画素が分布する光源は、ナトリウムランプ光源に限らず、例えば、信号分布判定領域を水銀灯光源に対応する判定領域とすることで水銀灯光源のシーンを判定する事ができる。水銀灯光源下と判定した際、ホワイトバランス処理の信号処理に対して所定の値に設定する事で、水銀灯光源下での人の目で見た見た目と同等の色相にあわせるといった制御を実施することが可能となる。
【0023】
また、ナトリウム光源下、あるいは水銀灯光源下でなくとも、特定光源にあわせて判定領域及び、ホワイトバランス処理の信号処理に対して所定の値に設定する事で、ナトリウム光源時の処理と同等、赤外波長を含む夕日といった光源の違いを2次元平面上における分布領域の違いで容易に判別しできるという利点がある。
【0024】
また光源判別の結果、人の目で見た見た目と同等の色相にあわせるといった制御を実施可能であるという利点がある。
【0025】
また、本実施例では、R−Cir信号と、B−Cir信号により画素信号分布処理を実施しているが、Rあるいは、Bは、Gであってもよい。
【0026】
また、
図1の変形例として、
図9に示すように、撮像部からの出力をRir,Gir,Bir,Cirとし、信号処理部から画素信号分布処理部への信号をR-Cir、B-Cir信号としてもよい。また、出力IF部でR,G,B信号からY信号及び,U、V信号に変換して出力しているが、
図9で示すようにR、G、B信号で出力してもよい。
【実施例2】
【0027】
図5は第1の実施例の車載撮像装置による画像を画像認識装置で認識処理する車載撮像システムの一例を説明する図であり、この車載撮像システムは、車載撮像装置501と、画像認識部502と、表示部503とを適宜用いて構成される。
【0028】
本実施例ではホワイトバランスが正しく処理できない光源に対し、人の目で見た見た目と同等の色相にあわせたとしても、被写体の正しい色相とは異なるため、例えば画像認識処理を行う場合には正しく認識が出来ない可能性が高いため、画素信号分布処理部で求めた光源による分布情報によりナトリウムランプ光源など特定の光源と判定した際、車載撮像装置から画像認識部502などに認識精度が低下する可能性のある色再現が正しくない画像であることを制御情報として通知する。このような制御情報を通知することで、画像認識部502が処理した認識結果について、認識結果の正確性を判断する情報として使用することが可能となり、たとえば、路面の白線や黄線の認識結果の正確性が低い場合、
図6に示すように、太陽光源下の白線の色再現が正しく白線認識の正確性が高い画像例を示す表示部601の車線認識結果602と、ナトリウムランプ光源下のトンネル内の白線の色再現が悪く、白線認識の正確性が低い画像例を示す表示部603の車線認識結果604で示すように、車線認識結果を示す表示方式の一例として色や、線の形状を変えるなどして、認識の正確性を表示する事が可能となり、光源の違いを2次元平面上における分布領域の違いで容易に判別できるというのが利点とともに、画像認識処理結果の信頼性を高くする事ができるという利点がある。
【実施例3】
【0029】
次に、第1の実施例の車載撮像装置と同様の構成で、光源の識別並びに適切なホワイトバランス処理の処理フローが異なるものの一例について
図7を用いて説明する。ステップ701から703と、705はステップ401から403、405と同様であり、ステップ701では、R信号及び、B信号、と赤外を含む全可視光領域のCir信号を用い、R−Cir信号、B−Cir信号を生成し、ステップ702では、R−Cir信号、B−Cir信号のうち、所定の信号領域に含まれる画素信号を抽出し、ステップ703では、所定の信号領域に含まれる画素が一定以上あるか判定をする。
【0030】
ステップ704では、所定の信号領域に含まれる画素が一定以上ある場合、ホワイトバランス処理を本判定以前のゲイン設定値で制御する。ステップ705では所定の信号領域に含まれる画素が一定以上ない場合、ホワイトバランス処理は例えば、R信号、G信号、B信号の信号レベルが同等となるように制御する。
【0031】
以上のフローのように処理することで、ナトリウム光源などを2次元平面上における分布領域の違いで容易に判別できるという利点があるとともに、ナトリウム光源判別の結果、ナトリウム光源判別するより以前のホワイトバランスのゲイン値設定を維持できることから、ナトリウム光源と判定される前後のシーンにおいてホワイトバランスのゲイン値設定がばらつかずに連続性を保つといった利点がある。
【0032】
なお撮像装置の電源がONの場合や、ホワイトバランス制御が動作している場合等には、ステップ704あるいはステップ705の終了後、継続してステップ701から実施される。また、本フローは毎フレームの実施であっても、フレームを間引いて実施してもよい。
【実施例4】
【0033】
図8は車載撮像装置を車載レコーダとモニタへ映す用途へ適用した車載撮像システムの一例を示す図である。同図において、802は車の走行中の車載撮像装置の画像を録画する記録部、803は車載撮像装置801の撮像した画像を映す表示部である。
【0034】
本車載撮像システムは、実施例1等で示したように、ナトリウム光源や、太陽光といった光源に応じてホワイトバランス処理を制御する事でナトリウム光源のトンネルシーンなどで撮影記録される画像や、表示部に表示される画像が最適な画像となるといった利点がある。
【0035】
なお、
図5あるいは
図8で示した車載撮像システムでは、認識処理部、記録部、表示部に対してY信号及び,U,V信号(輝度信号及びと色差信号信号)を出力しているが、R、G、B信号でもよい。
【0036】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0037】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。