(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
以下、本発明の各実施例を図面を用いて説明する。
【実施例1】
【0012】
図1は、本発明による車載撮像装置の第1の実施例を示すブロック構成図である。
撮像部1は、被写体からの入射光を集めるためのレンズと、レンズが集めた光を光電変換し画像信号として出力する撮像素子と、電子シャッタ制御部及び利得制御部を有する。映像解析部2は、撮像部1からの撮影画像について、画像の輝度や色に関する分布やヒストグラムの解析を行う。
【0013】
映像処理部3は、撮影した画像について適正な輝度分布となるように補正する。具体的には、露光条件の異なる2枚の画像から1枚の画像を合成するワイドダイナミックレンジ処理(以下、WDR処理)を実施するWDR処理部4と、1枚の画像に対してコントラスト補正を実施するコントラスト補正処理部5から構成され、いずれかの処理を選択して実施する。なお、WDR処理やコントラスト補正処理において、映像解析部2の解析結果を用いる。
【0014】
車速センサ部7は、当該車載撮像装置が搭載された車両の走行速度を検出する。映像制御部6は、映像解析部2による映像解析結果および車速センサ部7の車速情報に基づき、撮像部1と映像処理部3を制御する。すなわち、撮像部1に制御信号を送り、露光条件(シャッター時間など)を変化させる。また、映像処理部3に制御信号を送り、WDR処理とコントラスト補正処理との切り替えを指示する。
【0015】
図2は、本実施例の映像制御部6の制御フローを示す図である。車速センサ部7で車両の速度(車速)を検出すると(S101)、映像制御部6は車速を閾値速度Aと比較する(S102)。車速が閾値速度Aよりも大きい場合には、映像処理部3に対してコントラスト補正処理を実施するように制御する(S103)。車速が閾値速度A以下の場合には、映像処理部3に対してWDR処理を実施するように制御する(S104)。
【0016】
ここで、映像処理部3が行うWDR処理とコントラスト補正処理について説明する。車載カメラなど屋外の太陽光下で撮影する被写体は、輝度差(コントラスト)が非常に大きく信号のダイナミックレンジが大きいシーンが多数存在する。そのようなシーンにおいて通常の撮影条件で撮影すると、被写体やその背景に白とびや黒つぶれが発生し、画像認識時の誤認識の原因となってしまう。そこで本実施例では、WDR処理およびコントラスト補正処理により、ダイナミックレンジの大きなシーンに対して、白とびや黒つぶれの発生を抑えるようにしている。
【0017】
図3は、WDR処理を説明する図である。ダイナミックレンジを拡大するWDR処理にはいくつかの方式が存在するが、ここでは露光条件の異なる2枚の画像から1枚の画像を合成する場合を示す。図では撮影画像の各輝度レベルに対する出現度数(ヒストグラム)を示したもので、(a)は露光時間の長い低速シャッタ、すなわち低輝度信号領域13Lに対して階調表現を行った画像であり、(b)は露光時間の短い高速シャッタ、すなわち高輝度信号領域13Hに対して階調表現を行った画像である。(c)は2つの画像を用いて各領域13L,13Hの部分(実線の部分)を合成した画像で、低輝度と高輝度の両領域で階調表現が可能となっている。なお、露光タイミングの制御方式としては、長時間露光と短時間露光の両方を1/60sec内で行い、合成後のWDR画像を60フレーム/secで表示する方式と、長時間露光と短時間露光を1/60sec毎に交互に行い、合成後のWDR画像を30フレーム/secで表示する方式などがある。本実施例では前者の60フレーム/secで表示する方式を用いている。
【0018】
図4は、コントラスト補正処理を説明する図である。コントラスト補正処理とは、撮影画像の低輝度領域の黒つぶれと高輝度領域の白とびに対して、それぞれ階調を補正するものである。図では撮影画像の各輝度レベルに対する出現度数(ヒストグラム)を示したもので、(a)は階調補正前、(b)は階調補正後である。(a)では、撮影画像の低輝度領域14Lと高輝度領域14Hの両領域において階調表現が十分になされておらず、黒つぶれや白とびが発生している。これに対し(b)では、輝度分布が集中している低輝度領域と高輝度領域に対し、輝度分布を拡張させるように階調を補正する。これにより輝度分布が拡張され、十分な階調表現がなされた低輝度領域14L’と高輝度領域14H’に変換できる。なお、コントラスト補正処理は画像が1フレーム入力する毎に実行するものであるから、入力画像のフレームレートと出力画像のフレームレートは等しくなる(例えば両者とも60フレーム/sec)。
【0019】
次に、本実施例において車速センサ部7の情報に基づいてWDR処理とコントラスト補正処理を切り替える理由について述べる。
まずWDR処理の場合、露光時間の異なる2枚の最適露光画像を合成することでダイナミックレンジを大幅に拡大できるが、合成する短時間露光と長時間露光の個々の露光タイミングが異なるために、被写体が高速で動く場合には被写体ブレが発生するという問題がある。この被写体ブレは、視認性はもとより、画像認識時には誤認識や認識率の低下などの原因となってしまう。
【0020】
これに対しコントラスト補正処理では、補正処理が1フレームの中で完結しているので、コントラスト補正処理により被写体ブレが発生することはない。しかしながら、ダイナミックレンジの拡大幅の点ではWDR方式に比較すると劣っている。
【0021】
そこでこの2方式の特徴を考慮し、以下のようにWDR処理とコントラスト補正処理を切り替える。
まず車両がある速度(閾値A)以下で低速走行中には、WDR処理に切り替える。撮像装置と被写体との相対速度は比較的小さいので、WDR処理による映像処理を行っても被写体ブレは発生しにくい。車両が低速で走行する場合は、被写体の明暗差が大きい地下駐車場の出入り口や夜間の見通しが悪い場所のように、被写体に対して特に注意を要するときが多い。このような場合にWDR処理に切り替えることで、ダイナミックレンジを大幅に改善して白とびや黒つぶれをなくし、視認性や画像認識率の改善が可能となる。
【0022】
次に車両がある速度(閾値A)を超えて高速走行中には、コントスト補正処理に切り替える。撮像装置と被写体(車両と同一方向に高速に移動する被写体を除く)との相対速度は大きいが、補正処理による被写体ブレの発生がなく、白とびや黒つぶれを改善して視認性や画像認識率の向上が可能となる。
【実施例2】
【0023】
図5は、本発明による車載撮像装置の第2の実施例を示すブロック構成図である。実施例2では、実施例1(
図1)の構成において車速センサ部7に代えてシフトレバー検知部8を備えている。シフトレバー検知部8は車両のシフトレバー位置(すなわちギア位置)を検出する。
【0024】
図6は、実施例2の映像制御部6の制御フローを示す図である。この場合の制御は、シフトレバー検知部8によりギア位置を検出し(S201)、ギア位置が2速以上に設定されているかどうかを判定する(S202)。2速以上であれば、コントラスト補正処理に切り替え(S203)、それ以外の位置(1速、バック位置、ニュートラル位置など)であれば、WDR処理に切り替える(S204)。なおS202におけるギア位置の判定でどのギア位置と比較するかは、車両の性能を考慮して適宜定めれば良い。
【0025】
本実施例の具体的な効果について説明する。シフトレバーの位置が2速以上でない(1速、バック位置、ニュートラル位置など)ときは、車両が低速で走行する場合が多く、WDR処理を実施しても被写体ブレは発生しにくい。特に車両をバック走行するときはドライバーにとって目視確認が困難となりやすいが、WDR処理によりダイナミックレンジを大幅に拡大することで視認性が改善する。
【実施例3】
【0026】
図7は、本発明による車載撮像装置の第3の実施例を示すブロック構成図である。実施例3では、実施例1(
図1)における車速センサ部7と、実施例2(
図5)におけるシフトレバー検知部8の両方を備えている。
【0027】
図8は、実施例3の映像制御部6の制御フローを示す図である。この場合の制御は、ギア位置が2速以上であって(S302)、かつ車速が閾値Aを超えている場合(S303)にコントラスト補正処理に切り替えるものである(S304)。これにより、2つの判定(ギア位置、車速)が食い違っている場合に、WDR処理を優先して実施させることができる。
【実施例4】
【0028】
図9は、本発明による車載撮像装置の第4の実施例を示すブロック構成図である。実施例4では、実施例1(
図1)の構成に動体解析部9を追加している。動体解析部9は撮影画像から被写体の動きを検出し、車両に対する被写体の相対速度を算出する。
【0029】
図10は、実施例4の映像制御部6の制御フローを示す図である。この場合の制御は、車速センサ部7で検出した車速と、動体解析部9で算出した被写体速度(車両に対する相対速度)を用いる(S401)。車速が閾値Aを超えているかを判定し(S402)、また被写体速度が閾値Bを超えているかを判定する(S403)。いずれかの判定がYesであればコントラスト補正処理に切り替え(S404)、両方の判定ともNoであればWDR処理に切り替える(S405)。
【0030】
本実施例の具体的な効果について説明する。WDR処理を行うのは車速が閾値A以下の低速走行中で、かつ被写体の相対速度が閾値B以下のときであるから、被写体ブレは発生しにくい状況であり、ダイナミックレンジの拡大効果を発揮できる。一方、車速が閾値Aを超えるとき、または被写体の相対速度が閾値Bを超えるときにはコントスト補正処理に切り替えるので、被写体ブレは発生しない。
【実施例5】
【0031】
図11は、本発明による車載撮像装置の第5の実施例を示すブロック構成図である。実施例5では、実施例4(
図9)における動体解析部9を備えるとともに、車速センサ部7に代えてシフトレバー検知部8を備えている。シフトレバー検知部8は実施例2(
図5)における機能と同様である。
【0032】
図12は、実施例5の映像制御部6の制御フローを示す図である。この場合の制御は、シフトレバー検知部8で検出したギア位置と、動体解析部9で算出した被写体速度(車両に対する相対速度)を用いる(S501)。ギア位置が2速以上に設定されているかを判定し(S502)、また被写体速度が閾値Bを超えているかを判定する(S503)。いずれかの判定がYesであればコントラスト補正処理に切り替え(S504)、両方の判定ともNoであればWDR処理に切り替える(S505)。
【0033】
本実施例の具体的な効果について説明する。WDR処理を行うのはギア位置が低速走行位置であり、かつ被写体の相対速度が閾値B以下のときであるから、被写体ブレは発生しにくい状況であり、ダイナミックレンジの拡大効果を発揮できる。一方、ギア位置が高速走行位置のとき、または被写体の相対速度が閾値Bを超えるときにはコントスト補正処理に切り替えるので、被写体ブレは発生しない。
【実施例6】
【0034】
図13は、本発明による車載撮像装置の第6の実施例を示すブロック構成図である。実施例6では、実施例4(
図9)における動体解析部9と車速センサ部7を備えるとともに、実施例5(
図11)におけるシフトレバー検知部8を備えている。
【0035】
図14は、実施例6の映像制御部6の制御フローを示す図である。この場合の制御は、ギア位置が2速以上であって(S602)かつ車速が閾値Aを超えている場合(S603)、または被写体速度が閾値Bを超えている場合(S604)にコントラスト補正処理に切り替える(S605)。それ以外の場合はWDR処理に切り替える(S606)。本実施例では3つの判定条件を設けており、被写体ブレの発生をより確実に防止できる。
【実施例7】
【0036】
図15は、本発明による車載撮像装置の第7の実施例を示すブロック構成図である。実施例7では、実施例1(
図1)の構成において車速センサ部7に代えて位置情報取得部10と特定位置情報保持部11を備えている。映像制御部6は、位置情報取得部10からの位置情報と特定位置情報保持部11の保持する特定位置情報を比較して、それらの一致/不一致を判定して映像処理部3を制御する。
【0037】
位置情報取得部10は車両の現在位置を取得するもので、例えばGPS(Global Positioning System)などの位置情報システムを用いる。また特定位置情報保持部11は、撮影する被写体の明暗差(輝度差)が所定値より大きくなることが想定される位置を特定位置Cとして記憶する。ここで明暗差が大きい特定位置Cとは、例えばトンネルの出入り口、地下駐車場の出入り口などが相当し、ナビゲーションシステムの地図情報を利用することで特定位置情報保持部11に記憶させることができる。
【0038】
図16は、実施例7の映像制御部6の制御フローを示す図である。位置情報取得部10により現在位置を検出し(S701)、これを特定位置情報保持部11の保持する特定位置Cと比較する(S702)。現在位置が特定位置Cに一致すればWDR処理に切り替え(S704)、特定位置Cに一致しなければコントラスト補正処理に切り替える(S703)。なお、一致/不一致の判定では、特定位置Cのみでなくその近傍領域を含めて特定位置Cとしても良い。これより、撮影する被写体の明暗差が所定値より大きくなることが想定される位置では、WDR処理への切り替えを行うことができる。
【0039】
本実施例の具体的な効果について説明する。走行する車両が被写体の明暗差が大きくなるトンネルの出入り口などに差しかかると、自動的にWDR処理を実施する。これにより、被写体の白とびや黒つぶれの発生しやすい被写体に対しダイナミックレンジを大幅に拡大して、視認性や画像認識率を改善することができる。
【0040】
なお、本実施例の構成に前記した実施例1−6の各構成を組み合わせることも可能であり、より高精度の制御が可能になる。
【実施例8】
【0041】
図17は、本発明による車載撮像装置の第8の実施例を示すブロック構成図である。実施例8では、実施例1(
図1)の構成に画像認識部12を追加している。画像認識部12は映像処理部3からの映像出力を用いて、特定の被写体(歩行者、他の車両、標識など)の認識処理を行い、認識結果(危険時はアラーム信号)を出力する。
【0042】
映像制御部6は車速センサ部7からの車速情報を受け、映像処理部3に対してWDR処理とコントラスト補正処理の切り替えを行うが、本実施例ではその切替情報6aを画像認識部12に対しても送る。画像認識部12では被写体の認識処理を行う際、送られた切替情報6aを考慮する。その理由は、コントラスト補正処理時は被写体ブレが生じないが、WDR処理時は被写体ブレが生じ、認識結果の精度が悪化する可能性があるからである。そこで画像認識部12では、この切替情報6aを参照して認識結果の確度を予測し、認識処理時の誤判定や誤認識を防止する。
【0043】
さらに画像認識部12は映像制御部6に対して、現在の認識率情報12aを送る。認識率情報12aは認識処理の成功率を示すもので、被写体ブレなどが存在すると悪化する。映像制御部6は送られた認識率情報12aを考慮して映像処理部3を制御する。すなわち、認識率が所定値以下となったら、WDR処理からコントラスト補正処理への切り替えを行う。
【0044】
本実施例によれば、WDR処理により被写体ブレが発生しても画像認識処理動作への影響(誤動作)を防止し、また何らかの要因で認識処理に誤動作が生じても、コントラスト補正処理に切り替えることで常に安定した認識処理を行うことができる。
【0045】
本実施例では映像処理切替判定のために車速センサ部7を有する実施例1の構成としたが、これに代えてシフトレバー検知部8をはじめとする前記した他の実施例2−7の構成としても良いことは言うまでもない。
【0046】
以上述べた各実施例では、映像処理部3のWDR処理とコントラスト補正処理とを切り替えるため、WDR処理部4とコントラスト補正処理部5を並列に接続する構成とした。その変形例として、
図18に示すようにWDR処理部4とコントラスト補正処理部5を直列に接続し、一方の処理をスルー処理(すなわち処理効果なし)としてもよい。このような直列接続構成とすることで、例えばWDR処理からコントラスト補正処理に切り替える際、WDR処理効果を弱めつつコントラスト補正処理効果を強めていくようにすれば、各処理の切り替わりを滑らかにすることが可能となる。また反対にコントラスト補正処理からWDR処理に切り替える際は、コントラスト補正処理効果を弱めつつWDR処理効果を強めていくことで、各処理の切り替わりを滑らかにすることが可能となる。