(58)【調査した分野】(Int.Cl.,DB名)
車両に請求項1ないし請求項3のいずれかに記載の画像処理装置を備えた車両前方監視装置であり、前記画像処理装置によって推定された前記対象物までの距離、または、画像認識された前記色特徴対象物、をもって、乗員に前方情報を報知する車両前方監視装置。
【背景技術】
【0002】
車両にカメラを搭載して車両前方を監視し、前方の車両や障害物を画像情報から抽出し、それらに衝突する前に警告を発したり、危険回避操作としてブレーキを作動させたりする車両前方監視装置が知られている。
【0003】
画像情報を基に車両前方の対象物との距離を推定する装置では、ステレオカメラと呼ばれる一対の撮像手段によって撮像した画像情報を基に、三角測量の原理を応用して対象物までの距離を算出している。
【0004】
ステレオカメラを用いた距離算出の精度は、画像位置の相対的な変化を検出する精度に依存しているので、遠方の対象物に対して推定可能な距離は、撮像された画像情報の量と撮像手段の光学特性とで制約される。このため、時速100km程度の走行時に適用される車両前方監視装置は、カメラの焦点距離を長くして視野範囲を狭めることによって精度を確保した遠距離用のカメラが用いられた。
【0005】
一方、低速走行時においては、車両の斜め前方まで認識できることが必要である。また高速走行中において、斜め前方から自車両の直前に割り込んできた他車両を検出するような場合には、広い視野範囲の画像情報を確保しておく必要があった。このため、カメラの焦点距離を短くして視野範囲を確保した近距離用のカメラが用いられた。
【0006】
特許文献1には、近距離用のCCDカメラと遠距離用のCCDカメラとをそれぞれステレオカメラとして持ち、どちらかのステレオカメラの画像処理を状況に応じて切替える構造の車外監視装置が開示されている。
【0007】
図13は、特許文献1に記載の車外監視装置を備える車両200の正面図である。
図13に示すように、遠距離用のCCDカメラ201、202と近距離用のCCDカメラ211、212との合計4台のカメラが搭載されている、遠距離用又は近距離用のどちらかの画像がステレオ画像処理装置に入力されて、左右画像上の位置のずれ量が決定され、対象物までの距離が算出される。
【0008】
特許文献2には、近距離撮影用カメラのレンズと遠距離撮影用カメラのレンズとをそれぞれステレオカメラのレンズとして持ち、それぞれが撮像する画像を別々の撮像領域(撮像面)に形成させた構造の撮像装置が開示されている。近距離撮影用ステレオカメラのレンズと遠距離撮影用ステレオカメラのレンズとを組み合わせて車両近傍から遠方まで、距離測定に適した鮮明な画像情報を得られるとともに、それらの画像を切り替えることなく取得できる。
【0009】
このことから、遠距離撮影用ステレオカメラの作動中である高速走行中において、斜め前方から自車両の直前に他車両等が割り込んで来たような場合でも、近距離撮影用ステレオカメラの画像情報によって割り込み車両を検出し、直ちに警告や危険回避操作に繋げることができる。
【発明の概要】
【発明が解決しようとする課題】
【0011】
しかしながら、遠距離撮影用カメラは、夜間の街灯が少ない道路においても撮像できる要求があり、いわゆる暗視が可能なものが必要である。そのため、赤外光フィルタを用いて赤外光波長帯による画像を撮像するカメラ、または、赤外カットフィルタを用いずに可視光波長帯及び赤外光波長帯による画像を撮像するカメラが使用される。上記従来技術の構造においては、近距離撮影用ステレオカメラのレンズと遠距離撮影用ステレオカメラのレンズとを用いることから、少なくともレンズが4つ必要となる。
【0012】
また、これらの暗視用カメラの画像は、可視光波長帯のカラー画像ではないため、物体の色が取得できないものであった。そのため、色情報の認識ができなかった。色情報の認識を行うためには、赤外光波長帯による画像を撮像する一対のステレオカメラに加えて、可視光波長帯による画像を撮像するカメラを用意して、車外監視装置(車両前方監視装置)を構成する必要があり、必要な画像処理装置が高価となってしまう。
【0013】
本発明は、上記課題を解決するためのものであり、特に、一対の撮像手段によって、色特徴を含む画像と暗視画像とステレオカメラとしての画像とを同時に取得し、画像認識した対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる画像処理装置及び車両前方監視装置を提供するものである。
【課題を解決するための手段】
【0014】
本発明の画像処理装置は、
相対的に画角が広いレンズを介して集光した可視光及び近赤外光を受光することで、車両前方を可視光及び近赤外光で撮像可能な第1の撮像手段と、
相対的に画角が狭いレンズを介して集光した遠赤外光を受光することで、同じく車両前方において、前記第1の撮像手段の視野と共通領域を含む視野範囲を遠赤外光で撮像可能な第2の撮像手段と、前記第1の撮像手段によって撮像された第1の画像情報及び前記第2の撮像手段によって撮像された第2の画像情報を基に、対象物を認識する画像認識手段と、を有し、前記画像認識手段は、前記第1の画像情報を補正して第1の画像、及び、前記第2の画像情報を補正して第2の画像、を取得し
、さらに前記第1の画像から前記第2の画像との共通領域に対応する白黒の第3の画像を切り出し、前記第1の画像によって前記対象物の色特徴を検知して、前記色特徴に関係付けされた色特徴対象物として前記対象物を画像認識する処理が行われる画像処理部と、
前記第3の画像に含まれる前記対象物の特徴点を抽出し、ステレオ測距対象物として前記対象物を画像認識し
、前記特徴点に対応する対応点を前記第2の画像から探し、前記第3の画像の特徴点と前記第2の画像の対応点から前記対象物までの距離を推定する処理が行われる距離推定処理部と、を備え
、抽出された前記特徴点が前記第2および第3の画像の範囲から外れた後も、前記第1の画像において前記色特徴対象物として前記対象物を認識し続け、必要に応じて車両の乗員に前記対象物の情報を通知することを特徴とする。
【0015】
第1の撮像手段は
、相対的に画角が広いレンズを介して集光した可視光及び近赤外光を受光することで第1の画像情報を撮像できる。第2の撮像手段は、
相対的に画角が狭いレンズを介して集光した遠赤外光を受光することで、第1の撮像手段の視野と共通領域を含む視野範囲
で第2の画像情報を撮像できる。これにより、画像処理装置は、第1の画像情報及び第2の画像情報を補正して第1の画像及び第2の画像を取得して、第1の画像によって対象物の色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する。また、第1の画像と第2の画像とを基に、ステレオ測距対象物として前記対象物を画像認識し、画像処理装置の撮像位置から該ステレオ測距対象物までの距離を推定できる。よって、それぞれ1つのレンズを備えた一対の撮像手段によって、色特徴を含む画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる。したがって、2台のステレオカメラを用いることなく同等の画像処理が可能な画像処理装置とすることができる。
【0017】
また、可視光及び近赤外光で第1の画像を取得
するので、第1の画像に含まれる物体の色特徴を検知して対象物を画像認識することができるとともに、第1の画像と第2の画像との赤外光波長帯でのステレオカメラとしての画像を取得できる。こうすれば、可視光の光量が少ない夜間やトンネル内であっても、赤外光による画像で補うことができ、暗視のステレオ測距性能が向上する。
【0019】
また、第2の画像として遠赤外光での画像を取得
するので、夜間に人体を検知する感度が、さらに向上する。
【0021】
また、車両前方の近距離に位置する信号や標識を視野内に捉えて、信号や標識を色特徴によって検知することができる。第1の撮像手段は視野範囲が広いので、第1の画像には第2の画像と視野範囲が共通する共通領域も撮像可能であり、共通領域に対応させた第3の画像を切り出すことができる。第2の画像及び第3の画像に含まれるステレオ測距対象物の情報を第1の画像上で関係付けすれば、車両前方の遠距離に位置する信号や標識を車両前方の近距離に近づいても認識し続けることができる。
【0022】
前記第1の撮像手段と前記第2の撮像手段とが同一基板に配置されていることが好ましい。第1の撮像手段と第2の撮像手段とが同一基板に配置されているので、使用場所に取り付ける前に光学的な調整を行っておくことが可能になる。したがって、取り付けが容易であるとともに、左右のカメラが別体の配置に比べて、取り付け後の光学的な校正が不要である。
【0023】
前記画像処理部は、あらかじめ座標変換表が記憶されている座標変換表記憶部を有し、前記画像処理部において、前記第1の画像情報及び前記第2の画像情報に対して、前記座標変換表を用いた平行化処理が行われていることが好ましい。こうすれば、第1の撮像手段及び第2の撮像手段が理想的な平行姿勢にない状態で取得される画像情報を平行姿勢で取得される画像に補正することができる。この平行化処理による画像補正は、あらかじめ作成しておいた座標変換表を用いて行うので、画像データの画素数が多くても、高速処理が可能である。高速処理が可能であるため、画像認識の処理速度を低下させることがない。
【0024】
さらに、本発明の車両前方監視装置は、上記の画像処理装置を備えた車両前方監視装置であり、前記画像処理装置によって推定された前記対象物までの距離、または、画像認識された前記色特徴対象物、をもって、乗員に前方情報を報知するという特徴を有する。
【発明の効果】
【0026】
本発明によれば
、それぞれ1つのレンズを備えた一対の撮像手段によって、色特徴を含む画像と暗視画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる。こうすれば、2台のステレオカメラを用いることなく同等の画像処理が可能な画像処理装置とすることができる。
【0027】
したがって、一対の撮像手段によって、色特徴を含む画像と暗視画像とステレオカメラとしての画像とを同時に取得し、画像認識した対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる画像処理装置及び車両前方監視装置を提供することができる。
【発明を実施するための形態】
【0029】
[第1実施形態]
以下に第1実施形態における画像処理装置1について説明する。
【0030】
図1は、第1実施形態における画像処理装置1を示すブロック図である。画像処理装置1は、カメラユニット30と画像認識手段40と制御手段50とを備え、車両前方を撮像するように車両に搭載される。制御手段50は、カメラユニット30と画像認識手段(画像認識ユニット)40とに電源を供給するとともに、制御信号を出力して、それぞれの状態を制御している。
【0031】
カメラユニット30は、広角レンズ11と第1の撮像素子12とを有して、第1の画像情報を得る第1の撮像手段10、望遠レンズ21と第2の撮像素子22とを有して、第2の画像情報を得る第2の撮像手段20、及び、第1の撮像手段10と第2の撮像手段20とに接続された画像出力部31、を備えている。画像出力部31は、第1の画像情報及び第2の画像情報を所定の時間間隔で繰り返し取得するとともに画像認識手段40に出力する電子回路である。
【0032】
画像認識手段(画像認識ユニット)40は、第1の画像情報及び第2の画像情報を基に対象物を認識するため、画像入力部41、画像処理部42、距離推定処理部43、及び、表示用画像出力部44、を有している。画像入力部41には、画像出力部31から送信された画像情報が入力され、画像処理部42では、取得した画像情報を補正して第1の画像及び第2の画像を取得し、第1の画像から第3の画像を切り出す処理を行う。また、画像処理部42は、距離推定処理部43に送るステレオ画像データと表示用画像出力部44に送る表示用画像データとを出力する。
【0033】
距離推定処理部43では、画像処理部42で補正された第1の画像から切り出された第3の画像と、画像処理部42で補正された第2の画像と、を基に、共通に含まれるステレオ測距対象物を認識して、ステレオ測距対象物までの距離を推定する処理が行われる。
【0034】
表示用画像出力部44では、ユーザが視認しやすいように調整して表示用画像を出力する。また、距離推定処理部43で認識されたステレオ測距対象物を強調し、推定された距離を表示する処理を行う。
【0035】
図2は、本実施形態の画像処理装置1が搭載された車両の模式正面図である。車両の前方から見て、フロントガラス越しにカメラユニット30が装着されていることを視認できる。このカメラユニット30は広角レンズ11及び望遠レンズ21からなり、広角レンズ11と望遠レンズ21とは車両の同一高さ、且つ、左右方向に位置するとともに、車両前方の方向にレンズの光軸が向いている。カメラユニット30は、光学的な調整が容易にできるように、1枚のカメラユニット基板(図示しない)に、画像出力部31とともに、第1の撮像手段10と第2の撮像手段20とが組み込まれている。また、カメラユニット30とは分離されて、画像認識手段40が車両内部に配置されている。
【0036】
本実施形態の画像処理装置1は車両に搭載されているので、表示用画像出力部44から出力される表示用画像は、車両の運転席前方側に配置された表示手段60により視認される。表示手段60は、例えば液晶表示装置であり、カーナビゲーション装置やオーディオ装置の表示画面を利用することができる。また、運転用のステアリング近傍や運転席前方のフロントガラスに表示手段60を専用に設けてもよい。なお、使用する表示手段60の表示特性に合わせて、表示用画像出力部44でダイナミックレンジや階調を補正しておくことが好ましい。
【0037】
次に、本実施形態の画像処理装置1の撮像手段について説明する。
【0038】
本実施形態において、第1の撮像手段10は、広角レンズ11と第1の撮像素子12とを有し、可視光を集光可能に構成されている。一方、第2の撮像手段20は、望遠レンズ21と第2の撮像素子22とを有し、赤外光を集光可能に構成されている。
【0039】
図3は、本実施形態の画像処理装置1が搭載された車両を上から見た俯瞰図である。模式的に、第1の撮像手段10の水平方向の画角(水平画角A1)及び第2の撮像手段20の水平方向の画角(水平画角A2)を表わしている。
【0040】
第1の撮像手段10に用いた第1の撮像素子12は、画素数が多く、カラー撮影用の可視光フィルタを備えている。透過する波長が赤色の領域、緑色の領域、及び青色の領域のRGBフィルタである。例えば、第1の撮像素子12には、ビデオカメラに搭載されている固体撮像素子を使用することができる。例えば、水平1920×垂直1080のカラー画像を30枚/秒で撮像可能な固体撮像素子を使用する。水平画角A1として40度の視野範囲を撮像できるように広角レンズ11が選択された。
【0041】
一方、第2の撮像手段20に用いた第2の撮像素子22は、標準的なVGAと呼ばれる画素数で、且つ、赤外光を透過する赤外光フィルタを備えている
。例えば、水平640×垂直480の白黒画像を30枚/秒で撮像可能な固体撮像素子を使用する。水平画角A2として20度の視野範囲を撮像できるように望遠レンズ21が選択された。
図3に示すように、第2の撮像手段20の視野範囲は、第1の撮像手段10の視野範囲内にある。
【0042】
<画像処理手順>
次に、本実施形態における画像処理手順について説明する。画像処理装置1において、画像認識手段(画像認識ユニット)40は、第1の撮像手段10と第2の撮像手段20との相対的な取り付け姿勢に影響されず、カメラ実姿勢に含まれる取り付け誤差の影響を除去する平行化処理(Rectification)を行う。このとき、歪み除去処理も同時に行う。
【0043】
一般的に、ステレオカメラを構成する左右の撮像手段の理想配置状態は、左右の撮像手段が完全に同一な平行姿勢で固定された状態である。そのため、ステレオカメラを用いた距離算出処理は、平行姿勢において撮影された左右の画像ペアを対象としている。
【0044】
ステレオカメラの理想的な相対取り付け姿勢(平行姿勢)とは,カメラ座標系X軸(カメラ右方向)が基線と平行であり、且つ、カメラの光軸(カメラ座標系Z軸)が平行な姿勢のことである。ステレオカメラにおける基線とは、左右のレンズ中心を結ぶ直線である。画像情報の平行化処理は、撮影画像情報から、撮像手段が理想的な平行姿勢であったときに撮影されたであろう画像へと変換を行うことで達成される。ここで、カメラ座標系とは、カメラが持つ座標系であり、画像中心を原点として,右方向がX軸のプラス方向,下方向がY軸のプラス方向,カメラの正面向きがZ軸のプラス方向となるものを表す。
【0045】
画像処理装置1においては、カメラユニット30に第1の撮像手段10と第2の撮像手段20とが組み込まれて、取り付けの位置や傾きに対する機構的な調整が行われて固定される。この後、白と黒の方形が交互に配列されたチェッカーボードを撮像して取得された画像情報によって、第1の撮像手段10に対する第2の撮像手段20の光学的な相対位置データを取得する。すなわち、両レンズの光軸(カメラ座標系Z軸)方向の相対位置、光軸(カメラ座標系Z軸)に直交する平面(カメラ座標系X軸及びY軸の平面)上での上下左右位置、及び第1の撮像手段10に対する第2の撮像手段20のロール・ピッチ・ヨーが把握される。
【0046】
こうして得られた相対位置データは、画像処理部42にあらかじめ記録され、撮影画像情報から、撮像手段が理想的な平行姿勢であったときに撮影されたであろう画像へと校正する変換を行う平行化処理に適用される。
【0047】
このとき、少なくとも、第1の撮像手段10で撮像された画像情報の歪み除去処理も同時に行う。すなわち、撮像手段がレンズに固有の像高特性を有しているため、画像データ上のXY座標と実空間での位置のXY座標とが一致するように変換を行う。上記のチェッカーボードのXY座標データが分かっているので、チェッカーボードを撮像した画像情報から歪み除去処理用のデータを取得することができる。第1の撮像手段10は第2の撮像手段20より広い視野範囲を有するので、撮像された画像情報は広角レンズ11に特有の中央が大きく写り、周辺が歪んでいる画像である。この歪みをもったままであると、第3の画像を第2の画像と比較することが複雑になる。このため、撮像された画像情報に対して歪み除去処理をおこなって、歪みの無い状態の第1の画像に変換する。
図4は、チェッカーボードを撮像した第1の画像の画像補正を示す説明図である。
図4(a)は画像を補正する前の画像イメージであり、
図4(b)は補正後の画像イメージである。第2の撮像手段20で撮像された画像情報の歪み除去処理も同様に行うことが可能である。こうすれば、第1の撮像手段10及び第2の撮像手段20がそれぞれ固有のレンズ特性を有し、理想的な平行姿勢にない状態であっても、理想的な画像に補正することができる。
【0048】
本実施形態においては、これらの画像補正を、LUT(Look Up Table)と呼ばれる変換手法によって行う。これは、撮像した画像情報における各画素の座標を、歪みの無い場合に撮像されるべき座標位置に配置し直すもので、あらかじめ座標変換表を作成しておく手法である。本実施形態では、チェッカーボードを撮像した画像情報から座標変換表を作成しておき、画像処理部42の座標変換表記憶部45に、あらかじめ座標変換表が記憶されている。画像処理部42において、座標変換表記憶部45に記憶されている第1の画像情報用の座標変換表を用いて、第1の画像情報に対して平行化処理及び歪み除去処理が行われ、第1の画像を取得する。同様に、第2の画像情報に対して第2の画像情報用の座標変換表を用いて、平行化処理及び歪み除去処理が行われ、第2の画像を取得する。なお、一方の画像情報を基準にすれば、平行化処理については他方の画像情報のみ行えばよい。一般的に、これらの画像補正は、画像情報の各画素に対して計算式を用いた計算により行うことができる。しかしながら、画素数が増加すると、計算量が膨大になるため、処理速度が低下する問題を有していた。本実施形態では、この歪み除去処理をあらかじめ記憶された座標変換表を用いて行うので、数式による演算処理が不要で、画像データの画素数が多くても高速処理が可能である。高速処理が可能であるため、画像認識の処理速度を低下させることがない。
【0049】
図5は、第1実施形態における画像処理手順について説明するフローチャートである。画像認識手段40における画像処理手順として、ステップST1では、第1の撮像手段10と第2の撮像手段20とが撮像した画像情報が、画像処理部42に入力され、画像情報が取得される。ステップST2では、上述した画像補正を行い、第1の画像情報を補正して第1の画像、及び、第2の画像情報を補正して第2の画像が取得される。
【0050】
さらに、ステップST3では、取得された第1の画像から、第2の画像との共通領域に対応させた第3の画像を切り出し、第3の画像が取得される。第1の撮像手段10で撮像された第1の画像は、水平画角40度なので視野範囲が広く、第2の撮像手段20で撮像された第2の画像との共通領域を含んでいる。裏返して言えば、第2の撮像手段20で撮像された第2の画像は、水平画角20度なので、第1の画像に比べて視野範囲が狭く、且つ、第1の画像と共通領域を有する。そのため、第1の画像から、第2の画像との共通領域に対応させた第3の画像を切り出すことができる。
【0051】
ステップST2で第1の画像を補正するとともに、ステップST3で第1の画像から第3の画像を切り出す画像処理は、画像処理部42で行われる。このとき、切り出された第3の画像に対して、グレイスケール画像に変換される。
【0052】
次に、距離推定処理部43において、共通領域に対応させた第3の画像に含まれる対象物の特徴点を抽出して、特徴点に関係付けされたステレオ測距対象物を認識し、画像処理装置の撮像位置からステレオ測距対象物までの距離を推定する処理が行われる。ステップST4では、第3の画像に含まれる対象物の特徴点が抽出され、第3の画像に映っている特徴点について、対応する第2の画像が探索される。第3の画像に映っている特徴点に対応する第2の画像の対応点が探索されると、ステップST5で、第3の画像における特徴点の画像位置と第2の画像における対応点の画像位置とを基に、画像位置のずれ量が計測される。第3の画像に含まれる対象物の特徴点と第2の画像に含まれる対応点に関係付けされたステレオ測距対象物に対して、画像位置のずれ量により、三角測量の原理で距離が算出される。この処理は、ステップST6で画像処理が終了されるまで、次のタイミングで撮像された画像情報に対して同様に繰り返される。
【0053】
図6は、第1の画像及び第2の画像を示す説明図である。なお、第1の画像と第2の画像とを比較しやすくするため、一般的な可視光の白黒画像を用いて説明する。この
図6において、車両から信号までの距離は仮に50m程度としている。
図6(a)は、第1の撮像手段10で撮像された第1の画像及び第3の画像(F領域の画像)を示す説明図である。ここで、第1の画像は元々カラー画像であり、第3の画像は白黒の濃淡画像である。
図6(b)は、第2の撮像手段20で撮像された第2の画像を示す説明図である。上述した補正処理が行われた後の画像イメージで示している。
図6(a)においては、第2の画像との共通領域に対応して、第1の画像からF領域の画像を切り出す画像処理が行われている。車両前方の遠方にある信号は、第2の画像及び第3の画像に共通に含まれている。
【0054】
図7は、第1の画像及び第2の画像を示す説明図である。
図6と同様に、可視光の画像を用いて比較しやすくしている。この
図7において、車両から信号までの距離は仮に15m程度としている。
図7(a)は、第1の撮像手段10で撮像された第1の画像を示す説明図である。
図7(b)は、第2の撮像手段20で撮像された第2の画像を示す説明図である。
図7(a)では、車両前方の信号が第1の画像に含まれていることが分かる。しかし、
図7(b)では、信号が第2の画像に含まれていない。つまり、
図6にて表した信号までの距離が50mの場合では、第1の撮像手段10及び第2の撮像手段20の双方で信号の認識ができていたが、信号までの距離が15mまで近づいた
図7においては、第1の撮像手段10のみでしか信号の認識を行うことができない。これは第1の撮像手段10の視野範囲が広いためであるが、画像処理装置1は、車両前方に近づいたときの信号等、視野範囲の周辺にある対象物を、第1の画像を用いることにより認識し続けることができる。
【0055】
また、
図6に示す信号のように第3の画像及び第2の画像に共通する対象物として認識され、左右画像における対象物の画像位置の相対的なずれ量が計測され、画像位置のずれ量により、距離が推定される。いったん、対象物として認識された特徴点は、第2の撮像手段20の視野範囲で撮像された第2の画像から逸脱した後も、視野範囲の広い第1の画像にて特徴点を認識し続けることができる。よって、抽出された対象物を継続追尾する。これにより、第2の撮像手段20の視野範囲から逸脱した後も、第1の画像にて特徴点の画像位置が経時変化する様子を基に対象物までの距離を推定できる。したがって、第2の画像及び第3の画像に含まれるステレオ測距対象物の情報を第1の画像上で関係付けすれば、車両前方の遠距離に位置する信号や標識を車両前方の近距離に近づいても認識し続けることができる。
【0056】
さらに、第1の撮像素子12がカラー撮影用の撮像素子なので、カラー画像である第1の画像によって、対象物の色特徴を検知することが可能である。この場合は、画像処理部42において、第1の画像に含まれる色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する処理が行われる。このため、第1の画像によって可視光での色特徴を抽出した対象物に対して、素早い認識ができる。第3の画像及び第2の画像の共通するステレオ測距対象物として認識された特徴点の色特徴を検知して、対象物を認識させ続けることができる。また、第1の画像によって可視光での色特徴に関係付けされた色特徴対象物に対して、第3の画像及び第2の画像の共通するステレオ測距対象物と同一であれば、該対象物までの距離を推定できる。
【0057】
図7(a)で追尾された信号の色特徴を認識していれば、赤信号から青信号に変化したときに、色特徴の変化として認識して、表示用画像に色変化したことを出力したり、合図音を鳴らしたりすることができる。
【0058】
したがって、車両に搭載されて車両前方を撮像する画像処理装置1に好適である。画像処理装置1では、第1の撮像手段10と第2の撮像手段20とが車両前方を撮像するように搭載される。第1の画像が車両前方における第1の遠距離画像を含む近距離画像であって、第2の画像が車両前方における第2の遠距離画像であって、第2の画像に含まれるステレオ測距対象物の情報を第1の画像上で関係付けすることができる。第1の撮像素子12が広角レンズ11で焦点深度が相対的に深いので、第1の画像には遠方の対象物も撮像可能である。車両前方の近距離に位置する信号や標識を視野内に捉えているので、信号の自動認識や標識の自動認識が可能である。
【0059】
また、1枚のカメラユニット基板に第1の撮像手段10と第2の撮像手段20とが配置されて組み込まれたカメラユニット30を、車両のフロントガラスを通して車両前方を撮像するように配置すれば、車両への取り付けが容易である。さらに、左右のカメラが別体の配置に比べて、第1の撮像手段10と第2の撮像手段20とが同一基板に配置されているので、車両に取り付ける前に光学的な調整を行っておくことが可能になる。したがって、取り付けが容易であるとともに、左右のカメラが別体の配置に比べて、取り付け後の光学的な校正が不要であるという効果を奏する。小型のカメラユニット30では、左右のレンズ間隔(基線長)は65mm程度にされた。一方、より遠距離での距離推定精度を確保したい場合は、横長にして、基線長を300mm程度にすればよい。
【0060】
本実施形態では、第1の撮像手段10と第2の撮像手段20とは、それぞれ1つのレンズだけを用いるので、レンズは2つだけである。また、撮像素子の撮像面は、多数の画素の集合体であり、測定精度を向上させるためには、画素の数を増やす必要があるが、4つのレンズに対応する必要はない。撮像素子の画素数の増加は撮像面の大型化だけでなく、画素数に対応する電子情報処理量の増加やそれに必要な処理速度の高速化など、システム規模にも影響する。したがって、一対のステレオカメラに相当する画像を取得するだけの画像処理装置1は、撮像素子の画素数が最小限であり、システムとしても安価である。
【0061】
以下、本実施形態としたことによる効果について説明する。
【0062】
第1の撮像手段10は可視光波長帯での第1の画像情報を撮像できる。第2の撮像手段20は、第1の撮像手段10の視野と共通領域を含む視野範囲を撮像可能で、赤外光波長帯での第2の画像情報を撮像できる。これにより、画像処理装置1は、第1の画像情報及び第2の画像情報を補正して第1の画像及び第2の画像を取得して、第1の画像によって対象物の色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する。また、第1の画像と第2の画像とを基に、ステレオ測距対象物として前記対象物を画像認識し、画像処理装置1の撮像位置から該ステレオ測距対象物までの距離を推定できる。よって、それぞれ1つのレンズを備えた一対の撮像手段によって、色特徴を含む画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる。したがって、2台のステレオカメラを用いることなく同等の画像処理が可能な画像処理装置とすることができる。
【0063】
以上の説明では、第1の撮像素子12が可視光フィルタを備えているカラー撮影用の撮像素子であるとしたが、
実際には、近赤外光にも感度を有している撮像素子を用いて、第1の撮像手段10
を、近赤外光を集光可能
とし、可視光と近赤外光とで第1の画像情報を撮像
する。
【0064】
第1の撮像素子12では、可視光フィルタに加えて、赤外光フィルタを用意して、可視光フィルタでは遮断される赤外光を撮像する画素を配置しておけばよい。
図8は、可視光フィルタと赤外光フィルタの分光特性の説明図である。それぞれ、透過する波長が赤色の領域、緑色の領域、及び青色の領域のRGBフィルタと、波長が700nm以上の近赤外光を透過して、680nm以下の可視光を反射又は吸収するIRフィルタである。こうすれば、第1の撮像手段10は可視光及び近赤外光で第1の画像情報を撮像できる
。
【0065】
図9に可視光の画像例を示す。
図10には
図9と同時に撮影された近赤外光の画像例を示す。
図9では遠方や側方の視野が暗く視認しにくい画像であるが、
図10では遠方や側方の視野も明るく、「暗視」と呼んでいる画像が得られている。したがって、可視光の光量が少ない夜間やトンネル内であっても、赤外光で取得された画像で補うことができ、暗視のステレオ測距性能が向上する。
【0066】
第2の撮像素子22は赤外光波長帯の画像を取得するための赤外フィルタを備え、赤外光に感度を有している
。なお、赤外フィルタを用いず、全波長帯の感度をカットせずに画像を取得してもよいが、可視光波長帯の画像を含む場合には、赤外光波長帯の画像に特有のコントラストが得られなくなるので、使用目的に応じて赤外フィルタを備えるようにすることが好ましい。
【0067】
第2の撮像素子22
は遠赤外光を検知する遠赤外撮像素子で
ある。
図11には、
図9と同時に撮影された遠赤外光の画像例を示す。
図9や
図10に比べて、より遠方の視野が視認されやすくなっていることが分かる。また、第2の画像として遠赤外光での画像を取得すると、遠赤外光を発する人体も明るく視認されるので、夜間に人体を検知する感度が、さらに向上する。
【0068】
なお、ステレオ測距に必要な画像情報に余分な周辺画像データを含まない画像処理であることから、処理速度が速いという副次的効果を奏する。
【0069】
画像処理装置1は車両に搭載する以外に、防犯用カメラや自走型ロボット等に使用することができる。
【0070】
[第2実施形態]
本発明の第2実施形態における画像処理装置2について説明する。
【0071】
図12は、第2実施形態の画像処理装置2を備えた車両前方監視装置100のブロック図である。第1実施形態の画像処理装置1と共通するところは、同じ符号をつけて説明は省略する。
【0072】
第2実施形態において、画像処理装置2では、距離推定処理部43から表示用画像出力部44に表示用の情報を渡すことに加えて、推定された対象物までの距離をもって、乗員に前方情報を報知する車両制御用の情報を警告判定部70に渡している。
【0073】
警告判定部70では、距離推定処理部43で車両前方の対象物までの距離が推定された距離データと、表示用画像出力部44で認識された対象物の継続追尾データと、をもとに警告を行う判定がなされる。例えば、前方の先行車両や障害物に衝突する前に警告を発する警告手段71に警報を出力したり、危険回避操作手段72に危険回避操作として車両のブレーキを作動させたりする指令を出力したりする。
【0074】
なお、第1実施形態の画像処理装置1と同様に、表示用画像出力部44から、カーナビゲーション装置等の表示画面を利用した表示手段60に表示データを出力させてもよい。
【0075】
以下、本実施形態としたことによる効果について説明する。
【0076】
第1の撮像手段10は車両前方における可視光波長帯での第1の画像情報を撮像できる。第2の撮像手段20は第1の画像の視野と共通領域を含む視野範囲を撮像可能で、赤外光波長帯での第2の画像情報を撮像できる。これにより、画像処理装置2は、第1の画像情報及び第2の画像情報を補正して第1の画像及び第2の画像を取得して、第1の画像によって対象物の色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する。また、第1の画像と第2の画像とを基に、ステレオ測距対象物として前記対象物を画像認識し、画像処理装置2の撮像位置から該ステレオ測距対象物までの距離を推定できる。よって、それぞれ1つのレンズを備えた一対の撮像手段によって、色特徴を含む画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる。こうすれば、画像処理装置2を備えた車両前方監視装置100は、車両前方の遠距離に位置するステレオ測距対象物までの距離を推定して、衝突防止の警告やクルーズコントロールに利用することができる。また、色特徴対象物を画像認識することによって、信号の自動認識や標識の自動認識が可能となる。したがって、2台のステレオカメラを用いることなく同等の画像処理が可能な車両前方監視装置とすることができる。
【0077】
例えば、信号や標識を認識できるので、警告手段71で音声や警告を発する運転補助に利用することが可能である。また、運転者が赤信号や規制標識を認知していない場合に警告手段71での警告や危険回避操作手段72でのブレーキ操作ができる。
【0078】
さらに、第1の画像が視野範囲の広い近距離画像であれば、車線検知が可能であり、蛇行検知、警告、制御も可能である。よって、それぞれ1つのレンズを備えた一対の撮像手段によって、広い視野範囲の画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定でき、さらに、広い視野範囲の画像による警告、制御が可能である。
【0079】
さらに、いったん、対象物として認識された特徴点は、第2の撮像手段20の視野範囲で撮像された第2の画像から逸脱した後も、視野範囲の広い第1の画像にて特徴点を認識し続けることができる。よって、抽出された対象物を、表示用画像出力部44に送られた表示用画像データの視野範囲で継続追尾することができる。
【0080】
以上のように、本実施形態の画像処理装置2は、可視光波長帯での第1の画像と、第1の画像と共通領域を有する赤外光波長帯での第2の画像と、を取得する。これにより、この第2の画像と、第1の画像のうち第2の画像との共通領域に対応させて切り出された第3の画像と、のステレオ画像が取得できる。さらに、第2の画像及び第3の画像に含まれる対象物を特徴点の抽出によってステレオ測距対象物として認識でき、該ステレオ測距対象物までの距離を推定できる。また、第1の画像によって対象物の色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する。よって、2台のステレオカメラを用いることなく同等の画像処理が可能な車両前方監視装置とすることができる。
【0081】
したがって、一対の撮像手段によって、色特徴を含む画像と暗視画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる画像処理装置及び車両前方監視装置を提供することができる。
【0082】
本発明は上記の実施形態に限定されるものではなく、要旨を逸脱しない範囲で種々変更して実施することが可能である。例えば次のように変形して実施することができ、これらの実施形態も本発明の技術的範囲に属する。
【0084】
画像処理装置に無線通信手段を設けて、表示手段60を有する遠隔操作装置に無線通信するようにしてもよい。
【0085】
あるいは、画像処理装置に表示手段60が一体に設けられていてもよい。