(58)【調査した分野】(Int.Cl.,DB名)
前記複数の撮像部の露光値は、前記遠距離領域での先行車の制動灯及び尾灯が前記特定色に映るように調整されていることを特徴とする、請求項1に記載の物体検知装置。
前記複数の撮像部の露光値は、前記遠距離領域の近位端での先行車の制動灯及び前記遠距離領域の遠位端での先行車の尾灯が前記特定色に映るように調整されていることを特徴とする、請求項1に記載の物体検知装置。
前記物体検知装置は、前記遠距離領域での先行車の制動灯及び尾灯が前記特定色に映るように前記複数の撮像部の露光値を調整する露光値調整部を有していることを特徴とする、請求項1に記載の物体検知装置。
前記物体検知装置は、前記遠距離領域の近位端での先行車の制動灯及び前記遠距離領域の遠位端での先行車の尾灯が前記特定色に映るように前記複数の撮像部の露光値を調整する露光値調整部を有していることを特徴とする、請求項1に記載の物体検知装置。
【発明を実施するための形態】
【0011】
以下、本発明に係る物体検知装置の実施形態を図面を参照して説明する。なお、以下では、主に夜間やトンネル内等の照度の低い環境下で自車前方の先行車を検知する際の物体検知装置による検知方法を説明する。
【0012】
[実施形態1]
図1は、本発明に係る物体検知装置の実施形態1が適用された車両を概略的に示したものである。
【0013】
図示する車両1には、2つのカメラ(撮像部)102、103が車両1の前方へ向けて当該車両1の所定位置(例えば、車両1のルームミラー101)に横方向に並べて配置されている。また、前記車両1には、車両1周囲の照度を検知する照度センサ111が所定位置(例えば、車両1のフロントウィンド112の上部)に配置されている。2つのカメラ102、103と照度センサ111とは、物体検知装置100(
図2参照)を内蔵するコントロールユニット110と通信可能に接続されており、カメラ102、103によって取得された画像や照度センサ111によって検知された照度情報は、例えば接続線(不図示)を介してコントロールユニット110へ送信される。
【0014】
図2は、
図1に示すコントロールユニットの内部構成を示したものである。コントロールユニット110は、図示するように、主に、画像記憶部としてのRAM104と物体検知装置100と制御部としてのコントローラ109とを備え、物体検知装置100は、主に、距離情報算出部105と抽出部106とマージ処理部107と出力部108とを有している。
【0015】
照度センサ111によって検知された車両1周囲の照度情報は、上記したようにコントロールユニット110のコントローラ109に送信されており、コントローラ109は、送信された照度情報に基づいて各カメラ102、103の露光条件(例えば露光値)を調整する露光制御を行うための制御信号を生成する。例えば、コントローラ109は、昼間のような照度の高い環境下と夜間やトンネル内等のような照度の低い環境下とで異なる露光値となるように各カメラカメラ102、103を制御している。より具体的には、コントローラ109は、照度センサ111によって検知された照度情報に基づいて車両1が夜間やトンネル内等の照度の低い環境下にあると判断した場合、車両1から所定距離だけ離れた遠距離領域に存在する先行車の制動灯や尾灯が赤色に映るように各カメラ102、103の露光値を調整する制御信号を生成し、その制御信号を各カメラ102、103へ送信する。なお、カメラの露光値とは、カメラのシャッター値及びゲイン値を意味している。
【0016】
各カメラ102、103は、コントローラ109から送信された制御信号に基づいて露光値等の露光条件を調整すると共に、各カメラ102、103で撮像された画像をRAM104の各カメラ画像保存部104a、104bに送信して保存する。
【0017】
物体検知装置100の距離情報算出部105は、RAM104の各カメラ画像保存部104a、104bに保存された画像を定期的に取得し、取得された画像上に映る同一車両の視差情報を用いて自車と自車前方の先行車等の対象物との相対距離を算出し、その算出結果を抽出部106に送信する。具体的には、
図3に示すように、左右の光軸間の距離である基線長をB、カメラの焦点距離をf、撮像面上の視差をdとすると、先行車までの相対距離Zは三角形の相似比から以下の式(1)で算出されることとなる。
【0019】
ここで、カメラ102、103からなるステレオカメラを用いた距離情報算出方法においては、対象物までの相対距離が大きくなるに従って視差dが小さくなるため、自車から離間した遠距離領域では画像中の対象物の距離計測精度が低下し、例えば車速/車間制御やプリクラッシュセーフティ等において誤作動が発生する可能性が高くなる。
【0020】
そこで、抽出部106は、距離情報算出部105から送信された距離情報に基づいて、画像中の対象物から少なくとも自車から所定距離だけ離れた遠距離領域に存在しかつ赤色(特定色)を有する対象物(例えば、制御灯や尾灯を点灯した先行車)を抽出する。すなわち、抽出部106は、距離計測精度が低下し得る遠距離領域では、赤色を有する対象物を抽出し、これにより、遠距離領域におけるノイズの増加を抑制する。
【0021】
具体的には、抽出部106は、近距離抽出部106aと赤色・遠距離抽出部106bとを有している。近距離抽出部106aは、距離情報算出部105から送信された距離情報に基づいて、カメラにより撮像された画像中の対象物から自車に近い近距離領域に存在する対象物を抽出する。また、赤色・遠距離抽出部106bは、距離情報算出部105から送信された距離情報に基づいて、カメラにより撮像された画像中の対象物から自車から所定距離だけ離れた遠距離領域に存在しかつ赤色を有する対象物を抽出する(
図4参照)。なお、近距離領域と遠距離領域を画定する前記所定距離は、例えばカメラの性能や配置等に応じて適宜に設定される。
【0022】
マージ処理部107は、近距離抽出部106aにより抽出された対象物と赤色・遠距離抽出部106bにより抽出された対象物とを論理和(OR)により統合処理し、その処理結果を出力部108に送信する。
【0023】
出力部108は、マージ処理部107から送信された処理結果に基づいて、近距離抽出部106aにより抽出された対象物と赤色・遠距離抽出部106bにより抽出された対象物の距離情報をコントローラ109に出力する。コントローラ109は、物体検知装置100から出力された画像中の対象物(特に、制御灯や尾灯を点灯した先行車)までの距離情報や位置情報を、例えば車速/車間制御やプリクラッシュセーフティ等の各種制御アプリケーションに利用する。
【0024】
図5は、上記した物体検知装置100による物体検知方法を説明したものである。
【0025】
図5に示すように、まず、コントローラ109は、照度センサ111によって検知された照度情報に基づいて自車周囲の照度が所定の閾値以内であるか否かを判断する(S201)。コントローラ109が自車周囲の照度が所定の閾値以内である(例えば、昼間のような照度の高い環境下である)と判断した場合には、その照度に応じて各カメラ102、103の露光値を調整し(S202)、各カメラ102、103で自車周囲の画像を撮像する(S203)。物体検知装置100は、各カメラ102、103で撮像された画像を用いて通常の距離算出処理(例えば、距離領域でのステレオカメラによる視差情報を用いた距離算出と遠距離領域での単眼カメラによる距離算出との切替えによる距離算出処理)を実施して、自車周囲の物体を検知する(S204)。
【0026】
一方、コントローラ109が自車周囲の照度が所定の閾値以内ではない(例えば、夜間やトンネル内のような照度の低い環境下である)と判断した場合には、その照度に応じて各カメラ102、103の露光値を調整し(S205)、各カメラ102、103で自車周囲の画像を撮像する(S206)。具体的には、コントローラ109は、車両1から所定距離だけ離れた遠距離領域に存在する先行車の制動灯や尾灯が赤色に映るように、すなわち遠距離領域の近位端での先行車の制動灯(15w〜60w程度)と遠距離領域の遠位端での先行車の尾灯(5w〜30w程度)の双方が赤色に映るように各カメラ102、103の露光値を調整する。ここで、遠距離領域の近位端とは、遠距離領域のうちで自車に最も近い位置(言い換えれば近距離領域のうちで自車から最も遠い位置)であり、遠距離領域の遠位端とは、遠距離領域のうちで自車から最も遠い位置(言い換えれば撮像領域のうちで自車から最も遠い位置)である。
【0027】
次いで、物体検知装置100は、各カメラ102、103で撮像された画像上に映る同一車両の視差情報を用いて自車と自車前方の先行車等の対象物(すなわち、画像中の全光点)との相対距離を算出する(S207)。
【0028】
次に、物体検知装置100は、S207で算出された距離情報に基づいて、画像中の全光点から自車に近い近距離領域に存在する光点を抽出すると共に(S208)、画像中の全光点から自車から所定距離だけ離れた遠距離領域に存在しかつ赤色を有する光点を抽出する(S209)。
【0029】
そして、物体検知装置100は、S208で抽出された光点とS209で抽出された光点とを論理和(OR)により統合処理した後(S210)、S208で抽出された光点とS209で抽出された光点の距離情報をコントローラ109等に出力する(S211)。
【0030】
このように、本実施形態1の物体検知装置100によれば、カメラ102、103で撮像された画像中の対象物から自車に近い近距離領域に存在する対象物を抽出すると共に、前記画像中の対象物から自車から所定距離だけ離れた遠距離領域に存在しかつ赤色を有する対象物を抽出し、そのように抽出された対象物までの距離情報を出力することにより、距離計測精度が低下し得る遠距離領域において赤色を有する対象物(例えば、制御灯や尾灯等を点灯した先行車)のみを抽出することができる。そのため、例えば夜間やトンネル内等の照度の低い環境下においてステレオカメラで得られた画像から先行車までの相対距離を計測する場合であっても、遠距離領域におけるノイズの増加を抑制して物体の検知精度の低下を抑制することができ、もって車速/車間制御やプリクラッシュセーフティ等における誤作動を抑制することができる。
【0031】
[実施形態2]
図6は、本発明に係る物体検知装置の実施形態2が内蔵されたコントロールユニットの内部構成を示したものである。実施形態2の物体検知装置100Aは、実施形態1の物体検知装置100に対し、抽出部の構成が相違しており、その他の構成は実施形態1の物体検知装置100と同様である。したがって、実施形態1の物体検知装置100と同様の構成には同様の符号を付してその詳細な説明を省略する。
【0032】
本実施形態2の物体検知装置100Aは、主に、距離情報算出部105Aと抽出部106Aとマージ処理部107Aと出力部108Aとを有し、抽出部106Aは、近距離抽出部106aAと赤色抽出部106bAとを有している。
【0033】
抽出部106Aの近距離抽出部106aAは、実施形態1と同様、距離情報算出部105Aから送信された距離情報に基づいて、カメラにより撮像された画像中の対象物から自車に近い近距離領域に存在する対象物を抽出する。また、赤色抽出部106bAは、距離情報算出部105Aから送信された距離情報に基づいて、カメラにより撮像された画像中の対象物から赤色(特定色)を有する対象物(例えば、制御灯や尾灯等を点灯した先行車)を抽出する。すなわち、本実施形態2では、赤色抽出部106bAは、近距離領域と遠距離領域とを含む撮像領域全体において赤色を有する対象物を抽出する。
【0034】
マージ処理部107Aは、近距離抽出部106aAにより抽出された対象物と赤色抽出部106bAにより抽出された対象物とを論理和(OR)により統合処理し、その処理結果を出力部108Aに送信する。
【0035】
出力部108Aは、マージ処理部107Aから送信された処理結果に基づいて、近距離抽出部106aAにより抽出された対象物と赤色抽出部106bAにより抽出された対象物の距離情報をコントローラ109に出力する。
【0036】
図7は、上記した物体検知装置100Aによる物体検知方法を説明したものである。
【0037】
図7に示すように、まず、コントローラ109は、実施形態1と同様、照度センサ111によって検知された照度情報に基づいて自車周囲の照度が所定の閾値以内であるか否かを判断する(S201A)。コントローラ109が自車周囲の照度が所定の閾値以内である(例えば、昼間のような照度の高い環境下である)と判断した場合には、物体検知装置100Aは、各カメラ102、103で撮像された画像を用いて通常の距離算出処理(例えば、近距離領域でのステレオカメラによる視差情報を用いた距離算出と遠距離領域での単眼カメラによる距離算出との切替えによる距離算出処理)を実施して、自車周囲の物体を検知する(S202A〜S204A)。
【0038】
一方、コントローラ109が自車周囲の照度が所定の閾値以内ではない(例えば、夜間やトンネル内のような照度の低い環境下である)と判断した場合には、その照度に応じて各カメラ102、103の露光値を調整し(S205A)、各カメラ102、103で自車周囲の画像を撮像する(S206A)。具体的には、コントローラ109は、車両1から所定距離だけ離れた遠距離領域に存在する先行車の制動灯や尾灯が赤色に映るように、すなわち遠距離領域の近位端での先行車の制動灯と遠距離領域の遠位端での先行車の尾灯とが赤色に映るように各カメラ102、103の露光値を調整する。
【0039】
次いで、物体検知装置100Aは、各カメラ102、103で撮像された画像上に映る同一車両の視差情報を用いて自車と自車前方の先行車等の対象物(すなわち、画像中の全光点)との相対距離を算出する(S207A)。
【0040】
次に、物体検知装置100Aは、S207Aで算出された距離情報に基づいて、画像中の全光点から自車に近い近距離領域に存在する光点を抽出すると共に(S208A)、画像中の全光点から赤色を有する光点(先行車の制御灯や尾灯等に対応する光点)を抽出する(S209A)。
【0041】
そして、物体検知装置100Aは、S208Aで抽出された光点とS209Aで抽出された光点とを論理和(OR)により統合処理した後(S210A)、S208Aで抽出された光点とS209Aで抽出された光点の距離情報をコントローラ109等に出力する(S211A)。
【0042】
このように、本実施形態2の物体検知装置100Aによれば、カメラ102、103で撮像された画像中の対象物から自車に近い近距離領域に存在する対象物を抽出すると共に、前記画像中の対象物から赤色を有する対象物を抽出し、そのように抽出された対象物を統合して該対象物までの距離情報を出力することにより、実施形態1の物体検知装置100と同様、距離計測精度が低下し得る遠距離領域において赤色を有する対象物(例えば、制御灯や尾灯等を点灯した先行車)のみを抽出することができる。また、物体検知装置100Aの抽出部106Aの赤色抽出部106bAによって撮像領域中の赤色を有する対象物を抽出することで、例えば自車から所定距離だけ離れた遠距離領域に存在しかつ赤色を有する対象物を抽出する場合と比較して、当該抽出部106Aにおける処理を簡素化することができる。
【0043】
[実施形態3]
図8は、本発明に係る物体検知装置の実施形態3が内蔵されたコントロールユニットの内部構成を示したものである。実施形態3の物体検知装置100Bは、実施形態2の物体検知装置100Aに対し、物体検知装置が露光値調整機能を有する点が相違しており、その他の構成は実施形態2の物体検知装置100Aと同様である。したがって、実施形態2の物体検知装置100Aと同様の構成には同様の符号を付してその詳細な説明を省略する。
【0044】
本実施形態3の物体検知装置100Bは、主に、距離情報算出部105Bと抽出部106Bとマージ処理部107Bと出力部108Bとを有すると共に、各カメラ102、103の露光条件(例えば露光値)を調整する露光制御を行うための制御信号を生成する露光値調整部112Bを有している。
【0045】
露光値調整部112Bは、照度センサ111から出力される自車周囲の照度情報をコントローラ109を介してもしくは照度センサ111から直接的に取得し、取得した照度情報に基づいて各カメラ102、103の露光制御を行うための制御信号を生成し、その制御信号を各カメラ102、103に送信する。
【0046】
各カメラ102、103は、露光値調整部112Bから送信された制御信号に基づいて露光値等の露光条件を調整すると共に、各カメラ102、103で撮像された画像をRAM104の各カメラ画像保存部104a、104bに送信して保存し、物体検知装置100Bは、各カメラ画像保存部104a、104bに保存された画像を用いて画像中の対象物の距離情報をコントローラ109へ出力することができる。
【0047】
なお、上記する実施形態1〜3では、照度センサによって検出された自車周囲の照度に基づいてコントローラや露光値調整部が各カメラの露光値を調整する形態に説明したが、各カメラの露光値は、例えば夜間やトンネル内等の照度の低い環境下において車両から所定距離だけ離れた遠距離領域に存在する先行車の制動灯や尾灯が赤色に映るように、予め使用者等によって設定してもよい。
【0048】
また、上記する実施形態1〜3では、夜間やトンネル内等の照度の低い環境下で自車前方の先行車を検知するために、制御灯や尾灯等に対応する赤色を有する対象物を画像中の対象物から抽出する形態について説明したが、遠距離領域での検知対象を抽出する際に利用する色はその検知対象に応じて適宜に変更することができる。
【0049】
なお、本発明は上記した実施形態1〜3に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態1〜3は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0050】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記憶装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
【0051】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。