IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日産自動車株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-09
(45)【発行日】2024-12-17
(54)【発明の名称】物体検出方法及び物体検出装置
(51)【国際特許分類】
   G08G 1/16 20060101AFI20241210BHJP
【FI】
G08G1/16 C
【請求項の数】 12
(21)【出願番号】P 2023503517
(86)(22)【出願日】2021-03-03
(86)【国際出願番号】 IB2021000123
(87)【国際公開番号】W WO2022185085
(87)【国際公開日】2022-09-09
【審査請求日】2023-08-28
(73)【特許権者】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100111235
【弁理士】
【氏名又は名称】原 裕子
(74)【代理人】
【識別番号】100170575
【弁理士】
【氏名又は名称】森 太士
(72)【発明者】
【氏名】池上 尭史
(72)【発明者】
【氏名】野田 邦昭
【審査官】宮地 将斗
(56)【参考文献】
【文献】特開2019-105648(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00- 99/00
G01C 21/00- 21/36
G01C 23/00- 25/00
(57)【特許請求の範囲】
【請求項1】
自車両前方に電磁波を照射し、
前記電磁波の反射波に基づいて前記自車両前方の物体を検出し、
前記物体が検出されていない時に前記自車両前方を撮像して光学画像である第1の画像を取得し、
前記物体が検出されている時に前記自車両前方を撮像して光学画像である第2の画像を取得し、
前記物体が検出されていない状態から、前記物体が検出された状態へ変化した場合、前記第1の画像と前記第2の画像との差分を算出し、
前記差分がしきい差分未満である場合、前記物体が浮遊物であると判定する
ことを特徴とする物体検出方法
【請求項2】
自車両前方に電磁波を照射し、
前記電磁波の反射波に基づいて前記自車両前方の物体を検出し、
前記自車両前方を撮像して赤外画像を取得し、
前記物体が検出されていない状態から、前記物体が検出された状態へ変化した場合、前記赤外画像の前記物体に対応する位置の赤外線の輝度の変化に基づいて、前記物体の温度の変化量を算出し、
前記物体の温度の変化量がしきい変化量以上である場合、前記物体が浮遊物であると判定する
ことを特徴とする物体検出方法。
【請求項3】
前記赤外画像の前記物体に対応する位置の赤外線の輝度に基づいて、前記物体の温度を算出し、
前記物体の温度がしきい温度以上である場合、前記物体が前記浮遊物であると判定し、
前記物体の温度がしきい温度未満である場合、前記物体の温度の変化量を算出し、
前記物体の温度の変化量が前記しきい変化量以上である場合、前記物体が前記浮遊物であると判定する
ことを特徴とする請求項に記載の物体検出方法。
【請求項4】
前記光学画像に加え、さらに赤外画像を取得し、
前記赤外画像の前記物体に対応する位置の赤外線の輝度に基づいて、前記物体の温度を算出し、
前記第1の画像と前記第2の画像との差分がしきい差分以上であり、前記物体の温度がしきい温度以上である場合、前記物体が前記浮遊物であると判定する
ことを特徴とする請求項1に記載の物体検出方法。
【請求項5】
前記物体は、前記自車両前方の先行車よりも後方に位置し、
前記先行車が停車状態から発進した場合、前記先行車が発進してからしきい時間が経過するまで、前記物体が浮遊物であるか否かを判断する
ことを特徴とする請求項1から4のいずれか一項に記載の物体検出方法。
【請求項6】
前記物体は、前記自車両前方の先行車よりも後方に位置し、
前記先行車の速度がしきい速度未満である場合、前記物体が浮遊物であるか否かを判断する
ことを特徴とする請求項1から5のいずれか一項に記載の物体検出方法。
【請求項7】
前記物体は、前記自車両前方の先行車よりも後方に位置し、
前記光学画像又は前記赤外画像から前記先行車の排気管を検出した場合、前記物体が浮遊物であるか否かを判断する前記光学画像の範囲又は前記赤外画像の範囲を前記先行車の前記排気管の位置に応じて設定する
ことを特徴とする請求項4、請求項4を引用する請求項5、請求項4を引用する請求項6のいずれか1項に記載の物体検出方法。
【請求項8】
前記浮遊物をトラッキングする
ことを特徴とする請求項1から7のいずれか一項に記載の物体検出方法。
【請求項9】
自車両前方に電磁波を照射し、前記電磁波の反射波に基づいて前記自車両前方の物体を検出するセンサと、
前記自車両前方を撮像して光学画像を取得するカメラと、
制御部と、を備え、
前記制御部は、前記物体が検出されていない時に撮像された前記光学画像である第1の画像を取得し、前記物体が検出されている時に撮像された前記光学画像である第2の画像を取得し、前記物体が検出されていない状態から、前記物体が検出された状態へ変化した場合、前記第1の画像と前記第2の画像との差分を算出し、前記差分がしきい差分未満である場合、前記物体が浮遊物であると判定する
ことを特徴とする物体検出装置。
【請求項10】
自車両前方に電磁波を照射し、前記電磁波の反射波に基づいて前記自車両前方の物体を検出するセンサと、
前記自車両前方を撮像して赤外画像を取得するカメラと、
制御部と、を備え、
前記制御部は、前記物体が検出されていない状態から、前記物体が検出された状態へ変化した場合、前記赤外画像の前記物体に対応する位置の赤外線の輝度の変化に基づいて、前記物体の温度の変化量を算出し、前記物体の温度の変化量がしきい変化量以上である場合、前記物体が浮遊物であると判定する
ことを特徴とする物体検出装置。
【請求項11】
前記第1の画像と前記第2の画像との差分がしきい差分以上であり、前記物体の温度がしきい温度未満である場合、前記物体の温度の変化量を算出し、
前記物体の温度の変化量が前記しきい変化量以上である場合、前記物体が前記浮遊物であると判定する
ことを特徴とする請求項に記載の物体検出方法。
【請求項12】
前記しきい温度は、外気温が高いほど高く設定する
ことを特徴とする請求項11のいずれか一項に記載の物体検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体検出方法及び物体検出装置に関する。
【背景技術】
【0002】
従来から、分解能が低いセンサを用いた場合において、検出された物体が浮遊物であるか否かを判断することができる物体検出装置が知られている(特許文献1参照)。特許文献1に記載された物体検出装置は、センサが検出した物体の単位時間あたりのサイズの変化率を算出し、当該サイズの変化率が所定の閾値を超えた場合に検出された物体が浮遊物であると判定する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2014-93028号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載された物体検出装置は、風が無く浮遊物が滞留しやすい環境では、検出した物体(浮遊物)の単位時間あたりのサイズの変化率が所定の閾値を超えず、検出した物体を浮遊物と判定できない場合がある。
【0005】
本発明は、上記課題に鑑みて成されたものであり、その目的は、検出した物体が浮遊物であるか否かをより精度良く判定することができる物体検出方法を提供することである。
【課題を解決するための手段】
【0006】
本発明の一態様に係わる物体検出方法は、自車両前方に電磁波を照射し、電磁波の反射波に基づいて自車両前方の物体を検出する。自車両前方を撮像して画像を取得し、物体が検出されていない状態から、物体が検出された状態へ変化した場合、取得した画像に基づいて物体が浮遊物であるか否かを判断する。
【発明の効果】
【0007】
本発明の一態様によれば、検出した物体が浮遊物であるか否かをより精度良く判定することができる。
【図面の簡単な説明】
【0008】
図1図1は、第1実施形態に係る物体検出装置の構成を示すブロック図である。
図2図2は、第1実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。
図3図3は、第1実施形態の第1変形例に係る物体検出装置の構成を示すブロック図である。
図4図4は、第1実施形態の第1変形例に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。
図5図5は、第1実施形態の第1変形例に係る物体検出装置が物体を浮遊物と判定する処理を示す概念図である。
図6図6は、第1実施形態の第1変形例に係る物体検出装置が物体を浮遊物でないと判定する処理を示す概念図である。
図7図7は、第1実施形態の第2変形例に係る物体検出装置の構成を示すブロック図である。
図8図8は、第1実施形態の第2変形例に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。
図9図9は、第2実施形態に係る物体検出装置の構成を示すブロック図である。
図10A図10Aは、第2実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。
図10B図10Bは、第2実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。
図11図11は、第3実施形態に係る物体検出装置の構成を示すブロック図である。
図12A図12Aは、第3実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。
図12B図12Bは、第3実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。
図12C図12Cは、第3実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。
【発明を実施するための形態】
【0009】
図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。
【0010】
(第1実施形態)
[物体検出装置の構成]
図1を参照して、第1実施形態に係る物体検出装置の構成を説明する。物体検出装置は、自車両前方の物体を検出し、当該物体が浮遊物であるか否かを判断する装置である。物体検出装置は、レーダ10、カメラ20、制御部30、記憶部40を備えている。
【0011】
レーダ10は、自車両前方のフロントバンパ又はフロントグリル内に搭載される。レーダ10は、自車両前方に電磁波を照射し、照射した電磁波の反射波に基づいて自車両前方の物体を検出するセンサである。レーダ10は、物体を検出すると同時に、物体の位置情報である物体の方位、自車両から物体までの距離を測定し、自車両の位置を基準とする物体の位置座標を算出する。さらに、レーダ10は、これらの情報に加え、物体の速度を測定する。なお、本実施形態では、物体を検出する手段としてレーダを例示するが、ライダ(LiDER)を利用して自車両前方の物体を検出してもよい。
【0012】
カメラ20は、自車両の車室内前方に搭載される。カメラ20は、自車両前方を所定の周期で繰り返し撮像して自車両前方の複数の画像を取得する。具体的には、カメラ20は、被写体からの光線をレンズによって撮像素子の受光平面に結像させ、結像した被写体像の光の明暗に基づいて生成された光学画像を取得する。光学画像は、可視光域、赤外線領域、又は紫外線領域の光により生成される画像である。カメラ20は、物体が検出されていない状態から物体が検出された状態へ変化するまで、自車両前方を繰り返し撮像して複数の画像を取得する。
【0013】
制御部30は、CPU(中央処理装置)、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、制御部30として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは、制御部30が備える複数の情報処理回路として機能する。なお、本実施形態では、ソフトウェアによって制御部30が備える複数の情報処理回路を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。
【0014】
記憶部40は、HDD(ハードディスクドライブ)及びSSD(ソリッドステートドライブ)を含む情報記憶装置で構成される。記憶部40は、カメラ20によって撮像された自車両前方の複数の画像を時系列に記憶する。記憶部40は、少なくとも、物体が検出されていない時に撮像された画像を、物体が検出されていない状態から物体が検出された状態へ変化するまで記憶する。すなわち、物体が検出されていない状態から物体が検出された状態へ変化した場合には、物体が検出された状態へ変化した時の第2の画像(以下、第2の光学画像とも記載する)と、一周期あるいは数周期前の物体が検出されていない状態の時の第1の画像(以下、第1の光学画像とも記載する)とを記憶する。
【0015】
なお、記憶部40は所定の周期で撮像される画像を過去複数回分記憶しておき、記憶した複数の画像のうち、物体が検出されていない状態から物体が検出された状態へ変化した時の画像を第2の光学画像として特定する。そして、記憶部40は、一周期あるいは数周期前の物体が検出されていない状態の時の画像を第1の光学画像として特定する事により、第1の光学画像と第2の光学画像以外の画像を含めた2枚以上の複数の画像を記憶しても良い。本実施形態では、記憶部40が、カメラ20によって撮像された画像を記憶するが、制御部30が備えるメモリがこれらデータを記憶できる場合、制御部30が備えるメモリがこれらのデータを記憶してもよい。
【0016】
制御部30及び記憶部40は、自車両に搭載される。なお、制御部30及び記憶部40は、1つの制御コントローラとして車両に搭載されていてもよい。
【0017】
ここで、制御部30が備える複数の情報処理回路について具体的に説明する。
【0018】
制御部30は、浮遊物判定部31備えている。浮遊物判定部31は、レーダ10が検出した物体が浮遊物であるか否かをカメラ20が撮像した光学画像に基づいて判定する。浮遊物とは、排気ガス、水しぶき、砂埃などの空気中に浮遊する物体のことである。すなわち、浮遊物は、浮遊する微小な粒子の集合体のことである。
【0019】
浮遊物判定部31は、判定範囲決定部311、差分算出部312、差分判定部313で構成される。
【0020】
判定範囲決定部311は、物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合、物体が検出されている時に撮像された画像である第2の光学画像をカメラ20から取得し、物体が浮遊物であるか否かを判断する画像の範囲を決定する。以下にて、判定範囲決定部311が実行する処理について具体的に説明する。
【0021】
先ず、判定範囲決定部311は、レーダ10から出力される情報に基づいて、物体が検出されていない状態から物体が検出された状態へ変化したことを検出する。レーダ10から出力される情報とは、例えば、物体が検出された状態であるか否かを示すためのフラグである。レーダ10が、物体が検出されていない状態の時に物体の位置情報である物体の方位、自車両から物体までの距離などの値を無効な値(制御に使用してはいけない値)として出力する場合、判定範囲決定部311はこれらの値を使用してもよい。判定範囲決定部311は、レーダ10から出力されるフラグ又は物体の位置情報の値の変化を検出することで、物体が検出されていない状態から物体が検出された状態へ変化したことを検出することができる。
【0022】
次に、判定範囲決定部311は、物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合、物体が検出されている時に撮像された第2の光学画像をカメラ20から取得する。判定範囲決定部311は、レーダ10から物体の位置情報を取得し、第2の光学画像からレーダ10によって検出された物体の位置に対応する画素領域を選択する。レーダ10とカメラ20は、自車両に搭載され、且つ、自車両前方を検出範囲又は撮像範囲としている。よって、レーダ10が出力する物体の位置座標とカメラ20が取得する画像の画素位置は、予め同期されている。そのため、判定範囲決定部311は、レーダ10によって検出された物体の位置に対応する画像の画素位置を選択することができる。判定範囲決定部311は、物体の位置に対応する第2の光学画像の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。
【0023】
差分算出部312は、物体が検出されていない時に撮像された第1の光学画像と物体が検出されている時に撮像された第2の光学画像との差分を算出する。具体的には、差分算出部312は、記憶部40から物体が検出されていない時に撮像された第1の光学画像を取得し、判定範囲決定部311から第2の光学画像及び物体が浮遊物であるか否かを判断する画像の範囲である物体の位置に対応する画素領域を取得する。そして、差分算出部312は、物体が浮遊物であるか否かを判断する画像の画素領域において、同画素位置における第1の光学画像と第2の光学画像との明度、彩度、色相の少なくとも一つ以上の差分を算出する。例えば、カメラ20が取得する画像が、グレースケール画像である場合、差分算出部312は明度の差分を算出する。また、カメラ20が取得する画像がカラー画像である場合、明度、彩度、色相の全ての差分を算出してもよい。
【0024】
差分判定部313は、差分算出部312によって算出された第1の光学画像と第2の光学画像との差分がしきい差分未満であるか否かを判断する。排気ガス、水しぶき、砂埃などの浮遊物(浮遊する微小な粒子の集合体としての浮遊物)を検出した際の第1の光学画像と第2の光学画像との差分は、人間、構造物などの車両の障害物となる物体を検出した際の差分よりも小さい。そのため、差分判定部313は、第1の光学画像と第2の光学画像との差分がしきい差分未満である場合、物体が浮遊物であると判定する。差分判定部313は、第1の光学画像と第2の光学画像との差分がしきい差分以上である場合、物体が浮遊物でないと判断する。
【0025】
より具体的には、差分判定部313は、物体が浮遊物であるか否かを判断する画像の画素領域において、差分がしきい差分未満となる画素の割合がしきい割合以上である場合、検出した物体が浮遊物であると判断する。しきい差分及びしきい割合は、浮遊物が発生した際の輝度の差分及び輝度の差分がしきい差分未満となる画素の割合を予め実験により取得することで決定することができる。例えば、カメラ20が取得する光学画像がグレースケールであり、明度を8ビットデータで処理する場合、明度のしきい差分は16進数で10(0x10)、しきい割合を70%とする。
【0026】
なお、第1の光学画像と第2の光学画像との差分を用いて物体が浮遊物であるか否かを判断する方法はこれに限定されない。例えば、差分判定部313は、物体が浮遊物であるか否かを判断する画素領域における差分の平均値を算出し、差分の平均値がしきい平均値未満である場合に、物体を浮遊物と判定してもよい。
【0027】
車両制御部50は、レーダ10及びカメラ20を含む自車両に搭載されたセンサによって取得された自車両周囲の情報、及び記憶部40に予め記憶されている地図データに基づいて自車両を制御し、運転支援及び自動運転をおこなう。車両制御部50は、自車両の走行経路上に物体を検出し、検出した物体との距離が予め定められた所定距離未満となる可能性が高いと判断した場合、検出した物体が浮遊物であるか否かの結果に基づいて、物体との距離が所定距離未満となる状態を回避するよう自車両を制御するか否かを判断する。
【0028】
車両制御部50は、自車両前方に物体を検出し、検出した物体が浮遊物でないと判断された場合、物体との距離が所定距離未満となる状態を回避するための制御を実行する。具体的には、車両制御部50は、発進待機中は発進制御を禁止し、走行中は減速制御あるいは転舵輪を転舵駆動する回避制御を実行して、物体との距離を所定距離以上に保つように車両を制御する。
【0029】
車両制御部50は、自車両前方に物体を検出し、検出した物体が浮遊物であると判断された場合、物体との距離が所定距離未満となる状態を回避するための制御の実行を禁止する。
【0030】
[物体検出方法]
次に、図2を参照して図1の物体検出装置が、検出した物体が浮遊物であるか否かを判断する方法の一例を説明する。図2のフローチャートに示す物体検出装置の動作は、自車両のイグニッションスイッチ又はパワースイッチがONとなると同時に開始され、イグニッションスイッチ又はパワースイッチがOFFとなった時点で処理を終了する。
【0031】
ステップS0において、レーダ10は、自車両の前方に電磁波を照射し、電磁波の反射波に基づいて物体を検出する。具体的には、物体の有無及び物体の位置を検出する。
【0032】
ステップS5において、カメラ20は、物体が検出されていない状態から物体が検出された状態へ変化するまで、自車両前方を所定の周期で繰り返し撮像して自車両前方の複数の画像を取得する。記憶部40は、カメラ20によって撮像された自車両前方の複数の画像を時系列に記憶する。
【0033】
ステップS10において、判定範囲決定部311は、レーダ10から出力される情報に基づいて物体が検出されていない状態から物体が検出された状態へ変化したことを検出する。判定範囲決定部311は、物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合(ステップS10でYES)、処理はステップS20に進む。判定範囲決定部311は、物体が検出されていない状態から物体が検出された状態へ変化したことを検出していない場合(ステップS10でNO)、処理を終了する。
【0034】
ステップS20に進み、差分算出部312は、物体が検出されていない時に撮像された第1の光学画像を記憶部40から取得する。
【0035】
ステップS30に進み、判定範囲決定部311は、物体が検出されている時に撮像された第2の光学画像をカメラ20から取得する。
【0036】
ステップS40に進み、判定範囲決定部311は、レーダ10から物体の位置情報を取得し、第2の光学画像からレーダ10によって検出された物体の位置に対応する画素領域を選択する。判定範囲決定部311は、検出された物体の位置に対応する第2の光学画像の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。
【0037】
ステップS50に進み、差分算出部312は、判定範囲決定部311から第2の光学画像及び物体が浮遊物であるか否かを判断する画像の範囲を取得し、物体が浮遊物であるか否かを判断する画像の画素領域において、同画素位置における第1の光学画像と第2の光学画像との差分を算出する。
【0038】
ステップS60に進み、差分判定部313は、第1の光学画像と第2の光学画像との差分がしきい差分未満であると判断した場合(ステップS60でYES)、処理はステップS70に進み、物体が浮遊物であると判定する。
【0039】
ステップS90に進み、車両制御部50は、自車両の制御を継続する。すなわち、車両制御部50は、物体との距離が所定距離未満となる状態を回避するための制御の実行を禁止する。
【0040】
ステップS60において、差分判定部313は、第1の光学画像と第2の光学画像との輝度の差分がしきい差分以上であると判断した場合(ステップS60でNO)、処理はステップS80に進み、物体が浮遊物でないと判断する。
【0041】
ステップS100に進み、車両制御部50は、物体との距離が予め定められた所定距離未満となる状態を回避するよう自車両を制御する。
【0042】
以上、説明したように第1実施形態によれば以下の作用効果が得られる。
【0043】
物体検出装置は、自車両前方に電磁波を照射し、照射した電磁波の反射波に基づいて自車両前方の物体を検出する。物体検出装置は、自車両前方を撮像して画像を取得し、物体が検出されていない状態から、物体が検出された状態へ変化した場合、画像に基づいて物体が浮遊物であるか否かを判断する。すなわち、物体の検出は電磁波の反射波によって行われ、検出した物体が浮遊物であるか否かの判断は画像によって行われる。これにより、物体検出装置は、物体の検出及び検出した物体が浮遊物であるか否かの判断をより精度良く行うことができる。
【0044】
物体検出装置は、物体が検出されていない時に自車両前方を撮像して第1の光学画像を取得し、物体が検出されている時に自車両前方を撮像して第2の光学画像を取得する。物体検出装置は、第1の光学画像と第2の光学画像との差分を算出し、差分がしきい差分未満である場合、物体が浮遊物であると判定する。これにより、物体検出装置は、物体が検出された時に物体が浮遊物であるか否かを判断することができ、物体が浮遊物であるか否かをより早く判断することができる。
【0045】
(第1実施形態の第1変形例)
[物体検出装置の構成]
図3を参照して、第1実施形態の第1変形例に係る物体検出装置の構成を説明する。第1実施形態との相違点は、制御部30が先行車情報生成部32、浮遊物トラッキング部33をさらに備える点、及び、判定範囲決定部311の一部処理である。よって、当該相違点についてのみ説明し、その他共通する構成については説明を省略する。
【0046】
先行車情報生成部32は、検出された物体が自車両前方の先行車であるか否かを判定し、物体が先行車である場合、先行車の挙動を測定する。そして、先行車情報生成部32は、先行車の挙動がしきい挙動以内であるか否かを判定する。先行車情報生成部32は、先行車検出部321と先行車挙動判定部322で構成される。
【0047】
先行車検出部321は、検出された物体が先行車であるか否かを判定する。具体的には、先行車検出部321は、レーダ10によって計測された物体の各位置までの距離を取得し、物体の各位置までの距離から物体の形状及び大きさを特定する。先行車検出部321は、物体の形状及び大きさに基づいて物体が先行車であるか否かを判断する。具体的には、先行車検出部321は、特定した物体の形状及び大きさと、記憶部40に予め記憶された車両の形状及び大きさとの一致率を算出し、一致率がしきい一致率よりも高い場合、物体が先行車であると判定する。
【0048】
なお、本実施形態では、先行車検出部321は、レーダ10によって測定された物体の各位置までの距離に基づいて物体が先行車であるか否かを判定しているが、カメラ20が取得した画像に基づいて物体が先行車であるか否かを判定してもよい。なお、画像解析による物体が先行車であるか否かの判定は、既知の画像認識技術を利用することにより可能である。
【0049】
先行車挙動判定部322は、先行車検出部321によって先行車が検出された場合、先行車との距離の時間変化、すなわち、自車両に対する相対速度と自車両の速度から先行車の速度を取得し、先行車の挙動を判定する。
【0050】
具体的には、先行車挙動判定部322は、先行車の速度の変化から先行車が停車状態(0.5km/h未満)から発進したことを検出し、先行車が発進してからしきい時間が経過したか否かを判断する。例えば、しきい時間は3秒である。
【0051】
さらに、先行車挙動判定部322は、先行車の速度がしきい速度未満であるか否かを判断する。例えば、しきい速度は10km/hである。
【0052】
先行車挙動判定部322は、先行車が停車状態から発進したことを検出し、先行車が発進してからしきい時間が経過していない場合、先行車の挙動がしきい挙動以内であると判断する。又は、先行車挙動判定部322は、先行車の速度がしきい速度未満である場合、先行車の挙動がしきい挙動以内であると判断する。
【0053】
判定範囲決定部311は、先行車が検出され、先行車の後方において物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合、物体の位置に対応する第2の光学画像の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。
【0054】
浮遊物トラッキング部33は、浮遊物判定部31によって浮遊物と判定された物体をトラッキングする。具体的には、浮遊物トラッキング部33は、差分判定部313によって浮遊物と判定された物体をトラッキング対象として設定し、カメラ20が取得する画像又はレーダ10で浮遊物をトラッキングする。なお、浮遊物トラッキング部33は、カメラ20が取得した画像とレーダ10との両方で物体をトラッキングしてもよい。浮遊物トラッキング部33は、トラッキング中の物体を浮遊物判定部31へ出力する。
【0055】
[物体検出方法]
次に、図4を参照して図3の物体検出装置が、検出した物体が浮遊物であるか否かを判断する方法の一例を説明する。第1実施形態との相違点は、ステップS11からステップS13をさらに備える点である。よって当該相違点についてのみ説明し、その他共通する処理については説明を省略する。
【0056】
ステップS11において、先行車検出部321は、レーダ10によって計測された物体の各位置までの距離を取得し、物体の各位置までの距離から物体の形状及び大きさを特定する。先行車検出部321は、物体の形状及び大きさに基づいて物体が先行車であるか否かを判断する。先行車検出部321は、物体が先行車であると判断した場合(ステップS11でYES)、処理はステップS12に進む。先行車検出部321は、物体が先行車でないと判断した場合(ステップS11でNO)、処理はステップS20に進む。
【0057】
ステップS12において、先行車挙動判定部322は、レーダ10から先行車の速度を取得し、先行車の挙動を判定する。具体的には、先行車挙動判定部322は、先行車が停車状態から発進したことを検出し、先行車が発進してからしきい時間が経過していない場合、又は、先行車の速度がしきい速度未満ある場合、先行車の挙動がしきい挙動以内であると判断する。先行車挙動判定部322は、先行車の挙動がしきい挙動以内であると判断した場合(ステップS12でYES)、処理はステップS13に進む。先行車挙動判定部322は、先行車の挙動がしきい挙動以内でないと判断した場合(ステップS12でNO)処理を終了する。
【0058】
ステップS13において、判定範囲決定部311は、先行車の後方において物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合(ステップS13でYES)、処理はステップS20に進む。判定範囲決定部311は、先行車の後方において、物体が検出されていない状態から物体が検出された状態へ変化したことを検出していない場合(ステップS13でNO)、処理を終了する。
【0059】
ここで、図5及び図6を参照して、第1実施形態の第1変形例に係る物体検出装置が、先行車を検出し、先行車の後方に検出された物体が浮遊物であるか否かを判断する処理について具体的に説明する。
【0060】
先ず、図5を参照して、第1実施形態の第1変形例に係る物体検出装置が、自車両前方の先行車よりも後方に位置する物体を浮遊物と判定する処理について説明する。
【0061】
カメラ20が第1の光学画像aを取得した時刻において、レーダ10が物体1を検出した場合、先行車検出部321は、レーダ10によって測定された物体1の各位置までの距離を取得し、物体の形状及び大きさに基づいて物体1を先行車と判断する。
【0062】
先行車挙動判定部322は、レーダ10から先行車の速度を取得し、先行車の挙動を判定する。カメラ20によって第1の光学画像a及び第2の光学画像bが取得された時刻において、先行車の速度はしきい速度未満である。そのため、先行車挙動判定部322は、先行車の挙動がしきい挙動以内であると判断する。
【0063】
レーダ10は、カメラ20が第2の光学画像bを取得した時刻において、先行車の後方の物体2を検出した場合、判定範囲決定部311は、物体2が検出されていない状態から物体2が検出された状態へ変化したことを検出する。
【0064】
差分算出部312は、先行車の後方の物体2が検出されていない時に撮像された第1の光学画像aを記憶部40から取得し、判定範囲決定部311は、先行車の後方の物体2が検出されている時に撮像された第2の光学画像bをカメラ20から取得する。
【0065】
判定範囲決定部311は、レーダ10によって検出された物体2の位置に対応する第2の光学画像bの画素領域を、物体2が浮遊物であるか否かを判断する画像の範囲3として設定する。
【0066】
差分算出部312は、判定範囲決定部311から第2の光学画像b及び物体2が浮遊物であるか否かを判断する画像の範囲3を取得し、物体2が浮遊物であるか否かを判断する画像の範囲3において、同画素位置における第1の光学画像aと第2の光学画像bとの差分を算出する。
【0067】
第1の光学画像aと第2の光学画像bとの差分はしきい差分未満である。そのため、差分判定部313は、物体2を浮遊物であると判定する。
【0068】
次に、図6を参照して、第1実施形態の第1変形例に係る物体検出装置が、自車両前方の先行車よりも後方に位置する物体2を浮遊物でないと判定する処理について説明する。
【0069】
図5との相違点は、先行車の後方の物体2が歩行者である点である。そのため、図5で説明した処理とは、物体2が浮遊物であるか否かを判断する画像の範囲3を設定する処理以降が相違する。よって、図5で説明した処理との相違点についてのみ説明する。
【0070】
判定範囲決定部311は、レーダ10によって検出された物体2の位置に対応する第2の光学画像dの画素領域を、物体2が浮遊物であるか否かを判断する画像の範囲3として設定する。
【0071】
差分算出部312は、判定範囲決定部311から第2の光学画像d及び物体2が浮遊物であるか否かを判断する画像の範囲3を取得し、物体2が浮遊物であるか否かを判断する画像の範囲3において、同画素位置における第1の光学画像cと第2の光学画像dとの差分を算出する。
【0072】
第1の光学画像cと第2の光学画像dとの差分は、しきい差分以上である。そのため、差分判定部313は、物体2を浮遊物でないと判定する。
【0073】
以上、説明したように第1実施形態の第1変形例によれば第1実施形態の作用効果に加え、以下の作用効果が得られる。
【0074】
物体検出装置は、物体が自車両前方の先行車よりも後方に位置し、先行車が停車状態から発進した場合、先行車が発進してからしきい時間が経過するまで、物体が浮遊物であるか否かを判断する。車両は発進する際に排気ガス、水しぶき、砂埃などの浮遊物をより多く発生させる。そのため、物体検出装置は、先行車の発進から所定の時間が経過するまで、検出された物体が浮遊物であるか否かを判断することにより、自車両前方の先行車が発進する際に発生させる排気ガス、水しぶき、砂埃などの物体を浮遊物として判定することができる。
【0075】
物体検出装置は、物体が自車両前方の先行車よりも後方に位置し、先行車の速度がしきい速度未満である場合、物体が浮遊物であるか否かを判断する。先行車がしきい速度未満で走行している場合、先行車は以後加速する可能性が高い。車両は、加速する際に排気ガス、水しぶき、砂埃などの浮遊物をより多く発生させる。そのため、物体検出装置は、先行車の速度がしきい速度未満である場合、検出された物体が浮遊物であるか否かを判断することにより、自車両前方の先行車が加速する際に発生させる排気ガス、水しぶき、砂埃などの物体を浮遊物として判定することができる。
【0076】
物体検出装置は、浮遊物をトラッキングすることにより、一度浮遊物と判定した物体を再度、浮遊物か否か判定する処理を削減することができる。これにより、物体検出装置は、検出した物体が浮遊物であるか否かを判断する処理に掛かる負荷を削減することができる。
【0077】
(第1実施形態の第2変形例)
[物体検出装置の構成]
図7を参照して、第1実施形態の第2変形例に係る物体検出装置の構成を説明する。第1実施形態の第1変形例との相違点は、先行車情報生成部32が先行車排気管検出部323をさらに備える点、及び、判定範囲決定部311の一部処理である。よって、当該相違点についてのみ説明し、その他共通する構成については説明を省略する。
【0078】
先行車排気管検出部323は、カメラ20が取得した画像から先行車検出部321によって検出された先行車の排気管を検出する。具体的には、先行車排気管検出部323は、先行車の全高の1/5の高さから地面までに対応する画像の画素位置から、記憶部40に予め記憶された車両の排気管の形状に類似する部分を検出し、先行車の排気管として特定する。
【0079】
判定範囲決定部311は、先行車排気管検出部323によって先行車の排気管が検出された場合、物体が浮遊物であるか否かを判断する画像の範囲を先行車の排気管の位置に応じて設定する。具体的には、判定範囲決定部311は、カメラ20から画像を取得し、先行車に対応する画像の画素領域であって検出された排気管から上方の所定範囲の画素領域を物体が浮遊物であるか否かを判断する画像の範囲として設定する。所定範囲の画素領域は、排気管に対して予め定められた所定の距離範囲に相当する範囲の画素領域である。所定の距離範囲は、例えば、1メートルである。判定範囲決定部311は、先行車の排気管が検出された場合、物体が浮遊物であるか否かを判断する画像の範囲であって、排気管から上方の所定範囲の画素領域において物体が検出されたか否かを判断する。
【0080】
判定範囲決定部311は、先行車排気管検出部323によって先行車の排気管が検出されていない場合、検出された物体の位置に対応する第2の画像の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。
【0081】
[物体検出方法]
次に、図8を参照して図7の物体検出装置が、検出した物体が浮遊物であるか否かを判断する方法の一例を説明する。第1実施形態の第1変形例との相違点は、ステップS14、ステップS15をさらに備え、ステップS15以降の処理においてステップS40が削除されている点である。よって当該相違点についてのみ説明し、その他共通する処理については説明を省略する。
【0082】
ステップS14において、先行車排気管検出部323は、カメラ20が取得した画像から先行車の排気管を検出する。先行車排気管検出部323が、先行車の排気管を検出した場合(ステップS14でYES)、処理はステップS15に進む。先行車排気管検出部323が、先行車の排気管を検出していない場合(ステップS14でNO)、処理はステップS13に進む。
【0083】
ステップS15において、判定範囲決定部311は、物体が浮遊物であるか否かを判断する画像の範囲を先行車の排気管の位置に応じて設定する。具体的には、判定範囲決定部311は、カメラ20から画像を取得し、先行車に対応する画像の画素領域であって検出された排気管から上方の所定範囲の画素領域を物体が浮遊物であるか否かを判断する画像の範囲として設定する。当該画像の範囲を設定後、処理はステップS13に進む。
【0084】
ステップS13において、判定範囲決定部311は、先行車の排気管が検出され、排気管から上方の所定範囲の画素領域において、物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合(ステップS13でYES)、処理はステップS20に進む。判定範囲決定部311は、排気管から上方の所定範囲の画素領域において、物体が検出されていない状態から物体が検出された状態へ変化したことを検出していない場合(ステップS13でNO)、処理を終了する。
【0085】
以上、説明したように第1実施形態の第2変形例によれば第1実施形態の第1変形例に加え、以下の作用効果が得られる。
【0086】
物体検出装置は、物体が自車両前方の先行車よりも後方に位置し、先行車の排気管を検出した場合、物体が浮遊物であるか否かを判断する画像の範囲を先行車の排気管の位置に応じて設定する。これにより、物体検出装置は、先行車が発生させる排気ガスを浮遊物としてより精度良く判定することができる。
【0087】
(第2実施形態)
[物体検出装置の構成]
図9を参照して、第2実施形態に係る物体検出装置の構成を説明する。第1実施形態の第2変形例との相違点は、カメラ20の仕様、判定範囲決定部311の一部処理、差分算出部312、差分判定部313に代えて、温度算出部314、温度判定部315を備える点である。よって、当該相違点についてのみ説明し、その他共通する構成については説明を省略する。
【0088】
カメラ20は、自車両前方を撮像して赤外線の輝度を測定し、赤外線の輝度を示す赤外画像を取得する。
【0089】
判定範囲決定部311は、先行車排気管検出部323によって先行車の排気管が検出された場合、先行車に対応する赤外画像の画素領域であって検出された排気管から上方の所定範囲の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。
【0090】
判定範囲決定部311は、先行車排気管検出部323によって先行車の排気管が検出されていない場合、検出された物体の位置に対応する赤外画像の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。
【0091】
温度算出部314は、赤外画像の物体に対応する位置の赤外線の輝度に基づいて、物体の温度を算出する。具体的には、温度算出部314は、先行車の後方において、物体が検出されていない状態から物体が検出された状態へ変化した場合、物体が検出された時に撮像された赤外画像を取得し、物体が浮遊物であるか否かを判断する画像の範囲における物体の温度を、対応する位置の赤外画像の輝度から算出する。
【0092】
温度算出部314は、赤外画像の物体に対応する位置の赤外線の輝度に基づいて、物体の温度の変化量を算出する。具体的には、温度算出部314は、先行車の排気管が検出され、物体が浮遊物であるか否かを判断する画像の範囲において物体が検出されていない状態から物体が検出された状態へ変化した場合、当該画像の範囲における物体の温度の変化量を、対応する位置の赤外画像の輝度の変化量から算出する。
【0093】
なお、赤外画像における画像の輝度は、温度によって変化する。すなわち、温度の変化量は画像の輝度の変化量に対応する。従って、温度算出部314は、物体が検出されていない状態から物体が検出された状態へ変化した場合の赤外画像の輝度の変化量から温度の変化量を算出することができる。温度算出部314は、温度の変化量に替えて赤外画像の輝度の変化量を算出しても良い。
【0094】
温度判定部315は、先行車の排気管が検出されておらず、物体が浮遊物であるか否かを判断する画像の範囲に対応する位置の温度がしきい温度以上である場合、物体が浮遊物であると判定する。しきい温度は、例えば50℃である。
【0095】
温度判定部315は、先行車の排気管が検出され、物体が浮遊物であるか否かを判断する画像の範囲における物体の温度がしきい温度未満であり、当該画像の範囲における物体の温度の変化量がしきい変化量以上である場合、物体が浮遊物であると判定する。しきい温度は、例えば50℃、しきい変化量は、例えば20℃である。
【0096】
温度判定部315は、外気温が高くなるほど高いしきい温度を設定する。具体的には、温度判定部315は、予め実験等で求めた排気ガスの温度の範囲内でしきい温度を変化させる。例えば、外気温が25℃時のしきい温度50℃とし、外気温が1℃上昇する毎にしきい温度を1℃高く設定する。
【0097】
[物体検出方法]
次に、図10A、10Bを参照して図9の物体検出装置が、検出した物体が浮遊物であるか否かを判断する方法の一例を説明する。第1実施形態の第2変形例との相違点は、ステップS20、ステップS30、ステップS50に処理に代えて、ステップS31、ステップS51、ステップS52、ステップS61、ステップS62の処理を行う点である。よって当該相違点についてのみ説明し、その他共通する処理については説明を省略する。
【0098】
ステップS31において、判定範囲決定部311は、レーダ10によって物体が検出されている時に撮像された赤外画像をカメラ20から取得する。
【0099】
ステップS51において、温度算出部314は、赤外画像の物体に対応する位置の赤外線の輝度に基づいて、検出された物体の温度を算出する。具体的には、温度算出部314は、判定範囲決定部311から物体が浮遊物であるか否かを判断する画像の範囲を取得し、物体が検出されている時に撮像された赤外画像から物体が浮遊物であるか否かを判断する赤外画像の範囲における物体の温度を算出する。
【0100】
ステップS52において、温度算出部314は、赤外画像の物体に対応する位置の赤外線の輝度に基づいて、検出された物体の温度の変化量を算出する。具体的には、温度算出部314は、先行車の排気管が検出され、物体が浮遊物であるか否かを判断する画像の範囲において、物体が検出されていない状態から物体が検出された状態へ変化した場合、当該画像の範囲における物体の温度の変化量を、対応する位置の赤外画像の輝度の変化量から算出する。
【0101】
なお、ステップS52において、温度算出部314は、温度の変化量に替えて赤外画像の輝度の変化量を算出しても良い。赤外画像の輝度の変化量を用いる場合、後述するステップS62における、温度の変化量はしきい変化量以上か否かの判断は、赤外画像の輝度の変化量はしきい輝度変化量以上か否かの判断となる。
【0102】
ステップS61において、温度判定部315は、物体の温度がしきい温度以上であると判断した場合(ステップS61でYES)、処理はステップS70に進む。先行車の排気管が検出され(ステップS13でYES)、ステップS61において、温度判定部315は、物体の温度がしきい温度未満であると判断した場合(ステップS61でNO)、処理はステップS62に進む。
【0103】
ステップS62において、温度判定部315は、物体の温度の変化量がしきい変化量以上であると判断した場合(ステップS62でYES)、処理はステップS70に進む。ステップS62において、温度判定部315は、物体の温度の変化量がしきい変化量未満であると判断した場合(ステップS62でNO)、処理はステップS80に進む。
【0104】
以上、説明したように第2実施形態よれば以下の作用効果が得られる。
【0105】
物体検出装置は、自車両前方を撮像して赤外画像を取得し、赤外画像の物体に対応する位置の赤外線の輝度に基づいて物体の温度を算出する。物体検出装置は、物体の温度がしきい温度以上である場合、物体が浮遊物であると判定する。これにより、物体検出装置は、物体の温度に基づいて物体が浮遊物であるか否かを判断することができ、しきい温度以上となる車両の排気ガスを浮遊物としてより精度良く判定することができる。
【0106】
物体検出装置は、先行車の排気管を検出した場合、物体が浮遊物であるか否かを判断する赤外画像の範囲を先行車の排気管の位置に応じて設定する。物体検出装置は、物体が浮遊物であるか否かを判断する赤外画像の範囲において検出された物体の温度の変化量を対応する位置の赤外画像の輝度の変化量から算出し、検出された物体の温度の変化量がしきい変化量以上である場合、物体が浮遊物であると判断する。物体が浮遊物であるか否かを判断する赤外画像の範囲において検出された物体の温度の変化量がしきい変化量以上である場合、先行車は浮遊物である排気ガスを排出している可能性が高い。よって、先行車の排出した排気ガスを浮遊物としてより精度よく判定することができる。
【0107】
物体検出装置は、しきい温度を外気温が高いほど高く設定する。排気管出口における排気ガスの温度は人体の表面温度よりも高い。しかしながら、外気温が高くなるほど人体の表面温度は高くなるため、外気温が高いほど人体の表面温度と排気ガスの温度との差は小さくなる。そのため、物体検出装置は、しきい温度を外気温が高いほど高く設定することにより、人体を浮遊物と誤判定することを防止することができ、物体を浮遊物とより精度良く判定することができる。
【0108】
なお、本実施形態では、ステップS61で物体の温度がしきい温度未満と判断された場合にステップS62に進み、ステップS62で温度の変化量が所定値以上か否かを判断することで物体が浮遊物であるか否かを判定する例を記載したがこれに限定されない。
【0109】
例えば、ステップS61における物体の温度がしきい温度以上か否かの判断を省略し、ステップS62における温度の変化量がしきい変化量以上か否かの判断のみに基づいて物体が浮遊物であるか否かを判定しても良い。
【0110】
また、ステップS62における温度の変化量がしきい変化量以上か否かの判断は、赤外画像の輝度変化に基づいて、赤外画像の輝度の変化量がしきい輝度変化量以上であるか否かの判断としても良い。
【0111】
また、ステップS62以降の処理を省略し、ステップS61で物体の温度がしきい温度以上である場合、物体は浮遊物であると判定し、ステップS61で物体の温度がしきい温度未満である場合、浮遊物では無いと判定しても良い。
【0112】
すなわち、本実施形態においてステップS61で物体の温度がしきい温度未満である場合に、ステップS62で物体の温度の変化量がしきい変化量以上か否かの判断に基づいて、物体が浮遊物であるか否かを判定している理由は、ステップS61の処理とステップS62の処理を組み合わせることによって浮遊物の判定精度を向上することを目的としており、ステップS61の処理あるいはステップS62のいずれかの処理は単独でも浮遊物であるか否かを判定することが可能である。
【0113】
(第3実施形態)
[物体検出装置の構成]
図11を参照して、第3実施形態に係る物体検出装置の構成を説明する。第2実施形態との相違点は、差分算出部312、差分判定部313をさらに備える点である。なお、差分算出部312、差分判定部313は第1実施形態と共通であり、説明を省略する。
【0114】
[物体検出方法]
次に、図12を参照して図11の物体検出装置が、検出した物体が浮遊物であるか否かを判断する方法の一例を説明する。第3実施形態に係る物体検出方法は、ステップS60の条件分岐にて第1実施形態の第2変形例と第2実施形態との処理が接続される構成となっている。よって、ステップS60での処理についてのみ説明し、その他共通する処理については説明を省略する。
【0115】
ステップS60において、差分判定部313は、第1の光学画像と第2の光学画像との輝度の差分がしきい差分未満であると判断した場合(ステップS60でYES)、処理はステップS70に進み、物体が浮遊物であると判定する。
【0116】
ステップS60において、差分判定部313は、第1の光学画像と第2の光学画像との輝度の差分がしきい差分以上であると判断した場合(ステップS60でNO)、処理はステップS11に進む。
【0117】
以上、説明したように第3実施形態によれば以下の作用効果が得られる。
【0118】
物体検出装置は、光学画像及び赤外画像を取得し、第1の光学画像と第2の光学画像との輝度の差分がしきい差分以上であり、物体の温度がしきい温度以上である場合、物体が浮遊物であると判定する。これにより、第1の光学画像と第2の光学画像との輝度の差分がしきい差分以上となる浮遊物の場合、赤外画像に基づいて算出された物体の温度から物体が浮遊物であるか否かを判断することができる。すなわち、浮遊物である車両の排気ガスが滞留した状態において、車両の排気ガスを温度に基づいて浮遊物として判定することができる。
【0119】
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【符号の説明】
【0120】
10 レーダ
20 カメラ
30 制御部
31 浮遊物判定部
311 判定範囲決定部
312 差分算出部
313 差分判定部
314 温度算出部
315 温度判定部
32 先行車情報生成部
321 先行車検出部
322 先行車挙動判定部
323 先行車排気管検出部
33 浮遊物トラッキング部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10A
図10B
図11
図12A
図12B
図12C