(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-10
(45)【発行日】2025-02-19
(54)【発明の名称】物体検出方法及び物体検出装置
(51)【国際特許分類】
G01V 8/10 20060101AFI20250212BHJP
【FI】
G01V8/10 S
(21)【出願番号】P 2021130164
(22)【出願日】2021-08-06
【審査請求日】2024-06-10
(73)【特許権者】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(74)【代理人】
【識別番号】100083806
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100098327
【氏名又は名称】高松 俊雄
(72)【発明者】
【氏名】池田 旭伸
(72)【発明者】
【氏名】西内 秀和
【審査官】鴨志田 健太
(56)【参考文献】
【文献】特開2019-021060(JP,A)
【文献】特開2019-219838(JP,A)
【文献】特開2008-116357(JP,A)
【文献】特開2015-206798(JP,A)
【文献】特開2006-053756(JP,A)
【文献】特開2007-263657(JP,A)
【文献】特開2007-249257(JP,A)
【文献】米国特許出願公開第2012/0050496(US,A1)
【文献】中国特許出願公開第112097732(CN,A)
【文献】藤本宥紀 他,ステレオカメラによる移動量推定と障害物検出,日本機械学会ロボティクス・メカトロニクス講演会講演論文,2018年,A1-L08
(58)【調査した分野】(Int.Cl.,DB名)
G01V 8/10
(57)【特許請求の範囲】
【請求項1】
自車両から所定方向に向けて、異なる位置から撮像することにより2つの画像を取得し、
前記2つの画像の各々から複数の特徴点を抽出し、
前記複数の特徴点の前記2つの画像上の位置から前記自車両から前記複数の特徴点までの前記所定方向における距離、及び実空間における前記複数の特徴点間の距離をそれぞれ算出し、
少なくとも前記実空間における前記複数の特徴点間の距離に基づいて算出される第1の可能性であって、前記複数の特徴点が同一の物体の特徴点である可能性を示す前記第1の可能性に対して付される第1の重み、及び前記画像における前記複数の特徴点間の距離と各々の特徴点の移動速度に基づいて算出される第2の可能性であって、前記複数の特徴点が同一の物体の特徴点である可能性を示す前記第2の可能性に対して付される第2の重みを、前記自車両から前記複数の特徴点までの前記所定方向における距離に基づいてそれぞれ設定し、
前記第1の重みを付した前記第1の可能性及び前記第2の重みを付した前記第2の可能性を用いて、前記複数の特徴点をクラスタリングして物体を検出する
ことを特徴とする物体検出方法。
【請求項2】
前記複数の特徴点の前記2つの画像上の位置から、前記自車両から前記複数の特徴点までの前記所定方向における距離を算出する際に生じる理論誤差を考慮した前記実空間における前記複数の特徴点間の距離が、所定の許容距離以内であるか否かを判断し、
前記理論誤差を考慮した前記実空間における前記複数の特徴点間の距離が、前記所定の許容距離より長い特徴点同士は、同一の物体の特徴点としてクラスタリングすることを禁止する
ことを特徴とする請求項1に記載の物体検出方法。
【請求項3】
前記自車両から前記複数の特徴点までの前記所定方向における距離が所定の距離以上であるか否かを判断し、
前記所定方向における距離が所定の距離以上である場合、前記第1の重みを0とし、
前記所定方向における距離が所定の距離未満である場合、前記第2の重みを0とする
ことを特徴とする請求項1に記載の物体検出方法。
【請求項4】
前記自車両から前記複数の特徴点までの前記所定方向における距離に基づいて前記第1の重み及び前記第2の重みを連続的に変化させる
ことを特徴とする請求項1に記載の物体検出方法。
【請求項5】
前記第1の重みは、前記所定方向における距離が遠くなるほど減少し、
前記第2の重みは、前記所定方向における距離が遠くなるほど増加する
ことを特徴とする請求項4に記載の物体検出方法。
【請求項6】
前記所定方向に対して前記複数の特徴点がなす角度を算出し
前記第1の重みは、前記角度が大きくなるほど減少し、
前記第2の重みは、前記角度が大きくなるほど増加する
ことを特徴とする請求項4に記載の物体検出方法。
【請求項7】
自車両から所定方向に向けて、異なる位置から撮像することにより2つの画像を取得する2つのカメラと、
制御部と、を備え、
前記制御部は、
前記2つの画像の各々から複数の特徴点を抽出し、
前記複数の特徴点の前記2つの画像上の位置から前記自車両から前記複数の特徴点までの前記所定方向における距離、及び実空間における前記複数の特徴点間の距離をそれぞれ算出し、
少なくとも前記実空間における前記複数の特徴点間の距離に基づいて算出される第1の可能性であって、前記複数の特徴点が同一の物体の特徴点である可能性を示す前記第1の可能性に対して付される第1の重み、及び前記画像における前記複数の特徴点間の距離と各々の特徴点の移動速度に基づいて算出される第2の可能性であって、前記複数の特徴点が同一の物体の特徴点である可能性を示す前記第2の可能性に対して付される第2の重みを、前記自車両から前記複数の特徴点までの前記所定方向における距離に基づいてそれぞれ設定し、
前記第1の重みを付した前記第1の可能性及び前記第2の重みを付した前記第2の可能性を用いて、前記複数の特徴点をクラスタリングして物体を検出する
ことを特徴とする物体検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体検出方法及び物体検出装置に関する。
【背景技術】
【0002】
従来から、ステレオカメラで撮像した画像から物体の候補点(特徴点)を抽出し、抽出した候補点をクラスタリングして物体を検出する物体検出方法が知られている(特許文献1)。特許文献1に開示された物体検出方法は、ステレオカメラで撮像した2つの画像から物体の候補点の座標を取得し、取得した座標に基づいて各々の物体の候補点を投票面に投票し、投票面上の隣接する群毎にグループ分けするクラスタリングを行っている。特許文献1に記載されたクラスタリングは、特徴量として幅及び奥行きを用いた最短距離法を用いている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、ステレオカメラによる物体の位置検出は、ステレオカメラと物体との距離が離れるほど精度が低下する。そのため、特許文献1に開示された物体検出方法は、ステレオカメラの位置検出の精度が低下する領域において、検出した物体の候補点をクラスタリングすることができない、又は誤ったクラスタリングをする可能性があり、物体を正確に検出できない場合がある。
【0005】
本発明は、上記課題に鑑みてなされたものであり、ステレオカメラによる位置検出の精度が低下する領域においても精度良くクラスタリングを行うことができ、物体を正確に検出することができる物体検出方法及び物体検出装置を提供することである。
【課題を解決するための手段】
【0006】
本発明の一態様に係る物体検出方法は、自車両から所定方向に向けて、異なる位置から撮像することにより2つの画像を取得し、2つの画像の各々から複数の特徴点を抽出する。複数の特徴点の2つの画像上の位置から自車両から複数の特徴点までの所定方向における距離、及び実空間における複数の特徴点間の距離をそれぞれ算出する。少なくとも実空間における複数の特徴点間の距離に基づいて算出される複数の特徴点が同一の物体の特徴点である可能性を示す第1の可能性に対して付される第1の重み、及び画像における複数の特徴点間の距離と各々の特徴点の移動速度に基づいて算出される複数の特徴点が同一の物体の特徴点である可能性を示す第2の可能性に対して付される第2の重みを、自車両から複数の特徴点までの所定方向における距離に基づいてそれぞれ設定する。第1の重みを付した第1の可能性及び第2の重みを付した第2の可能性を用いて、複数の特徴点をクラスタリングして物体を検出する。
【発明の効果】
【0007】
本発明によれば、ステレオカメラによる位置検出の精度が低下する領域においても精度良くクラスタリングを行うことができ、物体を正確に検出することができる。
【図面の簡単な説明】
【0008】
【
図1】
図1は、実施形態に係る物体検出装置の構成を示すブロック図である。
【
図2】
図2は、ステレオカメラ10が物体の位置を測定する際に生じる理論誤差を示す模式図である。
【
図3A】
図3Aは、自車両から複数の特徴点までのz方向の距離に基づいて設定される第1の重み及び第2の重みを示す模式図である(第1の例)。
【
図3B】
図3Bは、自車両から複数の特徴点までのz方向の距離に基づいて設定される第1の重み及び第2の重みを示す模式図である(第2の例)。
【
図3C】
図3Cは、自車両から複数の特徴点までのz方向の距離に基づいて設定される第1の重み及び第2の重みを示す模式図である(第3の例)。
【
図3D】
図3Dは、自車両から複数の特徴点までのz方向の距離に基づいて設定される第1の重み及び第2の重みを示す模式図である(第4の例)。
【
図3E】
図3Eは、自車両から複数の特徴点までのx方向の距離に基づいて設定される第1の重み及び第2の重みを示す模式図である。
【
図4A】
図4Aは、実施形態に係るフィルタリングを示す模式図である(その1)。
【
図4B】
図4Bは、実施形態に係るフィルタリングを示す模式図である(その2)。
【
図5】
図5は、実施形態に係る一致コスト行列を示す図である。
【
図6A】
図6Aは、第1の可能性に基づくクラスタリング結果を示す模式図である。
【
図6B】
図6Bは、第2の可能性に基づくクラスタリング結果を示す模式図である。
【
図7】
図7は、実施形態に係る物体検出装置の一動作例を示すフローチャートである。
【発明を実施するための形態】
【0009】
図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。
【0010】
[物体検出装置の構成]
図1を参照して、実施形態に係る物体検出装置1の構成を説明する。物体検出装置1は、ステレオカメラ10、制御部20を備える。物体検出装置1は、例えば、ADAS(Advanced Driver-Assistance Systems)の物体検出に用いることができる。本実施形態では、物体検出装置1は車両に搭載され、自車両の前方に存在する物体を検出する。
【0011】
ステレオカメラ10は、カメラ11及びカメラ12を備えている。カメラ11及びカメラ12は、ステレオカメラ10の筐体内でそれぞれ異なる位置に配置される。ステレオカメラ10は、自車両の室内前方に配置され、カメラ11及びカメラ12で自車両の前方を異なる位置から撮像して2つの画像を取得する。具体的には、ステレオカメラ10が自車両に設置された状態において、カメラ11は自車両の右側に配置され、カメラ12は自車両の左側に配置される。カメラ11及びカメラ12は、同タイミングで撮像を行う。カメラ11は、自車両の右側から自車両の前方を撮像した第1の画像を取得し、カメラ12は、自車両の左側から自車両の前方を撮像した第2の画像を取得する。ステレオカメラ10は、自車両前方を所定の周期で繰り返し撮像して、同タイミングで撮像した自車両の前方の2つの画像を複数取得し、取得した画像を制御部20に送信する。
【0012】
なお、本実施形態においては、ステレオカメラ10(カメラ11及びカメラ12)は自車両前方を撮像するカメラとしているが、これに限らない。ステレオカメラ10は自車両側方を撮像するカメラであっても良い。また、カメラ11及びカメラ12はそれぞれ自車両左右方向で異なる位置に配置されたものとしているが、ステレオカメラ10が自車両側方を撮像するカメラで有る場合は自車両前後方向で異なる位置に配置される。すなわち、ステレオカメラ10は自車両から所定方向を撮像するカメラで有れば良く、また、カメラ11及びカメラ12はステレオカメラ10としての撮像方向である所定方向に対して角度を持った方向において異なる位置に配置されていればよい。以下、本実施形態においてはステレオカメラ10の撮像方向である所定方向を前後方向とし、カメラ11及びカメラ12が配置される異なる位置を車両左右方向で異なる位置とした例を記載する。
【0013】
また、本実施形態において、ステレオカメラ10は、カメラ11及びカメラ12の二つの異なる位置に配置されたカメラを備えたステレオカメラを例に挙げるが、これに限定されない。例えば、ステレオカメラ10は三つ以上の異なる位置に配置されたカメラを備えていても良い。また、一つのカメラのみを備え、車両の移動中に一つのカメラで異なるタイミングで撮像した二つの画像、すなわち一つのカメラが異なる位置で撮像した複数の画像を取得する、所謂モーションステレオカメラであっても良い。すなわち、ステレオカメラ10はカメラの数に限定されず、異なる位置で撮像した複数の画像を取得するカメラであれば良い。以下、本実施形態では説明簡略化のために、ステレオカメラ10はカメラ11及びカメラ12の二つの異なる位置に配置されたカメラを備えたステレオカメラであるものとして説明する。
【0014】
制御部20は、ステレオカメラ10により取得された2つの画像の各々から複数の特徴点を抽出し、抽出した特徴点をクラスタリングすることで、自車両の前方の物体を検出する。本実施形態における物体とは、他車両、バイク、自転車、歩行者を含む移動物体でもよく、駐車車両を含む静止物体でもよい。制御部20は、CPU(中央処理装置)、RAM及びROMなどのメモリ(記憶部)、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、物体検出装置として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは、物体検出装置が備える複数の情報処理回路(21、22、23、24、25、26)として機能する。なお、本実施形態では、ソフトウェアによって物体検出装置が備える複数の情報処理回路(21、22、23、24、25、26)を実現する例を示すが、各情報処理を実行するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。
【0015】
制御部20は、複数の情報処理回路として、特徴点抽出部21、距離画像生成部22、オプティカルフロー算出部23、自車挙動測定部24、3次元フロー算出部25、物体検出部26を備える。
【0016】
特徴点抽出部21は、カメラ11及びカメラ12により取得されたそれぞれの画像から、それぞれ周囲の画素と区別可能な特徴を持つ画素である複数の特徴点を抽出する。特徴点の抽出には、周知の手法を適用可能であるが、例えば非特許文献「Jianbo Shi and Carlo Tomasi, "Good Features to Track," 1994 IEEE Conference on Computer Vision and Pattern Recognition (CVPR'94), 1994, pp.593 - 600.」に記載の方法が用いられる。特徴点抽出部21は、抽出した複数の特徴点を距離画像生成部22と、オプティカルフロー算出部23とに出力する。なお、以下では、特に断らない限り、特徴点は、複数あることを前提とする。
【0017】
距離画像生成部22は、自車両から複数の特徴点までの自車両の前後方向の距離、及び実空間における複数の特徴点間の距離をそれぞれ算出し、複数の特徴点の自車両に対する相対位置を表示した距離画像を生成する。具体的には、距離画像生成部22は、第1画像の特徴点と第2画像の特徴点とのうちで同一の特徴点に対する視差(ずれ量)から、複数の特徴点の自車両に対する3次元座標(相対座標)を算出する。次に、距離画像生成部22は、複数の特徴点の3次元座標から、自車両から複数の特徴点までの自車両の前後方向の距離、及び実空間における複数の特徴点間の距離を算出する。なお、距離画像生成部22は、カメラ11が取得した第1の画像から抽出された特徴点と、カメラ12が取得した第2の画像から抽出された特徴点との視差から、自車両から複数の特徴点までの自車両の前後方向の距離を算出してもよい。また、距離画像生成部22は、自車両の直進方向(所定方向)に対して特徴点がなす角度を、複数の特徴点の自車両に対する3次元座標から算出する。次に、距離画像生成部22は、複数の特徴点の3次元座標に基づいて各々の特徴点を投影面上に配置し、自車両から複数の特徴点までの自車両の前後方向の距離を示す距離画像を生成する。距離画像生成部22は、生成した距離画像を3次元情報評価部28と、評価方法決定部29に出力する。
【0018】
オプティカルフロー算出部23は、特徴点抽出部21によって抽出されたカメラ11又はカメラ12のいずれか一方の過去の画像の特徴点の位置と現在の画像の特徴点の位置から、オプティカルフローを算出する。オプティカルフローとは、画像上における特徴点の2次元の動き(移動速度)をベクトルで表すものである。オプティカルフロー算出部23は、過去の特徴点に対応する実空間の対象と同一の対象に対応する現在の特徴点を、関連する特徴点として検出する。オプティカルフロー算出部23は、互いに関連する、過去の特徴点と現在の特徴点との組み合わせをオプティカルフローとして算出する。これにより、オプティカルフロー算出部23は、画像における複数の特徴点間の距離と各々の特徴点の移動速度を算出することができる。オプティカルフローの算出には、周知の手法を適用可能であるが、例えば非特許文献「Bruce D. Lucasand Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. International Joint Conference on Artificial Intelligence, pages 674-679, 1981」に記載の方法が用いられる。オプティカルフロー算出部23は、算出したオプティカルフローを3次元フロー算出部25と、2次元情報評価部27とに出力する。
【0019】
自車挙動測定部24は、自車両の挙動を測定する。具体的には、自車挙動測定部24は、オドメトリやデッドレコニングを行うことで自車両の挙動を測定する。自車両の挙動とは、所定の時間における自車両の相対位置、相対姿勢、及び速度の変化のことである。自車挙動測定部24は、自車両の各車輪の車輪速を検出する車輪速センサ、操舵輪の転舵角を検出する舵角センサから取得した情報に基づいて、所定の基準点に対する自車両の相対位置、相対姿勢、及び速度を計測することで、所定の時間における自車両の挙動を測定することができる。なお、自車挙動測定部24は、GPS(グローバル・ポジショニング・システム)信号を受信する受信装置(不図示)から自車両の地球座標における絶対位置、及び絶対姿勢を取得し、所定の時間における各々の変化量から自車両の挙動を測定してもよい。
【0020】
3次元フロー算出部25は、特徴点の実空間における3次元の動き(フロー)を算出する。具体的には、先ず、3次元フロー算出部25は、オプティカルフロー算出部23によって算出されたオプティカルフローを実空間における動きへと変換する。オプティカルフローは、前記した通り、画像上における特徴点の2次元の動きである。そのため、3次元フロー算出部25は、画像上における複数の特徴点の2次元の動きを実空間における2次元の動き(速度)へと変換する。次に、3次元フロー算出部25は、算出した複数の特徴点の実空間における2次元の動きに、自車両に対する前後方向の動きを追加する。複数の特徴点の自車両に対する前後方向の動きは、距離画像生成部22によって算出された自車両から複数の特徴点までの自車両の前後方向の距離の単位時間あたりの変化量から算出することができる。なお、ここまでに算出された複数の特徴点の3次元の動きは、自車両に対する相対的な動きである。そのため、3次元フロー算出部25は、複数の特徴点の自車両に対する相対的な動きを、自車挙動測定部24によって算出された自車両の挙動によって補正し、実空間における3次元の動き(絶対値)を算出する。3次元フロー算出部25は、算出した特徴点の実空間における3次元の動き(3次元フロー)を3次元情報評価部28に出力する。
【0021】
物体検出部26は、複数の特徴点をクラスタリングし、クラスタリングした特徴点群を1つの物体として検出する。具体的には、物体検出部26は、少なくとも実空間における複数の特徴点間の距離に基づいて算出される第1の可能性であって、複数の特徴点が同一の物体の特徴点である可能性を示す第1の可能性に対して付される第1の重みを設定する。また、物体検出部26は、画像における複数の特徴点間の距離と各々の特徴点の移動速度に基づいて算出される第2の可能性であって、複数の特徴点が同一の物体の特徴点である可能性を示す第2の可能性に対して付される第2の重みを設定する。具体的には、物体検出部26は、第1の重み及び第2の重みを、自車両から複数の特徴点までの自車両の前後方向の距離、及び自車両の直進方向に対して特徴点がなす角度に応じて設定する。そして、物体検出部26は、第1の重みを付した第1の可能性及び第2の重みを付した第2の可能性を用いて、複数の特徴点をクラスタリングして物体を検出する。
【0022】
第1の可能性は、少なくとも実空間における複数の特徴点間の距離に基づいて算出される。したがって、第1の可能性は、特徴点間の3次元上の位置関係が考慮されたものである。そのため、第1の可能性は、ステレオカメラ10による位置検出の精度が良好な領域において有効に作用する。また、第2の可能性は、画像における複数の特徴点間の距離と各々の特徴点の移動速度に基づいて算出される。したがって、第2の可能性は、特徴点間の2次元上の位置関係と2次元上の特徴点の移動速度が考慮されたものである。すなわち、第2の可能性は、特徴点間の自車両の前後方向(奥行方向)の距離を考慮しないことにより、ステレオカメラ10による位置検出の精度が低下する領域において有効に作用する。
【0023】
ここで、
図2を参照して、ステレオカメラ10が取得した2つの画像から、自車両2から複数の特徴点(i1、i2、i3、i4)までの自車両2の前後方向の距離、及び各々の特徴点の自車両2の左右方向の位置を算出する際に生じる理論誤差について模式的に説明する。本実施形態では、距離画像生成部22が複数の特徴点(i1、i2、i3、i4)までの自車両2の前後方向の距離、及び複数の特徴点の自車両2に対する3次元座標(相対座標)を算出するが、ステレオカメラ10が物体までの距離を算出する場合も同様である。ここでは、ステレオカメラ10が、自車両2から複数の特徴点(i1、i2、i3、i4)までの自車両2の前後方向の距離、及び、各々の特徴点の自車両2の左右方向(x方向)の位置を算出することを前提に説明する。ステレオカメラ10が、自車両2から特徴点i1までの自車両2の前後方向(z方向)の距離を算出する際に生じる理論誤差はtez1である。また、ステレオカメラ10が、自車両から特徴点i1よりも遠くに存在する特徴点i2までの自車両2の前後方向の距離を算出する際に生じる理論誤差はtez2となる。このように、ステレオカメラ10による自車両2から特徴点までの自車両2の前後方向の距離を算出する場合、ステレオカメラ10から特徴点までの自車両2の前後方向の距離が遠くなるほど理論誤差は大きくなる。また、特徴点i3、特徴点i4のように、自車両の直進方向(z方向)に対して角度を有する特徴点の場合、自車両の直進方向に対して特徴点がなす角度が大きくなるほど(θ1<θ2)、自車両の左右方向(x方向)の位置を算出する際の理論誤差も大きくなる。したがって、特徴点i3におけるx方向の位置(x1)における理論誤差はtex1であるのに対して、特徴点i4におけるx方向の位置(x2)における理論誤差はtex2となる。そのため、特徴点i4が破線l上に存在する場合、特徴点i4は、同じx座標として算出される。
【0024】
物体検出部26は、2次元情報評価部27、3次元情報評価部28、評価方法決定部29、クラスタリング部30を備える。以下、物体検出部26を構成する各々の要素の具体的な処理について説明する。
【0025】
評価方法決定部29は、自車両から複数の特徴点までの自車両の前後方向(z方向)の距離に基づいて、第1の可能性に付される(乗算される)第1の重み、及び第2の可能性に付される(乗算される)第2の重みのそれぞれを設定する。ここで、
図3Aから
図3Dを参照して、評価方法決定部29が、自車両から複数の特徴点までの自車両の前後方向(z方向)の距離に基づいて、第1の重みw1及び第2の重みw2を設定する処理について具体的に説明する。
【0026】
(第1の例)
図3Aは、評価方法決定部29が、第1の重みw1及び第2の重みw2を設定する第1の例を示す。第1の例では、評価方法決定部29は、自車両から複数の特徴点までの自車両の前後方向(z方向)の距離が所定の距離zc以上であるか否かを判断する。そして、評価方法決定部29は、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離zc以上であると判断した場合、第1の重みw1を0.0とし、第2の重みw2を1.0と設定する。なお、1.0は、設定可能な重みの最大値である。すなわち、評価方法決定部29は、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離zc以上である場合、第2の可能性のみを用いて複数の特徴点が同一の物体の特徴点であるか否かを判断するよう設定する。また、評価方法決定部29は、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離zc未満であると判断した場合、第1の重みw1を1.0とし、第2の重みw2を0.0と設定する。すなわち、評価方法決定部29は、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離zc未満である場合、第1の可能性のみを用いて複数の特徴点が同一の物体の特徴点であるか否かを判断するよう設定する。所定の距離zcは、ステレオカメラ10による位置検出の精度が低下する距離(例えば50m)である。このように、第1の例では、評価方法決定部29は、第1の重みw1及び第2の重みw2を非連続的に変化させる。
【0027】
(第2の例)
図3Bは、評価方法決定部29が、第1の重みw1及び第2の重みw2を設定する第2の例を示す。第1の例との相違点は、評価方法決定部29が、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離zc以上であると判断した場合、第1の重みw1を0.1とし、第2の重みw2を0.9と設定する点である。これにより、ステレオカメラ10の位置検出の精度が低下する領域においても第1の可能性が考慮され、実空間における特徴点間の距離が離れている、同一の物体の特徴点ではない特徴点同士を同一の物体の特徴点であると判断することを防止することができる。
【0028】
(第3の例)
図3Cは、評価方法決定部29が、第1の重みw1及び第2の重みw2を設定する第3の例を示す。第3の例では、評価方法決定部29は、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離z1未満である場合、第1の重みw1を1.0とし、第2の重みw2を0.0と設定する。評価方法決定部29は、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離z1以上であり、所定の距離z2未満である場合、自車両から複数の特徴点までの自車両の前後方向の距離に基づいて、第1の重みw1及び第2の重みw2を連続的に変化させる。より詳細には、自車両から複数の特徴点までの自車両の前後方向の距離が遠くなるほど、第1の重みw1を1.0から減少させ、第2の重みw2を0.0から増加させる。評価方法決定部29は、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離z2以上である場合、第1の重みw1を0.0とし、第2の重みw2を1.0と設定する。所定の距離z1は、自車両から複数の特徴点までの自車両の前後方向の距離を算出した際の理論誤差が2mとなる距離である。所定の距離z1は、例えば30mである。所定の距離z2は、自車両から複数の特徴点までの自車両の前後方向の距離を算出した際の理論誤差が10mとなる距離である。所定の距離z2は、例えば70mである。このように、第3の例では、評価方法決定部29は、所定の距離z1から所定の距離z2までの間で、第1の重みw1及び第2の重みw2を連続的に変化させる。
【0029】
(第4の例)
図3Dは、評価方法決定部29が、第1の重みw1及び第2の重みw2を設定する第4の例を示す。第4の例では、評価方法決定部29は、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離z3未満である場合、第1の重みw1を1.0とし、第2の重みw2を0.0と設定する。評価方法決定部29は、所定の距離z3における自車両の前後方向の理論誤差を自車両から複数の特徴点までの自車両の前後方向の距離における理論誤差で除算した値を第1の重みw1として設定する。第2の重みw2は、1.0から第1の重みw1を減算した値を設定する。
【0030】
評価方法決定部29は、自車両の直進方向に対して特徴点がなす角度に基づいて、第1の可能性に付される第1の重みw1、及び第2の可能性に付される第2の重みw2のそれぞれを設定する。ここで、
図3Eを参照して、評価方法決定部29が、自車両の直進方向に対して特徴点がなす角度に基づいて、第1の重みw1及び第2の重みw2を設定する処理について具体的に説明する。
図2を参照して説明したように、自車両の直進方向(z方向)に対して角度を有する特徴点の場合、自車両の直進方向と特徴点がなす角度が大きくなるほど、自車両の左右方向(x方向)の位置を算出する際の理論誤差が大きくなる。そのため、評価方法決定部29は、自車両の直進方向に対して特徴点のなす角度が大きくなる領域r1は、領域r0よりも第1の重みw1を減少させ、第2の重みw2を増加させる。同様に、自車両の直進方向に対して特徴点がなす角度が大きくなる領域r3は、領域r2よりも第1の重みw1を減少させ、第2の重みw2を増加させる。以上説明したように、評価方法決定部29は、自車両から特徴点までの自車両の前後方向の距離、及び自車両の直進方向に対して特徴点がなす角度に基づいて、第1の可能性に付される第1の重みw1、及び第2の可能性に付される第2の重みw2をそれぞれ設定する。
【0031】
3次元情報評価部28は、特徴点のフィルタリングを行い、フィルタリング後の各々の特徴点の実空間における複数の特徴点間の距離と、各々の特徴点の実空間における移動速度に基づいて、第1の重みを付した複数の特徴点が同一の物体の特徴点である可能性を示す第1の可能性を算出する。ここで、
図4A、
図4Bを参照して、特徴点のフィルタリングについて具体的に説明する。特徴点のフィルタリングとは、自車両から複数の特徴点までの自車両の前後方向の距離を算出する際に生じる理論誤差を考慮した、実空間における複数の特徴点間の距離が、所定の許容距離より長い特徴点同士を同一の物体の特徴点としてクラスタリングすることを禁止する処理である。
【0032】
図4Aには、特徴点i、特徴点j、自車両から特徴点i及び自車両から特徴点jまでの自車両の前後方向(z方向)の距離を算出する際に生じる理論誤差te、所定の許容距離pdが示されている。なお、
図4A及び
図4Bでは、便宜上、特徴点i及び特徴点jの理論誤差teは同じ値とする。3次元情報評価部28は、理論誤差te考慮した実空間における特徴点iと特徴点jの距離d1が所定の許容距離pd以内であるか否かを判断する。理論誤差を考慮した実空間における複数の特徴点間の距離d1は、理論誤差te考慮した際に特徴点iと特徴点jとの距離が最も短くなる距離である。
図4Aにおいて、理論誤差を考慮した実空間における複数の特徴点間の距離d1は、所定の許容距離pdよりも長い。そのため、3次元情報評価部28は、特徴点iと特徴点jを同一の物体の特徴点としてクラスタリングすることを禁止する。より具体的には、特徴点iと特徴点jが同一の物体の特徴点である可能性を示す1の可能性の算出を行わない。
図4Aに対して、
図4Bの特徴点iと特徴点jとの理論誤差te考慮した実空間における複数の特徴点間の距離d1は、所定の許容距離pd以内となっている。そのため、3次元情報評価部28は、特徴点iと特徴点jが同一の物体の特徴点である可能性を示す第1の可能性を算出する。
【0033】
3次元情報評価部28は、フィルタリング後の各々の特徴点の実空間における複数の特徴点間の距離と、各々の特徴点の実空間における移動速度に基づいて、第1の重みを付した複数の特徴点が同一の物体の特徴点である可能性を示す第1の可能性を算出する。具体的には、下記の式(1)で第1の可能性が算出される。なお、下記の式(1)における第1の可能性f3d(i、j)は、特徴点iと特徴点jが同一の物体の特徴点である可能性が高いほど小さい値として算出される。
【0034】
【0035】
Xi、Yi、Ziは、特徴点iの実空間における座標であり、vXi、vYi、vZiは、特徴点iの実空間におけるx方向、y方向、z方向の速度である。Xj、Yj、Zjは、特徴点jの実空間における座標であり、vXj、vYj、vZjは、特徴点jの実空間におけるx方向、y方向、z方向の速度である。a~fは、評価式に含まれる理論誤差を定常化するための正規化パラメータである。3次元情報評価部28は、(1)式によって算出された第1の可能性に第1の重みを付した結果をクラスタリング部30に出力する。
【0036】
2次元情報評価部27は、複数の特徴点間の距離と各々の特徴点の移動速度に基づいて、第2の重みを付した複数の特徴点が同一の物体の特徴点である可能性を示す第2の可能性を算出する。具体的には、下記の式(2)で第2の可能性が算出される。なお、下記の式(2)における第2の可能性f2d(i、j)は、特徴点iと特徴点jが同一の物体の特徴点である可能性が高いほど小さい値として算出される。
【0037】
【0038】
xi、yiは、特徴点iの画像における座標であり、vxi、vyiは、特徴点iの画像内におけるx方向、y方向の移動速度である。xj、yjは、特徴点jの画像における座標であり、vxj、vyjは、特徴点iの画像内におけるx方向、y方向の移動速度である。a~dは、評価式に含まれる理論誤差を定常化するための正規化パラメータである。2次元情報評価部28は、(2)式によって算出された第2の可能性に第2の重みを付した結果をクラスタリング部30に出力する。
【0039】
クラスタリング部30は、第1の可能性に第1の重みw1を乗算した値と第2の可能性に第2の重みw2を乗算した値とを加算し、一致コストとして算出する。クラスタリング部30は、
図5に示す各々の特徴点の組み合わせ毎の一致コスト行列を作成する。
図5では、各々の特徴点が「A」から「F」で示されており、各々の特徴点の組み合わせ毎の一致コストが示されている。例えば、特徴点「A」と特徴点「B」の一致コストは16である。クラスタリング部30は、コストの小さい順に組合せを連結してクラスタリングを行い、一致コストが所定の閾値以下の特徴点同士を組み合わせることにより、クラスタリングされた特徴点を1つの物体として検出する。以後、1つの物体としてクラスタリングされた複数の特徴点を「クラスター」と呼ぶ。
【0040】
なおここで、上述の通り第1の可能性(f3d(i、j))及び第2の可能性(f2d(i、j))は、特徴点iと特徴点jが同一の物体の特徴点である可能性が高いほど小さい値として算出され、したがって一致コストは、特徴点iと特徴点jが同一の物体の特徴点である可能性が高いほど小さい値となる。しかしながら、例えば、第1の可能性を逆数(1/f3d(i、j))とし、第2の可能性を逆数(1/f2d(i、j))として、第1の可能性と第2の可能性とは特徴点iと特徴点jが同一の物体の特徴点である可能性が高いほど大きくなる値としても良い。また、第1の可能性の符号を負の符号(-f3d(i、j))とすると共に、第2の可能性の符号を負の符号(-f2d(i、j))として、第1の可能性と第2の可能性とは特徴点iと特徴点jが同一の物体の特徴点である可能性が高いほど大きくなる値としても良い。あるいは、第1の可能性(f3d(i、j))及び第2の可能性(f2d(i、j))に重みを付して加算した値の逆数をコストとすることによって、特徴点iと特徴点jが同一の物体の特徴点である可能性が高いほどコストが大きくなるようにしても良い。この場合、一致コストは、特徴点iと特徴点jが同一の物体の特徴点である可能性が高いほど大きな値となるため、クラスタリング部30は、コストの大きい順に組合せを連結してクラスタリングを行い、一致コストが所定の閾値以上の特徴点同士を組み合わせる。これにより、クラスタリングされた特徴点を1つの物体として検出することができる。従って、第1の可能性と第2の可能性とを特徴点iと特徴点jが同一の物体の特徴点である可能性が高いほど小さな値とするか大きな値とするかは適宜変更可能である。すなわち、第1の可能性及び第2の可能性は特徴点iと特徴点jが同一の物体の特徴点である可能性に応じて変化するパラメータで有れば良く、一致コストは第1の可能性及び第2の可能性に重みを付して加算した値であれば良く、その値自体の正負には限定されない。
【0041】
ここで、
図6A、
図6Bを参照して、クラスタリング部30が特徴点をクラスタリングして物体を検出する処理を模式的に説明する。
図6Aは、複数の特徴点igがステレオカメラ10による位置検出の精度が良好な領域に存在する場合のクラスターc1を示している。
図6Aの距離画像diには、自車両から複数の特徴点igまでの自車両の前後方向の距離、及び実空間における特徴点間の距離が示されている。距離画像diに示される複数の特徴点igは、ステレオカメラ10による位置検出の精度が良好な領域に存在する。そのため、クラスタリング部30は、第1の可能性が第2の可能性よりも多く反映された一致コスト行列に基づいてクラスタリングc1を行う。これにより、複数の特徴点igをクラスタリングc1して物体3を検出することができる。
図6Bは、複数の特徴点ipがステレオカメラ10による位置検出の精度が低下する領域に存在する場合のクラスターc2を示している。
図6Bの距離画像diには、自車両から特徴点までの自車両の前後方向の距離、及び実空間における特徴点間の距離が示されている。距離画像diに示される複数の特徴点ipは、ステレオカメラ10による位置検出の精度が低下している領域に存在する。そのため、クラスタリング部30は、第2の可能性が第1の可能性よりも多く反映された一致コスト行列に基づいてクラスタリングc2を行う。これにより、複数の特徴点ipをクラスタリングc2して物体4を検出することができる。
【0042】
[物体検出方法]
次に、
図7を参照して、
図1に示す物体検出装置の処理の一例を説明する。
図7のフローチャートに示す物体検出装置の動作は、車両のイグニッションスイッチ又はパワースイッチがONとなると同時に開始され、イグニッションスイッチ又はパワースイッチがOFFとなった時点で処理を終了する。
【0043】
ステップS10において、特徴点抽出部21は、ステレオカメラ10によって撮像された自車両の前方を異なる位置から撮像した2つの画像を取得し、処理はステップS20に進む。ステップS20において、特徴点抽出部21は、それぞれ周囲の画素と区別可能な特徴を持つ画素である複数の特徴点を抽出し、処理はステップS30に進む。
【0044】
ステップS30において、距離画像生成部22は、第1画像の特徴点と第2画像の特徴点とのうちで同一の特徴点に対する視差(ずれ量)から、複数の特徴点の自車両に対する3次元座標(相対座標)を算出し、複数の特徴点の3次元座標から、自車両から複数の特徴点までの自車両の前後方向の距離を算出する。そして、処理はステップS40に進み、距離画像生成部22は、複数の特徴点の自車両に対する3次元座標から実空間における複数の特徴点間の距離を算出し、処理はステップS50に進む。
【0045】
ステップS50において、オプティカルフロー算出部23は、過去の特徴点に対応する実空間の対象と同一の対象に対応する現在の特徴点を、関連する特徴点として検出し、互いに関連する過去の特徴点と現在の特徴点との組み合わせをオプティカルフローとして算出する。オプティカルフロー算出部23は、オプティカルフローから画像における複数の特徴点間の距離を算出し、処理はステップS60に進む。ステップS60において、オプティカルフロー算出部23は、オプティカルフローから画像における各々の特徴点の移動速度を算出し、処理はステップS70に進む。
【0046】
ステップS70において、3次元情報評価部28は、特徴点のフィルタリングを行う。具体的には、3次元情報評価部28は、自車両から複数の特徴点までの自車両の前後方向の距離を算出する際に生じる理論誤差を考慮した実空間における複数の特徴点間の距離が、所定の許容距離以内であるか否かを判断する。そして、3次元情報評価部28は、理論誤差を考慮した実空間における複数の特徴点間の距離が、所定の許容距離より長い特徴点同士は、同一の物体の特徴点としてクラスタリングすることを禁止し、処理はステップS80に進む。
【0047】
ステップS80において、評価方法決定部29は、自車両から複数の特徴点までの自車両の前後方向の距離に基づいて、第1の可能性に付される第1の重み、及び第2の可能性に付される第2の重みのそれぞれを設定し、処理はステップS90に進む。
【0048】
ステップS90において、3次元情報評価部28は、フィルタリング後の各々の特徴点の実空間における複数の特徴点間の距離と、各々の特徴点の実空間における移動速度に基づいて、第1の重みを付した(乗算した)複数の特徴点が同一の物体の特徴点である可能性を示す第1の可能性を算出する。2次元情報評価部27は、複数の特徴点間の距離と各々の特徴点の移動速度に基づいて、第2の重みを付した(乗算した)複数の特徴点が同一の物体の特徴点である可能性を示す第2の可能性を算出する。そして、クラスタリング部30は、第1の可能性と第2の可能性を加算し、一致コストとして算出する。クラスタリング部30は、特徴点の組み合わせ毎の一致コスト行列を作成する。そして、処理はステップS100に進み、クラスタリング部30は、コストの小さい順に組合せを連結してクラスタリングを行い、一致コストが所定の閾値以下の特徴点同士を組み合わせることにより、クラスタリングされた特徴点を1つの物体として検出する。
【0049】
[作用効果]
以上、説明したように、本実施形態によれば以下作用効果が得られる。
【0050】
少なくとも実空間における複数の特徴点間の距離に基づいて算出される第1の可能性であって、複数の特徴点が同一の物体の特徴点である可能性を示す第1の可能性に対して付される第1の重み、及び画像における複数の特徴点間の距離と各々の特徴点の移動速度に基づいて算出される第2の可能性であって、複数の特徴点が同一の物体の特徴点である可能性を示す第2の可能性に対して付される第2の重みを、自車両から複数の特徴点までの自車両の前後方向(所定方向)の距離に基づいてそれぞれ設定し、第1の重みを付した第1の可能性及び第2の重みを付した前記第2の可能性を用いて、複数の特徴点をクラスタリングして物体を検出する。
【0051】
第1の可能性は、実空間における複数の特徴点間の距離に基づいて算出される複数の特徴点が同一の物体の特徴点である可能性であり、ステレオカメラ10による位置検出精度が良好な領域において有効に作用する。また、第2の可能性は、画像における複数の特徴点間の距離と各々の特徴点の移動速度に基づいて算出される複数の特徴点が同一の物体の特徴点である可能性であり、ステレオカメラ10による位置検出精度が低下する領域において有効に作用する。したがって、自車両から複数の特徴点までの自車両の前後方向の距離に基づいて、第1の重みと第2の重みをそれぞれ設定することにより、ステレオカメラによる位置検出の精度が低下する領域においても精度良くクラスタリングを行い、物体を正確に検出することができる。
【0052】
複数の特徴点の2つの画像上の位置から、自車両から複数の特徴点までの自車両の前後方向の距離を算出する際に生じる理論誤差を考慮した実空間における複数の特徴点間の距離が、所定の許容距離以内であるか否かを判断する。そして、理論誤差を考慮した実空間における複数の特徴点間の距離が、所定の許容距離より長い特徴点同士は、同一の物体の特徴点としてクラスタリングすることを禁止する。これにより、理論誤差を考慮した実空間における複数の特徴点間の距離が、所定の許容距離より長い特徴点同士は、同一の物体の特徴点でないと判断し、クラスタリングを禁止することで、誤ったクラスタリングを防止することができる。すなわち、物体を精度良く検出することができる。
【0053】
自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離以上であるか否かを判断し、前後方向の距離が所定の距離以上である場合、第1の重みを0とし、前後方向の距離が所定の距離未満である場合、前記第2の重みを0とする。これにより、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離以上である場合、ステレオカメラ10による位置検出の精度が低下する領域において有効に作用する第2の可能性を用いて複数の特徴点が同一の物体の特徴点であるか否かを判断することができる。また、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離未満である場合、ステレオカメラ10による位置検出の精度が良好な領域において有効に作用する第1の可能性を用いて、複数の特徴点が同一の物体の特徴点であるか否かを判断することができる。したがって、複数の特徴点が同一の物体の特徴点である可能性をより精度良く判断することができる。
【0054】
自車両から複数の特徴点までの自車両の前後方向の距離、及び自車両の直進方向(所定方向)に対して特徴点がなす角度に基づいて第1の重み及び第2の重みを連続的に変化させる。これにより、車両から複数の特徴点までの自車両の前後方向の距離、及び自車両の直進方向に対して特徴点がなす角度の変化に応じて、第1の重み及び第2の重みを変化させながら、第1の可能性と第2の可能性との両方を用いて複数の特徴点が同一の物体の特徴点であるか否かを判断することができる。すなわち、より精度良くクラスタリングを行うことができる。
【0055】
第1の重みは、自車両から複数の特徴点までの自車両の前後方向の距離が遠くなるほど減少し、第2の重みは、自車両から複数の特徴点までの自車両の前後方向の距離が遠くなるほど増加する。これにより、自車両から複数の特徴点までの自車両の前後方向の距離が遠くなるほど、複数の特徴点が同一の物体の特徴点である可能性を算出する際に与える第1の可能性の影響度を小さくし、第2の可能性の影響度を大きくすることができる。よって、自車両から複数の特徴点までの自車両の前後方向の距離に応じて、第1の可能性の影響度と第2の可能性の影響度とを適切に変化させることができ、複数の特徴点が同一の物体の特徴点である可能性を算出することができる。すなわち、より精度良くクラスタリングを行うことができる。
【0056】
第1の重みは、自車両の直進方向に対して特徴点がなす角度が大きくなるほど減少し、第2の重みは、自車両の直進方向に対して特徴点がなす角度が大きくなるほど増加する。ステレオカメラ10による位置検出において、自車両の直進方向に対して角度を有する特徴点の場合、自車両の直進方向に対して特徴点がなす角度が大きくなるほど、自車両の左右方向の位置を算出する際の理論誤差が大きくなる。したがって、ステレオカメラ10の自車両の直進方向に対して特徴点がなす角度が大きくなるほど、自車両の左右方向の位置を算出する際の理論誤差が大きくなるという特性に合わせて、第1の可能性と第2の可能性との重みを変化させることができる。これにより、自車両の直進方向に対して特徴点がなす角度に応じて、第1の可能性の影響度と第2の可能性の影響度とを適切に変化させ、複数の特徴点が同一の物体の特徴点である可能性を算出することができる。すなわち、より精度良くクラスタリングを行うことができる。
【0057】
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【符号の説明】
【0058】
1 物体検出装置
10 ステレオカメラ
20 制御部
21 特徴点抽出部
22 距離画像生成部
23 オプティカルフロー算出部
24 自車挙動測定部
25 3次元フロー算出部
26 物体検出部
27 2次元情報評価部
28 3次元情報評価部
29 評価方法決定部
30 クラスタリング部