特開2019-219838(P2019-219838A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日産自動車株式会社の特許一覧
<>
  • 特開2019219838-物体検出方法及び物体検出装置 図000003
  • 特開2019219838-物体検出方法及び物体検出装置 図000004
  • 特開2019219838-物体検出方法及び物体検出装置 図000005
  • 特開2019219838-物体検出方法及び物体検出装置 図000006
  • 特開2019219838-物体検出方法及び物体検出装置 図000007
  • 特開2019219838-物体検出方法及び物体検出装置 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-219838(P2019-219838A)
(43)【公開日】2019年12月26日
(54)【発明の名称】物体検出方法及び物体検出装置
(51)【国際特許分類】
   G06T 7/285 20170101AFI20191129BHJP
   G06T 7/00 20170101ALI20191129BHJP
   G08G 1/16 20060101ALI20191129BHJP
   G06T 7/277 20170101ALN20191129BHJP
【FI】
   G06T7/285
   G06T7/00 650B
   G08G1/16 C
   G06T7/277
【審査請求】未請求
【請求項の数】11
【出願形態】OL
【全頁数】13
(21)【出願番号】特願2018-115918(P2018-115918)
(22)【出願日】2018年6月19日
(71)【出願人】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(71)【出願人】
【識別番号】507308902
【氏名又は名称】ルノー エス.ア.エス.
【氏名又は名称原語表記】RENAULT S.A.S.
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100098327
【弁理士】
【氏名又は名称】高松 俊雄
(72)【発明者】
【氏名】宮阪 健夫
【テーマコード(参考)】
5H181
5L096
【Fターム(参考)】
5H181AA01
5H181CC03
5H181CC04
5H181CC11
5H181CC14
5H181FF27
5H181LL01
5H181LL09
5L096AA09
5L096BA04
5L096CA04
5L096CA05
5L096DA05
5L096FA32
5L096FA33
5L096FA52
5L096FA66
5L096GA51
5L096HA04
5L096HA05
5L096JA11
5L096MA07
(57)【要約】
【課題】車両に対し遠方の移動物体を検出できる物体検出方法及び物体検出装置を提供する。
【解決手段】物体検出装置100は、車両に搭載され、車両の周囲の画像を取得するステレオカメラ10、11と、コントローラ20と、第1閾値及び第2閾値を記憶する記憶部と、を備える。コントローラ20は、画像から移動物体の候補を構成する複数の特徴点を抽出し、異なる時刻に取得された複数の画像から複数の特徴点の動きベクトルの分散を算出する。コントローラ20は、移動物体の候補が、車両に対し第1閾値よりも遠方に居るか否かを判定する。コントローラ20は、移動物体の候補が車両に対し第1閾値よりも遠方に居ると判定し、かつ、動きベクトルの分散が第2閾値以下である場合、移動物体の候補は遠方の移動物体であると判定する。
【選択図】図1
【特許請求の範囲】
【請求項1】
車両の周囲の画像を取得し、
前記画像から移動物体の候補を構成する複数の特徴点を抽出し、
異なる時刻に取得された複数の画像から前記複数の特徴点の動きベクトルの分散を算出し、
前記候補が、前記車両に対し第1閾値よりも遠方に居るか否かを判定し、
前記候補が前記車両に対し前記第1閾値よりも遠方に居ると判定し、かつ、前記動きベクトルの分散が第2閾値以下である場合、前記候補は前記遠方の移動物体であると判定する
ことを特徴とする物体検出方法。
【請求項2】
前記候補が前記遠方に居ると判定した場合、前記候補を追跡し、
前記候補を追跡した時間が第3閾値以上である場合、前記候補は前記遠方の移動物体であると判定する
ことを特徴とする請求項1に記載の物体検出方法。
【請求項3】
前記車両と前記複数の特徴点との間の距離の平均値を取得し、
前記距離の平均値が第4閾値以上である場合、前記候補が前記遠方に居ると判定する
ことを特徴とする請求項1または2に記載の物体検出方法。
【請求項4】
前記画像の上下方向において、前記複数の特徴点における座標点が、第5閾値以上である場合、前記候補が前記遠方に居ると判定する
ことを特徴とする請求項1または2に記載の物体検出方法。
【請求項5】
前記車両に搭載されたレーダ、ライダ、またはソナーを用いて前記車両と前記候補との間の距離を取得し、
前記距離が第6閾値以上である場合、前記候補が前記車両の遠方に居ると判定する
ことを特徴とする請求項1または2に記載の物体検出方法。
【請求項6】
前記候補を追跡する際に、カルマンフィルタ、拡張カルマンフィルタ、またはパーティクルフィルタを用いて、前記候補の状態を推定する
ことを特徴とする請求項2〜5のいずれか1項に記載の物体検出方法。
【請求項7】
前記候補を追跡する際に、前記画像上における前記候補の領域内で新しい特徴点を検出した場合、前記新しい特徴点を加えて前記候補を追跡する
ことを特徴とする請求項2〜6のいずれか1項に記載の物体検出方法。
【請求項8】
前記候補を追跡する際に、追跡に成功している特徴点の数が第7閾値以下になった場合、前記候補の追跡を中止する
ことを特徴とする請求項2〜7のいずれか1項に記載の物体検出方法。
【請求項9】
前記候補を追跡する際に、前記複数の特徴点の数に応じて前記第3閾値を変更する
ことを特徴とする請求項2に記載の物体検出方法。
【請求項10】
前記動きベクトルの変化量が第8閾値以下である場合、前記候補は前記遠方の移動物体であると判定する
ことを特徴とする請求項1〜9のいずれか1項に記載の物体検出方法。
【請求項11】
車両に搭載され、前記車両の周囲の画像を取得するカメラと、
制御部と、
第1閾値及び第2閾値を記憶する記憶部と、を備え、
前記制御部は、
前記画像から移動物体の候補を構成する複数の特徴点を抽出し、
異なる時刻に取得された複数の画像から前記複数の特徴点の動きベクトルの分散を算出し、
前記候補が、前記車両に対し第1閾値よりも遠方に居るか否かを判定し、
前記候補が前記車両に対し前記第1閾値よりも遠方に居ると判定し、かつ、前記動きベクトルの分散が第2閾値以下である場合、前記候補は前記遠方の移動物体であると判定する
ことを特徴とする物体検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体検出方法及び物体検出装置に関する。
【背景技術】
【0002】
従来より、カメラで撮像した画像から移動物体を検出する方法が知られている(特許文献1)。特許文献1に記載された発明は、異なる時刻に撮像された複数の画像にオプティカルフローモデルを適用することにより対応点を求め、この対応点に基づいて移動物体を検出する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2017−68700号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載された発明は、車両に対し比較的近い移動物体を検出対象としている。車両に対し比較的近い移動物体であれば、対応点が十分検出される可能性がある。しかしながら、車両に対し遠方の移動物体においては、検出される対応点は相対的に少ない。したがって、特許文献1に記載された発明は、車両に対し遠方の移動物体を検出できないおそれがある。
【0005】
本発明は、上記問題に鑑みて成されたものであり、その目的は、車両に対し遠方の移動物体を検出できる物体検出方法及び物体検出装置を提供することである。
【課題を解決するための手段】
【0006】
本発明の一態様に係る物体検出方法は、車両の周囲の画像から移動物体の候補を構成する複数の特徴点を抽出する。物体検出方法は、移動物体の候補が、車両に対し第1閾値よりも遠方に居るか否かを判定する。物体検出方法は、移動物体の候補が車両に対し第1閾値よりも遠方に居ると判定し、かつ、動きベクトルの分散が第2閾値以下である場合、移動物体の候補は遠方の移動物体であると判定する。
【発明の効果】
【0007】
本発明によれば、車両に対し遠方の移動物体を検出できる。
【図面の簡単な説明】
【0008】
図1図1は、本発明の実施形態に係る物体検出装置の概略構成図である。
図2図2は、本発明の実施形態に係る物体検出装置の一動作例を説明するフローチャートである。
図3図3は、本発明の実施形態に係る物体検出装置の一動作例を説明するフローチャートである。
図4図4は、本発明の実施形態に係る遠方領域を説明する図である。
図5図5は、本発明の実施形態に係る動きベクトルの一例を説明する図である。
図6図6は、本発明の実施形態に係る動きベクトルの他の例を説明する図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。
【0010】
(物体検出装置の構成)
図1を参照して、物体検出装置100の構成を説明する。図1に示すように、物体検出装置100は、ステレオカメラ10と、ステレオカメラ11と、コントローラ20とを備える。物体検出装置100は、自動運転機能を有する車両に適用されてもよく、自動運転機能を有しない車両に適用されてもよい。また、物体検出装置100は、自動運転と手動運転とを切り替えることが可能な車両に適用されてもよい。なお、本実施形態における自動運転とは、例えば、ブレーキ、アクセル、ステアリングなどのアクチュエータの内、少なくとも何れかのアクチュエータが乗員の操作なしに制御されている状態のことを指す。そのため、その他のアクチュエータが乗員の操作により作動していたとしても構わない。また、自動運転とは、加減速制御、横位置制御などのいずれかの制御が実行されている状態であればよい。また、本実施形態における手動運転とは、例えば、ブレーキ、アクセル、ステアリングを乗員が操作している状態のことを指す。
【0011】
ステレオカメラ10、11は、自車両の周囲のステレオ画像を取得する。ステレオカメラ10、11の搭載場所は限定されないが、例えばステレオカメラ10は、自車両の前方左側に搭載される。また、ステレオカメラ11は、自車両の前方右側に搭載される。また、ステレオカメラ10、11は、互いの視野が撮像方向と直交する方向に沿って重なるように配置されてもよい。ステレオカメラ10、11は、自車両の周囲にある物体を複数の異なる方向から同時に撮像する。
【0012】
コントローラ20(制御部)は、ステレオカメラ10、11により取得されたステレオ画像に基づいて、自車両の周囲の物体を検出する。ここで、本実施形態における物体とは、他車両、バイク、自転車、歩行者を含む移動物体でもよく、駐車車両を含む静止物体でもよい。コントローラ20は、CPU(中央処理装置)、メモリ(記憶部)、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、物体検出装置100として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは、物体検出装置100が備える複数の情報処理回路として機能する。なお、ここでは、ソフトウェアによって物体検出装置100が備える複数の情報処理回路を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。コントローラ20は、複数の情報処理回路として、特徴点検出部21と、オプティカルフロー算出部22と、距離算出部23と、センサ運動推定部24と、絶対運動推定部25と、移動物体候補抽出部26と、移動物体判定部27と、遠方物体判定部28と、遠方物体追跡部29と、遠方移動物体判定部30と、出力部31と、を備える。
【0013】
特徴点検出部21は、ステレオカメラ10、11により取得されたそれぞれのステレオ画像から、それぞれ周囲の画素と区別可能な特徴を持つ画素である複数の特徴点を抽出する。特徴点の抽出には、例えば非特許文献「Jianbo Shi and Carlo Tomasi, "Good Features to Track," 1994 IEEE Conference on Computer Vision and Pattern Recognition (CVPR'94), 1994, pp.593 - 600.」に記載の方法が用いられる。特徴点検出部21は、抽出した特徴点をオプティカルフロー算出部22と、距離算出部23に出力する。なお、以下では、特に断らない限り、特徴点は、複数あることを前提とする。
【0014】
オプティカルフロー算出部22は、過去の画像の特徴点と現在の画像の特徴点から、オプティカルフローを算出する。オプティカルフローとは、ステレオ画像中における物体の動きをベクトルで表すものである。オプティカルフロー算出部22は、過去の特徴点に対応する実空間中の対象と同一の対象に対応する現在の特徴点を、関連する特徴点として検出する。オプティカルフロー算出部22は、互いに関連する、過去の特徴点と現在の特徴点との組み合わせをオプティカルフローとして算出する。オプティカルフローの算出には、例えば非特許文献「Bruce D. Lucasand Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. International Joint Conference on Artificial Intelligence, pages 674-679, 1981」に記載の方法が用いられる。オプティカルフロー算出部22は、算出したオプティカルフローをセンサ運動推定部24と、絶対運動推定部25に出力する。
【0015】
距離算出部23は、互いに関連する第1画像(後述)の特徴点と、第2画像(後述)の特徴点との視差(ずれ量)から、ステレオカメラ10、11から特徴点に対応する対象までの距離を算出する。換言すれば、距離算出部23は、自車両から特徴点に対応する対象までの距離を算出する。また、距離算出部23は、互いに関連する第1画像の特徴点と第2画像の特徴点との視差から、これらの特徴点に対応する実空間中の3次元座標を算出する。ここで、上述の第1画像とは、ステレオカメラ10により取得されたステレオ画像である。上述の第2画像とは、ステレオカメラ11により取得されたステレオ画像である。距離算出部23は、算出した距離及び3次元座標をセンサ運動推定部24と、絶対運動推定部25と、移動物体候補抽出部26に出力する。
【0016】
センサ運動推定部24は、ステレオカメラ10、11の運動、すなわち、3軸並進運動及び3軸回転運動を推定する。以下では、ステレオカメラ10、11の運動を、センサ運動と表現する場合がある。3軸並進運動は、自車両の前後方向、車幅方向、上下方向の運動である。3軸回転運動は、ロール軸、ピッチ軸及びヨー軸を含む3軸回りの回転運動である。
【0017】
センサ運動推定部24は、例えば、時系列の画像に基づいてセンサ運動を推定してもよい。センサ運動推定部24は、過去の画像の特徴点における3次元座標と、現在の画像の特徴点とから、センサ運動を推定してもよい。センサ運動推定部24は、過去の画像の特徴点における3次元座標と、それぞれ関連する現在の画像の特徴点を、オプティカルフロー算出部22が算出したオプティカルフローに基づいて選択する。センサ運動推定部24は、過去の画像の特徴点における3次元座標とそれぞれ関連する現在の特徴点の画像上の位置を求める。センサ運動推定部24は、過去の画像の特徴点における3次元座標のそれぞれが、現在の画像上のそれぞれの位置に投影された場合に、画像上の位置誤差が最小になるステレオカメラ10、11の3軸並進運動及び3軸回転運動を推定する。センサ運動推定部24は、過去の画像の特徴点における3次元座標と、現在の画像の特徴点の3次元座標とからステレオカメラ10、11の3軸並進運動及び3軸回転運動を推定するようにしてもよい。また、センサ運動の推定方法として、非特許文献「Geiger, Andreas, Julius Ziegler, and Christoph Stiller. "Stereoscan: Dense 3d reconstruction in real-time." Intelligent Vehicles Symposium (IV), 2011 IEEE. Ieee, 2011.」に記載の方法が用いられてもよい。センサ運動推定部24は、推定したセンサ運動を絶対運動推定部25に出力する。
【0018】
上記の処理により、単位時刻前における特徴点の3次元座標と、現在の3次元座標との差分が、単位時刻前から現在までのその特徴点の3次元運動ベクトルとなる。自車両が移動している場合、3次元運動ベクトルには、単位時刻前から現在までの自車両の移動量が加算される。このため、自車両の移動量(センサ運動)を取り除くことにより、対象(特徴点)の絶対移動量が推定される。絶対運動推定部25は、センサ運動推定部24によって推定されたセンサ運動を用いて、単位時刻前における特徴点の3次元座標を、現在のセンサ座標系に変換する。これにより、絶対運動推定部25は、センサ運動の影響を取り除くことができる。絶対運動推定部25は、センサ座標系において、単位時刻前における特徴点の3次元座標と、現在の特徴点における3次元座標との差分をとることで、現在の特徴点における絶対3次元運動を推定する。絶対運動推定部25は、推定した絶対3次元運動を移動物体候補抽出部26に出力する。絶対3次元運動とは、センサ運動の影響が取り除かれた特徴点の運動をいう。
【0019】
移動物体候補抽出部26は、絶対運動推定部25によって推定された現在の画像の特徴点における絶対3次元運動と、距離算出部23によって算出された3次元座標とに基づいて、移動物体候補を抽出する。具体的には、移動物体候補抽出部26は、現在の画像の特徴点における絶対3次元運動ベクトルの長さを第1閾値と比較する。絶対3次元運動ベクトルの長さが第1閾値以上である場合、移動物体候補抽出部26は、この絶対3次元運動ベクトルにかかる特徴点を移動物体候補点として抽出する。次に、移動物体候補抽出部26は、抽出した移動物体候補点と、その近傍の移動物体候補点にかかる3次元座標及び絶対3次元運動と、を合わせたベクトルの重み付ユークリッド距離を算出する。次に、移動物体候補抽出部26は、重み付ユークリッド距離を第2閾値と比較する。重み付ユークリッド距離が第2閾値以下である場合、移動物体候補抽出部26は、2つの特徴点を一つのクラスタとして、クラスタリングする。移動物体候補抽出部26は、この処理を再帰的にすべての移動物体候補点について繰り返すことにより、移動物体候補(クラスタ)を抽出する。移動物体候補抽出部26は、抽出した移動物体候補を移動物体判定部27に出力する。なお、第1〜2閾値(後述する第3〜13閾値を含む)は、予め実験やシミュレーションによって設定され、記憶部に記憶される。また、これらの閾値は、適宜変更され得る。
【0020】
移動物体判定部27は、移動物体候補抽出部26によって抽出された移動物体候補を構成する特徴点の絶対3次元運動ベクトルの長さの平均値を算出する。移動物体判定部27は、絶対3次元運動ベクトルの長さの平均値を第3閾値と比較する。また、移動物体判定部27は、移動物体候補を構成する特徴点の数を第4閾値と比較する。絶対3次元運動ベクトルの長さの平均値が第3閾値以上であり、かつ移動物体候補を構成する特徴点の数が第4閾値以上である場合、移動物体判定部27は、移動物体候補は移動物体であると判定する。一方、上記条件が満たされない場合、すなわち絶対3次元運動ベクトルの長さの平均値が第3閾値より小さい、または、移動物体候補を構成する特徴点の数が第4閾値より小さい場合、移動物体判定部27は、移動物体候補は移動物体ではないと判定する。移動物体判定部27は、判定結果を遠方物体判定部28と、出力部31に出力する。なお、後述するように、移動物体判定部27は、移動物体候補を構成する特徴点の速度、または特徴点の数に基づいて、移動物体候補が移動物体か否かを判定してもよい。
【0021】
遠方物体判定部28は、移動物体判定部27によって移動物体と判定されなかった移動物体候補(クラスタ)が、自車両に対し第5閾値よりも遠方に居るか否かを判定する。以下では、移動物体判定部27によって移動物体と判定されなかった移動物体候補を、移動物体候補Aと表現する場合がある。遠方物体判定部28は、移動物体候補Aを構成するそれぞれ特徴点から自車両までの距離の平均値を第5閾値と比較してもよい。この距離の平均値が、第5閾値より大きい場合、遠方物体判定部28は、移動物体候補Aは自車両に対し遠方に居ると判定する。遠方物体判定部28は、移動物体候補Aを遠方物体追跡部29に出力する。なお、不等号は、適宜変更されてもよい。つまり、遠方物体判定部28は、距離の平均値が、第5閾値以上の場合、移動物体候補Aは自車両に対し遠方に居ると判定してもよい。
【0022】
遠方物体追跡部29は、移動物体候補Aを追跡する。具体的には、遠方物体追跡部29は、オプティカルフローを用いて、単位時刻前の移動物体候補Aに係る特徴点と現在の移動物体候補Aに係る特徴点との対応付けを行う。遠方物体追跡部29は、対応付けられた各時刻の特徴点を軌跡として蓄積する。そして、遠方物体追跡部29は、今までに蓄積した各時刻の移動物体候補Aに係る特徴点に現在のセンサ運動の逆運動を適用することで、過去のすべての特徴点を現在のセンサ座標系に変換する。このように遠方物体追跡部29は、特徴点に係る動きベクトルを算出する。遠方物体追跡部29は、移動物体候補Aを追跡した時間(追跡に成功した時間)と、動きベクトルとを遠方移動物体判定部30に出力する。
【0023】
遠方移動物体判定部30は、移動物体候補Aの追跡時間が第6閾値以上であり、かつ動きベクトルの分散が第7閾値以下である場合、移動物体候補Aは、自車両に対し遠方に居る移動物体であると判定する。動きベクトルの分散は、分散共分散行列などの周知の方法によって算出されてもよく、動きベクトルの長さ、向きなどに基づいて算出されてもよい。
【0024】
次に、図2〜3に示すフローチャート及び図4〜6を参照して、物体検出装置100の一動作例を説明する。
【0025】
図2に示すステップS101において、ステレオカメラ10、11は、自車両の周囲を撮像する。処理はステップS103に進み、特徴点検出部21は、ステレオカメラ10、11により取得されたそれぞれのステレオ画像から、複数の特徴点を抽出する。なお、図2〜3に示すフローチャートは、図4に示す遠方領域50に含まれる移動物体(他車両)を検出するための処理である。なお、図4に示す遠方領域50は、自車両から見た遠方の領域である。
【0026】
処理はステップS105に進み、オプティカルフロー算出部22は、ステップS103で抽出された複数の特徴点のオプティカルフローを算出する。具体的には、オプティカルフロー算出部22は、物体検出装置100の起動後の初回のステップS105ではオプティカルフローを算出せず、2回目以降のステップS105において、前回、即ち1周期前のステップS103において抽出された過去の特徴点と、今回のステップS103において抽出された現在の特徴点とを関連付け、互いに関連する特徴点の動きベクトルの分布をオプティカルフローとして算出する。動きベクトルとは、物体の移動方向や移動量を表すものである。動きベクトルの向きは物体の移動方向を表し、動きベクトルの長さは、物体の移動量を表す。
【0027】
処理はステップS107に進み、距離算出部23は、互いに関連する第1画像の特徴点と第2画像の特徴点との視差を算出する。距離算出部23は、算出した視差に基づいて、複数の特徴点に対応する実空間中の3次元座標を算出する。また、距離算出部23は、互いに関連する第1画像の特徴点と、第2画像の特徴点との視差から、ステレオカメラ10、11から特徴点に対応する対象までの距離を算出する。
【0028】
処理はステップS109に進み、センサ運動推定部24は、ステレオカメラ10、11の3軸並進運動及び3軸回転運動を推定する。センサ運動推定部24は、初回のステップS109では、センサ運動を推定しない。センサ運動推定部24は、2回目以降のステップS109において、前回のステップS103において抽出された過去の画像の特徴点の3次元座標と、今回のステップS103において抽出された現在の画像の特徴点とから、センサ運動を推定する。
【0029】
処理はステップS110に進み、絶対運動推定部25は、ステップS109で推定されたセンサ運動を用いて、単位時刻前における特徴点の3次元座標を、現在のセンサ座標系に変換する。これにより、絶対運動推定部25は、センサ運動の影響を取り除くことができる。絶対運動推定部25は、センサ座標系において、単位時刻前における特徴点の3次元座標と、現在の特徴点における3次元座標との差分をとることで、現在の特徴点における絶対3次元運動を推定する。
【0030】
処理はステップS111に進み、移動物体候補抽出部26は、特徴点をクラスタリングし、移動物体候補を抽出する。移動物体判定部27は、所定条件を満たす移動物体候補は移動物体であると判定する。一方、移動物体判定部27は、所定条件を満たさない移動物体候補は移動物体ではないと判定する。所定条件とは、上述したように、絶対3次元運動ベクトルの長さの平均値、移動物体候補を構成する特徴点の数などである。ただし、所定条件は、これに限定されない。例えば、ステップS113において、移動物体判定部27は、ステップS111で抽出された移動物体候補の速度が第8閾値以上か否かを判定してもよい。移動物体判定部27は、移動物体候補の速度が第8閾値以上である場合、移動物体候補は移動物体であると判定してもよい(ステップS113でYes)。一方、移動物体候補の速度が第8閾値より小さい場合、移動物体判定部27は、移動物体候補は移動物体でないと判定してもよい(ステップS113でNo)。速度が同じであっても、自車両に対し遠方に居る移動物体候補の速度は、自車両に対し近傍に居る移動物体候補の速度より、相対的に遅いと観測される。このため、移動物体判定部27は、移動物体候補の速度を用いて移動物体候補が移動物体か否かを判定しうる。
【0031】
さらに移動物体判定部27は、ステップS115に示すように、移動物体候補を構成する特徴点の数も考慮して、移動物体候補が移動物体か否かを判定してもよい。画像上において、自車両から離れるほど、抽出される特徴点は少なくなる傾向がある。よって、移動物体候補の速度が第8閾値以上であっても、特徴点の数が第9閾値より少なければ、移動物体判定部27は、移動物体候補は移動物体でないと判定してもよい(ステップS115でNo)。一方、移動物体候補の速度が第8閾値以上であり、かつ、特徴点の数が第9閾値以上である場合、移動物体判定部27は、移動物体候補は移動物体であると判定してもよい(ステップS115でYes)。
【0032】
ステップS113、S115において、移動物体判定部27によって移動物体ではないと判定された移動物体候補であっても、移動物体候補が自車両に対し遠方に居るためにこのように判定された場合がある。そのため、本実施形態では処理はステップS119に進み、遠方物体判定部28は、移動物体候補Aが自車両に対し遠方に居るか否かを判定する。移動物体候補Aは、ステップS113、S115において移動物体判定部27によって移動物体ではないと判定された移動物体候補である。移動物体ではないと判定された移動物体候補であっても、後述の処理を行うことにより、自車両に対し遠方に居る移動物体であると判定されうる場合がある。
【0033】
遠方物体判定部28は、移動物体候補Aを構成するそれぞれの特徴点から自車両までの距離の平均値を算出し、この平均距離と第5閾値とを比較する。この距離の平均値が第5閾値以上である場合(ステップS119でYes)、遠方物体判定部28は、移動物体候補Aは自車両に対し遠方に居ると判定する。一方、この距離の平均値が第5閾値より小さい場合(ステップS119でNo)、処理はステップS123に進み、遠方物体判定部28は、移動物体候補Aはノイズであると判定する。なお、ステップS119において、遠方物体判定部28は、画像上における移動物体候補Aを構成する複数の特徴点の位置に基づいて、移動物体候補Aが自車両に対し遠方に居るか否かを判定してもよい。例えば、画像上において、複数の特徴点の上下方向における座標点が、第10閾値以上である場合、遠方物体判定部28は、移動物体候補Aは自車両に対し遠方に居ると判定してもよい。第10閾値は、特に限定されないが、例えば画像の上下方向における中心の座標である。また、遠方物体判定部28は、レーダ、ライダ、またはソナーなどの距離計測器を用いて移動物体候補Aが自車両に対し遠方に居るか否かを判定してもよい。距離計測器によって計測された移動物体候補Aから自車両までの距離が第5閾値以上である場合、遠方物体判定部28は、移動物体候補Aは自車両に対し遠方に居ると判定してもよい。
【0034】
処理はステップS121に進み、遠方物体判定部28は、移動物体候補Aを構成する特徴点の数が第11閾値以上であるか否かを判定する。第11閾値は、ステップS115における第9閾値より小さい。図5に示すように移動物体候補Aを構成する特徴点の数が第11閾値以上である場合(ステップS121でYes)、処理はステップS127に進む。一方、図6に示すように移動物体候補Aを構成する特徴点の数が第11閾値より少ない場合(ステップS121でNo)、処理はステップS125に進む。ステップS127において、遠方移動物体判定部30は、移動物体候補Aを構成する特徴点にかかる動きベクトルの分散が第7閾値以下か否かを判定する。図5に示すように、移動物体候補Aを構成する特徴点にかかる動きベクトルの分散が第7閾値以下である場合(ステップS127でYes)、遠方移動物体判定部30は、移動物体候補Aは、自車両に対し遠方に居る移動物体であると判定する(ステップS133)。なお、図5及び図6に示す矢印は動きベクトルである。一方、移動物体候補Aを構成する特徴点にかかる動きベクトルの分散が第7閾値より大きい場合(ステップS127でNo)、処理はステップS125に進む。
【0035】
ステップS125において、遠方物体追跡部29は、オプティカルフローを用いて、単位時刻前の移動物体候補Aに係る特徴点と現在の移動物体候補Aに係る特徴点との対応付けを行い、移動物体候補Aを追跡する。遠方物体追跡部29は、追跡した結果に基づいて移動物体候補Aに係る特徴点の動きベクトルを算出する。追跡時間(追跡に成功した時間)が第6閾値以上である場合(ステップS129でYes)、処理はステップS131に進む。追跡時間が第6閾値より小さい場合(ステップS129でNo)、処理はステップS125に戻る。なお、遠方物体追跡部29は、移動物体候補Aを追跡する際に、カルマンフィルタ、拡張カルマンフィルタ、パーティクルフィルタなどの時系列フィルタを用いて、移動物体候補Aの位置、速度などの状態を推定してもよい。また、遠方物体追跡部29は、移動物体候補Aを追跡する際に、画像上における移動物体候補Aの領域内で新たな特徴点が検出された場合、新しい特徴点を加えて追跡を継続してもよい。また、遠方物体追跡部29は、移動物体候補Aを構成する特徴点の追跡に失敗した場合、失敗に係る特徴点を取り除いて追跡を継続してもよい。また、遠方物体追跡部29は、追跡に成功している特徴点の数が第12閾値以下になった場合、追跡処理を中止してもよい。また、遠方物体追跡部29は、移動物体候補Aを構成する特徴点の数に応じて第6閾値を変更してもよい。例えば、遠方物体追跡部29は、移動物体候補Aを構成する特徴点の数が多いほど、第6閾値を小さくしてもよい。
【0036】
ステップS131において、遠方移動物体判定部30は、図6に示すように、動きベクトルの分散が第7閾値以下である場合(ステップS131でYes)、移動物体候補Aは、自車両に対し遠方に居る移動物体であると判定する。一方、動きベクトルの分散が第7閾値より大きい場合(ステップS131でNo)、処理はステップS125に戻る。なお、遠方移動物体判定部30は、動きベクトルの移動方向に係る変化量(例えばカーブ)に基づいて、移動物体候補Aは自車両に対し遠方に居る移動物体であると判定してもよい。例えば、遠方移動物体判定部30は、動きベクトルの移動方向に係る変化量が第13閾値以下である場合、移動物体候補Aは自車両に対し遠方に居る移動物体であると判定してもよい。
【0037】
以上説明したように、本実施形態に係る物体検出装置100によれば、以下の作用効果が得られる。
【0038】
物体検出装置100は、車両の周囲の画像を取得し、取得した画像から移動物体候補を構成する複数の特徴点を抽出する。物体検出装置100は、異なる時刻に取得した複数の画像から複数の特徴点の動きベクトルの分散を算出する。物体検出装置100は、移動物体候補が、車両に対し第5閾値よりも遠方に居るか否かを判定する。物体検出装置100は、移動物体候補が車両に対し第5閾値よりも遠方に居ると判定し、かつ、動きベクトルの分散が第7閾値以下である場合、移動物体候補は自車両に対し遠方に居る移動物体と判定する。これにより、物体検出装置100は、上述した従来技術では検出できない遠方の移動物体を検出することができる。
【0039】
また、物体検出装置100は、移動物体候補が遠方に居ると判定した場合、移動物体候補を追跡する。そして、移動物体候補を追跡した時間が第6閾値以上である場合、物体検出装置100は、移動物体候補は自車両に対し遠方に居る移動物体と判定する。これにより、遠方の移動物体の検出精度が向上する。
【0040】
また、物体検出装置100は、自車両と複数の特徴点との間の距離の平均値を取得し、この距離の平均値が第5閾値以上である場合、移動物体候補が遠方に居ると判定する。これにより、判定精度が向上する。
【0041】
また、物体検出装置100は、画像上において、複数の特徴点の上下方向における座標点が、第10閾値以上である場合、移動物体候補は自車両に対し遠方に居ると判定してもよい。これにより、判定精度が向上する。
【0042】
また、物体検出装置100は、レーダ、ライダ、またはソナーなどの距離計測器を用いて移動物体候補が自車両に対し遠方に居るか否かを判定してもよい。これにより、判定精度が向上する。
【0043】
また、物体検出装置100は、移動物体候補を追跡する際に、カルマンフィルタ、拡張カルマンフィルタ、またはパーティクルフィルタを用いて、移動物体候補の状態を推定してもよい。これにより、物体検出装置100は、移動物体候補の位置、速度などを精度よく推定でき、移動物体候補の追跡精度が向上する。
【0044】
また、物体検出装置100は、移動物体候補を追跡する際に、画像上における移動物体候補の領域内で新たな特徴点が検出された場合、新しい特徴点を加えて追跡を継続してもよい。これにより、移動物体候補の追跡精度が向上する。
【0045】
また、物体検出装置100は、移動物体候補を追跡する際に、追跡に成功している特徴点の数が第12閾値以下になった場合、追跡処理を中止してもよい。これにより、物体検出装置100は、移動物体候補の追跡を早期に中止することができる。
【0046】
また、物体検出装置100は、移動物体候補を構成する特徴点の数に応じて第6閾値を変更してもよい。例えば、物体検出装置100は、移動物体候補を構成する特徴点の数が多いほど、第6閾値を小さくしてもよい。これにより、物体検出装置100は、早期に移動物体か否かを判定することができ、判定までに要する時間は短縮される。
【0047】
また、物体検出装置100は、動きベクトルの移動方向に係る変化量(例えばカーブ)に基づいて、移動物体候補は自車両に対し遠方に居る移動物体であると判定してもよい。これにより、物体検出装置100は、回転などの複雑な運動を行う物体についても移動物体であると判定しうる。
【0048】
上述の実施形態に記載される各機能は、1または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、記載された機能を実行するようにアレンジされた特定用途向け集積回路(ASIC)や回路部品等の装置を含む。また、物体検出装置100は、コンピュータの機能を改善しうる。
【0049】
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【符号の説明】
【0050】
10、11 ステレオカメラ
20 コントローラ
21 特徴点検出部
22 オプティカルフロー算出部
23 距離算出部
24 センサ運動推定部
25 絶対運動推定部
26 移動物体候補抽出部
27 移動物体判定部
28 遠方物体判定部
29 遠方物体追跡部
30 遠方移動物体判定部
31 出力部
100 物体検出装置
図1
図2
図3
図4
図5
図6