特許 7117169 物体検出方法及び物体検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-03

(45)【発行日】2022-08-12

(54)【発明の名称】物体検出方法及び物体検出装置

(51)【国際特許分類】

   G06T 7/285 20170101AFI20220804BHJP

   G06T 7/00 20170101ALI20220804BHJP

   G08G 1/16 20060101ALI20220804BHJP

   G06T 7/277 20170101ALN20220804BHJP

【ＦＩ】

G06T7/285

G06T7/00 650B

G08G1/16 C

G06T7/277

【請求項の数】 14

(21)【出願番号】P 2018115918

(22)【出願日】2018-06-19

(65)【公開番号】P2019219838

(43)【公開日】2019-12-26

【審査請求日】2021-02-10

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】宮阪 健夫

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０１４－１３５０３９（ＪＰ，Ａ）

【文献】国際公開第２０１７／０９４１４０（ＷＯ，Ａ１）

【文献】特開２０１１－１２３５４８（ＪＰ，Ａ）

【文献】特開２０１１－１８０８３５（ＪＰ，Ａ）

【文献】特開２０１６－１４２６４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２８５

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

Ｇ０６Ｔ ７／２７７

(57)【特許請求の範囲】

【請求項1】

車両の周囲の画像を取得し、
前記画像から移動物体の候補を構成する複数の特徴点を抽出し、
異なる時刻に取得された複数の画像から前記複数の特徴点の動きベクトルの分散を算出し、
前記候補が、前記車両に対し第１閾値よりも遠方に居るか否かを判定し、
前記候補が前記遠方に居ると判定した場合、前記候補を追跡し、
前記候補が前記車両に対し前記第１閾値よりも遠方に居ると判定し、かつ、前記動きベクトルの分散が第２閾値以下であり、かつ、前記候補を追跡した時間が第３閾値以上である場合、前記候補は前記遠方の移動物体であると判定する
ことを特徴とする物体検出方法。

【請求項2】

車両の周囲の画像を取得し、
前記画像から移動物体の候補を構成する複数の特徴点を抽出し、
異なる時刻に取得された複数の画像から前記複数の特徴点の動きベクトルの分散を算出し、
前記候補が、前記車両に対し第１閾値よりも遠方に居るか否かを判定し、
前記画像の上下方向において、前記複数の特徴点における座標点が、第５閾値以上である場合、前記候補が前記遠方に居ると判定し、
前記候補が前記車両に対し前記第１閾値よりも遠方に居ると判定し、かつ、前記動きベクトルの分散が第２閾値以下である場合、前記候補は前記遠方の移動物体であると判定する
ことを特徴とする物体検出方法。

【請求項3】

車両の周囲の画像を取得し、
前記画像から移動物体の候補を構成する複数の特徴点を抽出し、
異なる時刻に取得された複数の画像から前記複数の特徴点の動きベクトルの分散を算出し、
前記候補が、前記車両に対し第１閾値よりも遠方に居るか否かを判定し、
前記候補が前記車両に対し前記第１閾値よりも遠方に居ると判定し、かつ、前記動きベクトルの分散が第２閾値以下である場合、前記候補は前記遠方の移動物体であると判定し、
前記動きベクトルの変化量が第８閾値以下である場合、前記候補は前記遠方の移動物体であると判定する
ことを特徴とする物体検出方法。

【請求項4】

前記車両と前記複数の特徴点との間の距離の平均値を取得し、
前記距離の平均値が第４閾値以上である場合、前記候補が前記遠方に居ると判定する
ことを特徴とする請求項１に記載の物体検出方法。

【請求項5】

前記画像の上下方向において、前記複数の特徴点における座標点が、第５閾値以上である場合、前記候補が前記遠方に居ると判定する
ことを特徴とする請求項１に記載の物体検出方法。

【請求項6】

前記車両に搭載されたレーダ、ライダ、またはソナーを用いて前記車両と前記候補との間の距離を取得し、
前記距離が第６閾値以上である場合、前記候補が前記車両の遠方に居ると判定する
ことを特徴とする請求項１に記載の物体検出方法。

【請求項7】

前記候補を追跡する際に、カルマンフィルタ、拡張カルマンフィルタ、またはパーティクルフィルタを用いて、前記候補の状態を推定する
ことを特徴とする請求項１に記載の物体検出方法。

【請求項8】

前記候補を追跡する際に、前記画像上における前記候補の領域内で新しい特徴点を検出した場合、前記新しい特徴点を加えて前記候補を追跡する
ことを特徴とする請求項１または７に記載の物体検出方法。

【請求項9】

前記候補を追跡する際に、追跡に成功している特徴点の数が第７閾値以下になった場合、前記候補の追跡を中止する
ことを特徴とする請求項１、７、８のいずれか１項に記載の物体検出方法。

【請求項10】

前記候補を追跡する際に、前記複数の特徴点の数に応じて前記第３閾値を変更する
ことを特徴とする請求項１に記載の物体検出方法。

【請求項11】

前記動きベクトルの変化量が第８閾値以下である場合、前記候補は前記遠方の移動物体であると判定する
ことを特徴とする請求項１、２、４～１０のいずれか１項に記載の物体検出方法。

【請求項12】

車両に搭載され、前記車両の周囲の画像を取得するカメラと、
制御部と、
第１閾値及び第２閾値を記憶する記憶部と、を備え、
前記制御部は、
前記画像から移動物体の候補を構成する複数の特徴点として抽出し、
異なる時刻に取得された複数の画像から前記複数の特徴点の動きベクトルの分散を算出し、
前記候補が、前記車両に対し第１閾値よりも遠方に居るか否かを判定し、
前記候補が前記遠方に居ると判定した場合、前記候補を追跡し、
前記候補が前記車両に対し前記第１閾値よりも遠方に居ると判定し、かつ、前記動きベクトルの分散が第２閾値以下であり、かつ、前記候補を追跡した時間が第３閾値以上である場合、前記候補は前記遠方の移動物体であると判定する
ことを特徴とする物体検出装置。

【請求項13】

車両に搭載され、前記車両の周囲の画像を取得するカメラと、
制御部と、
第１閾値及び第２閾値を記憶する記憶部と、を備え、
前記制御部は、
前記画像から移動物体の候補を構成する複数の特徴点を抽出し、
異なる時刻に取得された複数の画像から前記複数の特徴点の動きベクトルの分散を算出し、
前記候補が、前記車両に対し第１閾値よりも遠方に居るか否かを判定し、
前記画像の上下方向において、前記複数の特徴点における座標点が、第５閾値以上である場合、前記候補が前記遠方に居ると判定し、
前記候補が前記車両に対し前記第１閾値よりも遠方に居ると判定し、かつ、前記動きベクトルの分散が第２閾値以下である場合、前記候補は前記遠方の移動物体であると判定する
ことを特徴とする物体検出装置。

【請求項14】

車両に搭載され、前記車両の周囲の画像を取得するカメラと、
制御部と、
第１閾値及び第２閾値を記憶する記憶部と、を備え、
前記制御部は、
前記画像から移動物体の候補を構成する複数の特徴点を抽出し、
異なる時刻に取得された複数の画像から前記複数の特徴点の動きベクトルの分散を算出し、
前記候補が、前記車両に対し第１閾値よりも遠方に居るか否かを判定し、
前記候補が前記車両に対し前記第１閾値よりも遠方に居ると判定し、かつ、前記動きベクトルの分散が第２閾値以下である場合、前記候補は前記遠方の移動物体であると判定し、
前記動きベクトルの変化量が第８閾値以下である場合、前記候補は前記遠方の移動物体であると判定する
ことを特徴とする物体検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体検出方法及び物体検出装置に関する。

【背景技術】

【0002】

従来より、カメラで撮像した画像から移動物体を検出する方法が知られている（特許文献１）。特許文献１に記載された発明は、異なる時刻に撮像された複数の画像にオプティカルフローモデルを適用することにより対応点を求め、この対応点に基づいて移動物体を検出する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－６８７００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された発明は、車両に対し比較的近い移動物体を検出対象としている。車両に対し比較的近い移動物体であれば、対応点が十分検出される可能性がある。しかしながら、車両に対し遠方の移動物体においては、検出される対応点は相対的に少ない。したがって、特許文献１に記載された発明は、車両に対し遠方の移動物体を検出できないおそれがある。

【0005】

本発明は、上記問題に鑑みて成されたものであり、その目的は、車両に対し遠方の移動物体を検出できる物体検出方法及び物体検出装置を提供することである。

【課題を解決するための手段】

【0006】

本発明の一態様に係る物体検出方法は、車両の周囲の画像から移動物体の候補を構成する複数の特徴点を抽出する。物体検出方法は、移動物体の候補が、車両に対し第１閾値よりも遠方に居るか否かを判定する。物体検出方法は、移動物体の候補が車両に対し第１閾値よりも遠方に居ると判定し、かつ、動きベクトルの分散が第２閾値以下である場合、移動物体の候補は遠方の移動物体であると判定する。

【発明の効果】

【0007】

本発明によれば、車両に対し遠方の移動物体を検出できる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の実施形態に係る物体検出装置の概略構成図である。

【図2】図２は、本発明の実施形態に係る物体検出装置の一動作例を説明するフローチャートである。

【図3】図３は、本発明の実施形態に係る物体検出装置の一動作例を説明するフローチャートである。

【図4】図４は、本発明の実施形態に係る遠方領域を説明する図である。

【図5】図５は、本発明の実施形態に係る動きベクトルの一例を説明する図である。

【図6】図６は、本発明の実施形態に係る動きベクトルの他の例を説明する図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

【0010】

（物体検出装置の構成）
図１を参照して、物体検出装置１００の構成を説明する。図１に示すように、物体検出装置１００は、ステレオカメラ１０と、ステレオカメラ１１と、コントローラ２０とを備える。物体検出装置１００は、自動運転機能を有する車両に適用されてもよく、自動運転機能を有しない車両に適用されてもよい。また、物体検出装置１００は、自動運転と手動運転とを切り替えることが可能な車両に適用されてもよい。なお、本実施形態における自動運転とは、例えば、ブレーキ、アクセル、ステアリングなどのアクチュエータの内、少なくとも何れかのアクチュエータが乗員の操作なしに制御されている状態のことを指す。そのため、その他のアクチュエータが乗員の操作により作動していたとしても構わない。また、自動運転とは、加減速制御、横位置制御などのいずれかの制御が実行されている状態であればよい。また、本実施形態における手動運転とは、例えば、ブレーキ、アクセル、ステアリングを乗員が操作している状態のことを指す。

【0011】

ステレオカメラ１０、１１は、自車両の周囲のステレオ画像を取得する。ステレオカメラ１０、１１の搭載場所は限定されないが、例えばステレオカメラ１０は、自車両の前方左側に搭載される。また、ステレオカメラ１１は、自車両の前方右側に搭載される。また、ステレオカメラ１０、１１は、互いの視野が撮像方向と直交する方向に沿って重なるように配置されてもよい。ステレオカメラ１０、１１は、自車両の周囲にある物体を複数の異なる方向から同時に撮像する。

【0012】

コントローラ２０（制御部）は、ステレオカメラ１０、１１により取得されたステレオ画像に基づいて、自車両の周囲の物体を検出する。ここで、本実施形態における物体とは、他車両、バイク、自転車、歩行者を含む移動物体でもよく、駐車車両を含む静止物体でもよい。コントローラ２０は、ＣＰＵ（中央処理装置）、メモリ（記憶部）、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、物体検出装置１００として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは、物体検出装置１００が備える複数の情報処理回路として機能する。なお、ここでは、ソフトウェアによって物体検出装置１００が備える複数の情報処理回路を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。コントローラ２０は、複数の情報処理回路として、特徴点検出部２１と、オプティカルフロー算出部２２と、距離算出部２３と、センサ運動推定部２４と、絶対運動推定部２５と、移動物体候補抽出部２６と、移動物体判定部２７と、遠方物体判定部２８と、遠方物体追跡部２９と、遠方移動物体判定部３０と、出力部３１と、を備える。

【0013】

特徴点検出部２１は、ステレオカメラ１０、１１により取得されたそれぞれのステレオ画像から、それぞれ周囲の画素と区別可能な特徴を持つ画素である複数の特徴点を抽出する。特徴点の抽出には、例えば非特許文献「Jianbo Shi and Carlo Tomasi, "Good Features to Track," 1994 IEEE Conference on Computer Vision and Pattern Recognition (CVPR'94), 1994, pp.593 - 600.」に記載の方法が用いられる。特徴点検出部２１は、抽出した特徴点をオプティカルフロー算出部２２と、距離算出部２３に出力する。なお、以下では、特に断らない限り、特徴点は、複数あることを前提とする。

【0014】

オプティカルフロー算出部２２は、過去の画像の特徴点と現在の画像の特徴点から、オプティカルフローを算出する。オプティカルフローとは、ステレオ画像中における物体の動きをベクトルで表すものである。オプティカルフロー算出部２２は、過去の特徴点に対応する実空間中の対象と同一の対象に対応する現在の特徴点を、関連する特徴点として検出する。オプティカルフロー算出部２２は、互いに関連する、過去の特徴点と現在の特徴点との組み合わせをオプティカルフローとして算出する。オプティカルフローの算出には、例えば非特許文献「Bruce D. Lucasand Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. International Joint Conference on Artificial Intelligence, pages 674-679, 1981」に記載の方法が用いられる。オプティカルフロー算出部２２は、算出したオプティカルフローをセンサ運動推定部２４と、絶対運動推定部２５に出力する。

【0015】

距離算出部２３は、互いに関連する第１画像（後述）の特徴点と、第２画像（後述）の特徴点との視差（ずれ量）から、ステレオカメラ１０、１１から特徴点に対応する対象までの距離を算出する。換言すれば、距離算出部２３は、自車両から特徴点に対応する対象までの距離を算出する。また、距離算出部２３は、互いに関連する第１画像の特徴点と第２画像の特徴点との視差から、これらの特徴点に対応する実空間中の３次元座標を算出する。ここで、上述の第１画像とは、ステレオカメラ１０により取得されたステレオ画像である。上述の第２画像とは、ステレオカメラ１１により取得されたステレオ画像である。距離算出部２３は、算出した距離及び３次元座標をセンサ運動推定部２４と、絶対運動推定部２５と、移動物体候補抽出部２６に出力する。

【0016】

センサ運動推定部２４は、ステレオカメラ１０、１１の運動、すなわち、３軸並進運動及び３軸回転運動を推定する。以下では、ステレオカメラ１０、１１の運動を、センサ運動と表現する場合がある。３軸並進運動は、自車両の前後方向、車幅方向、上下方向の運動である。３軸回転運動は、ロール軸、ピッチ軸及びヨー軸を含む３軸回りの回転運動である。

【0017】

センサ運動推定部２４は、例えば、時系列の画像に基づいてセンサ運動を推定してもよい。センサ運動推定部２４は、過去の画像の特徴点における３次元座標と、現在の画像の特徴点とから、センサ運動を推定してもよい。センサ運動推定部２４は、過去の画像の特徴点における３次元座標と、それぞれ関連する現在の画像の特徴点を、オプティカルフロー算出部２２が算出したオプティカルフローに基づいて選択する。センサ運動推定部２４は、過去の画像の特徴点における３次元座標とそれぞれ関連する現在の特徴点の画像上の位置を求める。センサ運動推定部２４は、過去の画像の特徴点における３次元座標のそれぞれが、現在の画像上のそれぞれの位置に投影された場合に、画像上の位置誤差が最小になるステレオカメラ１０、１１の３軸並進運動及び３軸回転運動を推定する。センサ運動推定部２４は、過去の画像の特徴点における３次元座標と、現在の画像の特徴点の３次元座標とからステレオカメラ１０、１１の３軸並進運動及び３軸回転運動を推定するようにしてもよい。また、センサ運動の推定方法として、非特許文献「Geiger, Andreas, Julius Ziegler, and Christoph Stiller. "Stereoscan: Dense 3d reconstruction in real-time." Intelligent Vehicles Symposium (IV), 2011 IEEE. Ieee, 2011.」に記載の方法が用いられてもよい。センサ運動推定部２４は、推定したセンサ運動を絶対運動推定部２５に出力する。

【0018】

上記の処理により、単位時刻前における特徴点の３次元座標と、現在の３次元座標との差分が、単位時刻前から現在までのその特徴点の３次元運動ベクトルとなる。自車両が移動している場合、３次元運動ベクトルには、単位時刻前から現在までの自車両の移動量が加算される。このため、自車両の移動量（センサ運動）を取り除くことにより、対象（特徴点）の絶対移動量が推定される。絶対運動推定部２５は、センサ運動推定部２４によって推定されたセンサ運動を用いて、単位時刻前における特徴点の３次元座標を、現在のセンサ座標系に変換する。これにより、絶対運動推定部２５は、センサ運動の影響を取り除くことができる。絶対運動推定部２５は、センサ座標系において、単位時刻前における特徴点の３次元座標と、現在の特徴点における３次元座標との差分をとることで、現在の特徴点における絶対３次元運動を推定する。絶対運動推定部２５は、推定した絶対３次元運動を移動物体候補抽出部２６に出力する。絶対３次元運動とは、センサ運動の影響が取り除かれた特徴点の運動をいう。

【0019】

移動物体候補抽出部２６は、絶対運動推定部２５によって推定された現在の画像の特徴点における絶対３次元運動と、距離算出部２３によって算出された３次元座標とに基づいて、移動物体候補を抽出する。具体的には、移動物体候補抽出部２６は、現在の画像の特徴点における絶対３次元運動ベクトルの長さを第１閾値と比較する。絶対３次元運動ベクトルの長さが第１閾値以上である場合、移動物体候補抽出部２６は、この絶対３次元運動ベクトルにかかる特徴点を移動物体候補点として抽出する。次に、移動物体候補抽出部２６は、抽出した移動物体候補点と、その近傍の移動物体候補点にかかる３次元座標及び絶対３次元運動と、を合わせたベクトルの重み付ユークリッド距離を算出する。次に、移動物体候補抽出部２６は、重み付ユークリッド距離を第２閾値と比較する。重み付ユークリッド距離が第２閾値以下である場合、移動物体候補抽出部２６は、２つの特徴点を一つのクラスタとして、クラスタリングする。移動物体候補抽出部２６は、この処理を再帰的にすべての移動物体候補点について繰り返すことにより、移動物体候補（クラスタ）を抽出する。移動物体候補抽出部２６は、抽出した移動物体候補を移動物体判定部２７に出力する。なお、第１～２閾値（後述する第３～１３閾値を含む）は、予め実験やシミュレーションによって設定され、記憶部に記憶される。また、これらの閾値は、適宜変更され得る。

【0020】

移動物体判定部２７は、移動物体候補抽出部２６によって抽出された移動物体候補を構成する特徴点の絶対３次元運動ベクトルの長さの平均値を算出する。移動物体判定部２７は、絶対３次元運動ベクトルの長さの平均値を第３閾値と比較する。また、移動物体判定部２７は、移動物体候補を構成する特徴点の数を第４閾値と比較する。絶対３次元運動ベクトルの長さの平均値が第３閾値以上であり、かつ移動物体候補を構成する特徴点の数が第４閾値以上である場合、移動物体判定部２７は、移動物体候補は移動物体であると判定する。一方、上記条件が満たされない場合、すなわち絶対３次元運動ベクトルの長さの平均値が第３閾値より小さい、または、移動物体候補を構成する特徴点の数が第４閾値より小さい場合、移動物体判定部２７は、移動物体候補は移動物体ではないと判定する。移動物体判定部２７は、判定結果を遠方物体判定部２８と、出力部３１に出力する。なお、後述するように、移動物体判定部２７は、移動物体候補を構成する特徴点の速度、または特徴点の数に基づいて、移動物体候補が移動物体か否かを判定してもよい。

【0021】

遠方物体判定部２８は、移動物体判定部２７によって移動物体と判定されなかった移動物体候補（クラスタ）が、自車両に対し第５閾値よりも遠方に居るか否かを判定する。以下では、移動物体判定部２７によって移動物体と判定されなかった移動物体候補を、移動物体候補Ａと表現する場合がある。遠方物体判定部２８は、移動物体候補Ａを構成するそれぞれ特徴点から自車両までの距離の平均値を第５閾値と比較してもよい。この距離の平均値が、第５閾値より大きい場合、遠方物体判定部２８は、移動物体候補Ａは自車両に対し遠方に居ると判定する。遠方物体判定部２８は、移動物体候補Ａを遠方物体追跡部２９に出力する。なお、不等号は、適宜変更されてもよい。つまり、遠方物体判定部２８は、距離の平均値が、第５閾値以上の場合、移動物体候補Ａは自車両に対し遠方に居ると判定してもよい。

【0022】

遠方物体追跡部２９は、移動物体候補Ａを追跡する。具体的には、遠方物体追跡部２９は、オプティカルフローを用いて、単位時刻前の移動物体候補Ａに係る特徴点と現在の移動物体候補Ａに係る特徴点との対応付けを行う。遠方物体追跡部２９は、対応付けられた各時刻の特徴点を軌跡として蓄積する。そして、遠方物体追跡部２９は、今までに蓄積した各時刻の移動物体候補Ａに係る特徴点に現在のセンサ運動の逆運動を適用することで、過去のすべての特徴点を現在のセンサ座標系に変換する。このように遠方物体追跡部２９は、特徴点に係る動きベクトルを算出する。遠方物体追跡部２９は、移動物体候補Ａを追跡した時間（追跡に成功した時間）と、動きベクトルとを遠方移動物体判定部３０に出力する。

【0023】

遠方移動物体判定部３０は、移動物体候補Ａの追跡時間が第６閾値以上であり、かつ動きベクトルの分散が第７閾値以下である場合、移動物体候補Ａは、自車両に対し遠方に居る移動物体であると判定する。動きベクトルの分散は、分散共分散行列などの周知の方法によって算出されてもよく、動きベクトルの長さ、向きなどに基づいて算出されてもよい。

【0024】

次に、図２～３に示すフローチャート及び図４～６を参照して、物体検出装置１００の一動作例を説明する。

【0025】

図２に示すステップＳ１０１において、ステレオカメラ１０、１１は、自車両の周囲を撮像する。処理はステップＳ１０３に進み、特徴点検出部２１は、ステレオカメラ１０、１１により取得されたそれぞれのステレオ画像から、複数の特徴点を抽出する。なお、図２～３に示すフローチャートは、図４に示す遠方領域５０に含まれる移動物体（他車両）を検出するための処理である。なお、図４に示す遠方領域５０は、自車両から見た遠方の領域である。

【0026】

処理はステップＳ１０５に進み、オプティカルフロー算出部２２は、ステップＳ１０３で抽出された複数の特徴点のオプティカルフローを算出する。具体的には、オプティカルフロー算出部２２は、物体検出装置１００の起動後の初回のステップＳ１０５ではオプティカルフローを算出せず、２回目以降のステップＳ１０５において、前回、即ち１周期前のステップＳ１０３において抽出された過去の特徴点と、今回のステップＳ１０３において抽出された現在の特徴点とを関連付け、互いに関連する特徴点の動きベクトルの分布をオプティカルフローとして算出する。動きベクトルとは、物体の移動方向や移動量を表すものである。動きベクトルの向きは物体の移動方向を表し、動きベクトルの長さは、物体の移動量を表す。

【0027】

処理はステップＳ１０７に進み、距離算出部２３は、互いに関連する第１画像の特徴点と第２画像の特徴点との視差を算出する。距離算出部２３は、算出した視差に基づいて、複数の特徴点に対応する実空間中の３次元座標を算出する。また、距離算出部２３は、互いに関連する第１画像の特徴点と、第２画像の特徴点との視差から、ステレオカメラ１０、１１から特徴点に対応する対象までの距離を算出する。

【0028】

処理はステップＳ１０９に進み、センサ運動推定部２４は、ステレオカメラ１０、１１の３軸並進運動及び３軸回転運動を推定する。センサ運動推定部２４は、初回のステップＳ１０９では、センサ運動を推定しない。センサ運動推定部２４は、２回目以降のステップＳ１０９において、前回のステップＳ１０３において抽出された過去の画像の特徴点の３次元座標と、今回のステップＳ１０３において抽出された現在の画像の特徴点とから、センサ運動を推定する。

【0029】

処理はステップＳ１１０に進み、絶対運動推定部２５は、ステップＳ１０９で推定されたセンサ運動を用いて、単位時刻前における特徴点の３次元座標を、現在のセンサ座標系に変換する。これにより、絶対運動推定部２５は、センサ運動の影響を取り除くことができる。絶対運動推定部２５は、センサ座標系において、単位時刻前における特徴点の３次元座標と、現在の特徴点における３次元座標との差分をとることで、現在の特徴点における絶対３次元運動を推定する。

【0030】

処理はステップＳ１１１に進み、移動物体候補抽出部２６は、特徴点をクラスタリングし、移動物体候補を抽出する。移動物体判定部２７は、所定条件を満たす移動物体候補は移動物体であると判定する。一方、移動物体判定部２７は、所定条件を満たさない移動物体候補は移動物体ではないと判定する。所定条件とは、上述したように、絶対３次元運動ベクトルの長さの平均値、移動物体候補を構成する特徴点の数などである。ただし、所定条件は、これに限定されない。例えば、ステップＳ１１３において、移動物体判定部２７は、ステップＳ１１１で抽出された移動物体候補の速度が第８閾値以上か否かを判定してもよい。移動物体判定部２７は、移動物体候補の速度が第８閾値以上である場合、移動物体候補は移動物体であると判定してもよい（ステップＳ１１３でＹｅｓ）。一方、移動物体候補の速度が第８閾値より小さい場合、移動物体判定部２７は、移動物体候補は移動物体でないと判定してもよい（ステップＳ１１３でＮｏ）。速度が同じであっても、自車両に対し遠方に居る移動物体候補の速度は、自車両に対し近傍に居る移動物体候補の速度より、相対的に遅いと観測される。このため、移動物体判定部２７は、移動物体候補の速度を用いて移動物体候補が移動物体か否かを判定しうる。

【0031】

さらに移動物体判定部２７は、ステップＳ１１５に示すように、移動物体候補を構成する特徴点の数も考慮して、移動物体候補が移動物体か否かを判定してもよい。画像上において、自車両から離れるほど、抽出される特徴点は少なくなる傾向がある。よって、移動物体候補の速度が第８閾値以上であっても、特徴点の数が第９閾値より少なければ、移動物体判定部２７は、移動物体候補は移動物体でないと判定してもよい（ステップＳ１１５でＮｏ）。一方、移動物体候補の速度が第８閾値以上であり、かつ、特徴点の数が第９閾値以上である場合、移動物体判定部２７は、移動物体候補は移動物体であると判定してもよい（ステップＳ１１５でＹｅｓ）。

【0032】

ステップＳ１１３、Ｓ１１５において、移動物体判定部２７によって移動物体ではないと判定された移動物体候補であっても、移動物体候補が自車両に対し遠方に居るためにこのように判定された場合がある。そのため、本実施形態では処理はステップＳ１１９に進み、遠方物体判定部２８は、移動物体候補Ａが自車両に対し遠方に居るか否かを判定する。移動物体候補Ａは、ステップＳ１１３、Ｓ１１５において移動物体判定部２７によって移動物体ではないと判定された移動物体候補である。移動物体ではないと判定された移動物体候補であっても、後述の処理を行うことにより、自車両に対し遠方に居る移動物体であると判定されうる場合がある。

【0033】

遠方物体判定部２８は、移動物体候補Ａを構成するそれぞれの特徴点から自車両までの距離の平均値を算出し、この平均距離と第５閾値とを比較する。この距離の平均値が第５閾値以上である場合（ステップＳ１１９でＹｅｓ）、遠方物体判定部２８は、移動物体候補Ａは自車両に対し遠方に居ると判定する。一方、この距離の平均値が第５閾値より小さい場合（ステップＳ１１９でＮｏ）、処理はステップＳ１２３に進み、遠方物体判定部２８は、移動物体候補Ａはノイズであると判定する。なお、ステップＳ１１９において、遠方物体判定部２８は、画像上における移動物体候補Ａを構成する複数の特徴点の位置に基づいて、移動物体候補Ａが自車両に対し遠方に居るか否かを判定してもよい。例えば、画像上において、複数の特徴点の上下方向における座標点が、第１０閾値以上である場合、遠方物体判定部２８は、移動物体候補Ａは自車両に対し遠方に居ると判定してもよい。第１０閾値は、特に限定されないが、例えば画像の上下方向における中心の座標である。また、遠方物体判定部２８は、レーダ、ライダ、またはソナーなどの距離計測器を用いて移動物体候補Ａが自車両に対し遠方に居るか否かを判定してもよい。距離計測器によって計測された移動物体候補Ａから自車両までの距離が第５閾値以上である場合、遠方物体判定部２８は、移動物体候補Ａは自車両に対し遠方に居ると判定してもよい。

【0034】

処理はステップＳ１２１に進み、遠方物体判定部２８は、移動物体候補Ａを構成する特徴点の数が第１１閾値以上であるか否かを判定する。第１１閾値は、ステップＳ１１５における第９閾値より小さい。図５に示すように移動物体候補Ａを構成する特徴点の数が第１１閾値以上である場合（ステップＳ１２１でＹｅｓ）、処理はステップＳ１２７に進む。一方、図６に示すように移動物体候補Ａを構成する特徴点の数が第１１閾値より少ない場合（ステップＳ１２１でＮｏ）、処理はステップＳ１２５に進む。ステップＳ１２７において、遠方移動物体判定部３０は、移動物体候補Ａを構成する特徴点にかかる動きベクトルの分散が第７閾値以下か否かを判定する。図５に示すように、移動物体候補Ａを構成する特徴点にかかる動きベクトルの分散が第７閾値以下である場合（ステップＳ１２７でＹｅｓ）、遠方移動物体判定部３０は、移動物体候補Ａは、自車両に対し遠方に居る移動物体であると判定する（ステップＳ１３３）。なお、図５及び図６に示す矢印は動きベクトルである。一方、移動物体候補Ａを構成する特徴点にかかる動きベクトルの分散が第７閾値より大きい場合（ステップＳ１２７でＮｏ）、処理はステップＳ１２５に進む。

【0035】

ステップＳ１２５において、遠方物体追跡部２９は、オプティカルフローを用いて、単位時刻前の移動物体候補Ａに係る特徴点と現在の移動物体候補Ａに係る特徴点との対応付けを行い、移動物体候補Ａを追跡する。遠方物体追跡部２９は、追跡した結果に基づいて移動物体候補Ａに係る特徴点の動きベクトルを算出する。追跡時間（追跡に成功した時間）が第６閾値以上である場合（ステップＳ１２９でＹｅｓ）、処理はステップＳ１３１に進む。追跡時間が第６閾値より小さい場合（ステップＳ１２９でＮｏ）、処理はステップＳ１２５に戻る。なお、遠方物体追跡部２９は、移動物体候補Ａを追跡する際に、カルマンフィルタ、拡張カルマンフィルタ、パーティクルフィルタなどの時系列フィルタを用いて、移動物体候補Ａの位置、速度などの状態を推定してもよい。また、遠方物体追跡部２９は、移動物体候補Ａを追跡する際に、画像上における移動物体候補Ａの領域内で新たな特徴点が検出された場合、新しい特徴点を加えて追跡を継続してもよい。また、遠方物体追跡部２９は、移動物体候補Ａを構成する特徴点の追跡に失敗した場合、失敗に係る特徴点を取り除いて追跡を継続してもよい。また、遠方物体追跡部２９は、追跡に成功している特徴点の数が第１２閾値以下になった場合、追跡処理を中止してもよい。また、遠方物体追跡部２９は、移動物体候補Ａを構成する特徴点の数に応じて第６閾値を変更してもよい。例えば、遠方物体追跡部２９は、移動物体候補Ａを構成する特徴点の数が多いほど、第６閾値を小さくしてもよい。

【0036】

ステップＳ１３１において、遠方移動物体判定部３０は、図６に示すように、動きベクトルの分散が第７閾値以下である場合（ステップＳ１３１でＹｅｓ）、移動物体候補Ａは、自車両に対し遠方に居る移動物体であると判定する。一方、動きベクトルの分散が第７閾値より大きい場合（ステップＳ１３１でＮｏ）、処理はステップＳ１２５に戻る。なお、遠方移動物体判定部３０は、動きベクトルの移動方向に係る変化量（例えばカーブ）に基づいて、移動物体候補Ａは自車両に対し遠方に居る移動物体であると判定してもよい。例えば、遠方移動物体判定部３０は、動きベクトルの移動方向に係る変化量が第１３閾値以下である場合、移動物体候補Ａは自車両に対し遠方に居る移動物体であると判定してもよい。

【0037】

以上説明したように、本実施形態に係る物体検出装置１００によれば、以下の作用効果が得られる。

【0038】

物体検出装置１００は、車両の周囲の画像を取得し、取得した画像から移動物体候補を構成する複数の特徴点を抽出する。物体検出装置１００は、異なる時刻に取得した複数の画像から複数の特徴点の動きベクトルの分散を算出する。物体検出装置１００は、移動物体候補が、車両に対し第５閾値よりも遠方に居るか否かを判定する。物体検出装置１００は、移動物体候補が車両に対し第５閾値よりも遠方に居ると判定し、かつ、動きベクトルの分散が第７閾値以下である場合、移動物体候補は自車両に対し遠方に居る移動物体と判定する。これにより、物体検出装置１００は、上述した従来技術では検出できない遠方の移動物体を検出することができる。

【0039】

また、物体検出装置１００は、移動物体候補が遠方に居ると判定した場合、移動物体候補を追跡する。そして、移動物体候補を追跡した時間が第６閾値以上である場合、物体検出装置１００は、移動物体候補は自車両に対し遠方に居る移動物体と判定する。これにより、遠方の移動物体の検出精度が向上する。

【0040】

また、物体検出装置１００は、自車両と複数の特徴点との間の距離の平均値を取得し、この距離の平均値が第５閾値以上である場合、移動物体候補が遠方に居ると判定する。これにより、判定精度が向上する。

【0041】

また、物体検出装置１００は、画像上において、複数の特徴点の上下方向における座標点が、第１０閾値以上である場合、移動物体候補は自車両に対し遠方に居ると判定してもよい。これにより、判定精度が向上する。

【0042】

また、物体検出装置１００は、レーダ、ライダ、またはソナーなどの距離計測器を用いて移動物体候補が自車両に対し遠方に居るか否かを判定してもよい。これにより、判定精度が向上する。

【0043】

また、物体検出装置１００は、移動物体候補を追跡する際に、カルマンフィルタ、拡張カルマンフィルタ、またはパーティクルフィルタを用いて、移動物体候補の状態を推定してもよい。これにより、物体検出装置１００は、移動物体候補の位置、速度などを精度よく推定でき、移動物体候補の追跡精度が向上する。

【0044】

また、物体検出装置１００は、移動物体候補を追跡する際に、画像上における移動物体候補の領域内で新たな特徴点が検出された場合、新しい特徴点を加えて追跡を継続してもよい。これにより、移動物体候補の追跡精度が向上する。

【0045】

また、物体検出装置１００は、移動物体候補を追跡する際に、追跡に成功している特徴点の数が第１２閾値以下になった場合、追跡処理を中止してもよい。これにより、物体検出装置１００は、移動物体候補の追跡を早期に中止することができる。

【0046】

また、物体検出装置１００は、移動物体候補を構成する特徴点の数に応じて第６閾値を変更してもよい。例えば、物体検出装置１００は、移動物体候補を構成する特徴点の数が多いほど、第６閾値を小さくしてもよい。これにより、物体検出装置１００は、早期に移動物体か否かを判定することができ、判定までに要する時間は短縮される。

【0047】

また、物体検出装置１００は、動きベクトルの移動方向に係る変化量（例えばカーブ）に基づいて、移動物体候補は自車両に対し遠方に居る移動物体であると判定してもよい。これにより、物体検出装置１００は、回転などの複雑な運動を行う物体についても移動物体であると判定しうる。

【0048】

上述の実施形態に記載される各機能は、１または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や回路部品等の装置を含む。また、物体検出装置１００は、コンピュータの機能を改善しうる。

【0049】

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

【符号の説明】

【0050】

１０、１１ ステレオカメラ
２０ コントローラ
２１ 特徴点検出部
２２ オプティカルフロー算出部
２３ 距離算出部
２４ センサ運動推定部
２５ 絶対運動推定部
２６ 移動物体候補抽出部
２７ 移動物体判定部
２８ 遠方物体判定部
２９ 遠方物体追跡部
３０ 遠方移動物体判定部
３１ 出力部
１００ 物体検出装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】