特許 7474689 物体検出方法及び物体検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-17

(45)【発行日】2024-04-25

(54)【発明の名称】物体検出方法及び物体検出装置

(51)【国際特許分類】

   G01S 17/86 20200101AFI20240418BHJP

   G01S 13/86 20060101ALI20240418BHJP

【ＦＩ】

G01S17/86

G01S13/86

【請求項の数】 17

(21)【出願番号】P 2020201853

(22)【出願日】2020-12-04

(65)【公開番号】P2022089449

(43)【公開日】2022-06-16

【審査請求日】2023-08-07

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】野田 邦昭

(72)【発明者】

【氏名】後藤 健文

(72)【発明者】

【氏名】黒川 貴都

【審査官】安井 英己

(56)【参考文献】

【文献】国際公開第２０１９／１５９４９４（ＷＯ，Ａ１）

【文献】特開２０１７－１８１４５０（ＪＰ，Ａ）

【文献】特開２０１０－２５６０４０（ＪＰ，Ａ）

【文献】特開２０１５－２１９８５８（ＪＰ，Ａ）

【文献】特開２０１８－００５３９０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０２４２２８４（ＵＳ，Ａ１）

【文献】特開２０１６－１４８５１４（ＪＰ，Ａ）

【文献】特開２０２０－０５２８９７（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１８－００６２０５８（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／００－ ７／５１，

Ｇ０１Ｓ １３／００－１３／９５，

Ｇ０１Ｓ １７／００－１７／９５

(57)【特許請求の範囲】

【請求項1】

車両の周囲の物体を検出する第１センサと、前記第１センサとは異なる方式で前記物体を検出する第２センサと、前記第１センサ及び前記第２センサによって検出されたデータを処理するコントローラを備える物体検出方法であって、
前記コントローラは、
前記第１センサによって検出された物体形状を上面視で多角形近似した第１多角形状を算出し、
前記第２センサによって検出された物体形状を上面視で多角形近似した第２多角形状を算出し、
前記第１多角形状を構成する辺のうちで、前記第１センサと辺の端点とを結ぶ線分とが成す交差角度が最も大きくなる第一辺上の、予め定められた位置の点である第一基準点と、前記第２多角形状を構成する辺のうちで、前記第２センサと辺の端点とを結ぶ線分とが成す交差角度が最も大きくなる第二辺上の、予め定められた位置の点である第二基準点とに基づいて、前記第１センサによって検出された物体と前記第２センサによって検出された物体とが同一物体であるか否かを判定する
ことを特徴とする物体検出方法。

【請求項2】

前記第１センサは、第１所定範囲を撮像し、撮像された画像から前記第１所定範囲に存在する物体を検出し、
前記第２センサは、前記第１所定範囲に重複する第２所定範囲に出射波を出射し、出射波に対する反射波に基づいて前記第２所定範囲に存在する物体を検出する
ことを特徴とする請求項１に記載の物体検出方法。

【請求項3】

前記コントローラは、各センサから取得した観測ベクトルの平均もしくは前記観測ベクトルの平均と共分散を用いて前記第一基準点及び前記第二基準点を決定する
ことを特徴とする請求項１または２に記載の物体検出方法。

【請求項4】

前記コントローラは、観測誤差分布と計算遅延誤差分布を合成して前記第一基準点及び前記第二基準点の誤差分布を決定する
ことを特徴とする請求項１～３のいずれか１項に記載の物体検出方法。

【請求項5】

前記コントローラは、前記第一基準点及び前記第二基準点にセンサ毎の観測誤差に関する共分散行列を設定する
ことを特徴とする請求項４に記載の物体検出方法。

【請求項6】

前記コントローラは、センサ点と前記第一基準点とを結ぶ直線方向、及び前記直線方向に直交する方向に誤差分布を設定し、センサ点と前記第二基準点とを結ぶ直線方向、及び前記直線方向に直交する方向に誤差分布を設定する
ことを特徴とする請求項５に記載の物体検出方法。

【請求項7】

前記コントローラは、前記第一基準点及び前記第二基準点にセンサ毎の計算遅延誤差に関する共分散行列を設定する
ことを特徴とする請求項４～６のいずれか１項に記載の物体検出方法。

【請求項8】

前記コントローラは、センサ点の速度ベクトル方向及び前記速度ベクトル方向に直交する方向に誤差分布を設定する
ことを特徴とする請求項７に記載の物体検出方法。

【請求項9】

前記コントローラは、１時刻前に推定された、現在の観測基準点を示すターゲット基準点と、前記第一基準点及び前記第二基準点を用いて前記第１センサによって検出された物体と第２センサによって検出された物体とが同一物体であるか否かを判定する
ことを特徴とする請求項１～８のいずれか１項に記載の物体検出方法。

【請求項10】

前記コントローラは、状態推定結果の平均もしくは前記状態推定結果の平均と共分散を用いて前記ターゲット基準点を推定する
ことを特徴とする請求項９に記載の物体検出方法。

【請求項11】

前記コントローラは、拡張カルマンフィルタもしくはパーティクルフィルタを用いて前記ターゲット基準点の平均及び共分散を決定する
ことを特徴とする請求項９に記載の物体検出方法。

【請求項12】

前記コントローラは、前記第一基準点と前記ターゲット基準点との距離、及び前記第二基準点と前記ターゲット基準点との距離に関し、それぞれの平均もしくは平均と共分散を用いて算出する
ことを特徴とする請求項９～１１のいずれか１項に記載の物体検出方法。

【請求項13】

前記コントローラは、前記第一基準点と前記ターゲット基準点との距離、及び前記第二基準点と前記ターゲット基準点との距離に関し、正規分布と正規分布のＫＬダイバージェンスを用いて算出する
ことを特徴とする請求項９～１１のいずれか１項に記載の物体検出方法。

【請求項14】

前記コントローラは、前記第一基準点と前記ターゲット基準点との距離、及び前記第二基準点と前記ターゲット基準点との距離に関し、基準点と正規分布のマハラノビス距離を用いて算出する
ことを特徴とする請求項９～１１のいずれか１項に記載の物体検出方法。

【請求項15】

前記コントローラは、前記第一基準点と前記ターゲット基準点との距離、及び前記第二基準点と前記ターゲット基準点との距離に関し、基準点と基準点の２乗誤差を用いて算出する
ことを特徴とする請求項９～１１のいずれか１項に記載の物体検出方法。

【請求項16】

前記コントローラは、
ターゲットに割り当てられた複数の観測結果に対し、前記第一基準点及び前記第二基準点の誤差分布を評価することによって決定された優先度にしたがって観測情報を統合化し、
前記ターゲットの代表観測ベクトルを決定する
ことを特徴とする請求項１～１５のいずれか１項に記載の物体検出方法。

【請求項17】

車両の周囲の物体を検出する第１センサと、
前記第１センサとは異なる方式で前記物体を検出する第２センサと、
前記第１センサ及び前記第２センサによって検出されたデータを処理するコントローラと、を備え、
前記コントローラは、
前記第１センサによって検出された物体形状を上面視で多角形近似した第１多角形状を算出し、
前記第２センサによって検出された物体形状を上面視で多角形近似した第２多角形状を算出し、
前記第１多角形状を構成する辺のうちで、前記第１センサと辺の端点とを結ぶ線分とが成す交差角度が最も大きくなる第一辺上の、予め定められた位置の点である第一基準点と、前記第２多角形状を構成する辺のうちで、前記第２センサと辺の端点とを結ぶ線分とが成す交差角度が最も大きくなる第二辺上の、予め定められた位置の点である第二基準点とに基づいて、前記第１センサによって検出された物体と前記第２センサで検出された物体とが同一物体であるか否かを判定する
ことを特徴とする物体検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体検出方法及び物体検出装置に関する。

【背景技術】

【0002】

従来より、カメラ及びレーダを用いて車両の周囲に存在する物体を認識する発明が知られている（特許文献１）。特許文献１に記載された発明は、カメラ及びレーダによって検出された物体までの距離を用いて物体が同一物体であるか否かを判定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－３１６０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載された発明は点と点との対応評価を行っているにすぎないため、例えばバスのように大きな物体を複数のセンサで観測した場合にそれぞれのセンサから得られた大きさ、形状を含む検出結果について対応を取ることが難しい。

【0005】

本発明は、上記問題に鑑みて成されたものであり、その目的は、複数のセンサを用いて物体の同一性を精度よく判定することが可能な物体検出方法及び物体検出装置を提供することである。

【課題を解決するための手段】

【0006】

本発明の一態様に係る物体検出方法は、第１センサによって検出された物体形状を上面視で多角形近似した第１多角形状を算出し、第２センサによって検出された物体形状を上面視で多角形近似した第２多角形状を算出し、第１多角形状を構成する辺のうちで、第１センサと辺の端点とを結ぶ線分とが成す交差角度が最も大きくなる第一辺上の、予め定められた位置の点である第一基準点と、第２多角形状を構成する辺のうちで、第２センサと辺の端点とを結ぶ線分とが成す交差角度が最も大きくなる第二辺上の、予め定められた位置の点である第二基準点とに基づいて、第１センサによって検出された物体と第２センサによって検出された物体とが同一物体であるか否かを判定する。

【発明の効果】

【0007】

本発明によれば、複数のセンサを用いて物体の同一性を精度よく判定することが可能となる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の実施形態に係る物体検出装置１の構成図である。

【図2】図２は、物体検出装置１の一動作例を説明するフローチャートである。

【図3】図３は、基準辺の決定方法の一例を説明する図である。

【図4】図４は、観測基準点の決定方法の一例を説明する図である。

【図5】図５は、観測誤差分布の一例を説明する図である。

【図6】図６は、計算遅延誤差分布の一例を説明する図である。

【図7】図７は、観測誤差分布と計算遅延誤差分布との合成方法の一例を説明する図である。

【図8】図８は、距離評価の一例を説明する図である。

【図9】図９は、基準点割り当ての一例を説明する図である。

【図10】図１０は、代表観測ベクトルの一例を説明する図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

【0010】

図１を参照して物体検出装置１の構成例を説明する。図１に示すように、物体検出装置１は、カメラ１０と、レーダ１１と、ライダ１２と、コントローラ２０と、記憶装置１３とを備える。

【0011】

カメラ１０はＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有する。カメラ１０は、自車両の周囲に存在する物体（歩行者、自転車、二輪車、他車両など）、及び自車両の周囲の情報（区画線、信号機、標識、横断歩道、交差点など）を検出する。カメラ１０は撮像した画像をコントローラ２０に出力する。カメラ１０は、単眼カメラでもよく、ステレオカメラでもよい。

【0012】

レーダ１１は自車両の周囲の物体に電波（出射波）を発射し、その反射波を測定することにより、物体までの距離及び方向を測定する。レーダ１１は測定したデータをコントローラ２０に出力する。レーダ１１の種類は特に限定されないが例えばミリ波レーダが挙げられる。

【0013】

ライダ１２（ＬＩＤＡＲ：Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）も、レーダ１１と同様に自車両の周囲に存在する物体までの距離及び方向を測定する。ライダ１２がレーダ１１と異なる点は、レーダ１１が出射波として電波を用いるのに対し、ライダ１２は出射波として光を用いる。ライダ１２は自車両の周囲の物体に光を発射し、その反射光を測定することにより、物体までの距離及び方向を測定したり、物体の形状を認識したりする。ライダ１２は測定したデータをコントローラ２０に出力する。

【0014】

カメラ１０、レーダ１１、及びライダ１２はそれぞれ異なる方式で物体を検出する。カメラ１０、レーダ１１、及びライダ１２は自車両に設置されるが、その設置場所は特に限定されない。また設置数も限定されない。それぞれ１つだけ設置されてもよく、それぞれ複数設置されてもよい。

【0015】

記憶装置１３はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などから構成される。記憶装置１３にはデータベース１４が格納されている。データベース１４には、カメラ１０、レーダ１１、及びライダ１２の観測誤差及び計算遅延誤差に関するデータが格納されている。

【0016】

コントローラ２０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、物体検出装置１として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは物体検出装置１が備える複数の情報処理回路として機能する。なおここでは、ソフトウェアによって物体検出装置１が備える複数の情報処理回路を実現する例を示すが、もちろん以下に示す各情報処理を実行するための専用のハードウェアを用意して情報処理回路を構成することも可能である。また複数の情報処理回路を個別のハードウェアにより構成してもよい。コントローラ２０は、複数の情報処理回路の一例として、基準辺決定部２１と、基準点決定部２２と、誤差分布決定部２３と、距離算出部２４と、割当部２５と、状態更新部２６とを備える。

【0017】

基準辺決定部２１はカメラ１０、レーダ１１、及びライダ１２から物体検出に係るデータを取得する。これらのデータには観測された物体の大きさ、形状が含まれる。基準辺決定部２１は物体の大きさ、形状に係るデータを用いて物体の基準辺を決定する。基準辺決定部２１は決定された基準辺を示す情報を基準点決定部２２に出力する。

【0018】

基準点決定部２２は基準辺決定部２１から取得した基準辺を用いて、この基準辺上に１つの観測基準点を設定する。基準点決定部２２は設定された基準点を示す情報を誤差分布決定部２３に出力する。

【0019】

誤差分布決定部２３は基準点決定部２２から取得した観測基準点と、データベース１４に格納されている観測誤差及び計算遅延誤差に関するデータを用いて観測基準点の誤差分布を決定する。また誤差分布決定部２３は、状態更新部２６から取得した１時刻前に推定された現在の状態推定結果の平均と共分散を用いてターゲット基準点の誤差分布を決定する。

【0020】

距離算出部２４は誤差分布決定部２３から取得した誤差分布を含む観測基準点と、誤差分布を含むターゲット基準点との距離評価を行う。

【0021】

割当部２５は距離算出部２４から取得した観測基準点とターゲット基準点間の距離評価結果に基づき、ターゲットに対する観測結果の対応づけを行う。また、割当部２５は割り当て対象となるターゲットがない場合は新規にターゲットを追加し、ターゲットに対して観測結果が割り当てられなかった場合には、ターゲットを消去する。さらに、割当部２５はターゲットに割り当てられた複数の観測情報に対し、センサ毎の信頼度（優先度）にしたがって観測情報を統合化してターゲットの代表観測ベクトルを決定する。

【0022】

状態更新部２６は割当部２５から取得したターゲットの代表観測ベクトルに基づき、ターゲットの状態ベクトルの更新を行う。

【0023】

次に図２～１０を参照して、物体検出装置１の一動作例について説明する。

【0024】

図２に示すステップＳ１０１において、複数の異なるセンサ、すなわち、カメラ１０、レーダ１１、及びライダ１２によって車両の周囲の物体が検出される。それぞれのセンサから得られた物体検出結果は、物体の位置、姿勢、位置の一次微分（速度）、姿勢の一次微分（角速度）、及び大きさ（矩形の縦横の長さ）などからなる観測ベクトルとして表現される。ただし、必ずしも全てのセンサが全ての情報を計測できるとは限らず、観測できる情報であっても計測原理の違いに起因する信頼度（計測誤差分布）の違いがある。

【0025】

例えば、カメラ１０が単眼カメラである場合において、単眼カメラから得られた検出結果では物体の幅は精度よく計測されるが、物体の奥行きに関しては精度は低い。また視線方向の位置精度は低いが、水平方向の位置精度（方位角）は高いという特徴がある。

【0026】

またレーダ１１がミリ波レーダから得られた検出結果では視線方向（出射波の出射方向）の位置精度が高く、水平方向の位置精度が低いという特徴がある。さらに、ライダ１２から得られた検出結果では物体の幅と奥行きが精度よく計測される一方で、視線方向、水平方向の位置精度も高いという特徴がある。しかし、センサと観測対象物体との相対位置によっては物体の幅と奥行きが観測できるとは限らないため、物体の観測データが逐次変化するという特徴がある。

【0027】

このようにセンサと観測対象との相対位置に応じて物体に関する観測データが逐次変化しても、計測原理の異なるセンサ間の計測精度の違いを考慮しつつ、観測結果とターゲット間との対応を統一的に評価するために、ステップＳ１０３、１０５、１０７において観測結果に対する観測基準点の決定、及び観測誤差分布の割り当てを行う。

【0028】

ステップＳ１０３において、基準辺決定部２１は、カメラ１０、レーダ１１、及びライダ１２から取得した物体の大きさ、形状（矩形）を含む検出結果に基づいて基準辺を決定する。基準辺について図３を参照して説明する。

【0029】

図３に示す例において、基準辺の決定においてはカメラ１０、レーダ１１、及びライダ１２から見た矩形物体領域３０に関して、センサ側の２辺が対象となる。センサ点との矩形物体領域３０の端点をそれぞれ結ぶ線（視線方向）に対して、交差角の大きい辺を第１基準辺Ｌ１、交差角の小さい辺を第２基準辺Ｌ２とする。この場合において基準辺決定部２１は第１基準辺Ｌ１を基準辺として決定する。θ１は、矩形物体領域３０の端点（右下の点）において、視線方向と第１基準辺Ｌ１に係る延長線４０とがなす角である。またθ２は、矩形物体領域３０の端点（左上の点）において、視線方向と第２基準辺Ｌ２に係る延長線４１とがなす角である。θ１＞θ２である。センサ側に近い２辺を対象とする理由は、センサ側に近い２辺のほうがセンサ側に遠い２辺と比較しセンサ精度が高いからである。基準辺はセンサから見て面積が広い部分に関する辺と表現されてもよい。

【0030】

図２に示すステップＳ１０５において、基準点決定部２２は、基準辺決定部２１によって決定された第１基準辺Ｌ１上の任意の点を観測基準点とする。本実施形態では図４に示すように、第１基準辺Ｌ１の中点が観測基準点５０として決定される。ただし、上述したように観測基準点は中点に限定されるものではなく、第１基準辺Ｌ１上の点であればどこでもよい。観測基準点は各センサから取得した観測ベクトルの平均もしくは観測ベクトルの平均と共分散を用いて決定される。

【0031】

図２に示すステップＳ１０７において、誤差分布決定部２３は、基準点決定部２２から取得した観測基準点５０と、データベース１４から取得した観測誤差分布および計算遅延誤差分布とを用いて観測基準点の誤差分布を決定する。

【0032】

ここで、観測誤差分布はセンサ毎の異なる観測原理によって生じる観測誤差を共分散行列によって表現したものである。観測基準点にセンサ毎の観測誤差に関する共分散行列を設定し、各観測基準点の許容誤差とする。例えば図５に示すようにセンサ点と観測基準点とを結ぶ直線方向（視線方向）、及びこの視線方向に直交する方向（水平方向）に誤差分布を設定する。これにより観測誤差分布が決定される。図５の符号５０は、ライダ１２の観測基準点を示し、符号５１はカメラ１０の観測基準点を示す。符号６０はライダ１２によって検出された物体形状を上面視で多角形近似した多角形状を示し、符号６１はカメラ１０によって検出された物体形状を上面視で多角形近似した多角形状を示す。このような多角形状はコントローラ２０によって算出される。

【0033】

図５に示す符号Ｌ３はライダ１２から見た視線方向ベクトルを示し、符号Ｌ４はカメラ１０から見た視線方向ベクトルを示す。符号５０ａはライダ１２の観測誤差分布を示し、符号５１ａはカメラ１０の観測誤差分布を示す。図５に示す例では、観測誤差分布によってカメラ１０による視線方向の位置精度が低く、水平方向の位置精度が高いことが示されている一方、ライダ１２による位置精度は視線方向、水平方向共に高いことが示されている。

【0034】

一方、計算遅延誤差分布はセンサ毎の異なる計算処理周期によって生じる観測誤差を共分散行列によって表現したものである。観測基準点にセンサ毎の計算遅延誤差に関する共分散行列を設定し、各観測基準点の許容誤差とする。例えば図６に示すように、各観測の速度ベクトル方向、及び直交方向に誤差分布を設定する。これにより計算遅延誤差分布が決定される。図６に示す符号Ｌ５はライダ１２に対する速度ベクトルを示し、符号Ｌ６はカメラ１０に対する速度ベクトルを示す。符号５０ｂはライダ１２の計算遅延誤差分布を示し、符号５１ｂはカメラ１０の計算遅延誤差分布を示す。

【0035】

最終的な観測基準点の誤差分布は、図７に示すように正規分布の加法性にしたがい、観測誤差分布、計算遅延誤差分布を合成して決定することができる。図７において、観測基準点５１の誤差分布５１ｃは、観測誤差分布５１ａと計算遅延誤差分布５１ｂとを合成することによって決定される。なお誤差分布５１ｃはカメラ１０の誤差分布を示すものであり、図示は省略するがレーダ１１及びライダ１２の誤差分布も同様の合成によって決定される。

【0036】

このように各観測点の存在確率分布を正規分布として表現することにより、各センサの計測原理に起因する観測誤差、及び計算負荷の大小に起因する計算遅延を反映して観測基準点の存在を確率的に表現することができる。例えば、任意の観測点１の観測誤差を反映した正規確率分布を式１で表現したとする。

【0037】

【数1】

【0038】

ここでμ_１は観測点の平均であり、Σ_１１は観測点の共分散行列である。

【0039】

任意の観測点１の計算遅延誤差を反映した正規確率分布を式２で表現したとする。

【0040】

【数2】

【0041】

ここで、Σ_１２は観測点の共分散行列である。

【0042】

最終的な観測点１の正規確率分布は式３で表現される。

【0043】

【数3】

【0044】

なお、各センサ内で観測結果の状態推定が行われ、状態推定結果の事後確率分布が得られる場合には、この値をもって各観測点の存在確率分布としてもよい。ここでいう状態推定とはトラッキングを意味する。

【0045】

また、データベース１４に格納されている観測誤差分布は、観測対象の正解値が判明している環境でそれぞれのセンサの計測値を取得し、正解値と計測値との誤差を計算することにより求められる。また、計算遅延誤差分布も同様に観測対象の正解値が判明している環境で、それぞれのセンサの持つ計測及び計算に要する時間を計測することによって求められる。

【0046】

さらにステップＳ１０７において、誤差分布決定部２３は、状態更新部２６から得られた１時刻前に計算された現在時刻に対する状態推定結果の平均と共分散を用いてターゲット基準点、及び誤差分布を決定する。ターゲット基準点について説明する。現在から見て１時刻前を「時刻ｔ－１」と定義し、現在を「時刻ｔ」と定義する。この場合本実施形態において、コントローラ２０は時刻ｔ－１の時点において、将来の時刻ｔの状態量を予測する。このような予測は、時刻ｔ－１の時点における位置、姿勢、速度などが１時刻後にどのように変化するかといった観点に基づいて行われる。このとき予測された観測基準点が「ターゲット基準点」である。すなわちターゲット基準点は、現在のカメラ１０、レーダ１１、及びライダ１２の観測結果に基づく観測基準点とは異なる。

【0047】

ステップＳ１０９で、距離算出部２４は、誤差分布決定部２３から取得した誤差分布を含む観測基準点と、誤差分布を含むターゲット基準点との距離評価を行う。この距離評価について図８～９を参照して説明する。図８の符号ｄ_１はターゲット基準点７１と観測基準点５１との距離を示す。図８の符号ｄ_２はターゲット基準点７１と観測基準点５５との距離を示す。観測基準点とターゲット基準点が共に誤差分布を含む場合には、正規分布間の距離の評価となるため、観測基準点の確率分布をｐ（ｘ）、ターゲット基準点の確率分布をｑ（ｘ）とすると、例えばＫＬダイバージェンスを距離尺度として用いることができる（式４）。

【0048】

【数4】

【0049】

なお、基準点間距離の算出は必ずしも正規分布間の距離である必要はなく、例えば観測基準点とターゲット基準点のどちらかが正規分布の平均で表される場合には、点と正規分布の距離となるため、点で表現された観測基準点をｘ_ｊ、距離を算出する対象の正規分布をＮ（μ_ｉ、Σ_ｉ）とすると、例えばマハラノビス距離を距離尺度として用いることができる（式５）。

【0050】

【数5】

【0051】

また、観測基準点とターゲット基準点の双方が正規分布の平均で表される場合には、点と点の距離となるため、点で表現された観測基準点をそれぞれｘ_ｉ、ｘ_ｊすると、例えば２乗誤差を距離尺度として用いることができる（式６）。

【0052】

【数6】

【0053】

ステップＳ１１１において、割当部２５は、距離算出部２４から取得した観測基準点とターゲット基準点間の距離評価結果に基づき、ターゲットに対する観測結果の対応づけを行う。各センサから得られた観測基準点に関し、ターゲット基準点からの距離が最小となる観測基準点について、その距離が閾値以下である場合にターゲットに対して観測基準点を割り当てる処理を行う。例えば、ターゲット基準点ｊに対し、観測基準点ｉを割り当てることを考える場合、下記の式７に表される条件を満たすように観測基準点ｉを選択する。

【0054】

【数7】

【0055】

具体的に図９を参照して説明すると、ターゲット基準点７１からの距離が最小となる観測基準点は観測基準点５１である。ターゲット基準点７１と観測基準点５１との距離は閾値以下であるため、ターゲット７０に対して観測基準点５１が割り当てられる。図９に示す例では、カメラ１０の観測基準点５１を割り当てたケースを説明したが、レーダ１１及びライダ１２の観測基準点も同様に割り当てられる。このように各センサの観測基準点がターゲット基準点に割り当てられた場合、コントローラ２０は各センサによって検出された物体は同一物体であると判定する。なお図９においてカメラ１０の別の観測基準点５５はターゲット基準点８１に割り当てられることを示す。

【0056】

このように１つのターゲット基準点に対しては同一センサ（図９ではカメラ１０）から得られた観測基準点を２つ以上割り当てることはなく、同一センサから割り当てられる観測結果は最大でも１つのみとする。また、割り当て対象となるターゲットがない場合は観測基準点の値を初期値として新規にターゲットを追加し、ターゲットに対して１つも観測結果が割り当てられないまま一定時間経過した場合にターゲットを消去する。

【0057】

さらにステップＳ１１１において、ターゲットに割り当てられた複数の観測結果に対し、センサ毎の信頼度（優先度）にしたがって観測情報を統合化してターゲットの代表観測ベクトルを決定する。センサ毎の信頼度は、ターゲットに割当てられた観測基準点の誤差分布を評価し、分散が小さくなるほどセンサの信頼度を高くすることによって決定することができる。図１０を参照して代表観測ベクトルについて説明する。図１０の符号Ｌ７が代表観測ベクトルである。符号５２はレーダ１１の観測基準点を示し、符号６２はレーダ１１によって検出された物体形状を上面視で多角形近似した多角形状を示す。図１０に示すように、カメラ１０の視線方向の位置の誤差分布がライダ１２の視線方向の位置の誤差分布よりも大きく、カメラ１０の水平方向の位置の誤差分布がライダ１２の水平方向の位置の誤差分布より小さい場合には、視線方向の位置に関してはライダ１２の計測結果を用い、水平方向の位置に関してはカメラ１０の計測結果を用いる。このようにターゲット７０に割り当てられた観測基準点の誤差分布を評価して優先度を決定することで観測情報を統合化し、代表観測ベクトルＬ７を決定することができる。

【0058】

ステップＳ１１３において、状態更新部２６は、割当部２５から取得したターゲット７０の代表観測ベクトルＬ７に基づき、ターゲット７０の状態ベクトルの更新を行う。状態更新には、拡張カルマンフィルタ（ＥＫＦ）、パーティクルフィルタなど既知の状態空間モデルが用いられる。

【0059】

（作用効果）
以上説明したように、本実施形態に係る物体検出装置１によれば、以下の作用効果が得られる。

【0060】

コントローラ２０は、各センサによって検出された物体形状を上面視で多角形近似した多角形状を算出する。センサがカメラ１０であれば多角形状（第１多角形状）は図５において符号６１で示される。あるいはセンサがライダ１２であれば多角形状（第２多角形状）は図５において符号６０で示される。コントローラ２０は、第１多角形状を構成する辺のうちで、第１センサと辺の端点とを結ぶ線分とが成す交差角度が最も大きくなる第一辺上の、予め定められた位置の点である第一基準点（例えば観測基準点５１）と、第２多角形状を構成する辺のうちで、第２センサと辺の端点とを結ぶ線分とが成す交差角度が最も大きくなる第二辺上の、予め定められた位置の点である第二基準点（例えば観測基準点５０）とに基づいて、第１センサによって検出された物体と第２センサによって検出された物体とが同一物体であるか否かを判定する。このように観測対象物体の大きさ、形状を含む検出結果について、各センサから最も観測可能性の高い面を基準辺とし、基準辺上の点を基準点とするため、各センサに対する観測対象物体の相対位置が変化しても観測できる情報を用いて各センサから得られた観測情報間の対応を精度よく評価することが可能となる。これにより複数のセンサを用いて物体の同一性を精度よく判定することが可能となる。

【0061】

第１センサは例えばカメラ１０であり、カメラ１０は第１所定範囲を撮像し、撮像された画像から第１所定範囲に存在する物体を検出する。第２センサは例えばレーダ１１またはライダ１２であり、第１所定範囲に重複する第２所定範囲に出射波を出射し、出射波に対する反射波に基づいて第２所定範囲に存在する物体を検出する。なおカメラ１０、レーダ１１、及びライダ１２の全てのセンサを用いて物体の同一性を判定してもよい。

【0062】

コントローラ２０は、各センサから取得した観測ベクトルの平均もしくは観測ベクトルの平均と共分散を用いて観測基準点を決定する。コントローラ２０は、観測誤差分布と計算遅延誤差分布を合成して観測基準点の誤差分布を決定する。これによりセンサ毎の観測誤差特性、計算遅延特性を反映した共分散行列を各観測点に設定できるため、特性の異なるセンサから得られた観測点間でも複数観測結果間の対応を精度よく評価することができる。

【0063】

コントローラ２０は観測基準点にセンサ毎の観測誤差に関する共分散行列を設定する。
またコントローラ２０はセンサ点と観測基準点とを結ぶ直線方向、及び直線方向に直交する方向に誤差分布を設定する。カメラ１０であれば視線方向（直線方向）の誤差を大きく、方位角方向の誤差を小さく、レーダ１１であれば視線方向の誤差を小さく、方位角方向の誤差を大きく、ライダ１２であれば視線方向および方位角方向の誤差を小さく、というように計測原理の異なるセンサ毎に異なる誤差分布を設定できるため、単一の評価方法に依存することなく、センサの種類が増えても共通の枠組みで複数観測結果間の対応を評価することができる。

【0064】

コントローラ２０は、観測基準点にセンサ毎の計算遅延誤差に関する共分散行列を設定する。またコントローラ２０は、センサ点の速度ベクトル方向及び速度ベクトル方向に直交する方向に誤差分布を設定する。カメラ１０、レーダ１１、ライダ１２など、異なる計算周期で物体検出を行うセンサの計算遅延に起因する誤差分布を個別に設定できるため、単一の評価方法に依存することなく、センサの種類が増えても共通の枠組みで複数観測結果間の対応を評価することができる。

【0065】

コントローラ２０は、１時刻前に推定された、現在の観測基準点を示すターゲット基準点と、観測基準点を用いて第１センサによって検出された物体と第２センサによって検出された物体とが同一物体であるか否かを判定する。これにより複数のセンサを用いて物体の同一性を精度よく判定することが可能となる。

【0066】

コントローラは、状態推定結果の平均もしくは状態推定結果の平均と共分散を用いてターゲット基準点を推定する。コントローラ２０は、拡張カルマンフィルタ、パーティクルフィルタなどを用いてターゲット基準点の平均及び共分散を決定する。複数のセンサから得られた観測結果を束ねるターゲットについて、逐次状態推定結果の信頼度を反映した事後分布を用いて共分散行列をターゲット基準点に設定できるため、ターゲットに対する観測基準点の距離を精度よく評価することができる。これにより、ターゲットの追加または削除を適切なタイミングで行いながら、観測情報のグルーピングとトラッキングを精度よく行うことができる。

【0067】

コントローラ２０は、観測基準点とターゲット基準点との距離に関し、それぞれの平均もしくは平均と共分散の両方を用いて算出する。またコントローラ２０は、観測基準点とターゲット基準点との距離に関し、正規分布と正規分布のＫＬダイバージェンスを用いて算出してもよい。またコントローラ２０は、観測基準点とターゲット基準点との距離に関し、観測基準点と正規分布のマハラノビス距離を用いて算出してもよい。コントローラ２０は、観測基準点とターゲット基準点との距離に関し、観測基準点と観測基準点の２乗誤差を用いて算出してもよい。観測基準点と観測基準点の間の距離評価を行うだけでなく、観測基準点の許容誤差とターゲット基準点の許容誤差を反映した距離評価が行えるため、センサの観測誤差及びトラッキングの信頼度を反映して、観測基準点とターゲット基準点の距離評価を行うことができる。

【0068】

コントローラ２０は、ターゲットに割り当てられた複数の観測結果に対し、観測基準点の誤差分布を評価することによって決定された優先度にしたがって観測情報を統合化してターゲットの代表観測ベクトルを決定する。観測基準点の誤差分布において、誤差の小さな観測情報を複数の種類のセンサから選択的に統合することが可能になるため、信頼性の高い観測ベクトルをターゲットに対する代表観測ベクトルとすることができる。

【0069】

上述の実施形態に記載される各機能は、１または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や回路部品等の装置を含む。

【0070】

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

【符号の説明】

【0071】

１ 物体検出装置
１０ カメラ
１１ レーダ
１２ ライダ
１３ 記憶装置
１４ データベース
２０ コントローラ
２１ 基準辺決定部
２２ 基準点決定部
２３ 誤差分布決定部
２４ 距離算出部
２５ 割当部
２６ 状態更新部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】