特許 7641360 物標検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-26

(45)【発行日】2025-03-06

(54)【発明の名称】物標検出装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20250227BHJP

   G06T 7/00 20170101ALI20250227BHJP

   G06T 1/00 20060101ALI20250227BHJP

   G06V 10/80 20220101ALI20250227BHJP

【ＦＩ】

G08G1/16 C

G06T7/00 650B

G06T1/00 330B

G06V10/80

【請求項の数】 6

(21)【出願番号】P 2023512841

(86)(22)【出願日】2022-02-14

(86)【国際出願番号】 JP2022005723

(87)【国際公開番号】W WO2022215348

(87)【国際公開日】2022-10-13

【審査請求日】2023-08-23

(31)【優先権主張番号】P 2021065863

(32)【優先日】2021-04-08

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】松尾 俊輔

(72)【発明者】

【氏名】入江 耕太

【審査官】藤村 泰智

(56)【参考文献】

【文献】特開２０１８－２０５８７９（ＪＰ，Ａ）

【文献】特開２０１４－２２２４６２（ＪＰ，Ａ）

【文献】特開２００７－３１０７４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ ～ １／１６

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｇ０６Ｖ １０／８０

(57)【特許請求の範囲】

【請求項1】

複数のセンサにより計測されたセンサ情報に基づいて、車両周辺の物標を検出する物標検出装置であって、
第１センサと、
第２センサと、
前記第１センサの物標の検出情報と、前記第２センサの前記物標の検出情報とを周期毎に統合する統合処理部と、
前記統合処理部の統合結果を統合履歴として時系列で管理する統合履歴管理部と、
前記統合履歴と、前記第１センサ及び前記第２センサの前記物標の検出情報とに基づいて物標の種別の信頼度を判定する信頼度判定部と
を備え、
前記第１センサの物標の検出情報には、前記物標の種別情報が含まれ、
前記信頼度判定部は、
今周期において一のフュージョン物標に検出情報をグルーピングして特定種別情報を付与したか否かを判定する第１のステップと、
前周期において、対応するフュージョン物標に検出情報をグルーピングして特定種別情報を付与していたか否かを判定する第２のステップと、
前周期でグルーピングされて付与された特定種別に係る検出情報が、今周期において他に存在するか否かを判定する第３のステップと
を実行可能に構成される、
ことを特徴とする物標検出装置。

【請求項2】

前記第１センサ、及び前記第２センサは、前記物標の位置情報を検出情報として出力するよう構成され、
前記統合処理部は、前記位置情報に従い、前記統合を実行する、請求項１に記載の物標検出装置。

【請求項3】

前記統合履歴管理部は、前記統合結果として、フュージョン物標の物標ＩＤ、及び物標種別を時系列で管理する、請求項１に記載の物標検出装置。

【請求項4】

前記信頼度判定部は、前記第１～第３のステップの判定の結果に従い、前記特定種別情報の判定の信頼度を判定する、請求項１に記載の物標検出装置。

【請求項5】

前記第１センサ、及び前記第２センサは、前記物標の位置情報を検出情報として出力するよう構成され、
前記統合処理部は、前記物標の移動を予測する移動予測部を更に備え、
前記統合処理部は、前記位置情報と、前記移動予測部による前記物標の移動の予測に従い、前記統合を実行する、請求項１に記載の物標検出装置。

【請求項6】

自車の挙動を検知する自車挙動検知センサを更に備える、請求項１に記載の物標検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物標検出装置に関する。

【背景技術】

【0002】

交通事故の低減、ドライバーの負荷軽減、地球環境負荷の低減に向けた燃費改善、サステナブルな社会の実現に向けた交通弱者への移動手段の提供などを含む様々な目的を実現すべく、運転支援システム及び自動運転システムが開発されている。これら運転支援システム及び自動運転システムでは、ドライバーの代わりに車両周辺を監視するため、車両に複数のセンサ（カメラ、レーダーなど）が設けられる。また、車両に搭載した複数センサの認識結果を用い、歩行者や車両等特定対象に対して自動ブレーキを行うシステムが開発されている。

【0003】

例えば、特許文献１には、レーダ装置により検知された物体が移動物標であるか否かを判別する移動物標判別部と、カメラユニットにより撮像された画像から特定の物体を抽出する物体抽出部とを備えた物体認識装置が開示されている。特定物判別部は、移動物標判別部の判別結果と物体抽出部の抽出結果とに基づいてレーダ装置により検知された物体が特定の物体であるか否かが判別される。

【0004】

しかしながら、特許文献１の装置では、レーダ装置及びカメラユニットの両センサで同時検出した物標を対象に、各センサや両センサでの検出回数を数えることで種別の信頼度を判定しているため、両センサで同時検出後にカメラ検知範囲外に物体が移動した場合には、物標の信頼度の判定を適切に実行することができない。物標の信頼度判定を適切に実行できない場合、自動ブレーキの実施判断が適切に実行されなくなる虞がある。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１４－２１５２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、このような課題に鑑みてなされたものであり、物標の信頼度の判定を適切に実行することができる物標検出装置を提供するものである。

【課題を解決するための手段】

【0007】

本発明に係る物標検出装置は、複数のセンサにより計測されたセンサ情報に基づいて、車両周辺の物標を検出する物標検出装置であって、第１センサと、第２センサと、前記第１センサの物標の検出情報と、前記第２センサの物標の検出情報とを周期毎に統合する統合処理部と、前記統合処理部の統合結果を統合履歴として時系列で管理する統合履歴管理部と、前記統合履歴と、前記第１センサ及び前記第２センサの物標の検出情報とに基づいて物標の種別の信頼度を判定する信頼度判定部とを備える。前記第１センサの物標の検出情報には、前記物標の種別情報が含まれる。

【発明の効果】

【0008】

本発明によれば、物標の信頼度の判定を適切に実行することができる物標検出装置を提供することができる。

【図面の簡単な説明】

【0009】

【図1】第１の実施の形態の物標検出装置（センサフュージョン装置１）の機能ブロック図である。

【図2】信頼度判定部５０及び詳細種別付与部６０における信頼度の判定及び詳細種別情報の付与の手順について説明するフローチャートである。

【図3】信頼度判定及び詳細種別情報の付与について、一のシナリオに従って説明する概略図である。

【図4】信頼度判定及び詳細種別情報の付与について、一のシナリオに従って説明する概略図である。

【図5】信頼度判定及び詳細種別情報の付与について、一のシナリオに従って説明する概略図である。

【図6】信頼度判定及び詳細種別情報の付与について、一のシナリオに従って説明する概略図である。

【図7】第２の実施の形態の物標検出装置（センサフュージョン装置１）の機能ブロック図である。

【図8】第２の実施の形態における信頼度判定及び詳細種別情報の付与について、一のシナリオに従って説明する概略図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。

【0011】

本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

【0012】

［第１の実施の形態］
図１は、第１の実施の形態の物標検出装置（センサフュージョン装置１）の機能ブロック図である。図１に示すように、第１の実施の形態のセンサフュージョン装置１は、観測情報処理部２０と、統合処理部３０と、統合履歴管理部４０と、信頼度判定部５０と、詳細種別付与部６０とを有する。また、センサフュージョン装置１には、第１センサ１０ａ、第２センサ１０ｂ、自車挙動検知センサ１０ｃの出力信号が入力される。

【0013】

第１センサ１０ａ及び第２センサ１０ｂは、自車周辺の物標を検知するセンサである。一例として、第１センサ１０ａは、撮像された物標の画像データ等に基づき、物標の種別が判定可能なセンサであり、例えばカメラ（可視光カメラ、近赤外カメラ、中赤外カメラ、遠赤外カメラ）である。第２センサ１０ｂは、物標の存在及び位置は判定可能であるが、物標の種別の判定をする機能は有さないセンサであり、例えばミリ波レーダ、ＬｉＤＡＲ（Light Detection and Ranging）、ソナー、ＴＯＦ（Time of Flight）センサ、又はそれらを組み合わせのセンサであり得る。自車挙動検知センサ１０ｃは、自車の速度、舵角、ヨーレート等を検知するセンサ群である。一例として、車輪速センサ、舵角センサ、加速度センサ、ジャイロセンサ等が自車挙動検知センサ１０ｃに含まれる。

【0014】

第１センサ１０ａの検出情報には少なくとも検出された物標の位置、速度、種別、物標ＩＤが含まれ、第２センサ１０ｂの検出情報には少なくとも検出された物標の位置、速度、物標ＩＤが含まれる。本実施の形態のセンサフュージョン装置１（電子制御装置）や各種センサ（第１センサ１０ａや第２センサ１０ｂなど）は、演算装置、メモリ及び入出力装置を含む計算機（マイコン）を内部に含んでいる。

【0015】

演算装置は、プロセッサを含み、メモリに格納されたプログラムを実行する。演算装置がプログラムを実行して行う処理の一部を、他の演算装置（例えば、ＦＰＧＡ（Field Programable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェア）で実行してもよい。

【0016】

メモリは、不揮発性の記憶素子であるＲＯＭ及びＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子、及びＳＲＡＭ（Static Random Access Memory）のような不揮発性の記憶素子であり、演算装置が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。

【0017】

入出力装置は、所定のプロトコルに従って、電子制御装置やセンサによる処理内容の外部送信及び外部からのデータ受信を行うインターフェースである。演算装置が実行するプログラムは、電子制御装置やセンサの非一時的記憶媒体である不揮発性のメモリに格納される。

【0018】

観測情報処理部２０は、第１センサ１０ａ及び第２センサ１０ｂの検出情報を入力されると共に、自車挙動検知センサ１０ｃから出力される自車の速度、舵角、ヨーレート等を入力され、既定フォーマットに統一変換する機能を有する。なお、物標ＩＤとして与えられる符号は、時間方向で同じ物標をトラッキングしている際は同一の符号とされる。また、前述のフォーマットには少なくとも時刻と座標の情報が含まれており、時刻は例えばフュージョン実行タイミングを指し、座標は例えば自車中心を原点、自車の前方をｘ軸、自車の左方をｙ軸とする座標系を指す。

【0019】

統合処理部３０は、観測情報処理部２０から出力された物標の検出情報を入力され、後述する統合処理を行う。統合処理部３０は、複数の検出情報をグルーピングするグルーピング部３０ａと、グルーピングされた物標の検出情報を統合してフュージョン物標の生成又は更新を行う統合部３０ｂと、検出情報の統合及び時系列での同一物標のトラッキングを行うための予測更新を行う予測更新部３０ｃとを備える。

【0020】

グルーピング部３０ａは、物標の検出情報のうち、少なくとも位置の情報を用いて、複数の検出情報が同一物標の検出情報であるか否かを判定し、同一物標の判定された複数の検出情報を１組の情報としてグルーピングする。グルーピング部３０ａでグルーピングされた複数の検出情報は、統合部３０ｂにおいて統合されてフュージョン物標に変換され、同一の物標ＩＤを付与される。グルーピング部３０ａにおけるグルーピング、及び統合部３０ｂにおける統合処理は、所定の周期毎に実行される。

【0021】

なお、予測更新部３０ｃにより前周期のフュージョン物標の推定情報が得られた場合は、グルーピング部３０ａは、グルーピングのための複数の検出情報間の同一性判定よりも優先して、前周期で得られたフュージョン物標の推定情報と、今周期に得られた複数の検出情報との間の同一性判定を行う。前周期で得られたフュージョン物標の推定情報に対する同一性判定は、少なくとも前周期で得られたフュージョン物標の推定情報の位置の情報と、今周期に得られた複数の検出情報に含まれる位置の情報とを用いて実行される。前周期で得られたフュージョン物標の推定情報が今周期に得られた検出情報と同一だと判定された場合、その複数の検出情報に付与される物標ＩＤは、同一だと判定された前周期のフュージョン物標の物標ＩＤと同一とされる。

【0022】

グルーピング部３０ａにおいてグルーピングされた複数の検出情報は、統合部３０ｂに出力される。統合部３０ｂは、グルーピングされた複数の検出情報を統合してフュージョン物標を生成又は更新する。統合処理においては、例えば第１センサ１０ａ及び第２センサ１０ｂの検知の誤差特性を予めパラメータとして統合部３０ｂに予め与え、誤差特性のパラメータに従って補正された位置や速度に基づき、統合を実行することができる。または、誤差特性を共分散行列で定義し、確率平均により算出した位置・速度を採用して統合を実行しても良い。

【0023】

また、各センサの誤差特性は、予め統合部３０ｂに与える代わりに、統合部３０ｂにおける統合処理中に推定しても良い。また、第１センサ１０ａ及び第２センサ１０ｂの検出情報に、そのような誤差特性のデータを含ませても良い。また、フュージョン物標に含まれるセンサの検出情報が１個であったとしても、統合部３０ｂはその検出結果をフュージョン物標として出力する。以降の説明で、センサの１個の検出情報がグルーピングされた場合でも、フュージョン物標として「統合」するという表現をする。フュージョン物標中の位置や速度の情報は、センサの検出情報と同一であってもよいし、センサの検出情報に従い、時系列で内部推定した位置及び速度を示すものであってもよい。

【0024】

統合部３０ｂにおける検出情報の統合処理の結果であるフュージョン物標の情報は、予測更新部３０ｃへ出力される。また、フュージョン物標及びフュージョン物標に含まれる第１センサ１０ａ及び第２センサ１０ｂの検出情報は統合履歴管理部４０に出力される。統合履歴管理部４０は、生成又は更新されたフュージョン物標の情報を、時系列で管理する機能を有する。

【0025】

予測更新部３０ｃは、統合処理の実行周期、フュージョン物標の検出情報に含まれる位置及び速度の情報、及び自車挙動検知センサ１０ｃから出力される自車の速度、舵角、ヨーレート等を用いて、次の統合処理の周期におけるフュージョン物標の推定値を算出する。例えば、予測更新部３０ｃは、少なくともフュージョン物標の速度及び統合処理の実行周期を用いて物標の位置の時間変化を算出し、算出した位置の時間変化に基づいてフュージョン物標の位置を推定することにより、フュージョン物標の推定情報を得ることができる。なお、自車の速度、舵角、ヨーレート等を用いて、自車の旋回挙動を考慮して物標の位置及び速度を推定してもよい。予測更新部３０ｃで求められたフュージョン物標の推定情報は、前述のようにグルーピング部３０ａに出力される。

【0026】

統合履歴管理部４０は、統合処理部３０から出力されたフュージョン物標、及びフュージョン物標に含まれる第１センサ１０ａ及び第２センサ１０ｂの検出情報を入力され、フュージョン物標を時系列に、物標ＩＤ毎に記憶・管理する。統合履歴管理部４０で管理される情報は、信頼度判定部５０及び詳細種別付与部６０に出力される。

【0027】

信頼度判定部５０は、統合履歴管理部４０からフュージョン物標の統合履歴を入力され、統合履歴に基づいてフュージョン物標の信頼度を判定し、その判定結果である信頼度の情報をフュージョン物標に付与する。また、詳細種別付与部６０は、フュージョン物標が示す物標の種類と、その信頼度に関する情報を、詳細種別情報としてフュージョン物標に付与する。詳細種別付与部６０で生成された情報は、運転制御装置２に出力され、自動運転や運転支援などを含む自動車の制御が実行される。

【0028】

この第１の実施の形態の信頼度判定部５０では、統合履歴管理部４０より得られた前周期のフュージョン物標と、今周期のフュージョン物標の組合せから、歩行者や車両などの物標の種別に関するフュージョン物標の信頼度を判定する。具体的には、信頼度判定部５０において、前周期で得られたフュージョン物標における検出情報の内容と、今周期のフュージョン物標における物標の検出情報の内容とに従い、各フュージョン物標が示す特定種別（歩行者、車、自転車など）の信頼度が判定される。本実施の形態では、一例として、信頼度は、信頼度が高い順に「確定」、「過去」、「分裂」の少なくとも３つに区分される。なお、信頼度判定の基本的な判定基準の１つは、第１センサ１０ａの検出情報に基づいてグルーピングがされている場合には信頼度は高いと判定する、というものである。別の判定基準の１つは、前周期のグルーピングよりも今周期のグルーピングの方がより信頼性が高い、というものである。

【0029】

特定種別の判定結果の中で信頼度が最も高い「確定」は、今周期において第１センサ１０ａの検出情報がフュージョン物標として統合されている場合に判定される。「確定」の種別信頼度が最も高い理由は、信頼度が高い第１センサ１０ａの検出情報が今周期において得られており、考え得る統合の組合せとして最も信頼性が高いからである。

【0030】

「確定」に次いで２番目に信頼度が高い「過去」は、今周期では第１センサ１０ａの検出情報がグルーピングされていないが、前周期では第１センサ１０ａの検出情報がグルーピングされている場合に付与される。

【0031】

「過去」の信頼度が「確定」に次いで２番目に高い理由は、前周期と今周期の間でのグルーピングの一貫性が保たれている一方で、「確定」とは異なり、今周期では第１センサ１０ａの検出情報がグルーピングされていないからである。例えば、前周期にグルーピングしていた第１センサ１０ａの検出情報が今周期では存在せず、第１センサ１０ａの検出情報がグルーピングされていない場合、それは物標が第１センサ１０ａの検知範囲（検出範囲）の外に移動した等により第１センサ１０ａが当該物標を検知しなくなり、その検出情報がセンサフュージョン装置１に入力されなくなったことを意味する。つまり、前周期にグルーピングしていた第１センサ１０ａの検出情報が今周期に存在しない場合は、今周期にその検出情報がグルーピングされないことは必然であるため、複数の周期間でグルーピングの一貫性は保たれていると言える。したがって、「過去」は「確定」に次いで信頼度が高いと判定される。

【0032】

信頼度の３つの区分のうち、「分裂」は最も信頼度が低い。具体的には、一のフュージョン物標に関し、今周期では第１センサ１０ａの検出情報がグルーピングされていない一方、前周期では第１センサ１０ａの検出情報がグルーピングされており、更に、第１センサ１０ａの検出情報が今周期に他に存在する場合、信頼度が「分裂」と判定される。「分裂」が「過去」よりも信頼度が低い理由は、「過去」とは異なり、複数の周期間のグルーピングの一貫性が保たれていないからである。

【0033】

あるフュージョン物標が前周期にグルーピングしていた第１センサの検出情報が、今周期に他のフュージョン物標の第１センサの検出情報として存在している場合、今周期のグルーピングがより正しいという方針に基づくと、あるフュージョン物標はその検出情報を統合しないことが正しいということになる。つまり、前周期に第１センサの検出情報をグルーピングしていたことは実際には誤りであったということになり、複数の周期間でのグルーピングの一貫性が保たれないことになる。したがって、「過去」よりも「分裂」の信頼度が低いと判断される。

【0034】

次に、図２のフローチャートを参照して、信頼度判定部５０及び詳細種別付与部６０における信頼度の判定及び詳細種別情報の付与の手順について説明する。このフローチャートの手順は、統合処理の各周期において、物標ＩＤ毎に実行される。

【0035】

統合履歴管理部４０は、周期毎に検出情報のグルーピング及び統合の結果を統合処理部３０から受領し、その統合の履歴を周期毎に管理する。信頼度判定部５０は、その周期毎に得られたフュージョン物標における特定種別の信頼度を判定する。詳細種別付与部６０は、その信頼度の判定結果である詳細種別をフュージョン物標に付与する。

【0036】

まず、信頼度判定部５０は、今周期に得られた検出情報を受領して、統合処理部３０が、今周期において当該物標ＩＤに係るフュージョン物標に検出情報をグルーピングして特定種別情報を付与したか否かを判定する（ステップＳ１００）。判定結果が肯定的（ＹＥＳ）の場合にはステップＳ１３０へ移行し、そのグルーピングされ特定種別情報が付与されたフュージョン物標に関し、信頼度情報として「確定」が付与される。一方、ステップＳ１００の判定が否定的（ＮＯ）の場合には、ステップＳ１１０へ移行する。

【0037】

ステップＳ１１０では、信頼度判定部５０は、前周期において得られた検出情報を統合履歴管理部４０から受領して、前周期において、対応するフュージョン物標に検出情報をグルーピングして特定種別情報を付与していたか否かが判定される（ステップＳ１１０）。ＹＥＳであればステップＳ１２０に移行する。ＮＯであれば、信頼度の判定は行わず、処理は終了する（ＥＮＤ）。

【0038】

ステップＳ１１０の判定結果がＹＥＳである場合、ステップＳ１２０では、前周期でグルーピングされて付与された特定種別に係る検出情報が、今周期において他に（別の物標ＩＤのフュージョン物標として）存在するか否かが判定される。ステップＳ１２０の判定結果がＹＥＳの場合、ステップＳ１４０において、当該フュージョン物標の特定種別の信頼度は「分裂」であると判断され、その旨を示す詳細種別情報が付与される。一方、ステップＳ１３０の判定結果がＮＯの場合、ステップＳ１５０において、当該フュージョン物標の特定種別の信頼度は「過去」であると判断され、その旨を示す詳細種別情報が付与される。以上のようにして、信頼度の判定、及び詳細種別情報の付与の手順が終了する。

【0039】

次に、図３～図６を参照して、様々なシナリオを想定して、図２の判定手順がどのように実行されるかを説明する。

【0040】

図３は、自車２１０の前方を歩行者２００が横切る際における信頼度及び詳細種別の判定の手順を説明する概略図である。以下、図３において、（Ｂ）→（Ｃ）→（Ｄ）の順に時間が進んでいくものとして説明する。

【0041】

図３において、第１センサ（カメラ）１０ａの検知範囲ＣＦＯＶを破線の扇形で示し、第２センサ（レーダ）１０ｂの検知範囲ＲＦＯＶを実線の扇形で示している。また、第１センサ１０ａの検出情報Ｃ１、Ｃ２を円形で、第２センサ１０ｂの検出情報Ｒ１を四角形で示している。また、複数の検出情報を統合して生成され、所定の特定種別に関し「確定」の詳細種別情報が付与されたフュージョン物標Ｆ１を実線の楕円形で示している。また、「分裂」と判定されたフュージョン物標Ｆ２を点線の楕円形で示している。

【0042】

また、図３（Ｂ）～（Ｄ）中の表は、各瞬間（ｔ＝ｔ１、ｔ２、ｔ３）における第１センサ１０ａ及び第２センサ１０ｂの検知結果、及び統合部３０ｂの統合結果を示したものである。ただし、図３（Ｂ）～（Ｄ）は、信頼度判定の説明の容易化のため、一部の統合結果を抜粋して示したものであり、必ずしも連続する周期を示したものではない。

【0043】

図３（Ａ）に示すように、自車２１０の前方を歩行者２００が横切る場合において、（Ｂ）の状況では、歩行者２００は、第１センサ１０ａの検知範囲ＣＦＯＶ及び第２センサ１０ｂの検知範囲ＲＦＯＶの重複部分に存在し、両センサ１０ａ、１０ｂにより同時に検知されている。第１センサ１０ａでは、歩行者２００は物標ＩＤ＝１の歩行者の物標Ｃ１と検知され、第２センサ１０ｂでは物標ＩＤ＝1の種別不明の物標Ｒ１と検知される。グルーピング部３０ａは、第１センサ１０ａの物標ＩＤ＝１の歩行者の物標Ｃ１の検出情報と、第２センサ１０ｂの物標ＩＤ＝１の種別不明の物標Ｒ１の検出情報とを、検出情報の位置情報の一致に基づき、物標ＩＤ＝1の物標ＩＤを付与してグルーピングする。統合部３０ｂは、このグルーピングされた検出情報を統合して、フュージョン物標Ｆ１を生成する。

【0044】

統合履歴管理部４０は、物標ＩＤ＝１を付与されたフュージョン物標Ｆ１を、今周期（ｔ＝ｔ１）の統合の結果として保持する。信頼度判定部５０は、図２のステップＳ１００の動作として、今周期にフュージョン物標Ｆ１に検出情報をグルーピングして特定種別情報を付与したか否かを判定する。この（Ｂ）の状況ではステップＳ１００でＹＥＳの判定がされ、特定種別＝歩行者、信頼度＝「確定」との詳細種別情報がフュージョン物標Ｆ１に付与される。

【0045】

図３（Ｂ）の後、歩行者２００が更に右方向へ向かって進み、統合処理部３０が次の周期（ｔ＝ｔ２）に移行すると、図３（Ｃ）のような状況に移行する。図３（Ｃ）では、歩行者２００は依然として第１センサ１０ａの検知範囲ＣＦＯＶ内にあり、且つ第２センサ１０ｂの検知範囲ＲＦＯＶ内にある。従って、第１センサ１０ａの検出情報と、第２センサ１０ｂの検出情報とは、その位置情報の一致に基づいてグルーピングされ、物標ＩＤ＝１のフュージョン物標Ｆ１に統合される。ステップＳ１００ではＹＥＳの判定がされ、特定種別＝歩行者、信頼度＝「確定」の判定がなされ、その詳細種別情報がフュージョン物標Ｆ１に付与される。

【0046】

図３（Ｃ）の後、歩行者２００が更に右方向に向かって自車２１０を横切り、統合処理部３０が更に次の周期（ｔ＝ｔ３）に移行すると、図３（Ｄ）のような状況に移行する。図３（Ｄ）では、歩行者２００は依然として第１センサ１０ａの検知範囲ＣＦＯＶ内にはあるものの、第２センサ１０ｂの検知範囲ＲＦＯＶの外に移動している。

【0047】

歩行者２００は、既に第２センサ１０ｂの検知範囲ＲＦＯＶの外に移動しているが、第２センサ１０ｂの内部補間機能より、第２センサ１０ｂは歩行者２００を物標ＩＤ＝１の種別不明物標Ｒ１として検知する。内部補間とは、制御対象の未検知を防ぐため、検知範囲外に移動する物標を検知端で補間することで、物標を検知し続けているかのようにセンサが振る舞うことである。

【0048】

一方、第１センサ１０ａは、検知範囲ＣＦＯＶ内に歩行者２００を含んでいるため、歩行者２００を検知し、特定種別＝歩行者と判定する。しかし、第２センサ１０ｂの検出情報の位置情報と、第１センサ１０ａの検出情報の位置情報とが一致しないため、第１センサ１０ａの検出情報は、第２センサ１０ｂの検出情報とは同一の物標ＩＤにグルーピングされない。物標ＩＤ＝１の第１センサ１０ａの検出情報は、グルーピングがなされなかったため、別の物標ＩＤ＝２のフュージョン物標Ｆ２にグルーピングされ、特定種別＝歩行者、信頼度＝「確定」と認定される。従って、図３（Ｄ）の状況では、ステップＳ１００において、物標ＩＤ＝１のフュージョン物標Ｆ１’についてはＮＯの判定がなされ、ステップＳ１１０へ移行する。一方、物標ＩＤ＝２のフュージョン物標Ｆ２についてはＹＥＳの判定がなされ、特定種別＝歩行者、信頼度＝「確定」との詳細種別情報が付与される。

【0049】

物標ＩＤ＝１のフュージョン物標Ｆ１’については、続くステップＳ１１０では、前周期において、物標ＩＤ＝１のフュージョン物標Ｆ１に検出情報をグルーピングして特定種別情報を付与したか否かが判断される。この図３（Ｄ）の場合には、図３（Ｃ）（ｔ＝ｔ２）において、物標ＩＤ＝１のフュージョン物標Ｆ１に対し、特定種別＝歩行者との特定種別情報が付与されているため、ステップＳ１１０においてＹＥＳの判断がなされ、ステップＳ１２０に移行する。そして、ステップＳ１２０では、特定種別＝歩行者と判定された他のフュージョン物標Ｆ２が存在するため、ＹＥＳの判定となり、物標ＩＤ＝１のフュージョン物標Ｆ１’に関して、特定種別＝歩行者、信頼度＝「分裂」との詳細種別情報が付与される。以上のようにして、図３の場合では、信頼度に関し「分裂」との判定がなされる。

【0050】

次に、図４を参照して更に別の場合について説明する。図４（Ａ）は、左へ旋回（左折）している自車２１０が、その左側を平行に歩いている歩行者２００に接近する場合を示している。図４（Ｂ）は、自車２１０が左折を開始する前の状況を示しており、歩行者２００は、第１センサ１０ａの検知範囲ＣＦＯＶ及び第２センサ１０ｂの検知範囲ＲＦＯＶの重複部分に存在する。両センサ１０ａ、１０ｂの検出情報は、同じ位置情報を示している。歩行者２００は、第１センサ１０ａの検出情報により物標ＩＤ＝1で特定種別＝歩行者の物標Ｃ１と認識されると共に、第２センサ１０ｂの検出情報により、物標ＩＤ＝1で特定種別＝不明の物標Ｒ１と認識される。従って、第１センサ１０ａの検出情報と、第２センサ１０ｂの検出情報とが、位置情報の一致に基づいて、同一の物標ＩＤ＝１にグルーピングされ、統合されてフュージョン物標Ｆ１が生成される。

【0051】

統合履歴管理部４０は、物標ＩＤ＝１のフュージョン物標Ｆ１を、今周期の統合履歴のデータとして記憶・管理する。また、信頼度判定部５０では、ステップＳ１００でのＹＥＳの判定により、このフュージョン物標に対し、特定種別＝歩行者、信頼度＝「確定」の詳細種別情報をフュージョン物標Ｆ１に付与する。

【0052】

次に、図４（Ｃ）に示すように、統合処理部３０が次の周期（ｔ＝ｔ２）に移行する段階では、自車２１０が左折を開始し、歩行者２００が自車２１０の左側側部に近接する。ここでは、歩行者２００は第２センサ１０ｂの検知範囲ＲＦＯＶには存在する一方で、第１センサ１０ａの検知範囲ＣＦＯＶとの関係では死角となり、歩行者２００は検知範囲ＣＦＯＶ内には存在しない。従って、ｔ＝ｔ２の周期では、第２センサ１０ｂの検出情報のみが得られ、その検出情報が、物標ＩＤ＝１のフュージョン物標Ｆ１’において、特定種別＝不明の物標Ｒ１として統合される。

【0053】

信頼度判定部５０では、物標ＩＤ＝１のフュージョン物標Ｆ１’に関し、ステップＳ１００の判定を実行し、ＮＯと判定する。次に、ステップ１１０において、前周期にフュージョン物標Ｆ１に検出情報をグルーピングして特定種別情報を付与しているか否かを判定する。この例では、ＹＥＳの判定がなされ、ステップＳ１２０に移行する。続いて、ステップＳ１２０では、前周期においてフュージョン物標Ｆ１にグルーピングされ判定された特定種別に係る検出情報が今周期に他に存在するか否かを判定される（ステップＳ１２０）。ここでは、図４（Ｃ）で説明したように、種別は不明との判定がフュージョン物標Ｆ１’においてなされているため、ＮＯとの判定がされる。以上のようにして、図４の場合では、物標ＩＤ＝１のフュージョン物標Ｆ１’の信頼度に関し「過去」との判定がなされる。

【0054】

図５は、自車２１０の前方を別の先行車２３０が走行しており、その途中で路面上のマンホール２２０を先行車２３０が通過する場合における判定の手順を示している。図５（Ａ）のように、自車２１０の前方を別の先行車２３０が略同速度で走行しているが、その前方にマンホール２２０がある場合、第１センサ１０ａは、別の先行車２３０により遮られるため、マンホール２２０を検知しない。また、第２センサ１０ｂも、同様にマンホール２２０は検知せず、別の先行車２３０のみを物標として検知する。

【0055】

この場合、第１センサ１０ａの検出情報と、第２センサ１０ｂの検出情報とは、略同一の位置情報を有しており、第１センサ１０ａでは、先行車２３０は物標ＩＤ＝１の車両の物標Ｃ２ｃと検知され、第２センサ１０ｂでは、物標ＩＤ＝1の種別不明の物標Ｒ１ｃと検知される。グルーピング部３０ａは、第１センサ１０ａの物標ＩＤ＝１の車両の物標Ｃ２ｃの検出情報と、第２センサ１０ｂの物標ＩＤ＝１の種別不明の物標Ｒ２ｃの検出情報とを、検出情報の位置情報の一致に基づき、物標ＩＤ＝１の物標ＩＤを付与してグルーピングする。統合部３０ｂは、このグルーピングされた検出情報を統合して、フュージョン物標Ｆ１を生成する。

【0056】

統合履歴管理部４０は、物標ＩＤ＝１を付与されたフュージョン物標Ｆ１を、今周期（ｔ＝ｔ１）の統合の結果として保持する。信頼度判定部５０は、図２のステップＳ１００の動作として、今周期にフュージョン物標Ｆ１に検出情報をグルーピングして特定種別情報を付与したかどうかが判定する。この（Ｂ）の状況ではステップＳ１００でＹＥＳの判定がされ、特定種別＝車両、信頼度＝「確定」との詳細種別情報がフュージョン物標Ｆ１に付与される。

【0057】

図５（Ｂ）の後、先行車２３０が更に路面上を走行して、マンホール２２０を通過し、統合処理部３０が次の周期（ｔ＝ｔ２）に移行すると、図５（Ｃ）のような状況に移行する。ここで、図５（Ｃ）は、先行車２３０がマンホール２２０を通過した直後であるとする。この場合、第１センサ１０ａにより先行車２３０が検知されて、物標ＩＤ＝１で特定種別＝車両と検知する一方、第２センサ１０ｂによりマンホール２２０が検知され、物標ＩＤ＝１で特定種別＝不明と検知することがあり得る。この場合、第１センサ１０ａの検出情報（物標Ｃ２ｃ）と、第２センサ１０ｂの検出情報（物標Ｒ２ｍ）とはグルーピング及び統合されるべきではないが、位置情報が略一致することから、誤って統合され、物標ＩＤ＝１のフュージョン物標Ｆ１’として統合され得る。

【0058】

続く図５（Ｄ）は、先行車２３０が更に走行を続け、マンホール２２０から離れた前方まで走行した場合を示している。統合処理部３０は、更に次の周期（ｔ＝ｔ３）に移行している。この場合、第１センサ１０ａにより先行車２３０が検知され、特定種別＝車両とする検出情報が得られる一方、第２センサ１０ｂによりマンホール２２０が検知され、特定種別＝不明とする検出情報が得られたとしても、両検出情報は、位置情報が異なることから、それぞれ異なるフュージョン物標（Ｆ２（ＩＤ＝２）、Ｆ１’’（ＩＤ＝１））に統合される。

【0059】

フュージョン物標Ｆ２では、特定種別＝車両との判定がなされているので、ステップＳ１００ではＹＥＳの判定がなされ、特定種別＝車両、信頼度＝「確定」との詳細種別情報がフュージョン物標Ｆ２に付与される。一方、フュージョン物標Ｆ１’’では、特定種別＝不明の判定がなされているので、ステップＳ１００ではＮＯの判定がなされ、続くステップＳ１１０ではＹＥＳ、ステップＳ１２０ではＹＥＳの判定がなされ、特定種別＝車両、信頼度＝「分裂」との詳細種別情報が付与される。

【0060】

上述したように、この図５のケースでは、（Ｃ）の時点では、第１センサ１０ａによる先行車２３０の検出情報と、第２センサ１０ｂによるマンホール２２０の検出情報とが誤って統合され、特定種別＝車両、信頼度=「確定」との詳細種別情報が誤って付与されているが、次の（Ｄ）の時点においては、これが「分裂」に修正されている。このように、図２の判定手順によれば、一の周期において一旦誤った信頼度の判定がなされたとしても、次の周期においてこれを修正され、信頼度の判定の正確性を担保することができる。

【0061】

図６を参照して、更に別の場合について説明する。この図６は、自車２１０の前方を、歩行者２００が並行して歩行しているが、途中に障害物２４０（塀など）があり、ある時点において歩行者２００が障害物２４０により遮られ自車２１０から見えなくなる場合を示している。

【0062】

図６（Ａ）に示すように、自車２１０が前方に走行しているが、歩行者２００はまだ自車２１０の左前方に位置していて、障害物２４０に遮られていない状況では、各種検出情報は図６（Ｂ）に示すような状況となる。第１センサ１０ａにより、歩行者２００が検出され、物標ＩＤ＝１の、特定種別＝歩行者と認識される一方、第２センサ１０ｂにより、物標ＩＤ＝１の特定種別＝不明と認識される。第１センサ１０ａの検出情報（物標Ｃ１）と、第２センサ１０ｂの検出情報（物標Ｒ２）とは、その位置情報の一致から、統合処理部３０においてフュージョン物標Ｆ１（物標ＩＤ＝１）に統合される。

【0063】

続いて、自車２１０、歩行者２００が共に前方に進行し、第１センサ１０ａと歩行者２００との間を障害物２４０が遮る状態となると、一例として図６（Ｃ）のような状況が得られる。第１センサ１０ａは、歩行者２００の画像を捉えることができず、第１センサ１０ａの検出情報は得られていない。一方、第２センサ１０ｂは、前述の内部補間機能などに基づき、引き続き検出情報が得られ、物標Ｒ１として検出され、フュージョン物標Ｆ１に統合される。この図６（Ｃ）の状況では、ステップＳ１００でＮＯ、ステップＳ１１０でＹＥＳ、ステップＳ１２０でＮＯの判定がなされ、特定種別＝歩行者、信頼度＝「過去」との判定がなされる。

【0064】

以上、図３～図６などの様々な具体例を示して説明したように、この第１の実施の形態のセンサフュージョン装置１によれば、フュージョン物標の特定種別の判定に関し、高い信頼度をもって判定を行うことができ、自動運転や運転支援の精度を高めることが可能になる。具体的には、統合履歴管理部４０にて各周期で得られた各センサの検出情報を統合した統合結果を管理し、前周期で得られた統合結果と、今周期で得られた統合結果を比較することにより、特定種別の判定に関し、高い信頼度をもって判定することが可能になる。

【0065】

［第２の実施の形態］
次に、図７及び図８を参照して、第２の実施の形態の物標検出装置を説明する。図７は、第２の実施の形態の物標検出装置（センサフュージョン装置１）の機能ブロック図である。図７において、第１の実施の形態（図１）と同一の構成については同一の参照符号を付し、以下では重複する説明は省略する。

【0066】

この第２の実施の形態のセンサフュージョン装置１は、第１の実施の形態のセンサフュージョン装置１と同様の構成要素に加え、統合処理部３０が移動予測部３０ｄを有している点で、第１の実施の形態と異なっている。移動予測部３０ｄは、第１センサ１０ａ及び第２センサ１０ｂの検出情報、自車挙動検知センサ１０ｃの検出情報に従って、物標の移動速度や移動方向などの移動予測情報を予測する。移動予測部３０ｄでのこれらの予測結果に従って、統合処理部３０のグルーピング部３０ａ及び統合部３０ｂは、グルーピング及び統合を実行する。移動予測部３０ｄで予測される移動予測情報は、物標の移動速度や方向の他、加速度、位置の連続偏差、画像認識から得られた物標の向き（例えば、歩行者の顔の向き、視線）等を含み、特定の組合せには限定されない。

【0067】

次に、第２の実施の形態の信頼度判定部５０及び詳細種別付与部６０における信頼度の判定及び詳細種別情報の付与の手順について説明する。手順自体は第１の実施の形態（図２）と同様であるが、前述のように、統合処理部３０でのグルーピング及び統合処理において、移動予測情報が参照される。

【0068】

図８を参照して、具体的なシナリオに当てはめて説明を行う。ここでは、図３と同様に、歩行者２００が自車２１０の前を横切る場合を例にとって説明する。図４～図６のような動作が行われる場合にも、略同様の説明が当て嵌まる。

【0069】

図８（Ｂ）の状況は、図３（Ｂ）の状況と同様である。グルーピング部３０ａは、第１センサ１０ａの物標ＩＤ＝１の歩行者の物標Ｃ１の検出情報と、第２センサ１０ｂの物標ＩＤ＝１の種別不明の物標Ｒ１の検出情報とを、検出情報の位置情報に加え、移動予測情報の一致に基づき、物標ＩＤ＝1の物標ＩＤを付与してグルーピングする。統合部３０ｂは、このグルーピングされた検出情報を統合して、フュージョン物標Ｆ１を生成する。

【0070】

図８（Ｃ）の状況も、図３（Ｃ）の状況と同様である。物標の位置情報だけでなく、移動予測情報も用いたグルーピングにより、図８（Ｃ）において、前周期（ｔ＝ｔ１）まで第１センサ１０ａの歩行者の検出情報をグルーピングしていた物標ＩＤ＝１のフュージョン物標Ｆ１は、今周期（ｔ＝ｔ２）も第１センサ１０ａの検出情報を統合させることができる。

【0071】

図８（Ｃ）の後、歩行者２００が更に右方向に向かって自車２１０を横切り、統合処理部３０が更に次の周期（ｔ＝ｔ３）に移行すると、図８（Ｄ）のような状況に移行する。図８（Ｄ）では、歩行者２００は依然として第１センサ１０ａの検知範囲ＣＦＯＶ内にはあるものの、第２センサ１０ｂの検知範囲ＲＦＯＶの外に移動している。しかし、第２センサ１０ｂの内部補間機能により、特定種別＝不明の検出情報（物標Ｒ２）が得られる。一方、第１センサ１０ａでは、検知範囲ＣＦＯＶ内に歩行者２００を含んでいるため、歩行者２００を検知し、特定種別＝歩行者の検出情報（物標Ｃ２）が得られる。

【0072】

第２センサ１０ｂの検出情報の位置情報と、第１センサ１０ａの検出情報の位置情報とが一致しないため、第１センサ１０ａの検出情報(物標Ｃ２)は、第２センサ１０ｂの検出情報と（物標Ｒ２）は同一の物標ＩＤにグルーピングされない。物標Ｃ２はフュージョン物標Ｆ１’に統合され、物標Ｒ２は別のフュージョン物標Ｆ２に統合される。

【0073】

このとき、グルーピング部３０ａ及び統合部３０ｂは、移動予測情報に関する前周期との一致度の高さに基づき、第１センサ１０ａの検出情報(物標Ｃ２)が統合されたフュージョン物標Ｆ１’に、前周期のフュージョン物標Ｆ１と同一の物標ＩＤ＝１を割り当てる。フュージョン物標Ｆ２には別の物標ＩＤ＝２が割り当てられる。フュージョン物標Ｆ１’においては、第１センサ１０ａでの物標の識別結果に基づき、特定種別＝歩行者、信頼度＝「確定」との詳細種別情報が付与される。フュージョン物標Ｆ２においては、第２センサ１０ｂの検出情報のみが得られているため、特定種別＝不明との識別情報が付与される。

【0074】

以上説明したように、第２の実施の形態によれば、第１の実施の形態と同一の効果が得られることに加え、移動予測情報が参照されることにより、フュージョン物標の特定種別の判定に関し、一層高い信頼度をもって判定を行うことが可能になる。

【0075】

［その他］
本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

【0076】

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ、ＢＤ等の記録媒体に格納することができる。

【0077】

また、添付の図面に示した制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

【符号の説明】

【0078】

１…センサフュージョン装置
２… 運転制御装置
１０ａ…第１センサ
１０ｂ…第２センサ
１０ｃ…自車挙動検知センサ
２０… 観測情報処理部
３０… 統合処理部
３０ａ…グルーピング部
３０ｂ…統合部
３０ｃ…予測更新部
４０…統合履歴管理部
５０…信頼度判定部
２００…歩行者
２１０…自車
２２０…マンホール
２３０…先行車
２４０…障害物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】