知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社日本自動車部品総合研究所の特許一覧 ▶ 株式会社デンソーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024037541
(43)【公開日】2024-03-19
(54)【発明の名称】追跡装置
(51)【国際特許分類】
G06T 7/277 20170101AFI20240312BHJP
G01S 13/72 20060101ALI20240312BHJP
【ＦＩ】
G06T7/277
G01S13/72
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022142461
(22)【出願日】2022-09-07
(71)【出願人】
【識別番号】000004695
【氏名又は名称】株式会社ＳＯＫＥＮ
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】110000578
【氏名又は名称】名古屋国際弁理士法人
(72)【発明者】
【氏名】楠本 哲也
(72)【発明者】
【氏名】夏目 充啓
【テーマコード（参考）】
5J070
5L096
【Ｆターム（参考）】
5J070AB24
5J070AC01
5J070AC20
5J070AE01
5J070AE09
5J070AF03
5J070AK40
5J070BB06
5J070BB15
5J070BB16
5L096CA04
5L096FA66
5L096GA30
5L096GA51
5L096HA05
5L096JA03
(57)【要約】
【課題】物体を追跡するための演算負荷を低減する。
【解決手段】追跡装置４は、センサ２，３から取得した第１，２検出情報と、第１，２検出情報を取得する直前に推定された物体状態とに基づいて、第１，２同一物確率を算出する。追跡装置４は、第１，２検出情報と、第１，２検出情報を取得する直前に推定された物体状態と、第１，２同一物確率とに基づいて、推定した物体状態を示す第１，２観測後種別判定情報を生成する。追跡装置４は、第１，２検出情報のそれぞれについて算出された第１，２種別尤度と第１，２位置尤度と第１，２大きさ尤度とを用いて第１，２同一物確率を算出する。追跡装置４は、第１，２検出情報のうち、３個の値で表される第１，２種別検出情報に対して、第１，２種別検出情報と、第１，２種別検出情報を取得する直前に推定された物体状態を示す第２，１観測後種別判定情報との第１，２類似度を算出する。
【選択図】図１
【解決手段】追跡装置４は、センサ２，３から取得した第１，２検出情報と、第１，２検出情報を取得する直前に推定された物体状態とに基づいて、第１，２同一物確率を算出する。追跡装置４は、第１，２検出情報と、第１，２検出情報を取得する直前に推定された物体状態と、第１，２同一物確率とに基づいて、推定した物体状態を示す第１，２観測後種別判定情報を生成する。追跡装置４は、第１，２検出情報のそれぞれについて算出された第１，２種別尤度と第１，２位置尤度と第１，２大きさ尤度とを用いて第１，２同一物確率を算出する。追跡装置４は、第１，２検出情報のうち、３個の値で表される第１，２種別検出情報に対して、第１，２種別検出情報と、第１，２種別検出情報を取得する直前に推定された物体状態を示す第２，１観測後種別判定情報との第１，２類似度を算出する。
【選択図】図１
【特許請求の範囲】
【請求項1】
周囲の状態を観測するように構成された少なくとも１つのセンサ（２，３）から観測結果を示す少なくとも１つの観測情報を周期的に取得し、前記少なくとも１つの観測情報に基づいて、前記周囲に存在する物体の状態である物体状態を推定して追跡する追跡装置（４）であって、
前記少なくとも１つのセンサから前記少なくとも１つの観測情報を取得する度に、取得した前記少なくとも１つの観測情報に基づいて前記物体状態を推定し直すように構成された状態更新部（Ｓ１０～Ｓ１００）を備え、
前記状態更新部は、
前記少なくとも１つのセンサの前記少なくとも１つの観測情報と、前記少なくとも１つの観測情報を取得する直前に前記状態更新部により推定された前記物体状態とに基づいて、取得した前記少なくとも１つの観測情報が、直前に推定された前記物体状態に対応する前記物体から得られた情報である確率を示す同一物確率を算出するように構成された確率算出部（Ｓ１０～Ｓ３０，Ｓ６０～Ｓ８０）と、
前記少なくとも１つのセンサの前記少なくとも１つの観測情報と、前記少なくとも１つの観測情報を取得する直前に前記状態更新部により推定された前記物体状態と、前記確率算出部により算出された前記同一物確率とに基づいて、推定した前記物体状態を示す物体状態推定情報を生成することにより前記物体状態を推定し直すように構成された状態推定部（Ｓ４０～Ｓ５０，Ｓ９０～Ｓ１００）とを備え、
前記確率算出部は、
前記少なくとも１つの観測情報のそれぞれについて、前記少なくとも１つの観測情報を取得する直前に前記状態更新部により推定された前記物体状態に対応する前記物体の情報であることの尤もらしさを示す少なくとも１つの尤度を算出するように構成された尤度算出部（Ｓ１０～Ｓ２０，Ｓ６０～Ｓ７０）を備え、前記尤度算出部により算出された前記少なくとも１つの尤度を用いて前記同一物確率を算出し、
前記尤度算出部は、前記少なくとも１つの観測情報のうち、複数個の値で表される観測情報である複数値観測情報に対して、前記複数値観測情報と、前記複数値観測情報を取得する直前に前記状態更新部により推定された前記物体状態を示す前記物体状態推定情報との類似度を算出するように構成された類似度算出部（Ｓ１０，Ｓ６０）を備える追跡装置。
前記少なくとも１つのセンサから前記少なくとも１つの観測情報を取得する度に、取得した前記少なくとも１つの観測情報に基づいて前記物体状態を推定し直すように構成された状態更新部（Ｓ１０～Ｓ１００）を備え、
前記状態更新部は、
前記少なくとも１つのセンサの前記少なくとも１つの観測情報と、前記少なくとも１つの観測情報を取得する直前に前記状態更新部により推定された前記物体状態とに基づいて、取得した前記少なくとも１つの観測情報が、直前に推定された前記物体状態に対応する前記物体から得られた情報である確率を示す同一物確率を算出するように構成された確率算出部（Ｓ１０～Ｓ３０，Ｓ６０～Ｓ８０）と、
前記少なくとも１つのセンサの前記少なくとも１つの観測情報と、前記少なくとも１つの観測情報を取得する直前に前記状態更新部により推定された前記物体状態と、前記確率算出部により算出された前記同一物確率とに基づいて、推定した前記物体状態を示す物体状態推定情報を生成することにより前記物体状態を推定し直すように構成された状態推定部（Ｓ４０～Ｓ５０，Ｓ９０～Ｓ１００）とを備え、
前記確率算出部は、
前記少なくとも１つの観測情報のそれぞれについて、前記少なくとも１つの観測情報を取得する直前に前記状態更新部により推定された前記物体状態に対応する前記物体の情報であることの尤もらしさを示す少なくとも１つの尤度を算出するように構成された尤度算出部（Ｓ１０～Ｓ２０，Ｓ６０～Ｓ７０）を備え、前記尤度算出部により算出された前記少なくとも１つの尤度を用いて前記同一物確率を算出し、
前記尤度算出部は、前記少なくとも１つの観測情報のうち、複数個の値で表される観測情報である複数値観測情報に対して、前記複数値観測情報と、前記複数値観測情報を取得する直前に前記状態更新部により推定された前記物体状態を示す前記物体状態推定情報との類似度を算出するように構成された類似度算出部（Ｓ１０，Ｓ６０）を備える追跡装置。
【請求項2】
請求項１に記載の追跡装置であって、
前記状態推定部は、
前記少なくとも１つの観測情報が、前記少なくとも１つの観測情報を取得する直前に前記状態更新部により推定された前記物体状態に対応する前記物体の情報であると仮定した場合における前記物体状態である第１仮定物体状態と、前記少なくとも１つの観測情報が、前記少なくとも１つの観測情報を取得する直前に前記状態更新部により推定された前記物体状態に対応する前記物体の情報でないと仮定した場合における前記物体状態である第２仮定物体状態とを、前記同一物確率を用いて統合することにより、前記物体状態推定情報を生成する追跡装置。
前記状態推定部は、
前記少なくとも１つの観測情報が、前記少なくとも１つの観測情報を取得する直前に前記状態更新部により推定された前記物体状態に対応する前記物体の情報であると仮定した場合における前記物体状態である第１仮定物体状態と、前記少なくとも１つの観測情報が、前記少なくとも１つの観測情報を取得する直前に前記状態更新部により推定された前記物体状態に対応する前記物体の情報でないと仮定した場合における前記物体状態である第２仮定物体状態とを、前記同一物確率を用いて統合することにより、前記物体状態推定情報を生成する追跡装置。
【請求項3】
請求項１または請求項２に記載の追跡装置であって、
前記少なくとも１つのセンサは、複数のセンサであり、
前記複数のセンサは、互いに異なる第１センサと第２センサとを含み、
前記状態更新部は、
前記第１センサから取得した前記少なくとも１つの観測情報を用いて、前記物体状態を第１物体状態として推定する第１推定部（Ｓ１０～Ｓ５０）と、
前記第２センサから取得した前記少なくとも１つの観測情報と、前記第１推定部により推定された前記第１物体状態とを用いて、前記物体状態を第２物体状態として推定する第２推定部（Ｓ６０～Ｓ１００）と
を備える追跡装置。
前記少なくとも１つのセンサは、複数のセンサであり、
前記複数のセンサは、互いに異なる第１センサと第２センサとを含み、
前記状態更新部は、
前記第１センサから取得した前記少なくとも１つの観測情報を用いて、前記物体状態を第１物体状態として推定する第１推定部（Ｓ１０～Ｓ５０）と、
前記第２センサから取得した前記少なくとも１つの観測情報と、前記第１推定部により推定された前記第１物体状態とを用いて、前記物体状態を第２物体状態として推定する第２推定部（Ｓ６０～Ｓ１００）と
を備える追跡装置。
【請求項4】
請求項１または請求項２に記載の追跡装置であって、
前記状態推定部は、前記物体状態に加え、前記物体が存在する確率を算出するように構成される追跡装置。
前記状態推定部は、前記物体状態に加え、前記物体が存在する確率を算出するように構成される追跡装置。
【請求項5】
請求項１または請求項２に記載の追跡装置であって、
前記状態更新部は、ＰＨＤフィルタ、ＬＭＢフィルタ、ＰＭＢＭフィルタまたはＰＭＢフィルタに代表されるランダム有限集合理論を用いて前記物体状態を更新する追跡装置。
前記状態更新部は、ＰＨＤフィルタ、ＬＭＢフィルタ、ＰＭＢＭフィルタまたはＰＭＢフィルタに代表されるランダム有限集合理論を用いて前記物体状態を更新する追跡装置。
【請求項6】
請求項１または請求項２に記載の追跡装置であって、
前記複数値観測情報は、前記物体の多次元特徴情報である追跡装置。
前記複数値観測情報は、前記物体の多次元特徴情報である追跡装置。
【請求項7】
請求項１または請求項２に記載の追跡装置であって、
前記少なくとも１つのセンサから取得された前記少なくとも１つの観測情報と、前記状態推定部により生成された前記物体状態推定情報とのマハラノビス距離を算出するように構成されたマハラノビス距離算出部（Ｓ２２，Ｓ７２）と、
前記マハラノビス距離が予め設定された閾値よりも大きい場合には、前記物体状態推定情報に対応する前記物体が前記少なくとも１つのセンサにより観測されなかったと判断するように構成された観測判断部（Ｓ２４，Ｓ７４）と
を備える追跡装置。
前記少なくとも１つのセンサから取得された前記少なくとも１つの観測情報と、前記状態推定部により生成された前記物体状態推定情報とのマハラノビス距離を算出するように構成されたマハラノビス距離算出部（Ｓ２２，Ｓ７２）と、
前記マハラノビス距離が予め設定された閾値よりも大きい場合には、前記物体状態推定情報に対応する前記物体が前記少なくとも１つのセンサにより観測されなかったと判断するように構成された観測判断部（Ｓ２４，Ｓ７４）と
を備える追跡装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、物体を追跡する追跡装置に関する。
【背景技術】
【0002】
特許文献１には、複数のセンサのそれぞれから、複数のセンサにおいて共通する検出領域での検出結果を示す検出情報を受信し、受信した検出情報に基づいて、共通する検出領域内に存在する物体に関する複数の仮説を生成するように構成された自動運転システムが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許出願公開第２０２０／０３７７０８６号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
センサの検出情報に基づいて物体を追跡する追跡装置において、物体を追跡するために複数の仮説の生成を継続すると、時間経過に伴い仮説が大幅に増大して演算負荷が大きくなってしまうという問題があった。
【0005】
本開示は、物体を追跡するための演算負荷を低減することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様は、周囲の状態を観測するように構成された少なくとも１つのセンサ（２，３）から観測結果を示す少なくとも１つの観測情報を周期的に取得し、少なくとも１つの観測情報に基づいて、周囲に存在する物体の状態である物体状態を推定して追跡する追跡装置（４）であって、状態更新部（Ｓ１０～Ｓ１００）を備える。
【0007】
状態更新部は、少なくとも１つのセンサから少なくとも１つの観測情報を取得する度に、取得した少なくとも１つの観測情報に基づいて物体状態を推定し直すように構成される。
【0008】
状態更新部は、確率算出部（Ｓ１０～Ｓ３０，Ｓ６０～Ｓ８０）と、状態推定部（Ｓ４０～Ｓ５０，Ｓ９０～Ｓ１００）とを備える。
確率算出部は、少なくとも１つのセンサの少なくとも１つの観測情報と、少なくとも１つの観測情報を取得する直前に状態更新部により推定された物体状態とに基づいて、取得した少なくとも１つの観測情報が、直前に推定された物体状態に対応する物体から得られた情報である確率を示す同一物確率を算出するように構成される。
確率算出部は、少なくとも１つのセンサの少なくとも１つの観測情報と、少なくとも１つの観測情報を取得する直前に状態更新部により推定された物体状態とに基づいて、取得した少なくとも１つの観測情報が、直前に推定された物体状態に対応する物体から得られた情報である確率を示す同一物確率を算出するように構成される。
【0009】
状態推定部は、少なくとも１つのセンサの少なくとも１つの観測情報と、少なくとも１つの観測情報を取得する直前に状態更新部により推定された物体状態と、確率算出部により算出された同一物確率とに基づいて、推定した物体状態を示す物体状態推定情報を生成することにより物体状態を推定し直すように構成される。
【0010】
確率算出部は、尤度算出部（Ｓ１０～Ｓ２０，Ｓ６０～Ｓ７０）を備える。尤度算出部は、少なくとも１つの観測情報のそれぞれについて、少なくとも１つの観測情報を取得する直前に状態更新部により推定された物体状態に対応する物体の情報であることの尤もらしさを示す少なくとも１つの尤度を算出するように構成される。そして確率算出部は、尤度算出部により算出された少なくとも１つの尤度を用いて同一物確率を算出する。
【0011】
尤度算出部は、類似度算出部（Ｓ１０，Ｓ６０）を備える。類似度算出部は、少なくとも１つの観測情報のうち、複数個の値で表される観測情報である複数値観測情報に対して、複数値観測情報と、複数値観測情報を取得する直前に状態更新部により推定された物体状態を示す物体状態推定情報との類似度を算出するように構成される。
【0012】
このように構成された本開示の追跡装置は、複数個の値で表される複数値観測情報を、１つの値で表される類似度に変換することができるため、仮説の増大を抑制して物体状態を推定することができる。これにより、本開示の追跡装置は、物体を追跡するための演算負荷を低減することができる。
【図面の簡単な説明】
【0013】
【図1】運転支援システムの構成を示すブロック図である。
【図2】第１実施形態の追跡処理を示すフローチャートである。
【図3】ベクトルＡおよびベクトルＢを示す図である。
【図4】尤度関数を示す図である。
【図5】第１種別判定情報の算出方法を示す図である。
【図6】第１観測後種別判定情報の算出方法を示す図である。
【図7】各フレームの演算時間を示すグラフである。
【図8】第２実施形態の追跡処理を示すフローチャートである。
【発明を実施するための形態】
【0014】
［第１実施形態］
以下に本開示の第１実施形態を図面とともに説明する。
本実施形態の運転支援システム１は、車両に搭載され、図１に示すように、カメラセンサ２と、レーダセンサ３と、追跡装置４と、支援実行部５とを備える。以下、運転支援システム１を搭載する車両を自車両という。
以下に本開示の第１実施形態を図面とともに説明する。
本実施形態の運転支援システム１は、車両に搭載され、図１に示すように、カメラセンサ２と、レーダセンサ３と、追跡装置４と、支援実行部５とを備える。以下、運転支援システム１を搭載する車両を自車両という。
【0015】
カメラセンサ２は、例えば、物体までの距離を検出可能なステレオカメラとして構成されており、撮像画像に基づき、画像中の物体について、位置（すなわち、自車両に対する相対位置）と、大きさと、種別とを検出する。本実施形態では、物体の種別として、歩行者、二輪車および自動車が設定されている。カメラセンサ２は、検出結果を示す第１検出情報を生成し、生成した第１検出情報を追跡装置４へ送信する。第１検出情報は、第１位置検出情報、第１大きさ検出情報および第１種別検出情報を含む。第１位置検出情報は、カメラセンサ２が検出した物体の位置を示す情報である。第１大きさ検出情報は、カメラセンサ２が検出した物体の大きさを示す情報である。第１種別検出情報は、カメラセンサ２が検出した物体の種別を示す情報である。
【0016】
レーダセンサ３は、ミリ波またはマイクロ波等のレーダ波を送信し、反射したレーダ波を受信することによって、物体について、位置（すなわち、自車両に対する相対位置）と、大きさと、種別とを検出する。本実施形態では、物体の種別として、歩行者、二輪車および自動車が設定されている。レーダセンサ３は、検出結果を示す第２検出情報を生成し、生成した第２検出情報を追跡装置４へ送信する。第２検出情報は、第２位置検出情報、第２大きさ検出情報および第２種別検出情報を含む。第２位置検出情報は、レーダセンサ３が検出した物体の位置を示す情報である。第２大きさ検出情報は、レーダセンサ３が検出した物体の大きさを示す情報である。第２種別検出情報は、レーダセンサ３が検出した物体の種別を示す情報である。
【0017】
追跡装置４は、ＣＰＵ１１、ＲＯＭ１２およびＲＡＭ１３等を備えたマイクロコンピュータを中心に構成された電子制御装置である。マイクロコンピュータの各種機能は、ＣＰＵ１１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、ＲＯＭ１２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、ＣＰＵ１１が実行する機能の一部または全部を、一つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。また、追跡装置４を構成するマイクロコンピュータの数は１つでも複数でもよい。
【0018】
追跡装置４は、カメラセンサ２により生成された第１検出情報と、レーダセンサ３により生成された第２検出情報とに基づいて、自車両の周囲に存在する物体を追跡し、追跡した物体の状態を示す物体情報を生成する。
【0019】
追跡装置４は、第１位置検出情報が示す物体の位置を位置の観測値（以下、第１位置観測値）として、カルマンフィルタを用いて、位置の推定値（以下、第１位置推定値）と、位置の推定値の不確かさを示す位置標準偏差（以下、第１位置標準偏差）と、カルマンゲイン（以下、第１位置カルマンゲイン）とを算出する。
【0020】
追跡装置４は、第１大きさ検出情報が示す物体の大きさを大きさの観測値（以下、第１大きさ観測値）として、カルマンフィルタを用いて、大きさの推定値（以下、第１大きさ推定値）と、大きさの推定値の不確かさを示す大きさ標準偏差（以下、第１大きさ標準偏差）と、カルマンゲイン（以下、第１大きさカルマンゲイン）とを算出する。
【0021】
追跡装置４は、第１種別検出情報が示す物体の種別を種別の観測値（以下、第１種別観測値）として、カルマンフィルタを用いて、種別の推定値（以下、第１種別推定値）と、種別の推定値の不確かさを示す種別標準偏差（以下、第１種別標準偏差）と、カルマンゲイン（以下、第１種別カルマンゲイン）とを算出する。
【0022】
追跡装置４は、第２位置検出情報が示す物体の位置を位置の観測値（以下、第２位置観測値）として、カルマンフィルタを用いて、位置の推定値（以下、第２位置推定値）と、位置の推定値の不確かさを示す位置標準偏差（以下、第２位置標準偏差）と、カルマンゲイン（以下、第２位置カルマンゲイン）とを算出する。
【0023】
追跡装置４は、第２大きさ検出情報が示す物体の大きさを大きさの観測値（以下、第２大きさ観測値）として、カルマンフィルタを用いて、大きさの推定値（以下、第２大きさ推定値）と、大きさの推定値の不確かさを示す大きさ標準偏差（以下、第２大きさ標準偏差）と、カルマンゲイン（以下、第２大きさカルマンゲイン）とを算出する。
【0024】
追跡装置４は、第２種別検出情報が示す物体の種別を種別の観測値（以下、第２種別観測値）として、カルマンフィルタを用いて、種別の推定値（以下、第２種別推定値）と、種別の推定値の不確かさを示す種別標準偏差（以下、第２種別標準偏差）と、カルマンゲイン（以下、第２種別カルマンゲイン）とを算出する。
【0025】
支援実行部５は、例えば、アクチュエータ、オーディオ装置および表示装置などを備える。支援実行部５は、追跡装置４にて生成される物体情報に基づき、自車両の挙動を制御したり、自車両の運転者に対する報知を実行したりする。
【0026】
次に、追跡装置４のＣＰＵ１１が実行する追跡処理の手順を説明する。追跡処理は、追跡装置４の動作中において、予め設定された処理サイクル毎に繰り返し実行される処理である。処理サイクルの繰り返し周期を実行周期ΔＴとする。
【0027】
追跡処理が実行されると、ＣＰＵ１１は、図２に示すように、まずＳ１０にて、第１類似度ｓ１を算出する。
第１類似度ｓ１は、カメラセンサ２から送信された直近の第１検出情報に含まれる第１種別検出情報と、実行周期ΔＴ前に実行された１周期前の追跡処理におけるＳ１００で算出された後述の第２観測後種別判定情報とを用いて算出される。なお、追跡装置４が起動した直後に実行される初回の追跡処理におけるＳ１０では、１周期前の追跡処理における第２観測後種別判定情報が存在しないため、第１類似度ｓ１の算出は行われない。
第１類似度ｓ１は、カメラセンサ２から送信された直近の第１検出情報に含まれる第１種別検出情報と、実行周期ΔＴ前に実行された１周期前の追跡処理におけるＳ１００で算出された後述の第２観測後種別判定情報とを用いて算出される。なお、追跡装置４が起動した直後に実行される初回の追跡処理におけるＳ１０では、１周期前の追跡処理における第２観測後種別判定情報が存在しないため、第１類似度ｓ１の算出は行われない。
【0028】
第１種別検出情報は、歩行者、二輪車および自動車それぞれの検出確率を示すベクトルで表される。歩行者の検出確率とは、カメラセンサ２が検出した物体が歩行者である確率である。同様に、二輪車の検出確率とは、カメラセンサ２が検出した物体が二輪車である確率である。また、自動車の検出確率とは、カメラセンサ２が検出した物体が自動車である確率である。例えば、第１種別情報が［０．１，０．２，０．７］である場合には、歩行者、二輪車および自動車の検出確率はそれぞれ、１０％、２０％および７０％である。第１種別情報は、歩行者、二輪車および自動車の検出確率の総和が１００％となるように生成される。
【0029】
また第２観測後種別判定情報は、第１種別検出情報と同様に、歩行者、二輪車および自動車それぞれの検出確率を示すベクトルで表される。
図３に示すように、第１種別検出情報を表すベクトルをベクトルＡ＝［Ａ１，Ａ２，Ａ３］とし、第２観測後種別判定情報を表すベクトルをベクトルＢ＝［Ｂ１，Ｂ２，Ｂ３］として、ＣＰＵ１１は、式（１）により、第１類似度ｓ１を算出する。ベクトルＡとベクトルＢとが完全に一致する場合には、第１類似度ｓ１は１になる。
図３に示すように、第１種別検出情報を表すベクトルをベクトルＡ＝［Ａ１，Ａ２，Ａ３］とし、第２観測後種別判定情報を表すベクトルをベクトルＢ＝［Ｂ１，Ｂ２，Ｂ３］として、ＣＰＵ１１は、式（１）により、第１類似度ｓ１を算出する。ベクトルＡとベクトルＢとが完全に一致する場合には、第１類似度ｓ１は１になる。
【0030】
【数1】
【0031】
次にＣＰＵ１１は、図２に示すように、Ｓ２０にて、第１種別尤度ｑ１１を算出する。第１種別尤度ｑ１１は、カメラセンサ２が検出した物体（すなわち、第１種別検出情報に対応する物体）と、予測の物体（すなわち、第２観測後種別判定情報に対応する物体）とが同一物であることの尤もらしさの度合いである。
【0032】
第１種別尤度ｑ１１は、第１類似度ｓ１と、カメラセンサ２の種別判定精度と、予測の種別判定精度とを用いて算出される。なお、追跡装置４が起動した直後に実行される初回の追跡処理におけるＳ２０では、１周期前の追跡処理における第１類似度ｓ１が存在しないため、第１種別尤度ｑ１１の算出は行われない。
【0033】
カメラセンサ２の種別判定精度は、０から１までの値であり、予め設定された固定値（例えば、０．２）である。種別判定精度は、値が小さいほど精度が良いことを示している。
【0034】
予測の種別判定精度は、第２観測後種別判定情報が示す種別が、検出した物体の種別と一致する精度である。具体的には、予測の種別判定精度は、後述のＳ１００で算出された複数の第２観測後種別判定情報を用いて算出される標準偏差である。
【0035】
ＣＰＵ１１は、予め設定された第１種別尤度関数に、第１類似度ｓ１とカメラセンサ２の種別判定精度と予測の種別判定精度とを代入することにより、第１種別尤度ｑ１１を算出する。第１種別尤度関数は、第１類似度ｓ１と、カメラセンサ２の種別判定精度と、予測の種別判定精度とを変数として第１種別尤度ｑ１１を算出するための関数である。なお、第１類似度ｓ１、カメラセンサ２の種別判定精度、および、予測の種別判定精度と、第１種別尤度ｑ１１との対応関係が設定された第１種別尤度テーブルを参照することにより、第１種別尤度ｑ１１を算出するようにしてもよい。
【0036】
図４のグラフＧ１は、第１種別尤度関数を示す。但し、グラフＧ１で示す第１種別尤度関数は、図示の簡略化のために、変数を第１類似度ｓ１のみとしている。
次にＣＰＵ１１は、図２に示すように、Ｓ３０にて、第１同一物確率ｒ１を算出する。第１同一物確率ｒ１は、カメラセンサ２が検出した物体（すなわち、第１種別検出情報に対応する物体）と、予測の物体（すなわち、第２観測後種別判定情報に対応する物体）とが同一物である確率である。
次にＣＰＵ１１は、図２に示すように、Ｓ３０にて、第１同一物確率ｒ１を算出する。第１同一物確率ｒ１は、カメラセンサ２が検出した物体（すなわち、第１種別検出情報に対応する物体）と、予測の物体（すなわち、第２観測後種別判定情報に対応する物体）とが同一物である確率である。
【0037】
第１同一物確率ｒ１は、第１種別尤度ｑ１１と、第１位置尤度ｑ１２と、第１大きさ尤度ｑ１３とを用いて算出される。なお、追跡装置４が起動した直後に実行される初回の追跡処理におけるＳ３０では、１周期前の追跡処理における第１種別尤度ｑ１１が存在しないため、第１同一物確率ｒ１の算出は行われない。
【0038】
第１位置尤度ｑ１２は、第１位置観測値の尤もらしさの度合いである。ＣＰＵ１１は、第１位置推定値と第１位置標準偏差とに基づいて設定された第１位置尤度関数に、第１位置観測値を代入することにより、第１位置尤度ｑ１２を算出する。第１位置尤度関数は、図４のグラフＧ２で示すように、第１位置観測値を変数として第１位置尤度ｑ１２を算出するための関数である。第１位置尤度関数は、第１位置推定値を平均とし、第１位置標準偏差の二乗を分散とする正規分布を示す。
【0039】
第１大きさ尤度ｑ１３は、第１大きさ観測値の尤もらしさの度合いである。ＣＰＵ１１は、第１大きさ推定値と第１大きさ標準偏差とに基づいて設定された第１大きさ尤度関数に、第１大きさ観測値を代入することにより、第１大きさ尤度ｑ１３を算出する。第１大きさ尤度関数は、図４のグラフＧ３で示すように、第１大きさ観測値を変数として第１大きさ尤度ｑ１３を算出するための関数である。第１大きさ尤度関数は、第１大きさ推定値を平均とし、第１大きさ標準偏差の二乗を分散とする正規分布を示す。
【0040】
そしてＣＰＵ１１は、第１種別尤度ｑ１１、第１位置尤度ｑ１２および第１大きさ尤度ｑ１３の平均値を算出し、更に、この平均値に対して、平均値の最大値が１になるように正規化処理を行った値を第１同一物確率ｒ１とする。
【0041】
次にＣＰＵ１１は、図２に示すように、Ｓ４０にて、第１種別判定情報を算出する。具体的には、ＣＰＵ１１は、図５に示すように、第１種別判定情報を表すベクトルをベクトルＡ’とし、第１種別カルマンゲインをＫ１として、式（２）により、第１種別判定情報を算出する。
【0042】
【数2】
【0043】
次にＣＰＵ１１は、図２に示すように、Ｓ５０にて、第１観測後種別判定情報と、第１観測後種別判定情報の標準偏差とを算出し、算出した第１観測後種別判定情報および標準偏差をＲＡＭ１３に記憶する。
【0044】
具体的には、ＣＰＵ１１は、図６に示すように、第１観測後種別判定情報を表すベクトルをベクトルＡ’’として、式（３）により、第１観測後種別判定情報を算出する。さらにＣＰＵ１１は、ＲＡＭ１３に記憶されている複数の第１観測後種別判定情報を用いて、第１観測後種別判定情報の標準偏差を算出する。
【0045】
【数3】
【0046】
次にＣＰＵ１１は、図２に示すように、Ｓ６０にて、第２類似度ｓ２を算出する。
第２類似度ｓ２は、レーダセンサ３から送信された直近の第２検出情報に含まれる第２種別検出情報と、Ｓ５０で算出された直近の第１観測後種別判定情報とを用いて算出される。
第２類似度ｓ２は、レーダセンサ３から送信された直近の第２検出情報に含まれる第２種別検出情報と、Ｓ５０で算出された直近の第１観測後種別判定情報とを用いて算出される。
【0047】
第２種別検出情報を表すベクトルをベクトルＣ＝［Ｃ１，Ｃ２，Ｃ３］とし、第１観測後種別判定情報を表すベクトルをベクトルＤ＝［Ｄ１，Ｄ２，Ｄ３］として、ＣＰＵ１１は、式（４）により、第２類似度ｓ２を算出する。ベクトルＣとベクトルＤとが完全に一致する場合には、第２類似度ｓ２は１になる。
【0048】
【数4】
【0049】
次にＣＰＵ１１は、Ｓ７０にて、第２種別尤度ｑ２１を算出する。第２種別尤度ｑ２１は、レーダセンサ３が検出した物体（すなわち、第２種別検出情報に対応する物体）と、予測の物体（すなわち、第１観測後種別判定情報に対応する物体）とが同一物であることの尤もらしさの度合いである。
【0050】
第２種別尤度ｑ２１は、第２類似度ｓ２と、レーダセンサ３の種別判定精度と、予測の種別判定精度とを用いて算出される。
レーダセンサ３の種別判定精度は、０から１までの値であり、予め設定された固定値（例えば、０．４）である。
レーダセンサ３の種別判定精度は、０から１までの値であり、予め設定された固定値（例えば、０．４）である。
【0051】
予測の種別判定精度は、第１観測後種別判定情報が示す種別が、検出した物体の種別と一致する精度である。具体的には、予測の種別判定精度は、Ｓ５０で算出された複数の第１観測後種別判定情報を用いて算出される標準偏差である。
【0052】
ＣＰＵ１１は、予め設定された第２種別尤度関数に、第２類似度ｓ２とレーダセンサ３の種別判定精度と予測の種別判定精度とを代入することにより、第２種別尤度ｑ２１を算出する。第２種別尤度関数は、第２類似度ｓ２と、レーダセンサ３の種別判定精度と、予測の種別判定精度とを変数として第２種別尤度ｑ２１を算出するための関数である。なお、第２類似度ｓ２、レーダセンサ３の種別判定精度、および、予測の種別判定精度と、第２種別尤度ｑ２１との対応関係が設定された第２種別尤度テーブルを参照することにより、第２種別尤度ｑ２１を算出するようにしてもよい。
【0053】
次にＣＰＵ１１は、Ｓ８０にて、第２同一物確率ｒ２を算出する。第２同一物確率ｒ２は、レーダセンサ３が検出した物体（すなわち、第２種別検出情報に対応する物体）と、予測の物体（すなわち、第１観測後種別判定情報に対応する物体）とが同一物である確率である。
【0054】
第２同一物確率ｒ２は、第２種別尤度ｑ２１と、第２位置尤度ｑ２２と、第２大きさ尤度ｑ２３とを用いて算出される。
第２位置尤度ｑ２２は、第２位置観測値の尤もらしさの度合いである。ＣＰＵ１１は、第２位置推定値と第２位置標準偏差とに基づいて設定された第２位置尤度関数に、第２位置観測値を代入することにより、第２位置尤度ｑ２２を算出する。第２位置尤度関数は、第２位置観測値を変数として第２位置尤度ｑ２２を算出するための関数である。第２位置尤度関数は、第２位置推定値を平均とし、第２位置標準偏差の二乗を分散とする正規分布を示す。
第２位置尤度ｑ２２は、第２位置観測値の尤もらしさの度合いである。ＣＰＵ１１は、第２位置推定値と第２位置標準偏差とに基づいて設定された第２位置尤度関数に、第２位置観測値を代入することにより、第２位置尤度ｑ２２を算出する。第２位置尤度関数は、第２位置観測値を変数として第２位置尤度ｑ２２を算出するための関数である。第２位置尤度関数は、第２位置推定値を平均とし、第２位置標準偏差の二乗を分散とする正規分布を示す。
【0055】
第２大きさ尤度ｑ２３は、第２大きさ観測値の尤もらしさの度合いである。ＣＰＵ１１は、第２大きさ推定値と第２大きさ標準偏差とに基づいて設定された第２大きさ尤度関数に、第２大きさ観測値を代入することにより、第２大きさ尤度ｑ２３を算出する。第２大きさ尤度関数は、第２大きさ観測値を変数として第２大きさ尤度ｑ２３を算出するための関数である。第２大きさ尤度関数は、第２大きさ推定値を平均とし、第２大きさ標準偏差の二乗を分散とする正規分布を示す。
【0056】
そしてＣＰＵ１１は、第２種別尤度ｑ２１、第２位置尤度ｑ２２および第２大きさ尤度ｑ２３の平均値を算出し、更に、この平均値に対して、平均値の最大値が１になるように正規化処理を行った値を第２同一物確率ｒ２とする。
【0057】
次にＣＰＵ１１は、Ｓ９０にて、第２種別判定情報を算出する。具体的には、ＣＰＵ１１は、第２種別判定情報を表すベクトルをベクトルＣ’とし、第２種別カルマンゲインをＫ２として、式（５）により、第２種別判定情報を算出する。
【0058】
【数5】
【0059】
次にＣＰＵ１１は、Ｓ１００にて、第２観測後種別判定情報と、第２観測後種別判定情報の標準偏差とを算出し、算出した第２観測後種別判定情報および標準偏差をＲＡＭ１３に記憶する。
【0060】
具体的には、ＣＰＵ１１は、第２観測後種別判定情報を表すベクトルをベクトルＣ’’として、式（６）により、第２観測後種別判定情報を算出する。さらにＣＰＵ１１は、ＲＡＭ１３に記憶されている複数の第２観測後種別判定情報を用いて、第２観測後種別判定情報の標準偏差を算出する。
【0061】
【数6】
【0062】
なお、追跡装置４は、第２観測後種別判定情報に基づいて、カメラセンサ２およびレーダセンサ３によって検出された物体が歩行者、二輪車および自動車の何れに該当するか判断する。
【0063】
図７は、各フレームで物体状態推定の演算を実行するために要する時間を、本開示の手法と従来手法とで比較したグラフである。フレームは、上記の実行周期ΔＴが経過する毎に繰り返し実行される各処理に対応する。なお、従来手法は、ＰＭＢフィルタを用いて物体状態推定の演算を実行する。ＰＭＢは、Poisson Multi-Bernoulliの略である。
【0064】
図７に示すように、従来手法における最長演算時間は４７ｍｓであるのに対し、本開示の手法における最長演算時間は２．７ｍｓであり、本開示の手法によって演算時間を短縮することができる。
【0065】
このように構成された追跡装置４は、周囲の状態を観測するように構成されたカメラセンサ２およびレーダセンサ３から検出結果を示す第１，２検出情報を周期的に取得し、第１，２検出情報に基づいて、周囲に存在する物体の状態（以下、物体状態）を推定して追跡する。
【0066】
追跡装置４は、カメラセンサ２およびレーダセンサ３から第１，２検出情報を取得する度に、取得した第１，２検出情報に基づいて物体状態を推定し直すように構成される。
追跡装置４は、カメラセンサ２の第１検出情報と、第１検出情報を取得する直前に推定された物体状態（すなわち、第２観測後種別判定情報）とに基づいて、取得した第１検出情報が、直前に推定された物体状態に対応する物体から得られた情報である確率を示す第１同一物確率ｒ１を算出するように構成される。
追跡装置４は、カメラセンサ２の第１検出情報と、第１検出情報を取得する直前に推定された物体状態（すなわち、第２観測後種別判定情報）とに基づいて、取得した第１検出情報が、直前に推定された物体状態に対応する物体から得られた情報である確率を示す第１同一物確率ｒ１を算出するように構成される。
【0067】
追跡装置４は、レーダセンサ３の第２検出情報と、第２検出情報を取得する直前に推定された物体状態（すなわち、第１観測後種別判定情報）とに基づいて、取得した第２検出情報が、直前に推定された物体状態に対応する物体から得られた情報である確率を示す第２同一物確率ｒ２を算出するように構成される。
【0068】
追跡装置４は、カメラセンサ２の第１検出情報と、第１検出情報を取得する直前に推定された物体状態（すなわち、第２観測後種別判定情報）と、算出された第１同一物確率ｒ１とに基づいて、推定した物体状態を示す第１観測後種別判定情報を生成することにより物体状態を推定し直すように構成される。
【0069】
追跡装置４は、レーダセンサ３の第２検出情報と、第２検出情報を取得する直前に推定された物体状態（すなわち、第１観測後種別判定情報）と、算出された第２同一物確率ｒ２とに基づいて、推定した物体状態を示す第２観測後種別判定情報を生成することにより物体状態を推定し直すように構成される。
【0070】
追跡装置４は、第１，２検出情報のそれぞれについて、第１，２検出情報を取得する直前に推定された物体状態に対応する物体の情報であることの尤もらしさを示す第１種別尤度ｑ１１，ｑ２１と、第１，２位置尤度ｑ１２，ｑ２２と、第１，２大きさ尤度ｑ１３，ｑ２３を用いて第１同一物確率ｒ１，ｒ２を算出する。そして追跡装置４は、算出された第１，２種別尤度ｑ１１，ｑ２１と第１，２位置尤度ｑ１２，ｑ２２と第１，２大きさ尤度ｑ１３，ｑ２３とを用いて第１，２同一物確率ｒ１，ｒ２を算出する。
【0071】
追跡装置４は、第１，２検出情報のうち、３個の値で表される第１，２種別検出情報に対して、第１，２種別検出情報と、第１，２種別検出情報を取得する直前に推定された物体状態を示す第２，１観測後種別判定情報との第１，２類似度ｓ１，ｓ２を算出するように構成される。
【0072】
このような追跡装置４は、複数個の値で表される第１，２種別検出情報を、１つの値で表される第１，２類似度ｓ１，ｓ２に変換することができるため、仮説の増大を抑制して物体状態を推定することができる。これにより、追跡装置４は、物体を追跡するための演算負荷を低減することができる。
【0073】
また追跡装置４は、第１種別検出情報が、第１種別検出情報を取得する直前に推定された物体状態に対応する物体の情報であると仮定した場合における物体状態である第１仮定物体状態（すなわち、ベクトルＡ’，Ｃ’）と、第１種別検出情報が、第１種別検出情報を取得する直前に推定された物体状態に対応する物体の情報でないと仮定した場合における物体状態である第２仮定物体状態（すなわち、ベクトルＢ，Ｄ）とを、第１，２同一物確率ｒ１，ｒ２を用いて統合することにより、第１，２観測後種別判定情報を生成する。
【0074】
このような追跡装置４は、第１仮定物体状態および第２仮定物体状態の２種類の状態を考慮して物体状態を推定するため、物体状態推定のロバスト性を向上させることができる。
【0075】
また追跡装置４は、カメラセンサ２から取得した第１検出情報を用いて、物体状態を第１物体状態として推定する。そして追跡装置４は、レーダセンサ３から取得した第２検出情報と、推定された第１物体状態とを用いて、物体状態を第２物体状態として推定する。
【0076】
このような追跡装置４は、２つのセンサの検出情報を統合して、物体状態を推定することができる。
以上説明した実施形態において、カメラセンサ２およびレーダセンサ３はセンサに相当し、第１，２検出情報は観測情報に相当し、Ｓ１０～Ｓ１００は状態更新部としての処理に相当し、Ｓ１０～Ｓ３０，Ｓ６０～Ｓ８０は確率算出部としての処理に相当し、同一物確率は第１，２同一物確率ｒ１，ｒ２に相当する。
以上説明した実施形態において、カメラセンサ２およびレーダセンサ３はセンサに相当し、第１，２検出情報は観測情報に相当し、Ｓ１０～Ｓ１００は状態更新部としての処理に相当し、Ｓ１０～Ｓ３０，Ｓ６０～Ｓ８０は確率算出部としての処理に相当し、同一物確率は第１，２同一物確率ｒ１，ｒ２に相当する。
【0077】
また、Ｓ４０～Ｓ５０，Ｓ９０～Ｓ１００は状態推定部としての処理に相当し、第１，２観測後種別判定情報は物体状態推定情報に相当し、Ｓ１０～Ｓ２０，Ｓ６０～Ｓ７０は尤度算出部としての処理に相当し、尤度ｑ１１，ｑ２１，ｑ１２，ｑ２２，ｑ１３，ｑ２３は尤度に相当する。
【0078】
また、Ｓ１０，Ｓ６０は類似度算出部としての処理に相当し、第１，２種別検出情報は複数値観測情報に相当する。
また、カメラセンサ２は第１センサに相当し、レーダセンサ３は第２センサに相当し、Ｓ１０～Ｓ５０は第１推定部としての処理に相当し、Ｓ６０～Ｓ１００は第２推定部としての処理に相当する。
また、カメラセンサ２は第１センサに相当し、レーダセンサ３は第２センサに相当し、Ｓ１０～Ｓ５０は第１推定部としての処理に相当し、Ｓ６０～Ｓ１００は第２推定部としての処理に相当する。
【0079】
［第２実施形態］
以下に本開示の第２実施形態を図面とともに説明する。なお第２実施形態では、第１実施形態と異なる部分を説明する。共通する構成については同一の符号を付す。
以下に本開示の第２実施形態を図面とともに説明する。なお第２実施形態では、第１実施形態と異なる部分を説明する。共通する構成については同一の符号を付す。
【0080】
第２実施形態の運転支援システム１は、追跡処理が変更された点が第１実施形態と異なる。
第２実施形態の追跡処理は、図８に示すように、Ｓ２２，Ｓ２４，Ｓ２６，Ｓ７２，Ｓ７４，Ｓ７６の処理が追加された点が第１実施形態と異なる。
第２実施形態の追跡処理は、図８に示すように、Ｓ２２，Ｓ２４，Ｓ２６，Ｓ７２，Ｓ７４，Ｓ７６の処理が追加された点が第１実施形態と異なる。
【0081】
すなわち、Ｓ２０の処理が終了すると、ＣＰＵ１１は、Ｓ２２にて、Ｓ１０で用いたベクトルＡと、ＲＡＭ１３に記憶されている複数の第２観測後種別判定情報（すなわち、ベクトルＢ、ベクトルＣ’’）とのマハラノビス距離を第１マハラノビス距離として算出する。
【0082】
具体的には、ＣＰＵ１１は、複数のベクトルＢ（または、ベクトルＣ’）の平均ベクトルおよび分散共分散行列を算出し、マハラノビス距離を算出するための周知の算出式に、ベクトルＡと、複数のベクトルＢの平均ベクトルおよび分散共分散行列とを代入することにより、第１マハラノビス距離を算出する。
【0083】
そしてＣＰＵ１１は、Ｓ２４にて、Ｓ２２で算出した第１マハラノビス距離が予め設定された閾値以下であるか否かを判断する。ここで、第１マハラノビス距離が閾値以下である場合には、ＣＰＵ１１は、Ｓ３０に移行する。一方、第１マハラノビス距離が閾値を超えている場合には、ＣＰＵ１１は、Ｓ２６にて、Ｓ１０で用いた第２観測後種別判定情報（すなわち、ベクトルＢ）を第１観測後種別判定情報（すなわち、ベクトルＡ’’）とし、Ｓ６０に移行する。
【0084】
また、Ｓ７０の処理が終了すると、ＣＰＵ１１は、Ｓ７２にて、Ｓ６０で用いたベクトルＣと、ＲＡＭ１３に記憶されている複数の第１観測後種別判定情報（すなわち、ベクトルＡ’’）とのマハラノビス距離を第２マハラノビス距離として算出する。
【0085】
具体的には、ＣＰＵ１１は、複数のベクトルＡ’’の平均ベクトルおよび分散共分散行列を算出し、マハラノビス距離を算出するための周知の算出式に、ベクトルＣと、複数のベクトルＡ’’の平均ベクトルおよび分散共分散行列とを代入することにより、第２マハラノビス距離を算出する。
【0086】
そしてＣＰＵ１１は、Ｓ７４にて、Ｓ７２で算出した第２マハラノビス距離が予め設定された閾値以下であるか否かを判断する。ここで、第２マハラノビス距離が閾値以下である場合には、ＣＰＵ１１は、Ｓ８０に移行する。一方、第２マハラノビス距離が閾値を超えている場合には、ＣＰＵ１１は、Ｓ７６にて、Ｓ６０で用いた第１観測後種別判定情報（すなわち、ベクトルＤ）を第２観測後種別判定情報（すなわち、ベクトルＣ’’）とし、追跡処理を終了する。
【0087】
このように構成された追跡装置４は、カメラセンサ２から取得された第１種別判定情報（すなわち、ベクトルＡ）と、生成された第２観測後種別判定情報（すなわち、ベクトルＢ）との第１マハラノビス距離を算出する。そして追跡装置４は、第１マハラノビス距離が予め設定された閾値よりも大きい場合には、第２観測後種別判定情報に対応する物体がカメラセンサ２により観測されなかったと判断する。
【0088】
また追跡装置４は、レーダセンサ３から取得された第１種別判定情報（すなわち、ベクトルＣ）と、生成された第１観測後種別判定情報（すなわち、ベクトルＡ’’）との第２マハラノビス距離を算出する。そして追跡装置４は、第２マハラノビス距離が予め設定された閾値よりも大きい場合には、第１観測後種別判定情報に対応する物体がレーダセンサ３により観測されなかったと判断する。
【0089】
このような追跡装置４は、マハラノビス距離が大きい検出結果を用いた演算を省略することができるため、物体状態の推定精度の低下を抑制することができるとともに、物体状態の推定の演算を高速化することができる。
【0090】
以上説明した実施形態において、Ｓ２２，Ｓ７２はマハラノビス距離算出部としての処理に相当し、第１，２種別検出情報は観測情報に相当し、第１，２マハラノビス距離はマハラノビス距離に相当し、Ｓ２４，Ｓ７４は観測判断部としての処理に相当する。
【0091】
以上、本開示の一実施形態について説明したが、本開示は上記実施形態に限定されるものではなく、種々変形して実施することができる。
［変形例１］
上記実施形態では、カメラセンサ２およびレーダセンサ３から取得した第１，２検出情報に基づいて物体状態を推定する形態を示した。しかし、追跡装置４は、カメラセンサ２およびレーダセンサ３の何れか一方の検出情報に基づいて物体状態を推定するようにしてもよい。また追跡装置４は、３つ以上のセンサから検出情報を取得している場合には、３つ以上のセンサから取得した検出情報に基づいて物体状態を推定するようにしてもよい。
［変形例１］
上記実施形態では、カメラセンサ２およびレーダセンサ３から取得した第１，２検出情報に基づいて物体状態を推定する形態を示した。しかし、追跡装置４は、カメラセンサ２およびレーダセンサ３の何れか一方の検出情報に基づいて物体状態を推定するようにしてもよい。また追跡装置４は、３つ以上のセンサから検出情報を取得している場合には、３つ以上のセンサから取得した検出情報に基づいて物体状態を推定するようにしてもよい。
【0092】
［変形例２］
上記実施形態では、追跡装置４が物体状態を推定する形態を示したが、追跡装置４は、更に、物体が存在する確率（以下、物体存在確率）を算出するようにしてもよい。これにより、追跡装置４は、物体追跡において、物体の生起／消失に関連するパラメータ（すなわち、物体存在確率）を更新することができる。なお、追跡装置４は、例えば、ＰＭＢＭフィルタまたはＰＭＢフィルタを用いて物体存在確率を算出する。ＰＭＢＭは、Poisson Multi-Bernoulli Mixtureの略である。
上記実施形態では、追跡装置４が物体状態を推定する形態を示したが、追跡装置４は、更に、物体が存在する確率（以下、物体存在確率）を算出するようにしてもよい。これにより、追跡装置４は、物体追跡において、物体の生起／消失に関連するパラメータ（すなわち、物体存在確率）を更新することができる。なお、追跡装置４は、例えば、ＰＭＢＭフィルタまたはＰＭＢフィルタを用いて物体存在確率を算出する。ＰＭＢＭは、Poisson Multi-Bernoulli Mixtureの略である。
【0093】
［変形例３］
上記実施形態では、第１種別尤度ｑ１１，ｑ２１と、第１，２位置尤度ｑ１２，ｑ２２と、第１，２大きさ尤度ｑ１３，ｑ２３とを用いて第１同一物確率ｒ１，ｒ２を算出する形態を示した。しかし、追跡装置４は、ＰＨＤフィルタ、ＬＭＢフィルタ、ＰＭＢＭフィルタまたはＰＭＢフィルタに代表されるランダム有限集合理論を用いて第１同一物確率ｒ１，ｒ２を算出するようにしてもよい。このような追跡装置４は、ランダム有限集合理論を用いることで、物体推定のロバスト性を向上させることができる。ＰＨＤは、Probability Hypothesis Densityの略である。ＬＭＢは、Labeled Multi-Bernoulliの略である。
上記実施形態では、第１種別尤度ｑ１１，ｑ２１と、第１，２位置尤度ｑ１２，ｑ２２と、第１，２大きさ尤度ｑ１３，ｑ２３とを用いて第１同一物確率ｒ１，ｒ２を算出する形態を示した。しかし、追跡装置４は、ＰＨＤフィルタ、ＬＭＢフィルタ、ＰＭＢＭフィルタまたはＰＭＢフィルタに代表されるランダム有限集合理論を用いて第１同一物確率ｒ１，ｒ２を算出するようにしてもよい。このような追跡装置４は、ランダム有限集合理論を用いることで、物体推定のロバスト性を向上させることができる。ＰＨＤは、Probability Hypothesis Densityの略である。ＬＭＢは、Labeled Multi-Bernoulliの略である。
【0094】
［変形例４］
上記実施形態では、第１，２種別検出情報を用いて第１，２類似度ｓ１，ｓ２を算出する形態を示した。しかし、特に画像の学習によって得られる物体の多次元特徴情報を検出情報として用いて類似度を算出するようにしてもよい。このような追跡装置４は、ＡＩが出力した特徴情報のように、個々の数値について物理的解釈が無い情報を用いて、物体状態を推定することができる。ＡＩは、Artificial Intelligenceの略である。
上記実施形態では、第１，２種別検出情報を用いて第１，２類似度ｓ１，ｓ２を算出する形態を示した。しかし、特に画像の学習によって得られる物体の多次元特徴情報を検出情報として用いて類似度を算出するようにしてもよい。このような追跡装置４は、ＡＩが出力した特徴情報のように、個々の数値について物理的解釈が無い情報を用いて、物体状態を推定することができる。ＡＩは、Artificial Intelligenceの略である。
【0095】
本開示に記載の追跡装置４およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の追跡装置４およびその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の追跡装置４およびその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。追跡装置４に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
【0096】
上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加または置換してもよい。
【0097】
上述した追跡装置４の他、当該追跡装置４を構成要素とするシステム、当該追跡装置４としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実体的記録媒体、追跡方法など、種々の形態で本開示を実現することもできる。
【符号の説明】
【0098】
２…カメラセンサ、３…レーダセンサ、４…追跡装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】