(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-06
(45)【発行日】2024-11-14
(54)【発明の名称】物体追跡装置及び物体追跡方法
(51)【国際特許分類】
G06T 7/277 20170101AFI20241107BHJP
G06V 20/56 20220101ALI20241107BHJP
G08G 1/16 20060101ALI20241107BHJP
H04N 7/18 20060101ALI20241107BHJP
H04N 23/60 20230101ALI20241107BHJP
【ＦＩ】
G06T7/277
G06V20/56
G08G1/16 C
H04N7/18 G
H04N23/60 500
【請求項の数】
8
(21)【出願番号】P 2022558899
(86)(22)【出願日】2021-09-09
(86)【国際出願番号】 JP2021033200
(87)【国際公開番号】W WO2022091595
(87)【国際公開日】2022-05-05
【審査請求日】2023-04-21
(31)【優先権主張番号】P 2020180783
(32)【優先日】2020-10-28
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100132045
【弁理士】
【氏名又は名称】坪内 伸
(74)【代理人】
【識別番号】100180655
【弁理士】
【氏名又は名称】鈴木 俊樹
(72)【発明者】
【氏名】山本 顕嗣
(72)【発明者】
【氏名】黒田 淳
(72)【発明者】
【氏名】佐原 徹
(72)【発明者】
【氏名】童 方偉
(72)【発明者】
【氏名】本間 拓也
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開２００５－３１１６９１（ＪＰ，Ａ）
【文献】特開２００７－２４９３０９（ＪＰ，Ａ）
【文献】泉 竜之輔, 橋本 雅文, 田村 祐人, 高橋 和彦，複数台の移動ロボットによるレーザ距離計測 に基づく移動物体大きさ・姿勢推定法，日本機械学会論文集，81巻, 827号，日本，日本機械学会，2015年07月25日，p.1-13，<https://doi.org/10.1299/transjsme.14-00388>，ISSN 2187- 9761
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－ ７／９０
Ｇ０６Ｖ ２０／５２－２０／５９
Ｇ０８Ｇ １／１６
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
センサデータを取得する入力インターフェイスと、前記センサデータから複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うプロセッサと、
前記検出対象の検出結果を出力する出力インターフェイスと、を備え、
前記プロセッサは、前記複数の検出対象の追跡過程における検出結果の重複を許容し、
前記プロセッサは、検出した前記複数の検出対象が同一物体のものと見なせる場合に、前記複数の検出対象の位置の確率密度分布による推定範囲が最も小さいものを前記物体のものとして代表させる、物体追跡装置。
【請求項2】
前記プロセッサは、前記カルマンフィルタを、前記検出対象の初期状態、追跡準備状態、追跡状態の状態別に制御を行う、請求項１に記載の物体追跡装置。
【請求項3】
前記プロセッサは、同一の前記検出対象を連続で検出した場合に、前記カルマンフィルタを追跡状態とする、請求項１又は２に記載の物体追跡装置。
【請求項4】
前記プロセッサは、同一の前記検出対象を所定数連続で検出できなかった場合に、前記カルマンフィルタによる追跡を停止する、請求項１から３のいずれか一項に記載の物体追跡装置。
【請求項5】
前記プロセッサは、実空間のｘ軸、ｙ軸及びｚ軸の３軸より成る座標系において、ｚ軸方向の値を所定の固定値とする２次元空間である仮想空間を用いて、前記複数の検出対象のそれぞれを表す質点の位置及び速度を追跡する、請求項１から４のいずれか一項に記載の物体追跡装置。
【請求項6】
センサデータを取得することと、前記センサデータから複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うことと、
前記検出対象の検出結果を出力することと、を含み、
前記追跡を行うプロセッサは、前記複数の検出対象の追跡過程における検出結果の重複を許容し、
前記プロセッサは、検出した前記複数の検出対象が同一物体のものと見なせる場合に、前記複数の検出対象の位置の確率密度分布による推定範囲が最も小さいものを前記物体のものとして代表させる、物体追跡方法。
【請求項7】
異なるセンシング手法によって得られる複数のセンサデータを取得する入力インターフェイスと、前記複数のセンサデータから複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うためのデータ処理を行うプロセッサと、を備え、
前記プロセッサは、前記複数のセンサデータの検出結果を前記複数の検出対象の１つに重複して紐づけることを許容し、
前記プロセッサは、検出した前記複数の検出対象が同一物体のものと見なせる場合に、前記複数の検出対象の位置の確率密度分布による推定範囲が最も小さいものを前記物体のものとして代表させる、物体追跡装置。
【請求項8】
異なるセンシング手法によって得られる複数のセンサデータを取得することと、前記複数のセンサデータから複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うためのデータ処理を行うこと、を含み、
前記データ処理を行うプロセッサは、前記複数のセンサデータの検出結果を前記複数の検出対象の１つに重複して紐づけることを許容し、
前記プロセッサは、検出した前記複数の検出対象が同一物体のものと見なせる場合に、前記複数の検出対象の位置の確率密度分布による推定範囲が最も小さいものを前記物体のものとして代表させる、物体追跡方法。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本出願は、日本国特許出願２０２０－１８０７８３号（２０２０年１０月２８日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
【技術分野】
【0002】
本開示は、物体追跡装置及び物体追跡方法に関する。
【背景技術】
【0003】
周囲の物体を検知し、検知した物体を追跡して動きを予測する技術が知られている。例えば、特許文献１は、車両周辺の映像を取り込む車載カメラから出力される映像信号を処理して接近する車両及び歩行者の有無を検知し、接近車両及び歩行者に四角枠のマークを付加して表示する装置を開示する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開平１１－３２１４９４号公報
【発明の概要】
【0005】
一実施形態に係る物体追跡装置は、
センサデータを取得する入力インターフェイスと、
前記センサデータから複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うプロセッサと、
前記検出対象の検出結果を出力する出力インターフェイスと、を備え、
前記プロセッサは、前記複数の検出対象の追跡過程における検出結果の重複を許容する。
センサデータを取得する入力インターフェイスと、
前記センサデータから複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うプロセッサと、
前記検出対象の検出結果を出力する出力インターフェイスと、を備え、
前記プロセッサは、前記複数の検出対象の追跡過程における検出結果の重複を許容する。
【0006】
一実施形態に係る物体追跡方法は、
センサデータを取得することと、
前記センサデータから複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うことと、
前記検出対象の検出結果を出力することと、を含み、
前記追跡を行うことは、前記複数の検出対象の追跡過程における検出結果の重複を許容する。
センサデータを取得することと、
前記センサデータから複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うことと、
前記検出対象の検出結果を出力することと、を含み、
前記追跡を行うことは、前記複数の検出対象の追跡過程における検出結果の重複を許容する。
【0007】
一実施形態に係る物体追跡装置は、
異なるセンシング手法によって得られる複数のセンサデータを取得する入力インターフェイスと、
前記複数のセンサデータから複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うためのデータ処理を行うプロセッサと、を備え、
前記プロセッサは、前記複数のセンサデータの検出結果を前記複数の検出対象の１つに重複して紐づけることを許容する。
異なるセンシング手法によって得られる複数のセンサデータを取得する入力インターフェイスと、
前記複数のセンサデータから複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うためのデータ処理を行うプロセッサと、を備え、
前記プロセッサは、前記複数のセンサデータの検出結果を前記複数の検出対象の１つに重複して紐づけることを許容する。
【0008】
一実施形態に係る物体追跡方法は、
異なるセンシング手法によって得られる複数のセンサデータを取得することと、
前記複数のセンサデータから複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うためのデータ処理を行うこと、を含み、
前記データ処理を行うことは、前記複数のセンサデータの検出結果を前記複数の検出対象の１つに重複して紐づけることを許容する。
異なるセンシング手法によって得られる複数のセンサデータを取得することと、
前記複数のセンサデータから複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うためのデータ処理を行うこと、を含み、
前記データ処理を行うことは、前記複数のセンサデータの検出結果を前記複数の検出対象の１つに重複して紐づけることを許容する。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下、図面を参照して、本開示の実施形態が説明される。以下の説明で用いられる図は模式的なものである。図面上の寸法比率などは現実のものと必ずしも一致していない。
【0011】
図１は、物体追跡システム１の概略構成を示すブロック図である。本開示の一実施形態に係る物体追跡装置２０は、物体追跡システム１に含まれる。本実施形態において、物体追跡システム１は、撮像装置１０と、物体追跡装置２０と、ディスプレイ３０とを含む。また、物体追跡システム１は、図２に例示するように移動体の一例である車両１００に搭載される。
【0012】
本実施形態に係る物体追跡装置２０は、センサデータとして撮像装置１０から動画像を取得する。つまり、本実施形態において、複数の検出対象を検出するために用いられるセンサは、撮像装置１０が備える可視光を撮像する撮像素子１２である。ただし、物体追跡システム１は、図１に示される構成に限定されない。物体追跡システム１は、複数の検出対象を検出するものであれば、撮像装置１０と異なる装置を備えることができる。別の例として、物体追跡システム１は、撮像装置１０に代えて、照射したレーザー光の反射波から検出対象との距離を測定する測定装置を備える構成であってよい。別の例として、物体追跡システム１は、撮像装置１０に代えて、ミリ波センサを有する検出装置を備える構成であってよい。また、別の例として、物体追跡システム１は、可視光領域以外の光を撮像する撮像素子１２を備える撮像装置１０を備える構成であってよい。また、物体追跡システム１は、可視光を対象とする撮像装置１０、照射したレーザー光の反射波から検出対象との距離を測定する測定装置、ミリ波センサを有する検出装置及び可視光以外を対象とする撮像装置１０の少なくとも１つを備える構成であってよい。
【0013】
また、本実施形態において、物体追跡システム１は移動体に搭載されて、移動する移動体の周囲の物体４０（図２参照）を検出対象とする。ただし、物体追跡システム１は、移動体に搭載される構成に限定されない。別の例として、物体追跡システム１は、工場などの施設で用いられて、従業員、搬送ロボット及び製造物などを検出対象としてよい。また、別の例として、物体追跡システム１は、老人福祉施設などで用いられて、室内の老人及びスタッフなどを検出対象としてよい。また、物体追跡システム１は、走行又は行動の安全のために物体の追跡を行うだけでなく、例えば農業及び工業の現場において作業の効率化、品質管理又は生産性向上などのために物体の追跡を行ってよい。ここで、本開示において、物体追跡装置２０の検出対象である物体は、移動体などの物だけでなく人を含む。
【0014】
図２に示すように、本実施形態において、実空間の座標のうち、ｘ軸方向は、撮像装置１０が設置された車両１００の幅方向とする。ｙ軸方向は、車両１００の後退する方向とする。ｘ軸方向とｙ軸方向とは、車両１００が位置する路面に平行な方向である。ｚ軸方向は、路面に対して垂直な方向である。ｚ軸方向は、鉛直方向とよぶことができる。ｘ軸方向、ｙ軸方向及びｚ軸方向は、互いに直交する。ｘ軸方向、ｙ軸方向及びｚ軸方向のとり方はこれに限られない。ｘ軸方向、ｙ軸方向及びｚ軸方向は、互いに入れ替えることができる。
【0015】
撮像装置１０は、撮像光学系１１、撮像素子１２及びプロセッサ１３を含んで構成される。
【0016】
撮像装置１０は、車両１００の種々の位置に設置され得る。撮像装置１０は、フロントカメラ、左サイドカメラ、右サイドカメラ及びリアカメラなどを含むが、これらに限られない。フロントカメラ、左サイドカメラ、右サイドカメラ及びリアカメラは、それぞれ車両１００の前方、左側方、右側方及び後方の周辺領域を撮像可能となるように車両１００に設置される。以下に一例として説明する実施形態では、図２に示すように、撮像装置１０は、車両１００の後方を撮像可能なように、光軸方向を水平方向より下に向けて車両１００に取付けられている。
【0017】
撮像光学系１１は、１つ以上のレンズを含んで構成されてよい。撮像素子１２は、ＣＣＤイメージセンサ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ ｉｍａｇｅ ｓｅｎｓｏｒ）又はＣＭＯＳイメージセンサ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ）を含んで構成されてよい。
【0018】
撮像素子１２は、撮像光学系１１により撮像素子１２の撮像面に結像された物体の像（被写体像）を電気信号に変換する。撮像素子１２は、所定のフレームレートで、動画像を撮像することができる。フレームは動画像を構成する各静止画像である。１秒間に撮像できる画像の数をフレームレートという。フレームレートは、例えば６０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）であってよいし、３０ｆｐｓであってよい。
【0019】
プロセッサ１３は、撮像装置１０全体を制御するとともに、撮像素子１２から出力された動画像に対して、種々の画像処理を実行する。プロセッサ１３が行う画像処理は、歪み補正、明度調整、コントラスト調整、ガンマ補正等の任意の処理を含み得る。
【0020】
プロセッサ１３は、１つ又は複数のプロセッサで構成され得る。プロセッサ１３は、例えば、関連するメモリに記憶された指示を実行することによって１以上のデータ計算手続又は処理を実行するように構成された１以上の回路又はユニットを含む。プロセッサ１３は、１以上のプロセッサ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、デジタル信号処理装置（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、プログラマブルロジックデバイス（ＰＬＤ：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）又はこれらのデバイス若しくは構成の任意の組み合わせ又は他の既知のデバイス若しくは構成の組み合わせを含む。
【0021】
物体追跡装置２０は、入力インターフェイス２１、記憶部２２、プロセッサ２３及び出力インターフェイス２４を含んで構成される。
【0022】
入力インターフェイス２１は、撮像装置１０との間で有線又は無線の通信手段により通信可能に構成される。入力インターフェイス２１は、センサデータとして撮像装置１０から動画像を取得する。入力インターフェイス２１は、撮像装置１０の送信する画像信号の伝送方式に対応してよい。入力インターフェイス２１は、入力部又は取得部と言い換えることができる。撮像装置１０と入力インターフェイス２１との間は、ＣＡＮ（ｃｏｎｔｒｏｌ ａｒｅａ ｎｅｔｗｏｒｋ）などの車載通信ネットワークにより接続されてよい。
【0023】
記憶部２２は、プロセッサ２３が行う処理に必要なデータ及びプログラムを格納する記憶装置である。例えば、記憶部２２は、撮像装置１０から取得した動画像を一時的に記憶する。例えば、記憶部２２は、プロセッサ２３が行う処理により生成されるデータを格納する。記憶部２２は、例えば半導体メモリ、磁気メモリ及び光メモリなどのいずれか一つ以上を用いて構成されてよい。半導体メモリは、揮発性メモリ及び不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスク及び磁気テープなどを含んでよい。光メモリは、例えばＣＤ（ｃｏｍｐａｃｔ ｄｉｓｃ）、ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）及びＢＤ（ｂｌｕ－ｒａｙ（登録商標） ｄｉｓｃ）などを含んでよい。
【0024】
プロセッサ２３は、物体追跡装置２０の全体を制御する。プロセッサ２３は、入力インターフェイス２１を介して取得した動画像に含まれる物体の像を認識する。プロセッサ２３は、認識した物体の像の座標を仮想空間４６（図６参照）の物体４０の座標に写像変換し、仮想空間４６上で物体４０を表す質点４５（図５参照）の位置及び速度を追跡する。質点４５は、質量を有し大きさを持たない点である。仮想空間４６は、実空間のｘ軸、ｙ軸及びｚ軸の３軸より成る座標系において、ｚ軸方向の値を所定の固定値とする２次元空間である。プロセッサ２３は、追跡した質点４５の仮想空間４６上の座標を動画像上の座標に写像変換してよい。
【0025】
また、プロセッサ２３は、動画像から複数の検出対象を検出し、複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行う。複数の検出対象を検出する場合に、動画像においてそれらの像が重なると、従来の技術では追跡を誤ったり、精度が低下したりする。本実施形態において、プロセッサ２３は、複数の検出対象のそれぞれに１つ以上のカルマンフィルタを対応付けることによって、このような問題を回避できる。また、プロセッサ２３は、観測値と、カルマンフィルタと、追跡物体の固有識別情報（以下「追跡物体ＩＤ」）と、を各レイヤ（階層）で管理する。プロセッサ２３は、追跡物体について同一物体であるか否かを判定し、観測値と、カルマンフィルタと、追跡物体ＩＤと、を対応付ける処理を実行する。これによって、複数の検出対象の追跡の精度をさらに向上させることができる。プロセッサ２３が行う処理の詳細については後述する。プロセッサ２３は、撮像装置１０のプロセッサ１３と同じく、複数のプロセッサを含んでよい。また、プロセッサ２３は、プロセッサ１３と同じく、複数の種類のデバイスが組み合わされて構成されてよい。
【0026】
出力インターフェイス２４は、物体追跡装置２０から出力信号を出力するように構成される。出力インターフェイス２４は、出力部と言い換えることができる。出力インターフェイス２４は、例えば質点４５の座標などの検出対象の検出結果を出力してよい。
【0027】
出力インターフェイス２４は、物理コネクタ及び無線通信機を含んで構成され得る。出力インターフェイス２４は、例えばＣＡＮなどの車両１００のネットワークに接続されてよい。出力インターフェイス２４は、ＣＡＮなどの通信ネットワークを介してディスプレイ３０、車両１００の制御装置及び警報装置などに接続され得る。出力インターフェイス２４から出力された情報は、ディスプレイ３０、制御装置及び警報装置の各々で適宜利用されてよい。
【0028】
ディスプレイ３０は、物体追跡装置２０から出力される動画像を表示し得る。ディスプレイ３０は、物体追跡装置２０から、物体の像の位置を表す質点４５の座標を受け取った場合、これに従う画像要素（例えば、接近する物体とともに表示する警告）を生成して動画像に重畳させる機能を有してよい。ディスプレイ３０は、種々の種類の装置を採用し得る。例えば、ディスプレイ３０は、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、有機ＥＬ（ｅｌｅｃｔｒｏ－ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、無機ＥＬディスプレイ、プラズマディスプレイ（ＰＤＰ：ｐｌａｓｍａ ｄｉｓｐｌａｙ ｐａｎｅｌ）、電界放出ディスプレイ（ＦＥＤ：ｆｉｅｌｄ ｅｍｉｓｓｉｏｎ ｄｉｓｐｌａｙ）、電気泳動ディスプレイ、ツイストボールディスプレイなどを採用し得る。
【0029】
次に、図３のフローチャートを参照して、物体追跡装置２０が実行する物体追跡方法の詳細を説明する。物体追跡装置２０は、以下に説明するプロセッサ２３が行う処理を、非一時的なコンピュータ可読媒体に記録されたプログラムを読み込んで実装するように構成されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、半導体記憶媒体を含むがこれらに限られない。磁気記憶媒体は、磁気ディスク、ハードディスク、磁気テープを含む。光学記憶媒体は、ＣＤ、ＤＶＤ及びＢＤなどの光ディスクを含む。半導体記憶媒体は、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、フラッシュメモリを含む。
【0030】
図３のフローチャートは、動画像の順次のフレームを取得して、プロセッサ２３が実行する処理を示す。物体追跡装置２０のプロセッサ２３は、図３のフローチャートに従い、動画像のフレームを取得する度に、物体の像４２（図４参照）の位置を追跡（トラッキング）する。図２に示すように、検出対象となる物体４０は複数であって、歩行者４０Ａ、自動車４０Ｂ及び自転車４０Ｃを含み得る。さらに、物体４０は、移動している物及び人に限定されず、道路上の障害物など、種々の対象物を含み得る。以下の物体追跡方法についての説明では、車両１００の後ろに設置された撮像装置１０の動画像に含まれる複数の物体４０のうち１つ（具体的には歩行者４０Ａ）を用いて説明する。他の物体４０（例えば自動車４０Ｂ及び自転車４０Ｃ）のそれぞれについても、同様の処理によって追跡が行われる。
【0031】
プロセッサ２３は、入力インターフェイス２１を介して、撮像装置１０から動画像の各フレームを取得する（ステップＳ１０１）。図４に、動画像の１フレームの一例が示される。図４の例では、ｕｖ座標系からなる２次元の画像空間４１に、車両１００の後方の物体４０の像（物体の像４２）が表示されている。ｕ座標は、画像の横方向の座標である。ｖ座標は、画像の縦方向の座標である。図４において、ｕｖ座標の原点は、画像空間４１の左上端の点である。また、ｕ座標は、左から右へ向かう方向を正の方向とする。ｖ座標は、上から下へ向かう方向を正の方向とする。
【0032】
プロセッサ２３は、画像認識により動画像の各フレームから物体の像４２を認識する（ステップＳ１０２）。物体の像４２の認識方法は、公知の種々の方法を含む。例えば、物体の像４２の認識方法は、車及び人などの物体の形状認識による方法、テンプレートマッチングによる方法、画像から特徴量を算出しマッチングに利用する方法などを含む。特徴量の算出には、入出力の関係を学習可能な関数近似器を用いることができる。入出力の関係を学習可能な関数近似器には、例えばニューラルネットワークを用いることができる。
【0033】
プロセッサ２３は、画像空間４１の物体の像４２の座標（ｕ，ｖ）を仮想空間４６（図６参照）の物体の座標（ｘ´，ｙ´）に写像変換する（ステップＳ１０３）。一般に、２次元座標である画像空間４１の座標（ｕ，ｖ）は、実空間の座標（ｘ，ｙ，ｚ）に変換することはできない。しかし、実空間における高さを特定し、ｚ座標を所定値に固定することにより、画像空間４１の座標（ｕ，ｖ）を、実空間の座標（ｘ，ｙ，ｚ０）（ｚ０は固定値）に対応する２次元の仮想空間４６の座標（ｘ´，ｙ´）に写像することが可能になる。ここで、本実施形態では仮想空間４６を２次元としたが、入力情報（センサの種類）によって３次元とすることがあり得る。
【0034】
図４に示すように、物体の像４２の最下部の中央に位置する代表点４３が特定される。例えば、代表点４３は、画像空間４１において、物体の像４２が占める領域のｖ座標の最も下の位置且つｕ座標の範囲の中心位置とすることができる。この代表点４３は、物体の像４２に対応する物体４０の路面又は地面と接している位置であると想定される。
【0035】
図５において、３次元の実空間に位置する物体４０と、２次元の画像空間４１上の物体の像４２との関係が示される。撮像装置１０の内部パラメータが既知の場合、画像空間４１の座標（ｕ，ｖ）に基づき、撮像装置１０の撮像光学系１１の中心から実空間の対応する座標（ｘ，ｙ，ｚ）に向かう方向を算出することができる。撮像装置１０の内部パラメータは、撮像光学系１１の焦点距離、歪み及び撮像素子１２の画素サイズなどの情報を含む。実空間において、画像空間４１の代表点４３に対応する方向に向かう直線が、ｚ＝０の基準面４４と交差する点を物体４０の質点４５とする。基準面４４は、車両１００が位置する路面又は地面に相当する。質点４５は、３次元の座標（ｘ，ｙ，０）を有する。したがって、ｚ＝０の２次元空間を仮想空間４６とするとき、質点４５の座標は、（ｘ´，ｙ´）で表すことができる。仮想空間４６上の質点４５の座標（ｘ´，ｙ´）は、実空間においてｚ軸に沿う方向から物体４０を見た場合のｘｙ平面（ｚ＝０）での物体４０の特定の点の座標（ｘ，ｙ）に相当する。特定の点は、質点４５に対応する点である。
【0036】
プロセッサ２３は、図６に示すように、仮想空間４６上で物体の像４２の代表点４３から仮想空間４６に写像変換された質点４５の位置（ｘ´，ｙ´）及び速度（ｖｘ´，ｖｙ´）を追跡する（ステップＳ１０４）。質点４５が位置（ｘ´，ｙ´）及び速度（ｖｘ´，ｖｙ´）の情報を有することにより、プロセッサ２３は、順次のフレームにおける質点４５の位置（ｘ´，ｙ´）の範囲を予測することができる。プロセッサ２３は、次のフレームで予測された範囲に位置する質点４５を、追跡している物体の像４２に対応する質点４５であると認識することができる。プロセッサ２３は、新たなフレームの入力を受ける毎に、順次質点４５の位置（ｘ´，ｙ´）及び速度（ｖｘ´，ｖｙ´）を更新する。
【0037】
質点４５の追跡は、例えば、状態空間モデルに基づくカルマンフィルタを用いた推定を採用することができる。カルマンフィルタを用いた予測／推定を行うことにより、検出対象の物体４０の検知不能及び誤検知などに対するロバスト性が向上する。一般に、画像空間４１の物体の像４２に対しては、運動を記述する適切なモデルで記述することは困難である。そのため、画像空間４１の物体の像４２に対して簡易に高精度の位置の推定を行うことは困難であった。本開示の物体追跡装置２０では、物体の像４２を実空間の質点４５に写像変換することにより、実空間における運動を記述するモデルの適用が可能になるので、物体の像４２の追跡の精度が向上する。また、物体４０を、大きさを持たない質点４５として扱うことにより、単純で簡易な追跡が可能となる。
【0038】
プロセッサ２３は、質点４５の新たな位置を推定するごとに、推定位置を示すために、質点４５の仮想空間４６上の座標を画像空間４１上の座標（ｕ，ｖ）に写像変換してよい（ステップＳ１０５）。仮想空間４６の座標（ｘ´，ｙ´）に位置する質点４５は、実空間の座標（ｘ，ｙ，０）に位置する点として、画像空間４１に写像変換することができる。実空間の座標（ｘ，ｙ，０）は、公知の方法により撮像装置１０の画像空間４１上の座標（ｕ，ｖ）に写像することができる。プロセッサ２３は、画像空間４１上の座標（ｕ，ｖ）と、仮想空間４６の座標（ｘ´，ｙ´）と、実空間の座標（ｘ，ｙ，０）と、を相互に変換することができる。
【0039】
本実施形態において、プロセッサ２３は、動画像から複数の検出対象を検出して、それぞれについて追跡を行う。例えば図２のような状況において、プロセッサ２３は、歩行者４０Ａ、自動車４０Ｂ及び自転車４０Ｃのそれぞれについて追跡を行う。プロセッサ２３は、仮想空間４６を用いて、複数の検出対象のそれぞれを表す質点４５の位置及び速度を追跡する。プロセッサ２３が図３に示される物体追跡方法を実行するためには、複数の物体４０のそれぞれについて、カルマンフィルタが用意されている必要がある。本実施形態において、プロセッサ２３は、動画像で新たな物体の像４２を認識した場合に、新たにカルマンフィルタを生成し、始動条件が満たされると追跡を実行する。このことにより、検出対象である複数の物体４０のそれぞれについて、１つ以上のカルマンフィルタが用意される。ただし、一過性の新たな物体４０（例えば一定時間で動画像に含まれなくなる対向車など）に対してカルマンフィルタが生成され続けると、カルマンフィルタの数が必要以上に増加して、計算量が多くなり、物体の追跡の処理遅延を生じるおそれがある。本実施形態において、プロセッサ２３は、打ち切り条件を満たした場合にカルマンフィルタを初期化して、処理の遅延が生じないようにする。
【0040】
図７は、カルマンフィルタの動作モードを説明するための図である。プロセッサ２３は、カルマンフィルタを、検出対象の初期状態、追跡準備状態、追跡状態の状態別に制御を行う。
【0041】
検出対象の初期状態は、プロセッサ２３によって、動画像で検出対象となる新たな物体の像４２が認識された状態である。このとき、検出対象に対応付けられるカルマンフィルタの動作モードは「モード０」である。モード０のカルマンフィルタは初期値（位置及び速度の情報）を有していない。プロセッサ２３は、検出対象に対応付けられたカルマンフィルタがモード０の場合に、検出対象の位置の追跡すなわち次のフレームにおける質点４５の位置（ｘ´，ｙ´）の範囲の予測を行わない。
【0042】
追跡準備状態は、前のフレームで新たに認識された物体の像４２が、現フレームでも認識された状態である。このとき、検出対象に対応付けられるカルマンフィルタの動作モードは「モード１」である。モード１のカルマンフィルタは、検出対象の質点４５の位置（ｘ´，ｙ´）を取得するが、前のフレームにおける検出対象の位置の情報がないため、速度（ｖｘ´，ｖｙ´）の情報を取得しない。つまり、モード１のカルマンフィルタは、必要な初期値（位置及び速度の情報）の一部だけを有する。プロセッサ２３は、検出対象に対応付けられたカルマンフィルタがモード１の場合に、検出対象の位置の追跡を行わない。
【0043】
カルマンフィルタがモード１のときに、物体の像４２が誤検出などでないことを確認する処理が行われる。図７に示すように、第１の打ち切り条件が満たされた場合に、すなわち、誤検出であると判定されたり、物体の像４２が消失したりした場合に、カルマンフィルタの動作モードは初期化されてモード０に戻る。これによって、散発的な誤検出によって追跡を開始してしまうことを回避することができる。
【0044】
また、図７に示すように、始動条件が満たされた場合、すなわち、カルマンフィルタがモード１であって、２つ前のフレームで新たに認識された物体の像４２が、現フレームでも認識された場合に、カルマンフィルタの動作モードはモード２になる。
【0045】
追跡状態は、上記の始動条件が満たされた後で、第２の打ち切り条件が満たされていない状態である。第２の打ち切り条件は、現フレームまで連続で所定数のフレームにおいて物体の像４２が消失することである。このとき、検出対象に対応付けられるカルマンフィルタの動作モードは「モード２」である。モード２のカルマンフィルタは、必要な初期値（位置及び速度の情報）を有しており、直ちに追跡の制御に使用され得る。プロセッサ２３は、検出対象に対応付けられたカルマンフィルタがモード２の場合に、検出対象の位置の追跡を行う。
【0046】
図７に示すように、検出対象に対応付けられたカルマンフィルタがモード２であって、第２の打ち切り条件が満たされた場合に、カルマンフィルタの動作モードは初期化されてモード０に戻る。
【0047】
このように、プロセッサ２３は、同一の検出対象を連続で検出した場合に、カルマンフィルタを追跡状態（モード２）とする。ここで、本実施形態において連続で検出する数は２であるが、３以上であってよい。連続で検出する数が３以上の場合に、例えばモード１の状態（追跡準備状態）が長く続いてよい。
【0048】
また、プロセッサ２３は、同一の検出対象を所定数連続で検出できなかった場合に、カルマンフィルタによる追跡を停止する。ここで、本実施形態において所定数は５であるが、これに限定されない。カルマンフィルタを用いる物体の追跡において、動画像から取得される検出対象の位置の情報がなくても、検出対象の位置の範囲を予測し続けることができる。ただし、予測される位置の範囲の誤差は、そのような情報を取得できないフレームの数が重なっていくと拡大する。この誤差の大きさに基づいて、上記の所定数が決定されてよい。
【0049】
プロセッサ２３は、カルマンフィルタに上記のような動作モードを設定し、動的に設定を変更することによって、複数のカルマンフィルタについて、状態別に系統的な制御を行うことができる。
【0050】
図８は、データアソシエーションを説明するための図である。データアソシエーションは、複数の観測値と、複数のカルマンフィルタとの対応付けである。ここで、観測値は、検出対象の位置である。プロセッサ２３は、複数の観測値及び複数のカルマンフィルタに識別子を付して区別する。本実施形態において、プロセッサ２３は、例えば通し番号を用いて、複数の観測値のそれぞれを観測値（１）、観測値（２）、観測値（３）…とする。また、プロセッサ２３は、例えば記号及び通し番号を用いて、複数のカルマンフィルタのそれぞれをＫＦ（１）、ＫＦ（２）、ＫＦ（３）…とする。
【0051】
本実施形態において、プロセッサ２３は、Ｍ個の観測値とＮ個のカルマンフィルタとのデータアソシエーションを行う。Ｍは２以上の整数である。ＮはＭ以上の整数である。図８の例において、プロセッサ２３は、３個の観測値と５個のカルマンフィルタとのデータアソシエーションを行っている。観測値（１）は動画像のフレーム（ｋ）において検出されている歩行者４０Ａの位置である。観測値（２）は動画像のフレーム（ｋ）において検出されている自動車４０Ｂの位置である。観測値（３）は動画像のフレーム（ｋ）において検出されている自転車４０Ｃの位置である。また、フレーム（ｋ－１）は、動画像におけるフレーム（ｋ）の１つ前のフレームである。フレーム（ｋ－２）は、動画像におけるフレーム（ｋ）の２つ前のフレームである。現フレームはフレーム（ｋ）であるとする。
【0052】
ここで、ＫＦ（２）は、フレーム（ｋ－１）の時まで歩行者４０Ａの追跡に用いられていたが、第２の打ち切り条件を満たしたため初期化されている。つまり、ＫＦ（２）の動作モードはモード０となっており、検出対象の位置の追跡に用いられない。また、ＫＦ（５）は、フレーム（ｋ－２）で新たな自転車４０Ｃが認識されたことによって、新たに用意されたカルマンフィルタである。ＫＦ（５）は、フレーム（ｋ－１）の時にモード１であったが、始動条件が満たされたためモード２になっている。その他のカルマンフィルタは、フレーム（ｋ－２）の時からモード２であって、それぞれ検出対象の追跡を継続している。
【0053】
図８の例において、プロセッサ２３は観測値（１）にＫＦ（１）を対応付けている。プロセッサ２３は観測値（２）にＫＦ（３）及びＫＦ（４）を対応付けている。また、プロセッサ２３は観測値（３）にＫＦ（５）を対応付けている。観測値（２）の例のように、プロセッサ２３は、複数の検出対象の追跡過程における検出結果の重複を許容する。つまり、プロセッサ２３は、ＫＦ（３）及びＫＦ（４）を用いて、観測値（２）すなわち自動車４０Ｂの位置の範囲の予測を行う。このように、データアソシエーションにおいて重複を許容することによって、局所最適化を行うことができる。例えば、重複を許容せずに、複数の観測値と複数のカルマンフィルタとを１対１で対応づける手法（一例としてハンガリアン法）は、全体最適化のため、１つのミスアソシエーションが連鎖するおそれがある。本実施形態においては、重複が許容されるため、ミスアソシエーションの連鎖といった問題は生じない。また、追跡過程において、１つの観測値に対して１つ以上のカルマンフィルタが対応付けられており、どの観測値についても追跡の失敗が生じにくいため、ロバスト性を向上できる。
【0054】
１つの観測値に複数のカルマンフィルタが対応付けられる状況としては、例えば１つの物体が光の反射の影響などで２つの物体であると認識されて、その一方に新たなカルマンフィルタが対応付けられた場合が考えられる。上記のように、対応付けられた複数のカルマンフィルタを用いて、検出対象の追跡の制御は並行して実行される。ただし、例えば車両１００の衝突防止のために検出対象の予測位置が利用されるような場合に、最も確信度が高い１つの検出結果を出力インターフェイス２４から出力させることが好ましいことがある。プロセッサ２３は、カルマンフィルタの誤差楕円に基づいて、最も確信度が高い検出結果を示すカルマンフィルタ（以下「代表カルマンフィルタ」）を決定してよい。
【0055】
図９は、代表カルマンフィルタを説明するための図である。図９の例では、１つの観測値に３つのカルマンフィルタであるＫＦ（ｐ）、ＫＦ（ｑ）及びＫＦ（ｒ）、が対応付けられている。プロセッサ２３は、３つのカルマンフィルタのそれぞれについて誤差楕円を計算する。誤差楕円は、位置の確率密度分布による推定範囲を示すものであって、所定の確率（一例として９９％）で楕円の内部に位置することを示すものである。誤差楕円は、ｘ´方向の標準偏差及びｙ´方向の標準偏差などを用いて計算される。プロセッサ２３は、最も小さい誤差楕円を有するカルマンフィルタを代表カルマンフィルタに決定する。図９の例では、ＫＦ（ｒ）が代表カルマンフィルタである。
【0056】
このように、プロセッサ２３は、検出した複数の検出対象が同一物体のものと見なせるような場合に、複数の検出対象の位置の確率密度分布による推定範囲が最も小さいものを物体のものとして代表させることができる。よって、物体追跡装置２０は、車両１００の衝突防止などの運転支援にも好適に適用される。
【0057】
ここで、上記のように１つの観測値に複数のカルマンフィルタが対応付けられ得るが、検出対象である１つの物体に複数の観測値が対応付けられることもあり得る。例えば、検出対象が自動車４０Ｂであって、車線変更などによって動画像から一度消失した後に再び動画像に出現した場合などに、別物体として新たな観測値が対応付けられることがあり得る。正確な物体の追跡を行うために、物体追跡装置２０は、それぞれの追跡物体を識別して、観測値との対応付けを把握することが好ましい。本実施形態において、プロセッサ２３は、以下に説明するように階層管理を実行し、複数のカルマンフィルタのグループ化を行って同一物体に対応するものか否かを判定する。
【0058】
図１０は、本実施形態における追跡物体ＩＤ管理のレイヤ構成を示す図である。図１０に示すように、プロセッサ２３は、観測値と、カルマンフィルタと、追跡物体ＩＤと、を各レイヤで管理する。また、プロセッサ２３は、観測値と、カルマンフィルタと、追跡物体ＩＤと、を対応付けることによって、正確な物体の追跡を可能にする。ここで、追跡物体ＩＤは上記のように追跡物体の固有識別情報である。複数の観測値又は複数のカルマンフィルタに対応付けられる追跡物体ＩＤが同じであれば、これらの観測値又はカルマンフィルタは同一物体の追跡に関連するものである。
【0059】
プロセッサ２３は、上記のように、新たな観測値に対してカルマンフィルタを生成し、１つの観測値に１つ以上のカルマンフィルタを対応付ける。プロセッサ２３は、さらにカルマンフィルタと追跡物体ＩＤとを対応付ける。図１１は、同一物体の判定を説明するための図である。プロセッサ２３は、例えばＤＢＳＣＡＮ（ｄｅｎｓｉｔｙ－ｂａｓｅｄ ｓｐａｔｉａｌ ｃｌｕｓｔｅｒｉｎｇ ｏｆ ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ ｎｏｉｓｅ）などのクラスタリングによって、複数のカルマンフィルタのグループ化を行う。プロセッサ２３は、複数のカルマンフィルタの誤差楕円の中心が所定範囲に含まれる場合に、それらのカルマンフィルタが１つのグループに属すると判定する。図１１の例において、所定範囲は円で示されている。また、ＫＦ（ｐ）、ＫＦ（ｑ）及びＫＦ（ｒ）は１つのグループである。ここで、所定範囲は追跡物体の大きさに応じて変化してよい。例えば追跡物体が自動車４０Ｂであれば、所定範囲は追跡物体が歩行者４０Ａである場合よりも大きく設定されてよい。また、所定範囲は、追跡物体の種類によらずに一定であってよい。クラスタリングの手法は、ＤＢＳＣＡＮに限定されない。例えばｋ－ｍｅａｎｓ法など、他の手法でクラスタリングが実行されてよい。
【0060】
プロセッサ２３は、動画像のフレームが取得されると複数のカルマンフィルタのグループ化を実行する。そして、プロセッサ２３は、観測値、カルマンフィルタ及び追跡物体ＩＤの対応付けを更新する。図１０の例において、プロセッサ２３は、ＫＦ（１）、ＫＦ（２）及びＫＦ（３）をグループ化して、これらのカルマンフィルタを用いて追跡する物体に識別子である「追跡物体ＩＤ（１）」を割り当てて、この物体の追跡制御を行う。また、プロセッサ２３は、ＫＦ（４）及びＫＦ（５）をグループ化して、これらのカルマンフィルタを用いて追跡する物体に識別子である「追跡物体ＩＤ（２）」を割り当てて、この物体の追跡制御を行う。
【0061】
ここで、ＫＦ（１）及びＫＦ（２）が観測値（１）に対応付けられ、ＫＦ（３）が観測値（２）に対応付けられている。プロセッサ２３は、グループ化によって、それぞれ別の物体の位置としていた観測値（１）と観測値（２）とが、追跡物体ＩＤ（１）を識別子とする同一物体の位置であることを識別できる。プロセッサ２３は、同一と判定した物体に対応するカルマンフィルタを紐付けし、これらのカルマンフィルタに対応する検出対象の検出結果についても紐付けする階層構造で追跡を制御することによって、誤りのない高精度な追跡が可能になる。プロセッサ２３は、例えば紐づけされた複数のカルマンフィルタを用いた検出結果を比較又は選択して、確信度が高い検出結果を得ることが可能である。また、プロセッサ２３は、例えば観測値（２）が失われたり、ＫＦ（３）が初期化されたりした場合でも、観測値（１）、ＫＦ（１）及びＫＦ（２）を用いて、追跡物体ＩＤ（１）を識別子とする物体の追跡を継続することができる。つまり、ロバスト性を高めることが可能である。
【0062】
ここで、プロセッサ２３は、上記と同様に（図９参照）、同じグループに属する複数のカルマンフィルタについて最も小さい誤差楕円を有するカルマンフィルタを代表カルマンフィルタに決定してよい。つまり、プロセッサ２３は、グループ化された同一物体に対応するカルマンフィルタのうち、複数の検出対象の位置の確率密度分布による推定範囲が最も小さいものをグループの代表としてよい。
【0063】
図１２は、追跡物体ＩＤの継承を説明するための図である。上記のように、プロセッサ２３は、動画像のフレームが取得されると複数のカルマンフィルタのグループ化を実行する。プロセッサ２３は、グループの構成が変化した場合に、類似度に基づいて適切に追跡物体ＩＤを継承させる。
【0064】
図１２の例において、プロセッサ２３は、フレーム（ｋ－１）が取得された時に、ＫＦ（１）、ＫＦ（２）及びＫＦ（３）をグループ化して、追跡物体ＩＤ（１）と対応付けている。その後、フレーム（ｋ）が取得された時にプロセッサ２３が同様にグループ化を実行し、ＫＦ（１）及びＫＦ（２）が集合（１）に、ＫＦ（４）及びＫＦ（５）が別の集合（２）にグループ化されている。ここで、ＫＦ（３）は打ち切り条件を満たして、グループ化の対象から外れている。
【0065】
プロセッサ２３は、集合（１）及び集合（２）について、フレーム（ｋ－１）が取得された時の集合との類似度を判定する。類似度の判定は、例えばＳｉｍｐｓｏｎ係数を計算することによって実行されるが、この判定手法に限定されない。別の例としてＪａｃｃａｒｄ係数又はＤｉｃｅ係数などが用いられてよい。Ｓｉｍｐｓｏｎ係数が大きいほど、２つの集合は類似する。図１２の例では、ＫＦ（１）及びＫＦ（２）を含む集合（１）の方が高い類似度を有するため、集合（１）が追跡物体ＩＤ（１）と対応付けられる。つまり、集合（１）が追跡物体ＩＤ（１）を継承する。集合（２）には、別の追跡物体ＩＤ（２）が対応付けられる。
【0066】
ここで、例えばフレーム（ｋ＋１）が取得された時に、ＫＦ（２）が集合（１）でなく、集合（２）に区分されたとする。このとき、ＫＦ（１）だけを含む集合（１）の方が、フレーム（ｋ）が取得された時の集合（１）との類似度が高いため、そのまま追跡物体ＩＤ（１）を継承する。
【0067】
このように、プロセッサ２３は、異なる時刻におけるグループの類似度によって識別子を管理する。この管理によって、同一物体の追跡の制御を適切に継続することができる。
【0068】
以上のように、本実施形態に係る物体追跡装置２０は、上記の構成によって、複数の検出対象の追跡過程における検出結果の重複を許容する。そのため、物体追跡装置２０は、ミスアソシエーションの連鎖を生じさせることなく、複数の物体を高精度に追跡できる。
【0069】
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
【0070】
上記の実施形態において、検出対象の位置である観測値は、撮像装置１０からのセンサデータの検出結果である検出対象の位置がそのまま用いられた。ここで、物体追跡システム１は、撮像装置１０に加えて、ミリ波センサ、レーザー光の反射波の検出装置などによって、検出を並行して行う構成であり得る。このような構成の場合に、同一の検出対象であると判定される観測値同士を関連付けることによって、物体追跡システム１は複数の物体をさらに高精度に追跡できる。以下、「フュージョン」は、物理的に異なるセンシング手法によって得られる複数の観測値から同一物体であると判定される観測値同士についてそれぞれの誤差を加味して関連付けることである。換言すると、フュージョンは、異なるセンシング手法による複数の観測値を１つの検出対象に重複して紐づけることを許容する処理である。フュージョンによって生成される新たな観測値は、複数のセンサデータの検出結果に基づくため、検出対象の位置の精度を高めることができる。また、プロセッサ２３は、フュージョンされなかった観測値を棄却することがないので、その相補性が維持される。フュージョンに関する処理は、直接的な物体追跡の事前のデータ処理（前処理）として実行されてよい。
【0071】
プロセッサ２３は、フュージョンによって観測値を更新する場合に、重複を許容する上記のデータアソシエーションのアルゴリズムをそのまま適用する。プロセッサ２３は、フュージョンを行う一方の観測値の誤差楕円を上限範囲として、フュージョンを行う他方の観測値として、マハラノビス距離が最も小さいものを１つ選択する。図１３は、フュージョンを説明するための図である。図１３の例において、観測値リストＡは例えば撮像装置１０のセンサデータの検出結果として得られる観測値である。また、観測値リストＢは例えばミリ波センサのセンサデータの検出結果として得られる観測値である。プロセッサ２３は、フュージョンを実行して、観測値リストＡ及び観測値リストＢを、観測値リストＡＢに統合する。例えば観測値リストＡのａ１と観測値リストＢのｂ１のフュージョンによって、精度の高いａ１ｂ１という観測値が得られる。また、例えばａ４のようにフュージョンされなかった観測値は、そのまま観測値リストＡＢに残される。
【0072】
プロセッサ２３は、重畳的にフュージョンを実行してよい。フュージョンされた観測値の誤差は必ず小さくなるため、より確度と精度の高い観測値を得ることができる。図１４は、フュージョンの重複適用を説明するための図である。図１３の例において、観測値リストＡＢは図１３と同じである。また、観測値リストＣは例えばレーザー光の反射波の検出装置のセンサデータの検出結果として得られる観測値である。プロセッサ２３は、重畳的にフュージョンを実行することによって、観測値リストＡ、観測値リストＢ及び観測値リストＣを、観測値リストＡＢＣに統合する。観測値リストＡＢＣは、例えばａ１ｂ１ｃ１のように、さらに精度の高い観測値を有する。
【0073】
ここで、フュージョンされた観測値は、フュージョンされなかった観測値と同じように扱うことができる。つまり、フュージョンされた観測値も、フュージョンされなかった観測値も、同じようにデータアソシエーションが行われる。そのため、フュージョンが実行された場合であっても、データアソシエーション以降のアルゴリズムは、上記の実施形態と同じである。
【0074】
上記の実施形態において、物体追跡システム１は、撮像装置１０と、物体追跡装置２０と、ディスプレイ３０とを含むが、これらのうちの少なくとも２つが一体化した構成であってよい。例えば物体追跡装置２０の機能は、撮像装置１０に搭載することができる。このとき、撮像装置１０は、撮像光学系１１、撮像素子１２及びプロセッサ１３に加えて、上記の記憶部２２、出力インターフェイス２４を備えてよい。また、プロセッサ１３は、撮像装置１０が出力した動画像について、上記の実施形態においてプロセッサ２３が行った処理を実行してよい。このような構成によって、物体の追跡を実行する撮像装置１０が実現されてよい。
【0075】
本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車及び産業車両を含むが、これに限られず、鉄道車両及び生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車及びトロリーバスなどを含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー及びロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。ここで、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。
【符号の説明】
【0076】
１ 物体追跡システム
１０ 撮像装置
１１ 撮像光学系
１２ 撮像素子
１３ プロセッサ
２０ 物体追跡装置
２１ 入力インターフェイス
２２ 記憶部
２３ プロセッサ
２４ 出力インターフェイス
３０ ディスプレイ
４０ 物体
４０Ａ 歩行者
４０Ｂ 自動車
４０Ｃ 自転車
４１ 画像空間
４２ 物体の像
４３ 代表点
４４ 基準面
４５ 質点
４６ 仮想空間
１００ 車両
１０ 撮像装置
１１ 撮像光学系
１２ 撮像素子
１３ プロセッサ
２０ 物体追跡装置
２１ 入力インターフェイス
２２ 記憶部
２３ プロセッサ
２４ 出力インターフェイス
３０ ディスプレイ
４０ 物体
４０Ａ 歩行者
４０Ｂ 自動車
４０Ｃ 自転車
４１ 画像空間
４２ 物体の像
４３ 代表点
４４ 基準面
４５ 質点
４６ 仮想空間
１００ 車両
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】