特許 7334632 物体追跡装置及び物体追跡方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-21

(45)【発行日】2023-08-29

(54)【発明の名称】物体追跡装置及び物体追跡方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230822BHJP

   G06T 7/277 20170101ALI20230822BHJP

   G08G 1/16 20060101ALI20230822BHJP

   H04N 7/18 20060101ALI20230822BHJP

【ＦＩ】

G06T7/00 650B

G06T7/277

G08G1/16 E

H04N7/18 G

H04N7/18 J

【請求項の数】 7

(21)【出願番号】P 2020010981

(22)【出願日】2020-01-27

(65)【公開番号】P2021117760

(43)【公開日】2021-08-10

【審査請求日】2022-03-30

(73)【特許権者】

【識別番号】000000170

【氏名又は名称】いすゞ自動車株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100124084

【弁理士】

【氏名又は名称】黒岩 久人

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】原 英之

【審査官】笠田 和宏

(56)【参考文献】

【文献】特開２０１７－１０２８２４（ＪＰ，Ａ）

【文献】特開２０１５－１５５８７８（ＪＰ，Ａ）

【文献】特開２０１９－０４１３３４（ＪＰ，Ａ）

【文献】特開２００２－０７４３６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２７７

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮像装置が撮像した撮像画像に含まれる検出対象のオブジェクトである検出オブジェクトの位置を検出する物体検出部と、
前記物体検出部が過去に検出したオブジェクトを追跡オブジェクトとして追跡し、前記検出オブジェクトの位置に基づいて、カルマンフィルタ又はパーティクルフィルタにより前記追跡オブジェクトの現在位置を推定する追跡部と、
前記物体検出部が検出した前記検出オブジェクトと、前記追跡部が追跡している前記追跡オブジェクトとを関連付ける関連付け部と、
前記検出オブジェクトが前記追跡オブジェクトに関連付けられた場合に、前記追跡オブジェクトが存在することの確かさを示す存在確信度を所定のインクリメント値だけ増加させ、前記検出オブジェクトが前記追跡オブジェクトに関連付けられなかった場合に、前記追跡オブジェクトが存在することの確かさを示す存在確信度を、当該インクリメント値より小さいデクリメント値だけ減少させる算出部と、
前記存在確信度が第１閾値以上である場合に、前記追跡オブジェクトを識別する識別情報に関連付けて、前記追跡オブジェクトの前記現在位置を出力する出力部と、
を備え、
前記追跡部は、前記存在確信度が前記第１閾値より小さな第２閾値以下である場合に、当該追跡オブジェクトの追跡を終了し、
前記出力部は、前記存在確信度が前記第１閾値未満であって前記第２閾値より大きな値となった場合に、前記現在位置の出力を中断し、前記存在確信度が前記第１閾値未満であって前記第２閾値より大きな値となった後に前記存在確信度が前記第１閾値以上となった場合に、前記追跡オブジェクトの前記現在位置の出力を中断する前と同じ前記識別情報に関連付けて、前記追跡オブジェクトの前記現在位置の出力を再開する、
物体追跡装置。

【請求項2】

前記撮像装置から前記検出オブジェクトまでの距離を取得する取得部と、
前記検出オブジェクトまでの距離が第１距離の場合には、前記検出オブジェクトまでの距離が前記第１距離よりも大きい第２距離の場合に比べて前記第１閾値を相対的に小さく設定する設定部と、をさらに備える、
請求項１に記載の物体追跡装置。

【請求項3】

前記撮像装置から前記検出オブジェクトまでの距離を取得する取得部と、
前記関連付け部が前記検出オブジェクトと前記追跡オブジェクトとを関連付けない場合に、前記撮像装置から当該検出オブジェクトまでの距離が短いほど、当該検出オブジェクトを前記追跡部が追跡するための新たな追跡オブジェクト情報に含まれる前記存在確信度の初期値を相対的に大きく設定する設定部と、をさらに備える、
請求項１に記載の物体追跡装置。

【請求項4】

前記算出部は、前記追跡オブジェクトの現在位置が前記撮像画像の端部を含む所定領域内であり、且つ、当該追跡オブジェクトに前記検出オブジェクトが関連付けられなかった場合に、当該追跡オブジェクトが存在することの確かさを示す前記存在確信度を前記第２閾値以下にする、
請求項１に記載の物体追跡装置。

【請求項5】

前記追跡部は、前記追跡オブジェクトの一つ前の推定位置及び前記追跡オブジェクトの速度を含む状態情報に基づいて、当該追跡オブジェクトの前記現在位置を推定し、
前記出力部は、当該追跡オブジェクトに前記検出オブジェクトが関連付けられず、且つ、前記存在確信度が前記第１閾値以上である場合に、前記追跡部が推定した当該追跡オブジェクトの前記現在位置を出力する、
請求項１から４のいずれか一項に記載の物体追跡装置。

【請求項6】

前記追跡部は、前記追跡オブジェクトに関連付けられた前記検出オブジェクトの位置の履歴を示す履歴情報に基づいて、当該追跡オブジェクトの前記現在位置を推定し、
前記出力部は、当該追跡オブジェクトに前記検出オブジェクトが関連付けられず、且つ、前記存在確信度が前記第１閾値以上である場合に、前記追跡部が推定した当該追跡オブジェクトの前記現在位置を出力する、
請求項１から４のいずれか一項に記載の物体追跡装置。

【請求項7】

撮像装置が撮像した撮像画像に含まれる検出対象のオブジェクトである検出オブジェクトの位置を検出するステップと、
過去に検出したオブジェクトを追跡オブジェクトとして追跡し、前記検出オブジェクトの位置に基づいて、カルマンフィルタ又はパーティクルフィルタにより推定された前記追跡オブジェクトの現在位置を推定するステップと、
前記検出オブジェクトと、追跡している前記追跡オブジェクトとを関連付けるステップと、
前記検出オブジェクトが前記追跡オブジェクトに関連付けられた場合に、前記追跡オブジェクトが存在することの確かさを示す存在確信度を所定のインクリメント値だけ増加させ、前記検出オブジェクトが前記追跡オブジェクトに関連付けられなかった場合に、前記追跡オブジェクトが存在することの確かさを示す存在確信度を、当該インクリメント値より小さいデクリメント値だけ減少させるステップと、
前記存在確信度が第１閾値以上である場合に、前記追跡オブジェクトを識別する識別情報に関連付けて、前記追跡オブジェクトの前記現在位置を出力するステップと、
を備え、
前記現在位置を出力するステップでは、
前記存在確信度が前記第１閾値より小さな第２閾値以下である場合に、前記現在位置の出力を終了し、
前記存在確信度が前記第１閾値未満であって前記第２閾値より大きな値となった場合に、前記現在位置の出力を中断し、
前記存在確信度が前記第１閾値未満であって前記第２閾値より大きな値となった後に前記存在確信度が前記第１閾値以上となった場合に、前記追跡オブジェクトの前記現在位置の出力を中断する前と同じ前記識別情報に関連付けて、前記追跡オブジェクトの前記現在位置の出力を再開する、
物体追跡方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体追跡装置及び物体追跡方法に関する。

【背景技術】

【0002】

従来、車両の前方に存在するオブジェクトを検出することが行われている。例えば、特許文献１には、車載カメラにより撮像した撮像画像に基づいて、車両の前方に存在する検出対象のオブジェクトとして、車両の前方を走行する車両を検出し、検出した車両を追跡する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１８３９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された発明では、テンプレート画像を用いたマッチング処理により検出したオブジェクトを追跡している。特許文献１に記載された発明では、オブジェクトがテンプレート画像に類似していないと追跡対象とする物体を検出できず、オブジェクトの追跡を適切に実施できないという問題があった。

【0005】

本発明はこの点に鑑みてなされたものであり、オブジェクトを追跡する場合に、オブジェクトの追跡状況に応じて、オブジェクトを追跡する性能を向上させることができる物体追跡装置及び物体追跡方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の物体追跡装置は、撮像装置が撮像した撮像画像に含まれる検出対象のオブジェクトである検出オブジェクトの位置を検出する物体検出部と、前記物体検出部が過去に検出したオブジェクトを追跡オブジェクトとして追跡する追跡部と、前記物体検出部が検出した前記検出オブジェクトと、前記追跡部が追跡している前記追跡オブジェクトとを関連付ける関連付け部と、前記検出オブジェクトが前記追跡オブジェクトに関連付けられたか否かに基づいて、前記追跡オブジェクトが存在することの確かさを示す存在確信度を増減させる算出部と、前記存在確信度が第１閾値以上である場合に、前記追跡オブジェクトを識別する識別情報に関連付けて、前記検出オブジェクトの位置に基づく出力位置を出力する出力部と、を備える。

【0007】

前記追跡部は、前記追跡オブジェクトの前記存在確信度が前記第１閾値より小さな第２閾値以下である場合に、当該追跡オブジェクトの追跡を終了してもよい。

【0008】

前記撮像装置から前記検出オブジェクトまでの距離を取得する取得部と、前記検出オブジェクトまでの距離が第１距離の場合には、前記検出オブジェクトまでの距離が前記第１距離よりも大きい第２距離の場合に比べて前記第１閾値を相対的に小さく設定する設定部と、をさらに備えてもよい。

【0009】

前記物体追跡装置は、前記撮像装置から前記検出オブジェクトまでの距離を取得する取得部と、前記関連付け部が前記検出オブジェクトと前記追跡オブジェクトとを関連付けない場合に、前記撮像装置から当該検出オブジェクトまでの距離が短いほど、当該検出オブジェクトを前記追跡部が追跡するための新たな追跡オブジェクト情報に含まれる前記存在確信度の初期値を相対的に大きく設定する設定部と、をさらに備えてもよい。

【0010】

前記算出部は、前記追跡オブジェクトの現在位置が前記撮像画像の端部を含む所定領域内であり、且つ、当該追跡オブジェクトに前記検出オブジェクトが関連付けられなかった場合に、当該追跡オブジェクトの前記存在確信度を前記第２閾値以下にしてもよい。

【0011】

前記追跡部は、前記追跡オブジェクトの一つ前の推定位置及び前記追跡オブジェクトの速度を含む状態情報に基づいて、当該追跡オブジェクトの現在位置を推定し、前記出力部は、当該追跡オブジェクトに前記検出オブジェクトが関連付けられず、且つ、前記存在確信度が前記第１閾値以上である場合に、前記追跡部が推定した当該追跡オブジェクトの現在位置を前記出力位置として出力してもよい。

【0012】

前記追跡部は、前記追跡オブジェクトに関連付けられた前記検出オブジェクトの位置の履歴を示す履歴情報に基づいて、当該追跡オブジェクトの現在位置を推定し、前記出力部は、当該追跡オブジェクトに前記検出オブジェクトが関連付けられず、且つ、前記存在確信度が前記第１閾値以上である場合に、前記追跡部が推定した当該追跡オブジェクトの現在位置を前記出力位置として出力してもよい。

【0013】

本発明の第２の態様の物体追跡方法は、撮像装置が撮像した撮像画像に含まれる検出対象のオブジェクトである検出オブジェクトの位置を検出するステップと、過去に検出したオブジェクトを追跡オブジェクトとして追跡するステップと、前記検出オブジェクトと、追跡している前記追跡オブジェクトとを関連付けるステップと、前記検出オブジェクトが前記追跡オブジェクトに関連付けられたか否かに基づいて、前記追跡オブジェクトが存在することの確かさを示す存在確信度を増減させるステップと、前記存在確信度が第１閾値以上である場合に、前記追跡オブジェクトを識別する識別情報に関連付けて、前記検出オブジェクトの位置に基づく出力位置を出力するステップと、を備える。

【発明の効果】

【0014】

本発明によれば、オブジェクトを追跡する場合に、オブジェクトの追跡状況に応じて、オブジェクトを追跡する性能を向上させるという効果を奏する。

【図面の簡単な説明】

【0015】

【図1】実施形態の物体追跡装置の概要を説明するための図である。

【図2】物体追跡装置が搭載された車両の構成を示す図である。

【図3】算出部による存在確信度の算出方法について説明するための図である。

【図4】出力部による出力位置の出力の別の例を示す図である。

【図5】出力部による出力位置の出力の別の例を示す図である。

【図6】物体追跡装置による追跡オブジェクトの追跡の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0016】

［物体追跡装置の概要］
図１（ａ）及び（ｂ）は、本実施形態の物体追跡装置の概要を説明するための図である。図１（ａ）は、物体追跡装置が搭載された車両の前方を撮像した撮像画像を示す。物体追跡装置は、例えば、ＥＣＵ（Electronic Control Unit）によって実現される。物体追跡装置は、車両の前方を撮像した撮像画像に含まれるオブジェクトの位置を検出する。図１（ａ）の例では、オブジェクトは、物体追跡装置が搭載された車両の前方を走行する他の車両である。

【0017】

物体追跡装置は、検出したオブジェクトを追跡オブジェクトとして追跡する。物体追跡装置は、所定時間前までの検出オブジェクトの履歴に基づいて、追跡オブジェクトの現在位置を推定する。図１（ａ）において物体追跡装置が追跡している複数の追跡オブジェクトを矩形の枠線で示す。図１（ａ）には、識別情報「１」～「４」の追跡オブジェクトをそれぞれ示す。物体追跡装置は、追跡オブジェクトが存在することの確かさを示す存在確信度を算出する。識別情報「１」～「４」の追跡オブジェクトが図１（ａ）の時刻に生成されたとすれば、図１（ａ）のボックスに示すように、識別情報「１」～「４」の追跡オブジェクトの存在確信度は、いずれも初期値である０．５となる。

【0018】

図１（ｂ）は、図１（ａ）の撮像画像の次の撮像タイミングにおいて撮像された撮像画像を示す。物体追跡装置は、図１（ｂ）に示す撮像画像に含まれる検出オブジェクトの位置を検出する。図１（ｂ）には、識別情報「１」～「４」の追跡オブジェクトに加えて、物体追跡装置が新たに検出した検出オブジェクトに対応する識別情報「５」の追跡オブジェクトを示す。

【0019】

物体追跡装置は、検出したオブジェクトと、追跡オブジェクトとを関連付ける。物体追跡装置は、検出オブジェクトが追跡オブジェクトに関連付けられたか否かに基づいて、追跡オブジェクトの存在確信度を増減させる。図１（ｂ）の例では、物体追跡装置は、識別情報「１」～「４」の追跡オブジェクトと、検出された検出オブジェクトとを関連付ける。物体追跡装置は、検出オブジェクトに関連付けられた識別情報「１」～「４」の追跡オブジェクトの存在確信度をいずれも０．５だけ増加させて存在確信度を１．０とする。一方、物体追跡装置は、新たに検出した検出オブジェクトに対応する識別情報「５」の追跡オブジェクトの存在確信度を初期値である０．５とする。

【0020】

物体追跡装置は、追跡オブジェクトの存在確信度が第１閾値より大きい場合に、識別情報に関連付けて、検出オブジェクトに基づく出力位置を出力する。図１（ｂ）の例では、第１閾値は１．０である。物体追跡装置は、存在確信度が１．０以上である識別情報「１」～「４」の追跡オブジェクトの出力位置を識別情報に関連付けて自動運転装置へ出力させる。詳細については後述するが、物体追跡装置は、検出オブジェクトの位置と追跡オブジェクトの位置の履歴に基き、出力位置に加えて、位置の微分値である速度または加速度等を算出するものとする。速度は、物体追跡装置が搭載された車両に対する追跡オブジェクトの相対速度であってもよく、絶対速度であってもよい。加速度は、物体追跡装置が搭載された車両に対する追跡オブジェクトの相対加速度であってもよく、絶対加速度であってもよい。

【0021】

物体追跡装置は、検出オブジェクトが追跡オブジェクトに関連付けられたか否かに基づいて、追跡オブジェクトの存在確信度を増減させる。物体追跡装置は、繰り返し検出された追跡オブジェクトの存在確信度が比較的大きくなるように存在確信度を算出することにより、一時的にオブジェクトが検出できなかった場合であっても、繰り返し検出された追跡オブジェクトの出力位置の出力が中断されることを抑制することができる。また、一瞬だけ誤検知されたオブジェクトに対して、存在確信度が十分に大きくない場合には追跡オブジェクトの出力位置の出力を抑制することができる。したがって、物体追跡装置は、オブジェクトを追跡する場合に、オブジェクトを追跡する性能を向上させることができる。

【0022】

［車両の構成］
図２は、物体追跡装置３が搭載された車両１００の構成を示す図である。車両１００は、撮像装置１、自動運転装置２及び物体追跡装置３を備える。物体追跡装置３は、記憶部３１及び制御部３２を備える。撮像装置１は、車両１００の前方を撮像する。撮像装置１は、例えば、複数のカメラを備えるステレオカメラであり、複数のカメラの間における視差に基づいて、撮像装置１から検出オブジェクトまでの距離を測定する。撮像装置１は、所定のフレームレートで車両１００の前方を撮像する。自動運転装置２は、例えば、物体追跡装置３とは同一又は別のＥＣＵにより実現される。自動運転装置２は、車両１００の走行を自動制御する。自動運転装置２は、物体追跡装置３が出力した追跡オブジェクトとの衝突の危険が生じないように車両１００の走行を制御する。

【0023】

記憶部３１は、例えば、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等により構成される。記憶部３１は、制御部３２を機能させるための各種プログラムや各種データを記憶する。制御部３２は、記憶部３１に記憶されたプログラムを実行することにより、物体検出部３２１、追跡部３２２、関連付け部３２３、取得部３２４、算出部３２５、出力部３２６及び設定部３２７として機能する。

【0024】

物体検出部３２１は、撮像装置１が撮像した撮像画像に含まれる検出対象のオブジェクトである検出オブジェクトの位置を検出する。具体的には、物体検出部３２１は、学習済みの機械学習モデルの入力を撮像画像として、この撮像画像に含まれる検出オブジェクトの位置と種類を機械学習モデルに出力させる。検出オブジェクトの種類は、例えば、大型四輪自動車、中型四輪自動車、普通四輪自動車、自動二輪車、自転車又は歩行者等である。

【0025】

［オブジェクトの追跡］
追跡部３２２は、物体検出部３２１が過去に検出したオブジェクトを追跡オブジェクトとして追跡する。記憶部３１には、追跡中の追跡オブジェクトの一つ前の推定位置や速度等の状態を含む状態情報に加え、追跡オブジェクトの識別情報が記憶されている。記憶部３１には、追跡中の追跡オブジェクトの識別情報と、物体検出部３２１が過去に検出した検出オブジェクトの位置と、この検出オブジェクトが検出された検出時刻とが関連付けられた履歴を示す履歴情報が記憶されていてもよい。

【0026】

追跡部３２２は、追跡中の追跡オブジェクトの状態情報に含まれる追跡オブジェクトの一つ前の推定位置や速度等を記憶部３１から読み出す。追跡部３２２は、読み出した追跡オブジェクトの一つ前の推定位置や速度等の状態に基づいて、公知のトラッキング処理により、追跡オブジェクトの現在位置を推定する。トラッキング処理は、例えば、カルマンフィルタ又はパーティクルフィルタにより実現される。

【0027】

また、追跡部３２２は、履歴情報を参照して、追跡オブジェクトの識別情報と、所定時間前までの検出時刻とに関連付けられた過去の検出オブジェクトの位置を記憶部３１から読み出してもよい。追跡部３２２は、読み出した追跡中の追跡オブジェクトの過去の検出オブジェクトの位置及び対応する検出時刻に基づいて、公知のトラッキング処理により、追跡オブジェクトの現在位置を推定してもよい。

【0028】

追跡部３２２は、記憶部３１に記憶されている追跡オブジェクト情報を読み出す。追跡オブジェクト情報は、追跡オブジェクトを識別する識別情報と、追跡オブジェクトの状態と特徴を示す情報と、追跡オブジェクトの存在確信度を示す情報とを含む。追跡部３２２は、追跡オブジェクト情報に含まれる追跡オブジェクトの存在確信度が第２閾値より大きいか否かを判定する。第２閾値は、第１閾値より小さいものとする。追跡部３２２は、追跡オブジェクトの存在確信度が第２閾値以下である場合に、この追跡オブジェクトの追跡を終了する。追跡部３２２は、追跡を終了した追跡オブジェクト情報を記憶部３１から削除する。

【0029】

［検出オブジェクトと追跡オブジェクトとの関連付け］
関連付け部３２３は、物体検出部３２１が検出した検出オブジェクトと、追跡部３２２が追跡している追跡オブジェクトとを関連付ける。関連付け部３２３は、追跡オブジェクトを示す追跡オブジェクト情報を記憶部３１から読み出す。追跡オブジェクト情報に含まれる追跡オブジェクトの状態と特徴は、履歴情報において追跡オブジェクトの識別情報に関連付けられた過去の検出オブジェクトから関連付け部３２３が抽出することにより作成される。

【0030】

関連付け部３２３は、物体検出部３２１が検出した検出オブジェクトの位置等の状態及びエッジ等の特徴と、読み出した追跡オブジェクト情報に含まれる追跡オブジェクトの状態及び特徴とが相違する程度を示す相違度を求める。例えば、関連付け部３２３は、物体検出部３２１が検出した検出オブジェクトの位置と、追跡部３２２が推定した追跡オブジェクトの現在位置との間の距離を考慮して相違度を求める。その場合、関連付け部３２３は、検出オブジェクトの位置と、追跡部３２２が推定した追跡オブジェクトの現在位置との距離が大きいほど、相違度が大きくなるように相違度を補正してもよい。この距離は、検出オブジェクトと追跡オブジェクトとの三次元の距離であるが、撮像画像上における画素の数であってもよい。

【0031】

関連付け部３２３は、物体検出部３２１が検出した複数の検出オブジェクトと、追跡部３２２が追跡している複数の追跡オブジェクトとの間において、検出オブジェクトと追跡オブジェクトとを関連付けた複数の組み合わせを生成する。関連付け部３２３は、求めた相違度の和が最小となるように追跡オブジェクトと検出オブジェクトとを関連付けるものの組み合わせを決定する。その際、それぞれの追跡オブジェクトとの間の相違度がいずれも所定の上限値以上となる検出オブジェクトは新しい追跡オブジェクトとして記憶される。また、それぞれの検出オブジェクトとの間の相違度がいずれも所定の上限値以下とならない追跡オブジェクトはその時刻において関連付け不可の追跡オブジェクトとして記憶される。

【0032】

［ハンガリアンアルゴリズム］
例えば、関連付け部３２３は、複数の検出オブジェクトと、複数の追跡オブジェクトとの間において、ハンガリアンアルゴリズムを用いることにより、相違度が最小となる組み合わせを一意に定めることができる。

【0033】

関連付け部３２３は、追跡オブジェクトの識別情報と、検出オブジェクトの位置と、検出オブジェクトが検出された検出時刻とを関連付けて、記憶部３１が記憶している履歴情報に追加する。関連付け部３２３は、検出オブジェクトが追跡オブジェクトに関連付けられない場合に、この検出オブジェクトを追跡部３２２が追跡するための新たな追跡オブジェクト情報を作成する。関連付け部３２３は、作成した追跡オブジェクト情報を記憶部３１に記憶させる。関連付け部３２３は、追跡オブジェクトの識別情報と、追跡オブジェクトの状態及び特徴を示す情報と、追跡オブジェクトの存在確信度を示す情報とをそれぞれ作成してこの追跡オブジェクト情報に含める。関連付け部３２３は、他の追跡オブジェクトの追跡に使用した識別情報は、一定期間は再利用しないようにする。関連付け部３２３は、追跡オブジェクトの存在確信度を初期値とする。

【0034】

取得部３２４は、撮像装置１から検出オブジェクトまでの距離を取得する。取得部３２４は、撮像装置１がステレオカメラである場合には、撮像装置１から検出オブジェクトまでの距離を撮像装置１により測定した測定結果を取得する。取得部３２４は、撮像装置１から検出オブジェクトまでの距離をレーザレーダ（不図示）等の他の測距装置により測定した測定結果を取得してもよい。

【0035】

［存在確信度の算出］
算出部３２５は、追跡オブジェクトと検出オブジェクトとが関連付けられたか否かに基づいて、追跡オブジェクトが存在することの確かさを示す存在確信度を増減させる。図３は、算出部３２５による存在確信度の算出方法について説明するための図である。図３には、時刻ｋ～時刻ｋ＋７においてある単一の追跡オブジェクトに対して、算出部３２５が算出した存在確信度の変化を示す。関連付け部３２３は、時刻ｋにおいて検出オブジェクトを追跡するための新たな追跡オブジェクト情報を作成したものとする。図３では一例として、算出部３２５は、この追跡オブジェクト情報に含まれる追跡オブジェクトの存在確信度に初期値０．５を割り当てる。

【0036】

算出部３２５は、時刻ｋ＋１において関連付け部３２３が追跡オブジェクトに検出オブジェクトを関連付けた場合、追跡オブジェクトの存在確信度にインクリメント値０．５を加算して存在確信度を１．０とする。算出部３２５は、時刻ｋ＋２及び時刻ｋ＋３において関連付け部３２３が追跡オブジェクトに検出オブジェクトを関連付けた場合、追跡オブジェクトの存在確信度にインクリメント値０．５をそれぞれ加算して存在確信度を順に１．５及び２．０とする。

【0037】

また、算出部３２５は、取得部３２４が検出オブジェクトと追跡オブジェクトとを関連付けた際の相違度が小さいほど、インクリメント値を相対的に大きくしてもよい。例えば、算出部３２５は、取得部３２４が検出オブジェクトと追跡オブジェクトとを関連付けた際の相違度が１０ポイントだった場合、追跡オブジェクトの存在確信度に０．２のインクリメント値を加算する。一方、算出部３２５は、取得部３２４が検出オブジェクトと追跡オブジェクトとを関連付けた際の相違度が５ポイントだった場合、追跡オブジェクトの存在確信度に０．４のインクリメント値を加算してもよい。

【0038】

算出部３２５は、時刻ｋ＋４において関連付け部３２３が追跡オブジェクトに検出オブジェクトを関連付けなかった場合、追跡オブジェクトの存在確信度からデクリメント値０．５を減算して存在確信度を１．５とする。算出部３２５は、時刻ｋ＋５～時刻ｋ＋７において関連付け部３２３が追跡オブジェクトに検出オブジェクトを関連付けなかった場合、追跡オブジェクトの存在確信度からデクリメント値０．５をそれぞれ減算して存在確信度を順に１．０、０．５及び０．０とする。図３の例では、追跡オブジェクトの追跡を終了するか否かを判定するための第２閾値は０．０であり、時刻ｋ＋７において追跡オブジェクトの存在確信度が第２閾値以下となるため、この追跡オブジェクトの追跡部３２２による追跡は終了される。

【0039】

関連付け部３２３が撮像画像の端部に位置する追跡オブジェクトに検出オブジェクトを関連付けなかった場合、追跡オブジェクトは、撮像装置１の撮像範囲の外へ移動した可能性が高い。算出部３２５は、追跡オブジェクトの現在位置が撮像画像の端部を含む所定領域内である場合、追跡オブジェクトに検出オブジェクトが関連付けられなければ、追跡オブジェクトが撮像範囲の外へ移動したと推定し、追跡オブジェクトの存在確信度を第２閾値以下にする。例えば、追跡オブジェクトの存在確信度がとり得る最大値を２．０と仮定すると、算出部３２５は、追跡オブジェクトの存在確信度をこの最大値と同じ値だけ減算させることにより存在確信度を第２閾値以下にする。所定領域は、例えば、撮像装置１の１フレームに相当する時間よりも短い時間において追跡オブジェクトが撮像範囲の外へ移動することが予想される領域として当業者が定める。

【0040】

算出部３２５は、検出オブジェクトの位置に基づいて、出力位置を算出する。算出部３２５は、一例としては、追跡中のオブジェクトの推定位置と、物体検出部３２１が検出した検出オブジェクトの位置との両方を用いて、カルマンフィルタにより出力位置を算出する。具体的にはカルマンフィルタは観測オブジェクトの位置と遷移方程式に基づく予測オブジェクトの位置との残差にカルマンゲインを乗じて，予測オブジェクト位置に加えることによって、位置の修正ステップを実行する。

【0041】

また、算出部３２５は、追跡オブジェクトの存在確信度に基づいて、カルマンフィルタ等のトラッキング手法における設定パラメータの値を変更してもよい。例えば、算出部３２５は、追跡オブジェクトの存在確信度が大きいほど、カルマンフィルタの遷移方程式におけるプロセスノイズの値を小さくしてもよい。また、算出部３２５は、カルマンフィルタにより出力位置を算出する例に限定されない。例えば、算出部３２５は、パーティクルフィルタにより出力位置を算出してもよく、状態空間モデルに基づかず、単に物体検出部３２１が検出した検出オブジェクトの位置をそのまま出力位置としてもよい。

【0042】

算出部３２５は、記憶部３１が記憶している履歴情報を参照して、追跡オブジェクトの識別情報に関連付けられた複数の検出オブジェクトの位置の変化の時間微分値を追跡オブジェクトの速度として算出する。算出部３２５は、追跡オブジェクトの速度の時間微分値である追跡オブジェクトの加速度を算出する。

【0043】

上記のように、算出部３２５は、複数の過去の検出オブジェクトの位置を考慮したオブジェクトの位置と、物体検出部３２１が検出した検出オブジェクトの位置との両方を用いて出力位置を算出する。このため、算出部３２５は、物体検出部３２１が検出オブジェクトの位置として本来の位置と大きく異なる位置を検出した場合等に、出力位置が誤って出力されることを抑制することができる。

【0044】

［出力位置の出力］
出力部３２６は、追跡オブジェクトの存在確信度が第１閾値以上である場合に、追跡オブジェクトを識別する識別情報に関連付けて、算出部３２５が算出した出力位置を出力する。図３の例では、第１閾値は１．０である。時刻ｋ＋１において追跡オブジェクトの存在確信度は１．０であるため、出力部３２６は、時刻ｋ＋１において追跡オブジェクトの存在確信度が第１閾値以上であると判定し、この追跡オブジェクトの識別情報に関連付けて、自動運転装置２へ出力位置を出力する。同様に、出力部３２６は、時刻ｋ＋２及び時刻ｋ＋３において追跡オブジェクトの存在確信度が第１閾値以上であると判定し、この追跡オブジェクトの識別情報に関連付けて、自動運転装置２へ出力位置を出力する。

【0045】

出力部３２６は、時刻ｋ＋４及び時刻ｋ＋５において追跡オブジェクトの存在確信度が第１閾値以上であると判定する。このとき、追跡オブジェクトに検出オブジェクトが関連付け部３２３により関連付けられていないので、出力部３２６は、追跡部３２２が推定した追跡オブジェクトの現在位置を出力位置として出力する。一方、出力部３２６は、時刻ｋ、時刻ｋ＋６及び時刻ｋ＋７において追跡オブジェクトの存在確信度が第１閾値未満であると判定し、自動運転装置２へ出力位置を出力しない。

【0046】

図４及び図５は、出力部３２６による出力位置の出力の別の例を示す図である。図４の時刻ｋ～時刻ｋ＋６については図３と同じであるため、説明を省略する。出力部３２６は、時刻ｋ＋６において追跡オブジェクトの存在確信度が第１閾値未満であるため、自動運転装置２へ出力位置を出力しない。このとき、存在確信度が第２閾値である０．０より大きいため、追跡部３２２による追跡オブジェクトの追跡は終了されない。

【0047】

時刻ｋ＋７では、算出部３２５が存在確信度をインクリメント値である０．５だけ加算して存在確信度を１．０とし、存在確信度が第１閾値以上になる。このため、出力部３２６は、出力を中断する前と同じ識別情報に関連付けて、出力位置の出力を再開する。出力部３２６は、出力を中断する前と同じ識別情報に関連付けて出力位置を出力することにより、意図せず追跡オブジェクトの識別情報が付し直されることを抑制することができる。

【0048】

図５の時刻ｋにおいて本来存在しない検出オブジェクトが誤検出されたものとする。出力部３２６は、時刻ｋにおいて関連付け部３２３が検出オブジェクトに対応する追跡オブジェクト情報を作成した状態では、追跡オブジェクトの存在確信度の初期値０．５は第１閾値である１．０より小さいと判定し、出力位置を出力しない。次の時刻ｋ＋１において関連付け部３２３が検出オブジェクトと追跡オブジェクトとを関連付けなかった場合、追跡オブジェクトの存在確信度は、デクリメント値である０．５だけ減算されて０．０となる。出力部３２６は、存在確信度が第１閾値よりも小さいと判定し、出力位置を出力しない。このとき、追跡オブジェクトの存在確信度が第２閾値である０．０以下であるため、追跡部３２２による追跡オブジェクトの追跡は終了される。

【0049】

以上のように、本来存在しないオブジェクトが一時的に誤検出された場合には、以降の時刻において、検出オブジェクトと関連付けられないので、追跡オブジェクトの存在確信度が第１閾値以上になる可能性は小さい。したがって、出力部３２６は、誤検出したオブジェクトの出力位置を自動運転装置２へ出力することを抑制することができる。また、出力部３２６は、追跡オブジェクトの出力位置を自動運転装置２へ出力する例に限定されない。例えば、出力部３２６は、追跡オブジェクトの出力位置を識別情報に関連付けてディスプレイに出力してもよい。また、本実施形態においては、出力情報をオブジェクトの位置であるとして記載したが、これに限定されない。出力部３２６は追跡オブジェクトの識別情報に関連付けて、追跡オブジェクトの状態として定義されている位置以外の情報である速度や加速度又は大きさの情報を自動運転装置２へ出力してもよい。

【0050】

［変数の設定］
図２の設定部３２７は、初期値及び第１閾値等の各種の変数を設定する。検出オブジェクトまでの距離が比較的小さい場合には、車両１００と検出オブジェクトとの接触等を抑制するため、出力部３２６が出力位置を出力しやすくなるように第１閾値を設定することが好ましい。

【0051】

一方、検出オブジェクトまでの距離が比較的大きい場合には、出力部３２６が出力位置を出力しにくくなるように第１閾値を設定することにより、出力部３２６が誤った出力位置を出力することを抑制することができ、自動運転装置２による自動運転の誤作動を抑止する効果等が期待できる。

【0052】

そこで、設定部３２７は、第２距離が第１距離よりも大きいと仮定すると、取得部３２４が取得した検出オブジェクトまでの距離が第１距離の場合には、検出オブジェクトまでの距離が第２距離の場合に比べて、第１閾値を相対的に小さく設定する。例えば、設定部３２７は、検出オブジェクトまでの距離が１００メートルのときには、第１閾値を相対的に大きい１．０に設定する。設定部３２７は、検出オブジェクトまでの距離が１０メートルのときには、検出オブジェクトまでの距離が１００メートルの場合に比べて、第１閾値を相対的に小さい０．１とする。このようにして、設定部３２７は、車両１００の安全を確保しつつ、出力部３２６が誤った出力位置を出力することを抑制することができる。

【0053】

また、設定部３２７は、第１閾値の代わりに、新たな追跡オブジェクト情報に含まれる存在確信度の初期値を設定してもよい。設定部３２７は、撮像装置１から検出オブジェクトまでの距離が短いほど、存在確信度の初期値を相対的に大きく設定してもよい。例えば、設定部３２７は、撮像装置１から検出オブジェクトまでの距離が１００メートルの場合には、存在確信度の初期値を相対的に小さい０．１とする。一方、撮像装置１から検出オブジェクトまでの距離が１０メートルの場合には、存在確信度の初期値を相対的に大きい１．０としてもよい。このようにして、設定部３２７は、撮像装置１から検出オブジェクトまでの距離が大きい場合に、出力部３２６が出力位置を出力しにくくすることにより、出力部３２６が誤った出力位置を出力することを抑制することができる。

【0054】

また、設定部３２７は、インクリメント値をデクリメント値よりも大きく設定してもよい。設定部３２７は、インクリメント値をデクリメント値よりも大きく設定することにより、追跡オブジェクトの存在確信度が第１閾値未満となって出力部３２６が追跡オブジェクトの出力位置を出力しなくなった場合に、早いタイミングで出力部３２６に追跡オブジェクトの出力位置の出力を再開させることができる。

【0055】

［追跡オブジェクトの追跡の処理手順］
図６は、物体追跡装置３による追跡オブジェクトの追跡の処理手順を示すフローチャートである。この処理手順は、追跡部３２２による追跡オブジェクトの追跡中に開始する。追跡部３２２が複数のオブジェクトを追跡中である場合には、それぞれの追跡オブジェクトについて図６に示す一連の処理を繰り返すものとする。

【0056】

まず、物体検出部３２１は、撮像装置１が撮像した撮像画像に含まれる検出対象のオブジェクトである検出オブジェクトの位置を検出する（Ｓ１０１）。関連付け部３２３は、追跡オブジェクトに検出オブジェクトを関連付けるか否かを判定する（Ｓ１０２）。算出部３２５は、Ｓ１０２の判定において追跡オブジェクトに検出オブジェクトを関連付け部３２３が関連付けた場合に（Ｓ１０２のＹＥＳ）、この追跡オブジェクトの存在確信度をインクリメント値だけ加算する（Ｓ１０３）。

【0057】

出力部３２６は、追跡オブジェクトの存在確信度が第１閾値以上であるか否かを判定する（Ｓ１０４）。出力部３２６は、Ｓ１０４の判定において追跡オブジェクトの存在確信度が第１閾値以上である場合に（Ｓ１０４のＹＥＳ）、追跡オブジェクトを識別する識別情報に関連付けて、追跡オブジェクトの出力位置を自動運転装置２へ出力する（Ｓ１０５）。追跡部３２２は、追跡オブジェクト情報に含まれる追跡オブジェクトの存在確信度が第２閾値より大きいか否かを判定する（Ｓ１０６）。追跡部３２２は、Ｓ１０６の判定において追跡オブジェクト情報に含まれる追跡オブジェクトの存在確信度が第２閾値以下である場合に（Ｓ１０６のＮＯ）、この追跡オブジェクトの追跡を終了する（Ｓ１０７）。

【0058】

算出部３２５は、Ｓ１０２の判定において追跡オブジェクトに検出オブジェクトを関連付け部３２３が関連付けなかった場合に（Ｓ１０２のＮＯ）、この追跡オブジェクトの存在確信度をデクリメント値だけ減算し（Ｓ１０８）、Ｓ１０４の判定に進む。出力部３２６は、Ｓ１０４の判定において追跡オブジェクトの存在確信度が第１閾値未満である場合に（Ｓ１０４のＮＯ）、追跡オブジェクトの出力位置を自動運転装置２へ出力せず、Ｓ１０６の判定に進む。追跡部３２２は、Ｓ１０６の判定において追跡オブジェクト情報に含まれる追跡オブジェクトの存在確信度が第２閾値より大きい場合に（Ｓ１０６のＹＥＳ）、処理を終了する。

【0059】

［本発明による効果］
本実施形態によれば、算出部３２５は、検出オブジェクトが追跡オブジェクトに関連付けられたか否かに基づいて、追跡オブジェクトの存在確信度を増減させる。算出部３２５は、繰り返し検出された追跡オブジェクトの存在確信度が比較的大きくなるように存在確信度を算出することにより、一時的にオブジェクトが検出できなかった場合に、繰り返し検出された追跡オブジェクトの出力位置の出力が中断されることを抑制することができる。このため、算出部３２５は、意図せず追跡オブジェクトに異なる識別情報が付し直されることを抑制することができる。また、一瞬だけ誤検知されたオブジェクトに対して、存在確信度が十分に大きくない場合には追跡オブジェクトの出力位置の出力を抑制することができる。したがって、物体追跡装置は、オブジェクトを追跡する場合に、オブジェクトを追跡する性能を向上させることができる。

【0060】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0061】

１ 撮像装置
２ 自動運転装置
３ 物体追跡装置
３１ 記憶部
３２ 制御部
１００ 車両
３２１ 物体検出部
３２２ 追跡部
３２３ 関連付け部
３２４ 取得部
３２５ 算出部
３２６ 出力部
３２７ 設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】