(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-15
(45)【発行日】2022-09-27
(54)【発明の名称】移動体追跡装置
(51)【国際特許分類】
G06T 7/215 20170101AFI20220916BHJP
G06T 7/285 20170101ALI20220916BHJP
G08G 1/16 20060101ALI20220916BHJP
【FI】
G06T7/215
G06T7/285
G08G1/16 C
(21)【出願番号】P 2018103339
(22)【出願日】2018-05-30
【審査請求日】2021-03-04
(73)【特許権者】
【識別番号】000002082
【氏名又は名称】スズキ株式会社
(73)【特許権者】
【識別番号】509186579
【氏名又は名称】日立Astemo株式会社
(74)【代理人】
【識別番号】100099623
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100096769
【氏名又は名称】有原 幸一
(74)【代理人】
【識別番号】100107319
【氏名又は名称】松島 鉄男
(74)【代理人】
【識別番号】100125380
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【氏名又は名称】田中 祐
(74)【代理人】
【識別番号】100170379
【氏名又は名称】徳本 浩一
(72)【発明者】
【氏名】小野 勝一
(72)【発明者】
【氏名】宮山 浩幸
(72)【発明者】
【氏名】山根 直己
(72)【発明者】
【氏名】大塚 裕史
(72)【発明者】
【氏名】川野 羊三
(72)【発明者】
【氏名】大里 琢馬
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】特開2009-109293(JP,A)
【文献】特開2015-041238(JP,A)
【文献】Jong-Min Jeong, et al.,The specific object tracking algorithm based on Kalman filter in an environment where similar objects are existing,2013 13th International Conference on Control, Automation and Systems (ICCAS 2013),IEEE,2013年,https://ieeexplore.ieee.org/document/6703957
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
G08G 1/16
(57)【特許請求の範囲】
【請求項1】
視野画像および距離情報から各移動体の観測値を取得する移動体検出部と、
前記各移動体の過去の状態値に基づき現在の状態値を予測する状態予測部と、
前記各移動体の観測値と予測値に基づき現在の状態値を推定する状態推定部と、
前記各移動体の状態値を記憶する状態記億部と、
を有する移動体追跡装置において、
前記観測値と前記予測値に基づき前記各移動体の統合と分離を判定する統合分離判定部を備え、前記状態記億部は、移動体の統合または分離が判定された場合、当該移動体の観測値に基づく状態値を当該移動体の状態値として記憶するように構成されて
おり、
前記統合分離判定部は、
複数の移動体の予測値と1つの移動体の観測値との差が設定値以下になった場合、前記1つの移動体は前記複数の移動体の統合移動体であると判定し、
前記統合移動体が判定された後に、前記統合移動体に基づく予測値と観測値との差が設定値以上になり、かつ、前記統合移動体の統合前の各移動体の状態値に基づく予測値と前記観測値との差が設定値以下になった場合、前記統合移動体は前記各移動体に分離したと判定するように構成されていることを特徴とする移動体追跡装置。
【請求項2】
視野画像および距離情報から各移動体の観測値を取得する移動体検出部と、
前記各移動体の過去の状態値に基づき現在の状態値を予測する状態予測部と、
前記各移動体の観測値と予測値に基づき現在の状態値を推定する状態推定部と、
前記各移動体の状態値を記憶する状態記億部と、
を有する移動体追跡装置において、
前記観測値と前記予測値に基づき前記各移動体の統合と分離を判定する統合分離判定部を備え、前記状態記億部は、移動体の統合または分離が判定された場合、当該移動体の観測値に基づく状態値を当該移動体の状態値として記憶するように構成されて
おり、
前記統合分離判定部は、
複数の移動体の予測値と1つの移動体の観測値との差が設定値以下になった場合、前記1つの移動体は前記複数の移動体の統合移動体であると判定し、
前記複数の移動体の前記予測値から算出される位置と、前記1つの移動体の前記観測値における位置との差が設定値以下になった場合、前記1つの移動体は前記複数の移動体の統合移動体であると判定し、
前記統合移動体が判定された後に、前記統合移動体の前記予測値から算出される位置と、前記観測値における位置との差が設定値以上になり、かつ、前記統合移動体の統合前の前記各移動体の状態値に基づく予測値から算出される位置と、前記観測値における位置との差が設定値以下になった場合、前記統合移動体は前記各移動体に分離したと判定するように構成されていることを特徴とする移動体追跡装置。
【請求項3】
視野画像および距離情報から各移動体の観測値を取得する移動体検出部と、
前記各移動体の過去の状態値に基づき現在の状態値を予測する状態予測部と、
前記各移動体の観測値と予測値に基づき現在の状態値を推定する状態推定部と、
前記各移動体の状態値を記憶する状態記億部と、
を有する移動体追跡装置において、
前記観測値と前記予測値に基づき前記各移動体の統合と分離を判定する統合分離判定部を備え、前記状態記億部は、移動体の統合または分離が判定された場合、当該移動体の観測値に基づく状態値を当該移動体の状態値として記憶するように構成されて
おり、
前記統合分離判定部は、
複数の移動体の予測値と1つの移動体の観測値との差が設定値以下になった場合、前記1つの移動体は前記複数の移動体の統合移動体であると判定し、
前記複数の移動体の前記予測値から算出される位置と、前記1つの移動体の前記観測値における位置との差が設定値以下になった場合、前記1つの移動体は前記複数の移動体の統合移動体であると判定するように構成され、さらに、
前記複数の移動体の前記予測値から算出される横幅の和と前記1つの移動体の前記観測値における横幅との差が設定値以下である場合に、前記1つの移動体は前記複数の移動体の統合移動体であると判定するように構成されているいることを特徴とする移動体追跡装置。
【請求項4】
前記統合分離判定部は、前記統合移動体が判定された後に、さらに、前記統合移動体の前記予測値から算出される横幅と前記観測値から算出される複数の移動体の横幅の和との差が設定値以下であり、かつ、前記統合移動体の統合前の各移動体の前記予測値から算出される横幅と前記観測値から算出される複数の移動体のそれぞれの横幅との差が設定値以下である場合に、前記統合移動体は前記各移動体に分離したと判定するように構成されていることを特徴とする請求項
2に記載の移動体追跡装置。
【請求項5】
前記各移動体の観測値が外れ値であるかどうか判定する観測外れ値判定部をさらに備え、前記状態推定部は、観測値が外れ値であると判断された場合、当該移動体の観測値を無効化し、当該移動体の予測値のみに基づき現在の状態値を推定するように構成されていることを特徴とする請求項1~
4の何れか一項に記載の移動体追跡装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動体追跡装置に関する。
【背景技術】
【0002】
従来、種々の移動体追跡手法が提案されている。例えば、特許文献1には、移動体(歩行者)が不定期かつ頻繁に方向を変える場合でも移動体の移動傾向(長期的移動予測)による安定した予測をし、移動傾向と直近の位置とのずれから移動体状態(突発的な動き)を判定する移動体動作検出装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記移動体動作検出装置は、複数の移動体が混在する状況に対応していないうえ、観測誤差が大きい場合に誤った状態判定をする虞がある。
【0005】
時系列フィルタ、例えばカルマンフィルタを用いた移動体追跡では、移動体の状態(位置、速度)の時間変化を表す状態方程式により現在の状態を予測し、観測値を移動体状態量に変換する観測方程式によりその予測値を更新することで、より正確な移動体状態を推定し移動体を追跡していく。カルマンフィルタには正規分布に従うノイズが設定されているので、離散的な誤差のある観測でも移動体状態を推定できる。
【0006】
しかしながら、複数の移動体が視野画像内で重なり、1つの移動体として観測される場合や、このような統合状態から個々の移動体に分離する場合、あるいは、他の物体との重なりなどで観測が不安定になる時には、観測値の誤差が設定以上に大きくなり、移動体の状態量の推定に影響を及ぼしかねない。
【0007】
本発明は、上記のような実状に鑑みてなされたものであって、その目的は、複数の移動体の視野画像内における統合・分離や他物体との融合などを検出し、それらの影響を抑制できる移動体追跡装置を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明は、
視野画像および距離情報から各移動体の観測値を取得する移動体検出部と、
前記各移動体の過去の状態値に基づき現在の状態値を予測する状態予測部と、
前記各移動体の観測値と予測値に基づき現在の状態値を推定する状態推定部と、
前記各移動体の状態値を記憶する状態記億部と、
を有する移動体追跡装置において、
前記観測値と前記予測値に基づき前記各移動体の統合と分離を判定する統合分離判定部を備え、前記状態記億部は、移動体の統合または分離が判定された場合、当該移動体の観測値に基づく状態値を当該移動体の状態値として記憶するように構成されており、
前記統合分離判定部は、
複数の移動体の予測値と1つの移動体の観測値との差が設定値以下になった場合、前記1つの移動体は前記複数の移動体の統合移動体であると判定し、
前記統合移動体が判定された後に、前記統合移動体に基づく予測値と観測値との差が設定値以上になり、かつ、前記統合移動体の統合前の各移動体の状態値に基づく予測値と前記観測値との差が設定値以下になった場合、前記統合移動体は前記各移動体に分離したと判定するように構成されていることを特徴とする移動体追跡装置にある。
【発明の効果】
【0009】
本発明に係る移動体追跡装置は、上記のように構成されているので、複数の移動体の視野画像内における統合および分離を判定し、統合または分離が判定された場合に、当該移動体の観測値に基づく状態値を当該移動体の状態値として記憶し、状態予測に用いることにより、統合や分離の影響を抑制でき、移動体の追跡精度を向上するうえで有利である。
【図面の簡単な説明】
【0010】
【
図1】本発明実施形態に係る移動体追跡装置を示すブロック図である。
【
図2】移動体の統合および分離を時系列に示した模式図である。
【
図3】本発明実施形態に係る移動体追跡装置の基本動作を示すフローチャートである。
【
図4】本発明実施形態に係る移動体追跡装置の移動体の統合判定を示すフローチャートである。
【
図5】本発明実施形態に係る移動体追跡装置の移動体の分離判定を示すフローチャートである。
【
図6】位置外れ値の例を示す模式的な平面図である。
【
図7】(a)画面端、(b)ワイパー遮蔽、(c)近接物体との融合による外れ値の例を示す模式図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図1において、本発明実施形態に係る移動体追跡装置10は、車両の進路前方の移動体(歩行者、自転車、バイク、他車両など)の進路予測を行うものであり、移動体検出部11、カルマンフィルタを構成する状態予測部12、状態推定部13、状態記億部14に加えて、統合分離判定部21、観測外れ値判定部22を備える。
【0012】
移動体検出部11は、視野画像と距離情報を取得可能な撮像手段(ステレオカメラ、または、単眼カメラ+レーダーなど)に得られた観測値から所定のタイムレートで状態観測値(位置、横幅)を算出する画像処理手段および演算処理手段で構成されている。
【0013】
例えば、撮像手段としてステレオカメラを使用する場合、左右画像の視差から距離画像を生成し、同一距離にある特徴点群として移動体を検出し、車両の進行方向(視野画像の奥行方向、z方向)と、進行方向と直交する幅方向(視野画像の幅方向、y方向)によって画定される座標空間(状態空間)への座標変換(等角写像、観測方程式)によって、個々の移動体の現時刻の状態観測値Zk(位置、横幅)を算出する。
【0014】
なお、移動体検出部11に新たな移動体が検出されると、既に検出されている他の移動体と一意に識別可能なIDが付与され、このIDによって識別される個々の移動体毎に状態値が計算され、後述する状態記億部14に記憶される。
【0015】
状態予測部12は、状態記億部14に格納された前時刻(t=k-1)の各移動体の状態値Xk-1(位置、速度、加速度、横幅)と誤差共分散Pk-1に基づいて、各移動体の状態(位置、速度)の時間変化を表す状態方程式により現時刻での状態予測値Xk
-(事前推定値)および事前誤差共分散Pk
-を算出する演算処理手段で構成されている。
【0016】
状態推定部13は、移動体検出部11で算出された現時刻の状態観測値Zkと、状態予測部12で算出された状態予測値Xk
-と状態値と観測値の関係を表す観測方程式(と観測モデルH)により算出される観測予測値Zk
-に、カルマンゲインkkおよび事前誤差共分散Pk
-を適用して、現時刻の移動体状態値Xk(事後推定値)を推定し、事後誤差共分散Pkを計算する演算処理手段で構成されている。
更新後状態値: Xk =Xk
-+kk×(Zk-Zk
-)
事後誤差共分散: Pk=(1-kk×H)×Pk
-
【0017】
状態記億部14は、状態推定部13で算出された移動体状態値Xkおよび事後誤差共分散Pkを記憶するための記憶手段からなり、前時刻の移動体状態値を更新し、次時刻(t=k+1)の予測に準備する。
【0018】
統合分離判定部21は、移動体検出部11で算出された状態観測値Zkと、状態予測部12で算出された状態予測値Xk
-をもとに、各移動体が(i)複数の移動体の視野画像内での統合(統合移動体)である場合、および、(ii)視野画像内での統合移動体が分離した場合を判定し、統合または分離が判定された場合は、該当移動体の現時刻の移動体状態値を初期化し、当該移動体の状態観測値Zkを移動体状態値Xkとして状態記億部14に記憶する処理手段で構成されている。
【0019】
観測外れ値判定部22は、当該移動体の観測値(或いは状態観測値Zk)が外れ値条件を満たすかどうかを判定し、外れ値条件を満たすと判定された場合は、該当移動体の現時刻(k=t)の状態観測値Zkを無効化する処理手段で構成されている。
【0020】
上記移動体追跡装置10は、それぞれの機能を実行するように動作可能なプログラムを格納するROM(フラッシュメモリ)、演算処理を行うCPU、前記プログラムが読み出され前記CPUの作業領域および演算結果の一時記憶領域となるRAM、および入出力インターフェースなどを備えたコンピュータであるコントロールユニット(ECU)として実装される。
【0021】
(基本動作)
次に、上記実施形態に係る移動体追跡装置の基本動作について
図3を用いて説明する。
車両の走行と共に移動体追跡装置が起動されると、撮像手段による前方画像の取得が開始され(ステップ101)、離散的な時刻(t=k-1,k,k+1,k+2・・・)毎に以下のような手順で状態値の予測と更新が繰り返される。
【0022】
移動体検出部11は、左右画像の視差から距離情報を取得して移動体を検出し(ステップ102)、各移動体の観測値を取得し(ステップ103)、さらに、状態空間への座標変換(観測方程式)によって、個々の移動体の現時刻(t=k)の状態観測値Zk(位置、横幅)を算出する(ステップ104)。
【0023】
これと並行して、状態予測部12は、前時刻(t=k-1)の各移動体の状態値(位置、速度、加速度、横幅)を状態記億部14から読み込み(ステップ105)、それに基づき、現時刻での状態予測値Xk
-(事前推定値)および事前誤差共分散Pk
-を算出する(ステップ106)。
【0024】
次いで、統合分離判定部21は、移動体検出部11で算出された状態観測値Zkと、状態予測部12で算出された状態予測値Xk
-をもとに、(i)複数移動体の視野画像内での統合(統合移動体)、および、(ii)視野画像内での統合移動体の分離を判定する(ステップ111)。
【0025】
移動体の統合または分離が判定された場合は、該当移動体の現時刻の移動体状態値を初期化し(ステップ121)、当該移動体の状態観測値Zkを移動体状態値Xkとして状態記億部14に記録する(ステップ114)。
【0026】
移動体の統合または分離が検出されない場合は、観測外れ値判定部22において、当該移動体の観測値が外れ値条件を満たすか否かが判定される(ステップ112)。
【0027】
外れ値条件を満たすと判定された場合は、該当移動体の現時刻(t=k)の状態観測値Zkを無効化し(ステップ122)、状態予測部12で算出された状態予測値Xk
-のみに基づいて、外れ値条件を満たすと判定されなかった場合は、状態観測値Zkと状態予測値Xk
-に基づいて、現時刻(t=k)の移動体状態値Xkを算出し(ステップ113)、状態記億部14に記録する(ステップ114)。
【0028】
(移動体の統合分離判定)
次に、移動体の統合および分離判定について図面を参照しながら説明する。
図2は、視野画像内に検出された2つの移動体A,Bが、撮像手段(ステレオカメラ)の光軸方向(奥行方向)のほぼ同位置において、互いに横方向逆向きに移動して交差する状況の時間(T)経過を示している。すなわち、2つの移動体A,Bが、時刻t1で移動体Cに統合され、その後、時刻t2で、移動体Cから2つの移動体D,Eに分離する。移動体AとE、移動体BとDが同一の移動体である。
図2は、2つの移動体の例を示しているが、3以上の移動体の場合も基本的に考え方は同じである。
【0029】
(移動体統合判定)
図4は、移動体の統合判定プロセスを示している。
移動体の統合判定では、先ず、移動体A,Bの過去(t1-1、但し1に限定するものではない)の状態値(位置、速度、加速度)から、状態方程式として等加速度運動を仮定して現在(t1)の状態予測値を計算し、移動体A,Bの各状態予測値から各移動体A,Bの現在位置(画面位置と距離)を算出する(ステップ201)。
【0030】
次いで、現在(t1)時刻において1つの移動体として検出された移動体Cの状態観測値から現在位置(画面位置と距離)を算出し(ステップ202)、移動体Cの状態観測値に基づく現在位置と移動体A,Bの状態予測値に基づく現在位置を比較する(ステップ203)。
【0031】
移動体Cの状態観測値に基づく現在位置(画面位置と距離)と移動体A,Bの状態予測値に基づく現在位置(画面位置と距離)の差が設定値以下(±20%)であれば統合の可能性があると判定し、その場合には、移動体A,Bの過去の状態値から横幅の和を算出する(ステップ204)。
【0032】
次に、移動体A,Bの過去の状態値に基づく横幅の和と移動体Cの現在の観測値に基づく横幅との比を計算し(ステップ205)、所定範囲内(0.8~1.2)であれば、移動体Cを移動体A,Bの統合移動体に設定し(ステップ206)、統合移動体Cの移動体状態値を初期化して記録する(ステップ207)。
【0033】
(移動体分離判定)
図5は、移動体の分離判定プロセスを示している。
移動体の分離判定では、統合移動体Cの過去の移動体状態値から、状態方程式として等加速度運動を仮定して現在(t2)の状態予測値を計算し、統合移動体Cの現在位置(画面位置と距離)を算出する(ステップ301)。
【0034】
次いで、現在(t2)時刻において2つの移動体として検出された移動体D,Eの状態観測値から、移動体D,Eの現在位置(画面位置と距離)を算出し(ステップ302)、統合移動体Cの状態予測値に基づく現在位置(画面位置と距離)と比較する(ステップ303)。
【0035】
統合移動体Cの状態予測値に基づく現在位置(画面位置と距離)と移動体D,Eの状態観測値に基づく現在位置(画面位置と距離)の差が設定値以上(±20%)であれば分離の可能性があると判定し、その場合には、移動体D,Eの状態観測値に基づく横幅の和を算出する(ステップ304)。
【0036】
次に、統合移動体Cの状態予測値に基づく横幅と移動体D,Eの状態観測値に基づく横幅の和との比を計算し、所定範囲内(0.8~1.2)であれば、移動体D,Eは、統合移動体Cからの分離移動体の可能性があると判定する(ステップ305)。
【0037】
さらに、統合移動体Cの統合前の2つの移動体A,Bの過去の移動体状態値から、状態方程式として等加速度運動を仮定して現在(t2)の状態予測値を求め、移動体A,Bの現在位置(画面位置と距離)を推定する(ステップ306)。
【0038】
移動体A,Bの状態予測値に基づく現在位置と、移動体D,Eの状態観測値に基づく現在位置を比較し、位置(画面位置と距離)の差が設定値以下(±20%)であれば、同一の移動体の可能性があると判定する(ステップ307)。
【0039】
さらに、移動体A,Bの状態予測値に基づく横幅の和と、移動体D,Eの状態観測値に基づく横幅の和の比を計算し(ステップ308)、所定範囲内(0.8~1.2)であればそれぞれが同一の移動体であると判定し、移動体D,Eを統合移動体Cから分離された移動体に設定し(ステップ309)、移動体D,Eの状態値を初期化して記録する(ステップ310)。
【0040】
(観測値の外れ値判定)
以上述べたような複数移動体の統合や分離では、状態予測値を初期化し、状態観測値のみに基づいて移動体状態値を推定することで、統合や分離の影響を抑制したが、逆に、極端な観測値が検出された場合には、状態観測値を無効にして状態予測値のみに基づいて移動体状態値を推定することで、極端な観測値の影響を抑制することができる。
【0041】
例えば、下記4条件の何れか一つに該当する場合は、観測値(或いは状態観測値)が「外れ値」であると判定し、その場合の状態観測値を無効化して、移動体状態値の推定には使用せず、状態予測値だけで移動体状態値を推定する。
【0042】
(1)位置外れ値
図6に示すように、状態観測値と状態予測値の各位置(距離と横位置)の2σ(誤差の標準偏差)領域が重なっていない場合がこれに該当する。頻発する場合は、このパラメータの検出のために、状態予測値の2σ領域を一定値拡大してもよい。例えば、移動体が歩行者の場合、33ms×1m/s:(サンプリング時間×移動速度)拡大する。
【0043】
(2)面面端
図7(a)に示すように、状態観測値から求めた移動体F、F′の視野画面20内における位置が、視野画面20の左右端まで一定値以内(例えば32画素以内)である場合がこれに該当する。
【0044】
(3)移動体検出不可
撮像手段(ステレオカメラ)で移動体を検出できない場合がこれに該当する。例えば、
図7(b)に示すように、雨天時にワイパー23によって右または左画像上の移動体Gが隠されている状況は、移動体検出の信頼度に影響が出る虞がある。
【0045】
(4)近傍移動体
移動体が近傍の立体物(壁、ガードレールなど)と融合して検出されるような場合がこれに該当する。例えば、
図7(c)に示すように、歩行者の服装と明度や色彩が近似した壁24が歩行者の近傍(0.5m以内)に存在するような場合は、視野画面20内での検出領域Hが拡大されてしまう虞がある。
【0046】
以上、本発明のいくつかの実施形態について述べたが、本発明は上記各実施形態に限定されるものではなく、本発明の技術的思想に基づいてさらに各種の変形および変更が可能であることを付言する。
【符号の説明】
【0047】
10 移動体追跡装置
11 移動体検出部
12 状態予測部
13 状態推定部
14 状態記億部
21 統合分離判定部
22 観測外れ値判定部