IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社デンソーの特許一覧

<>
  • 特許-物体追跡装置 図1
  • 特許-物体追跡装置 図2
  • 特許-物体追跡装置 図3
  • 特許-物体追跡装置 図4
  • 特許-物体追跡装置 図5
  • 特許-物体追跡装置 図6
  • 特許-物体追跡装置 図7
  • 特許-物体追跡装置 図8
  • 特許-物体追跡装置 図9
  • 特許-物体追跡装置 図10
  • 特許-物体追跡装置 図11
  • 特許-物体追跡装置 図12
  • 特許-物体追跡装置 図13
  • 特許-物体追跡装置 図14
  • 特許-物体追跡装置 図15
  • 特許-物体追跡装置 図16
  • 特許-物体追跡装置 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-04-14
(45)【発行日】2025-04-22
(54)【発明の名称】物体追跡装置
(51)【国際特許分類】
   G01S 13/72 20060101AFI20250415BHJP
   G01S 13/931 20200101ALN20250415BHJP
【FI】
G01S13/72
G01S13/931
【請求項の数】 5
(21)【出願番号】P 2024530916
(86)(22)【出願日】2023-06-28
(86)【国際出願番号】 JP2023023958
(87)【国際公開番号】W WO2024005063
(87)【国際公開日】2024-01-04
【審査請求日】2024-08-23
(31)【優先権主張番号】P 2022107182
(32)【優先日】2022-07-01
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】110000578
【氏名又は名称】名古屋国際弁理士法人
(72)【発明者】
【氏名】米田 雅樹
(72)【発明者】
【氏名】小川 高志
【審査官】藤田 都志行
(56)【参考文献】
【文献】米国特許出願公開第2022/0105946(US,A1)
【文献】欧州特許出願公開第3561542(EP,A1)
【文献】中国特許出願公開第112946625(CN,A)
【文献】特開2019-152575(JP,A)
【文献】特開2021-004737(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/00- 7/42
G01S 13/00-13/95
JSTPlus/JST7580/JSTChina(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
センサ(5)により、周辺環境を所定のサイクルにてセンシングし、当該センシングによって得られた情報に基づいて、ターゲットである物体(3)を追跡する物体追跡装置(1)であって、
前記センサによって得られた前記物体を示す観測点の情報を用いて、現サイクルにおける前記物体の状態を示す状態量を推定するように構成された追跡処理部(9)を備え、
前記追跡処理部は、
前記物体の状態量として、少なくとも前記物体の位置と前記物体の形状とに関する前記状態量を用いるものであり、
前サイクルにて推定した前記物体の状態量に基づいて、前記現サイクルの前記物体から得られた前記観測点を抽出するように構成された観測点抽出部(31)と、
前記前サイクルにて推定した前記物体の状態量に基づいて、前記観測点が期待できる予測する位置に、少なくとも一つの予測点を生成するように構成された予測点生成部(33)と、
前記現サイクルの前記物体から得られた前記観測点と、前記予測点生成部で生成した前記予測点と、をスキャンマッチングにより位置合わせするように構成された位置合わせ部(35)と、
前記現サイクルから得られた前記観測点と前記位置合わせされた前記予測点から、前記観測点に対応する前記予測された位置における前記物体の対応点を求め、前記観測点と前記対応点との残差を算出するように構成された残差計算部(37)と、
前記残差計算部にて算出した残差に基づいて、前記物体の状態量を更新するように構成された状態更新部(39)と、
を備えた、物体追跡装置。
【請求項2】
請求項1に記載の物体追跡装置であって、
前記位置合わせ部は、前記現サイクルの前記物体から得られた前記観測点から、前記物体の輪郭上又は前記輪郭の所定範囲内の近傍にある前記観測点を抽出し、前記抽出した前記観測点を前記スキャンマッチングに用いるように構成された、
物体追跡装置。
【請求項3】
請求項1に記載の物体追跡装置であって、
前記位置合わせ部は、前記スキャンマッチングの位置合わせの過程で、前記予測点生成部で生成した前記予測点のうち、前記センサにより観測できる前記予測点を選択するように見直しを行うように構成された、
物体追跡装置。
【請求項4】
請求項1に記載の物体追跡装置であって、
前記位置合わせ部は、前記センサにより観測できる前記観測点の点群の空間的な広がりを判断し、前記空間的な広がりが所定範囲以下の場合には、前記スキャンマッチングを行わないように構成された、
物体追跡装置。
【請求項5】
請求項1に記載の物体追跡装置であって、
前記位置合わせ部は、前記センサにより観測できる前記観測点の点群の空間的な広がりを判断し、前記空間的な広がりが所定範囲以下の場合には、前記所定範囲以下でない場合に比べて、前記観測点を用いて前記状態量を更新する際に、前記観測点の重み付けを低減するように構成された、
物体追跡装置。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本国際出願は、2022年7月1日に日本国特許庁に出願された日本国特許出願第2022-107182号に基づく優先権を主張するものであり、日本国特許出願第2022-107182号の全内容を本国際出願に参照により援用する。
【技術分野】
【0002】
本開示は、車両等の物体を追跡する技術に関する。
【背景技術】
【0003】
従来、レーダー等のセンサを用いて、自車両の周囲の他車両等の物体(即ち、ターゲット)を追跡(即ち、トラッキング)する技術として、図17の上図左側に示すように、ターゲットを一つの質点と仮定して追跡する質点追跡の技術が知られている。
【0004】
また、近年では、質点追跡による課題(即ち、追跡が不安定になるという課題)を改善するために、図17の上図右側に示すように、ターゲットの運転状態に加えて、ターゲットの形状も含めてモデルに織り込んで追跡する拡張物体追跡(即ち、EOT)が知られている。なお、EOTは、Extended Object Trackingの略であり、この技術は、例えば、非特許文献1等に開示されている。
【0005】
しかし、この拡張物体追跡の技術においては、図17の中図に示すように、ターゲットや自車両の動きが急に変化した場合や、追跡初期のように、ターゲットの観測情報が十分でない場合には、ターゲットの追跡を精度良く行えないことがあった。
【0006】
この対策として、例えば、下記特許文献1に記載の技術が提案されている。この技術とは、図17の下図に示すように、ある時刻で予測された追跡対象の状態分布から、観測点の確からしさを尤度関数として定義し、観測点の数に併せて尤度関数を補正(即ち、重みを調整)した後で状態分布を更新することで、疎な観測情報での追跡精度の劣化および追跡失敗を抑制する技術である。
【0007】
この特許文献1の公報には、パーティクルフィルタで取りうる予測分布を振って、予測誤差が生じたときに対応することが示されている。つまり、予測状態分布の仮説を複数生成することで、追跡性の改善(例えば、トラッキングロス等の改善)を図ることが記載されている。
【先行技術文献】
【特許文献】
【0008】
【文献】K.Granstrom,M.Baum, and S.Reuter,“Extended object tracking:Intro-duction,overview, and applications,”Journal of Advances in Information Fusion,vol.12,no.2,2017.
【文献】特開2021-67482号公報
【発明の概要】
【0009】
発明者の詳細な検討の結果、従来の技術について、下記のような課題が見出された。
具体的には、特許文献1に記載の技術では、予測状態分布の仮説を複数生成するので、そのための演算の負荷が大きくなるという問題がある。
【0010】
つまり、自車両のコンピュータ等の電子制御装置では、その演算能力には制限があるので、上述のように予測状態分布の仮説を複数生成する場合には、演算の負担が大きいという問題がある。
【0011】
すなわち、電子制御装置にて演算を行う場合において、限られた計算量の制約下では、生成できる仮説数は限定されるので、対応できる予測ズレの範囲には限界があり、精度の高い追跡を行うことは容易ではない。特に、ターゲットの状態量を示す状態ベクトルが高次元になる場合は、予測ズレの範囲が顕著に狭くなるという問題がある。
【0012】
本開示の一局面は、物体を精度良く追跡することができるとともに、物体を追跡する際の演算の負荷を低減できる技術を提供することが望ましい。
本開示の一態様は、センサ(5)により、周辺環境を所定のサイクルにてセンシングし、当該センシングによって得られた情報に基づいて、ターゲットである物体(3)を追跡する物体追跡装置(1)に関する。
【0013】
物体追跡装置は、追跡処理部(9)を備える。追跡処理部は、センサによって得られた物体を示す観測点の情報を用いて、現サイクルにおける物体の状態を示す状態量を推定するように構成されており、物体の状態量として、少なくとも物体の位置と物体の形状とに関する状態量を用いる。
【0014】
追跡処理部(9)は、観測点抽出部(31)と予測点生成部(33)と位置合わせ部(35)と残差計算部(37)と状態更新部(39)とを備える。
追跡処理部は、センサによって得られた物体を示す観測点の情報を用いて、現サイクルにおける物体の状態を示す状態量を推定するように構成されている。
【0015】
観測点抽出部は、前サイクル(即ち、現サイクルの直前のサイクル)にて推定した物体の状態量に基づいて、現サイクルの物体から得られた観測点を抽出するように構成されている。なお、初期サイクルの場合は、得られた観測点全てを抽出するように構成されていてもよい。
【0016】
予測点生成部は、前サイクルにて推定した物体の状態量に基づいて、観測点が期待できる予測する位置に、少なくとも一つの予測点を生成するように構成されている。
位置合わせ部は、現サイクルの物体から得られた観測点と、予測点生成部で生成した予測点と、をスキャンマッチングにより位置合わせするように構成されている。
【0017】
残差計算部は、現サイクルから得られた観測点と位置合わせされた予測点から、観測点に対応する予測された位置における物体の対応点を求め、観測点と対応点との残差を算出するように構成されている。
【0018】
状態更新部は、残差算出部にて算出した残差に基づいて、物体の状態量を更新するように構成されている。
このような構成により、本開示の一態様の物体追跡装置では、物体を精度良く追跡することができるとともに、物体を追跡する際の演算の負荷を低減することができる。
【0019】
つまり、本開示では、従来のように、予測を複数振るのではなく、観測点と予測形状(即ち、予測点)とのズレ(即ち、対応関係)を計算した残差を用いることにより、物体の追跡のための演算を効率的に行うことができる。従って、物体の追跡を行う際の演算の負荷を低減でき、好適に物体を追跡することができる。
【0020】
また、この欄及び請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
【図面の簡単な説明】
【0021】
図1】第1実施形態の物体追跡装置の全体構成を示すブロック図である。
図2】第1実施形態の物体追跡装置を機能的に示すブロック図である。
図3】第1実施形態の物体追跡装置の制御処理を示すフローチャートである。
図4】第1実施形態の物体追跡の手順のうち、図3のS100における手順を示す説明図である。
図5】第1実施形態の物体追跡の手順のうち、図3のS110における手順を示す説明図である。
図6】第1実施形態の物体追跡の手順のうち、図3のS120における手順を示す説明図である。
図7】第1実施形態の物体追跡の手順のうち、図3のS130における手順を示す説明図である。
図8】第1実施形態の物体追跡の手順のうち、図3のS140における手順を示す説明図である。
図9】スキャンマッチングの方法を示す説明図である。
図10】第1実施形態の物体追跡の手順のうち、図3のS150における手順を示す説明図である。
図11】第1実施形態の物体追跡の手順のうち、図3のS160における手順を示す説明図である。
図12】残差ベクトルの算出方法を示す説明図である。
図13】状態量の更新の方法を示す説明図である。
図14図14Aは第2実施形態の物体追跡のスキャンマッチングの方法を示す説明図、図14Bは好ましくないスキャンマッチングの方法を示す説明図である。
図15】第3実施形態の物体追跡の手順のうち、観測点の広がりが少ない状態を示す説明図である。
図16】第3実施形態の物体追跡の手順のうち、矩形の面積と観測点の共分散との関係を示す説明図である。
図17】従来技術の説明図である。
【発明を実施するための形態】
【0022】
以下、本開示の例示的な実施形態について図面を参照しながら説明する。
[1.第1実施形態]
本第1実施形態では、車両(例えば、自車両)に搭載された物体追跡装置を例に挙げて説明する。即ち、センサにより、自車両の周囲の周辺環境を所定のサイクルにて走査(即ち、センシング)し、当該センシングによって得られた情報に基づいて、ターゲットである物体を追跡する物体追跡装置を例に挙げて説明する。
【0023】
[1-1.全体構成]
まず、本第1実施形態の物体追跡装置1の全体構成を、図1に基づいて説明する。
図1に示すように、物体追跡装置1は、車両(例えば、自車両)に搭載されて、自車両の周囲の他車両等の物体(即ち、ターゲット)3を追跡する装置である。
【0024】
つまり、物体追跡装置1は、後に詳述するように、ターゲット3を観測した少なくとも1つの観測点から、広がりのあるターゲット3を認識してターゲット3の追跡処理を行うEOTを実現する装置である。
【0025】
なお、ここでは、ターゲット3として、自動車等の車両を例に挙げているが、それ以外にも、バイクや歩行者などの移動する物体が挙げられる。また、一定の形状を有する静止物も挙げられる。
【0026】
この物体追跡装置1は、自車両の周囲をセンシングする周囲センサである例えば測距センサ5、自車両の状態を検出する挙動センサ群7、ターゲット3の追跡を行うための処理を行う追跡処理部9等を備える。
【0027】
測距センサ5としては、ターゲット3の位置に関する情報、例えば、物体追跡装置1とターゲット3との距離や、物体追跡装置1に対するターゲット3の方向の情報が得られる各種のセンサが挙げられる。
【0028】
例えば、周知の、レーダー(Rader)、ライダー(LiDAR)、ソナー(Sonar)、ステレオカメラ、単眼カメラのうち、少なくとも1種が挙げられる。なお、前記センサとしては、空間における位置を示す3次元情報(x、y、z)を観測できるものや、ドップラー速度や信号強度を観測できるものも採用できる。
【0029】
この測距センサ5は、ターゲット3のセンシング(即ち、レーダー等により走査して検出すること)と、ターゲット3にて反射した部分を示す反射点群の観測とを、所定時間間隔(即ち、所定のサイクル)で繰り返す。そして、後述するように、追跡処理部9では、特定時刻kにおいて測距センサ5により反射点群が、ターゲット3に対する同時刻kでの少なくとも一つの観測点として認識される。
【0030】
挙動センサ群7としては、慣性計測ユニット(即ち、IMU)やオドメトリなど、自車両の移動量等の挙動を検出できる各種のセンサを採用できる。この挙動センサ群7により検出される情報としては、例えば、アクセルペダルの操作量、ブレーキペダルの操作量、操舵角、車両速度、車両加速度などが挙げられる。
【0031】
追跡処理部9は、ターゲット3の追跡等の各種の処理を行う制御部11と、各種のデータやプログラムを記憶する記憶部13と、を備えたマイクロコンピュータを中心にして構成された電子制御装置である。
【0032】
詳しくは、制御部11は、周知のプロセッサ(例えば、CPU11a)を備え、記憶部13は、例えば、RAM又はROM等の半導体メモリ(以下、メモリ13aとする)を備える。
【0033】
制御部11の機能は、非遷移的実体的記録媒体(即ち、メモリ13a)に格納されたプログラムをCPU11aが実行することにより実現される。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。
【0034】
なお、制御部11の各種機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。
【0035】
<追跡処理部の機能的な構成>
ここで、追跡処理部9の機能的な構成について説明する。なお、制御部11は、追跡のための演算処理を行う部分である。
【0036】
図2に示すように、追跡処理部9(詳しくは、制御部11)は、機能的に、観測点抽出部31と予測点生成部33と位置合わせ部35と残差計算部37と状態更新部39と状態予測部41とを有する。
【0037】
追跡処理部9は、測距センサ5によって得られたターゲット3を示す観測点の情報を用いて、現サイクルにおけるターゲット3の状態を示す状態量(即ち、状態ベクトル)を推定するように構成されている。なお、状態量として、少なくともターゲット3の位置とターゲット3の形状とに関する状態量を用いることができる。
【0038】
観測点抽出部31は、前サイクル(即ち、現サイクルの直前のサイクル)にて推定したターゲット3の状態量に基づいて、現サイクルのターゲット3から得られた観測点を抽出するように構成されている。
【0039】
予測点生成部33は、前サイクルにて推定したターゲット3の状態量に基づいて、観測点が期待できる予測する位置に、少なくとも一つの予測点を生成するように構成されている。
【0040】
位置合わせ部35は、現サイクルのターゲット3から得られた観測点と、予測点生成部33で生成した予測点と、をスキャンマッチングにより位置合わせするように構成されている。
【0041】
残差計算部37は、現サイクルから得られた観測点と位置合わせされた予測点から、観測点に対応する予測された位置における物体の対応点を求め、観測点と対応点との残差(即ち、残差ベクトル)を算出するように構成されている。
【0042】
状態更新部39は、残差計算部37にて算出した残差に基づいて、ターゲット3の状態量を更新するように構成されている。
状態予測部41は、状態更新部39で更新した状態量に基づいて、次サイクル(即ち、現サイクルの直後のサイクル)の状態量を予測するように構成されている。
【0043】
[1-2.追跡処理部による全体の処理]
次に、図3のフローチャートに基づいて、本第1実施形態の物体追跡装置1の全体的な処理の概略の手順を説明する。なお、各ステップの内容については、後に詳述する。
【0044】
まず、図3のステップ(以下、S)100では、直近の所定期間で得られた観測点に基づいて、ターゲット3の運動と形状の初期値を設定する。
続くS110では、現時刻におけるターゲット3の運動と形状を予測する。
【0045】
続くS120では、対応付いた観測点から、ターゲット3の輪郭(即ち、実際輪郭)上にあると期待される観測点を抽出する。
続くS130では、予測したターゲット3の形状の輪郭(即ち、予測輪郭)から期待される観測点(即ち、予測点)をサンプリングする。
【0046】
続くS140では、予測点と観測点とを、スキャンマッチングによって位置合わせする。
続くS150では、観測点と対応する予測輪郭上の対応点を計算する。
【0047】
続くS160では、観測点と対応点とから残差(即ち、残差ベクトル)を求め、現時刻の状態量(即ち、状態ベクトル)の更新を行う。
その後、更新された状態量を用いて、前記S110に戻って、同様な処理を繰り返す。
【0048】
[1-3.追跡処理部による各処理の内容]
次に、図3の追跡処理部9における各処理(即ち、S100~S160)の内容について、順を追って詳細に説明する。
【0049】
(1)S100の処理の内容
このステップでは、直近の所定期間で得られた観測点に基づいて、ターゲット3の運動とターゲット3の形状の初期値を設定する。
【0050】
ここで、運動には、ターゲット3の質点における位置や速度(即ち、速度の大きさや方向)を含み、形状には、ターゲット3の大きさ(即ち、ターゲット3の空間的な広がり)や向き(即ち、形状においてターゲット3がどちらを向いているかの向き)を含むとする。なお、ターゲット3の大きさは一定であるので、形状としては、ターゲット3の大きさ(例えば、横幅や奥行や高さなど)及び向きを考慮してもよい。なお、位置としては、所定の座標系(例えば、東西南北を規定した座標系や、自車両等の所定の車両を基準とした座標系など)における座標が挙げられる。
【0051】
図4に示すように、レーダー等の測距センサ5を用いて、例えば、1サイクル目におけるセンシングによって、同図左下のターゲット3における複数の観測点が得られ、2サイクル目のセンシングよって、同図右上のターゲット3における複数の観測点が得られたとする。なお、観測点とは、レーダー波等のターゲット3における反射点である。図4では、観測点を、内部に細かいメッシュを付した丸で示してある。なお、他の図面においても、同様な内部にメッシュを付した丸は観測点を示している。
【0052】
この場合、例えば、1サイクル目の複数の観測点の重心(即ち、重心1)から、1サイクル目のターゲット3の位置が分かり、2サイクル目の複数の観測点の重心(即ち、重心2)から、2サイクル目のターゲット3の位置が分かる。また、重心1から重心2への移動ベクトルから、ターゲット3の速度(即ち、ターゲット3の運動)が分かる。
【0053】
また、これとは別に、ターゲット3を上方から見た場合(即ち、平面視)のターゲット3の外周形状(即ち、ターゲット3の大きさを含む輪郭)が予め分かっている場合について説明する。例えば、同図に四角枠で示すように、ターゲット3の輪郭が長方形の場合には、前記複数の観測点をターゲット3の輪郭に合わせるように配置すること(即ち、フィッティングすること)により、ターゲット3の平面視での形状(即ち、大きさや向き)が分かる。即ち、同図の四角枠で示すように、ターゲットの平面視における形状が分かり、また、各ターゲット3の形状から各ターゲット3の重心が分かる。
【0054】
このように、ターゲット3の1サイクル目及び2サイクル目における重心の位置からターゲット3の位置が分かり、また、重心の移動ベクトルにより、ターゲット3の運動が分かる。
【0055】
従って、例えば、1サイクル目のターゲット3の重心を、ターゲット3の位置の初期値として設定でき、また、その移動ベクトルから得られる速度を、2サイクル目のターゲット3の速度の初期値として設定できる。
【0056】
なお、以下では、ターゲット3の平面形状として、例えば車両の外周形状(即ち、輪郭)に合わせた長方形を例に挙げて説明する。
(2)S110の処理の内容
このステップでは、現時刻におけるターゲット3の運動と形状を予測する。
【0057】
図5に示すように、1サイクル前の時刻(即ち、前時刻)におけるターゲット3の位置や速度が分かっている場合には、現サイクルにおけるターゲット3の位置や速度が予測可能である。なお、同図では、予測したターゲットの輪郭を破線で示す。
【0058】
つまり、前時刻におけるターゲット3の位置から前時刻におけるターゲット3の速度で移動したと予測することにより、予測したターゲット3の位置が分かる。なお、予測したターゲット3の位置における速度は、前時刻と速度であるとしてもよい。
【0059】
また、同図では、実際のターゲット3の移動状態を実線の矢印で示し、現時刻において実際に観測された観測点を大小の丸で示し、現時点の実際のターゲット3の輪郭(即ち、矢印の先の輪郭)を実線で示す。
【0060】
なお、実際に観測された複数の観測点のうち、ターゲット3の輪郭に位置する観測点を、ターゲット3の内部に位置する観測点よりも大きく示してある。なお、通常は、輪郭(即ち、外周)から多くの観測点が得られる。
【0061】
(3)S120の処理の内容
このステップでは、対応付いた観測点から、ターゲット3の輪郭上にあると期待される観測点を抽出する。
【0062】
図6に示すように、実際のターゲット3の位置と予測したターゲット3の位置がずれている場合があるので、通常は、実際のターゲット3の位置は、予測したターゲット3の位置の近傍、例えば、予測したターゲット3から所定の距離の範囲等の接続範囲内にあると推定する。
【0063】
そして、接続範囲内の複数の観測点(即ち、図6の大小の丸で表現される観測点)を、現時刻における実際のターゲット3の観測点として選択する。
更に、これらの観測点のうち、実際のターゲット3の輪郭(即ち、実際輪郭)上又は輪郭の近傍にあると期待される観測点(即ち、図6にて内部にメッシュを付した大きな丸で表現される観測点)を抽出する。つまり、ターゲット3の輪郭は長方形であるので、長方形の枠上又はその近傍にあると思われる観測点を抽出する。
【0064】
(4)S130の処理の内容
このステップでは、予測したターゲット3の輪郭(即ち、予測輪郭)から期待される観測点(即ち、予測点)をサンプリングする。
【0065】
図7に示すように、ここでは、予測した四角枠状のターゲット3の輪郭上において、所定に間隔毎に、予測点を設定する。図7では、予測点を内部に複数のドットを付した丸で示してある。なお、他の図面においても、同様なドットを付した丸は予測点を示している。
【0066】
(5)S140の処理の内容
このステップでは、予測輪郭の予測点と実際輪郭において抽出された観測点(即ち、実際輪郭に沿った観測点)とを、スキャンマッチングによって位置合わせする。
【0067】
図8に示すように、公知のスキャンマッチングの手法により、予測点と観測点とを位置合わせすることにより、予測輪郭と実際輪郭とをできる限り重ね合わせるようにする。
例えば、図9に示すように、予測点と観測点とが1対1の対応関係となるように、予測点の並進移動(即ち、平行移動)や回転移動を行って、複数の観測点と複数の予測点とをできる限り近づけるような処理(即ち、幾何変換の推定と遷移の処理)を行う。
【0068】
つまり、複数の予測点の配置による形状(例えば、L字形状)と複数の抽出された観測点の配置による形状(例えば、L字形状)とが、できる限り一致するように、例えば、複数の予測点の配置による形状を維持したままで、複数の予測点を移動させる。
【0069】
ここで、スキャンマッチングの基本的な内容について説明する。
スキャンマッチングの手法としては、例えば、3次元形状の位置合わせの基本的な手法として広く用いられているICPアルゴリズムを使うことができる。ICPアルゴリズムは、予測点群をソース点群、観測点をターゲット点群としたとき、最近傍点による対応付けの計算と、対応点からの幾何変換の推定の2つの処理を収束条件を満足するまで交互に繰り返すことで、最終的な位置合わせを行う手法である。
【0070】
このスキャンマッチングの手法は、下記文献[1]、文献[2]に記載されている。なお、下記文献[1]は、ICPアルゴリズムの元論文を示しており、この文献[1]には、詳細なステップが記載されている。また、文献[2]はICPアルゴリズムの概要を説明したチュートリアルである。
文献[1]:Besl,Paul J. and Neil D.McKay.“A Method for Registration of 3-D Shapes.”IEEE Trans. Pattern Anal. Mach. Intell.14 (1992): 239-256.
文献[2]:増田健,“Icpアルゴリズム,”情報処理学会研究報告,vol.2009,no.2,pp.1-8,2009.
(6)S150の処理の内容
このステップでは、観測点と対応する予測輪郭上の対応点を計算して求める。
【0071】
図10に示すように、スキャンマッチングにされた観測点と予測点とに対して、例えば放射投影法によって、観測点と対応する予測輪郭上の予測点(即ち、対応点)を求める。
例えば、予測したターゲット3の質点の位置を放射の中心として、実際輪郭上の観測点に向けて直線を引き、その直線上にある又はその直線と最も近い位置にある観測点と予測点とを1対1に対応付ける。
【0072】
なお、放射投影法については、例えば、下記文献[3]に記載のように公知技術である。
文献[3]:M.Michaelis,P.Berthold,T.Luettel,D.Meissner,and H.J.Wuensche,“Extended object tracking with an improved measurement-to-contour association,”Proc.2020 23rd Int.Conf.Inf.Fusion,FUSION 2020,no.July,2020,doi:10.23919/FUSION45008.2020.9190439.
この観測点に対応づけられた予測点が、図11に示すように、予測したターゲット3の予測輪郭における対応点である。
【0073】
(7)S160の処理の内容
このステップでは、図11に示すように、観測点と対応点(即ち、観測点と対応した予測点)とから残差ベクトルを求め、現時刻のターゲット3の状態量の更新を行う。
【0074】
なお、ターゲット3の状態量は、周知のように、状態ベクトルとして示すことができる。
例えば、ターゲット3の状態量を、横方位位置x、縦方位位置y、横方向速度vx、縦方向速度vyで表す場合には、これらの状態量を要素として、ベクトル表現した状態ベクトルは、X=[x、y、vx、vy]Tで表すことができる。なお、例えば、横方向は車幅方向であり、縦方向は車幅方向に垂直な方向である。
【0075】
ここで、残差ベクトルについて説明する。
図12に示すように、行列で表現される残差(即ち、Δ)は、現時刻におけるターゲット3の状態量の予測値(即ち、予測した推定値)xtと、観測点を示す値(即ち、観測値)Zとの差Δ=Z-H(xt)である。
【0076】
Hは、観測モデルである。残差δのi番目の要素が、残差ベクトルδiになる。なお、予測値xtのxの上には図12に示すようにチルダ「~」が付記されるが、ここでは省略して示している。
【0077】
例えば、予測点(群)をP、それに属するi番目の点をpi、観測点(群)をZ、それに属するj番目の点をzjとする。また、事前に求めた対応付けの情報から、piとzjとが対応づいたとする。このとき、残差ベクトルδiは、δi=zj-pi(即ち、点zjと点piのもつ情報の差分:ベクトルzjとベクトルpiの差)として計算される。
【0078】
ここで、piやzjが持つ情報として、例えば点の位置情報(x、y)がある。なお、点の速度情報(vx、vy)などの他の次元が加えられても良い。
なお、下記文献[4]には、B-splineモデルにおける対応付け情報からの残差ベクトルを求める具体的な計算方法が記載されている。
【0079】
文献[4]:H.Kaulbersch,J.Honer, and M.Baum,“A Cartesian B-Spline Vehicle Model for Extended Object Tracking,”2018 21st Int. Conf.Inf.Fusion,FUSION 2018,no.December 2019, pp.1771-1778,2018,doi:10.23919/ICIF.2018.8455717.
また、下記文献[5]には、Star-convexモデルにおける点の速度情報(Doppler Range Rate)を考慮した残差の定式化について記載がある。
【0080】
文献[5]:K.Thormann,M.Baum, and J.Honer,“Extended Target Tracking Using Gaussian Processes with High-Resolution Automotive Radar,”2018 21st Int.Conf.Inf.Fusion,FUSION 2018,no.December 2019,pp.1764-1770,2018, doi:10.23919/ICIF.2018.8455630.
次に、現時刻の状態量の更新の手法について説明するが、公知技術(例えば、特開2021-4737号公報等参照)であるので、簡単に説明する。
【0081】
図13に示すように、現時刻におけるターゲット3の状態量の予測値xtと、観測点の観測値Zから、残差Δ=Z-H(xt)を計算し、周知の非線形カルマンフィルタ(例えば、拡張カルマンフィルタやシグマポイントカルマンフィルタなど)を使い、物体の状態量を更新する。
【0082】
そして、現時刻の状態量を更新した後に、更新された状態量を用いて、前記ステップ110に戻って、同様な処理を繰り返す。つまり、更新された情報量を用いて、次サイクルのターゲット3の状態量を予測する。
【0083】
なお、次サイクルのターゲット3の状態量を予測する処理については公知である。例えば、次のサイクル(時刻t)のターゲット3の状態量の予測値xtは、前のサイクル(時刻t-1)におけるターゲット3の状態量x(t-1)と、ターゲット3の状態遷移を表す運動モデル(下記式[数1]参照)と、を用いて計算することができる。
【0084】
【数1】
【0085】
[1-4.効果]
本第1実施形態によれば、以下の効果が得られる。
本第1実施形態では、追跡処理部9により、測距センサ5によって得られたターゲット3を示す観測点の情報を用いて、現サイクルにおけるターゲット3の状態を示す状態量(即ち、状態ベクトル)を推定する。観測点抽出部31では、前サイクルにて推定したターゲット3の状態量に基づいて、現サイクルのターゲット3から得られた観測点を抽出する。予測点生成部33では、前サイクルにて推定したターゲット3の状態量に基づいて、観測点が期待できる予測する位置に、少なくとも一つの予測点を生成する。位置合わせ部35では、現サイクルのターゲット3から得られた観測点と、予測点生成部33で生成した予測点と、をスキャンマッチングにより位置合わせする。残差計算部37では、現サイクルから得られた観測点と位置合わせされた予測点から、観測点に対応する予測された位置におけるターゲット3の対応点を求め、観測点と対応点との残差(即ち、残差ベクトル)を算出する。状態更新部39では、残差に基づいて、ターゲット3の状態量を更新する。状態予測部41では、更新した状態量に基づいて、次サイクルの状態量を予測する。
【0086】
このような構成により、本第1実施形態の物体追跡装置1では、ターゲット3を精度良く追跡することができるとともに、ターゲット3を追跡する際の演算の負荷を低減することができる。
【0087】
つまり、本第1実施形態では、従来のように、予測を複数振るのではなく、観測点と予測形状(即ち、予測点)とのズレ(即ち、対応関係)を計算することにより、効率的に計算ができる。従って、ターゲット3の追跡を行う際の演算の負荷を低減できるとともに、精度良くターゲット3を追跡することができる。
【0088】
[1-5.対応関係]
次に、本第1実施形態と本開示との関係について説明する。
物体追跡装置1は物体追跡装置に対応し、ターゲット3はターゲットに対応し、測距センサ5はセンサに対応し、追跡処理部9は追跡処理部に対応し、観測点抽出部31は観測点抽出部に対応し、予測点生成部33は予測点生成部に対応し、位置合わせ部35は位置合わせ部に対応し、残差計算部37は残差計算部に対応し、状態更新部39は状態更新部に対応する。
【0089】
[2.第2実施形態]
第2実施形態は、基本的な構成は第1実施形態と同様であるため、以下では主として第1実施形態との相違点について説明する。なお、第1実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
【0090】
本第2実施形態のハード構成は、第1実施形態と同じであるので、その説明は省略する。
本第2実施形態では、スキャンマッチングの手法に特徴があるので、スキャンマッチングの手法について説明する。
【0091】
本第2実施形態では、スキャンマッチングの位置合わせの過程で、予測点生成部33で生成した予測点のうち、センサ(例えば、測距センサ5)から観測できる点を逐次的に見直す処理を行う。以下、詳細に説明する。
【0092】
[2-1.処理の内容]
図14Aの左端の図に示すように、センシングにより実際輪郭に沿った観測点が得られ、また、予測輪郭(例えば、長方形の枠)に沿った予測点が算出された場合を考える。ここでは、長方形の枠に沿った全ての予測点(即ち、丸で示す予測点)のうち、センサから見て、例えばレーダー波の照射範囲において反射波が得られると考えられる範囲の予測点(即ち、内部に複数のドットを付した丸で示す予測点)を選択する。
【0093】
ここで、図14Aの左端の図に示すように、実際輪郭に沿った観測点(即ち、内部に細かいメッシュを付した丸)と予測輪郭の予測点(即ち、内部に複数のドットを付した丸)とに対して、前記文献[3]に記載のスキャンマッチングによって、そのまま位置合わせを行うと、場合によっては、図14Bに示すように、適切な位置合わせが行えないことがある。
【0094】
つまり、実際輪郭の観測点は、実際輪郭の右下側の2つの側面の観測点であるが、予測輪郭の予測点は、予測輪郭の左側の2つ側面の予測点であるので、これらの観測点と予測点とのスキャンマッチングを行っても、観測点と予測点とを正しく対応付けることができないことがある。
【0095】
そこで、本第2実施形態では、まず、図14Aの左から2番目の図に示すように、スキャンマッチングに用いる予測点を取り直す処理を行う。
具体的には、スキャンマッチングに用いる予測点として、センサから直接に検出できる扇状の範囲(例えば、レーダー波の照射範囲)の予測点を取り直す処理を行う。つまり、予測輪郭に沿った全ての予測点のうち、センサから観測できる点を逐次的に見直すようにする。
【0096】
そして、図14Aの右端の図に示すように、実際輪郭の観測点と予測輪郭の取り直した予測点とを用いて、スキャンマッチングを行う。
[2-2.効果]
本第2実施形態は、第1実施形態と同様な効果を奏する。
【0097】
また、本第2実施形態では、スキャンマッチングにおいて、誤ったターゲット3側面等に対応付くことを防ぐことができる。よって、適切な残差計算が可能となるため、追跡精度を向上できる。
【0098】
なお、ターゲット3の予測形状(即ち、予測輪郭)のうち、観測できる位置を対応付けの計算に採用すること自体は、前記文献[3]に記載があるが、本第2実施形態においては、スキャンマッチングの過程で、予測点を取りなおすこと(即ち、逐次的に見直すこと)に特徴がある。
【0099】
[3.第3実施形態]
第3実施形態は、基本的な構成は第1実施形態と同様であるため、以下では主として第1実施形態との相違点について説明する。なお、第1実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
【0100】
本第3実施形態のハード構成は、第1実施形態と同じであるので、その説明は省略する。
本第3実施形態は、観測点が少ない場合の処理を示している。
【0101】
[3-1.処理の内容1]
本第3実施形態の一つの例では、センサ(例えば、測距センサ5)から観測できる点(即ち、観測点群)の空間的な広がりを判断し、その広がりが一定以下の狭い範囲である場合には、スキャンマッチングを行わないようにする。なお、空間的な広がりとしては、平面視における広がりを採用してもよい。
【0102】
つまり、図15に示すように、観測点群の広がりが狭い場合には、観測点と予測点との対応付けが難しく、適切にスキャンマッチングが行えない可能性があるので、そのような場合には、スキャンマッチングを行わないようにする。
【0103】
これにより、不適切なスキャンマッチングに起因する物体の追跡性の低下を抑制できる。
[3-2.処理の内容2]
本第3実施形態の他の例では、センサから観測できる点(即ち、観測点群)の空間的な広がりを判断し、その広がりが一定以下の狭い範囲である場合には、状態量を更新する際に、観測点の情報である観測情報の重みを低下させる。
【0104】
つまり、実際輪郭等の幾何学的な特徴(例えば、四角形の枠の形状)が得られないことを判断し、スキャンマッチングが破綻する可能性があることを想定し、そのような場合には、観測情報の重みを低下させる。
【0105】
以下、詳細に説明する。
観測ノイズが、共分散行列Rtで表現でき、ゼロ平均の多変数正規分布に従うとする。観測が独立であるときは、下記式[数2]に示すように、共分散行列Rtは対角行列として定義される。なお、ここで、観測ノイズとは、例えば、測距センサ5から得られる測距情報の誤差(例えば、距離の誤差やドップラー速度の誤差)のことを意味する。
【0106】
【数2】
【0107】
観測点が1点しかない場合は、空間的な広がりが無い(即ち、面積ゼロ)と判断できるため、共分散行列の成分に非常に大きな値(例えば、10σ)を設定する。2点以上の場合は、例えば点群に外接する矩形の面積を計算し、その面積に応じて、例えば図16に示すような関係で共分散行列の成分を調整する。
【0108】
このように、幾何的な特徴が得られないことを判断し、スキャンマッチングが破綻するような場合に、観測ノイズを増大させ、相対的に観測情報の重みを低下させ、予測重視な推定を行うこと(即ち、予測点を用いた推定を重視すること)を行うことで、ロバスト性向上を図ることがでる。
【0109】
例えば、下記文献[6](下記URL参照)の「非線形カルマンフィルタの基礎」の「命題2(非線形カルマンフィルタ)」に示される下記式[数3]を用いた処理を行うことにより、観測情報の重みを低下させ、予測重視な推定を行うことができる。
【0110】
文献[6]:https://www.jstage.jst.go.jp/article/sicejl/56/9/56_638/_pdf
【0111】
【数3】
【0112】
つまり、公知の前記[数3]に記載の式に、上述した共分散行列Rtを用いて、拡張カルマンフィルタにおけるカルマンゲインKを計算する。ここでは、共分散行列Rtが分母項にくるため、共分散行列Rtが大きいと、カルマンゲインKが小さくなる。そして、カルマンゲインKが小さくなることにより、観測重みが低下する。
【0113】
このように、観測点を用いた推定よりも、予測点を用いた推定を重視することで、そうでない場合に比べて、物体の追跡性を向上させることができる。
[4.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
【0114】
(4a)本開示に記載の物体追跡装置は、車両等の自動運転システムや監視システムなどに適用することができる。
(4b)本開示に記載の物体追跡装置は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。
【0115】
あるいは、本開示に記載の物体追跡装置は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。
【0116】
もしくは、本開示に記載の物体追跡装置は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。
【0117】
また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。物体追跡装置に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
【0118】
(4c)上述した物体追跡装置の他、当該物体追跡装置のコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移有形記録媒体、物体
追跡方法など、種々の形態で本開示を実現することもできる。
【0119】
(4d)上記各実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記各実施形態の構成の一部を省略してもよい。また、上記各実施形態の構成の少なくとも一部を、他の実施形態の構成に対して付加または置換してもよい。
[本明細書が開示する技術思想]
[項目1]
センサ(5)により、周辺環境を所定のサイクルにてセンシングし、当該センシングによって得られた情報に基づいて、ターゲットである物体(3)を追跡する物体追跡装置(1)であって、
前記センサによって得られた前記物体を示す観測点の情報を用いて、現サイクルにおける前記物体の状態を示す状態量を推定するように構成された追跡処理部(9)を備え、
前記追跡処理部は、
前記物体の状態量として、少なくとも前記物体の位置と前記物体の形状とに関する前記状態量を用いるものであり、
前サイクルにて推定した前記物体の状態量に基づいて、前記現サイクルの前記物体から得られた前記観測点を抽出するように構成された観測点抽出部(31)と、
前記前サイクルにて推定した前記物体の状態量に基づいて、前記観測点が期待できる予測する位置に、少なくとも一つの予測点を生成するように構成された予測点生成部(33)と、
前記現サイクルの前記物体から得られた前記観測点と、前記予測点生成部で生成した前記予測点と、をスキャンマッチングにより位置合わせするように構成された位置合わせ部(35)と、
前記現サイクルから得られた前記観測点と前記位置合わせされた前記予測点から、前記観測点に対応する前記予測された位置における前記物体の対応点を求め、前記観測点と前記対応点との残差を算出するように構成された残差計算部(37)と、
前記残差計算部にて算出した残差に基づいて、前記物体の状態量を更新するように構成された状態更新部(39)と、
を備えた、物体追跡装置。
【0120】
[項目2]
項目1に記載の物体追跡装置であって、
前記位置合わせ部は、前記現サイクルの前記物体から得られた前記観測点から、前記物体の輪郭上又は前記輪郭の所定範囲内の近傍にある前記観測点を抽出し、前記抽出した前記観測点を前記スキャンマッチングに用いるように構成された、
物体追跡装置。
【0121】
[項目3]
項目1または項目2に記載の物体追跡装置であって、
前記位置合わせ部は、前記スキャンマッチングの位置合わせの過程で、前記予測点生成部で生成した前記予測点のうち、前記センサにより観測できる前記予測点を選択するように見直しを行うように構成された、
物体追跡装置。
【0122】
[項目4]
項目1から項目3までのいずれか1項に記載の物体追跡装置であって、
前記位置合わせ部は、前記センサにより観測できる前記観測点の点群の空間的な広がりを判断し、前記空間的な広がりが所定範囲以下の場合には、前記スキャンマッチングを行わないように構成された、
物体追跡装置。
【0123】
[項目5]
項目1から項目4までのいずれか1項に記載の物体追跡装置であって、
前記位置合わせ部は、前記センサにより観測できる前記観測点の点群の空間的な広がりを判断し、前記空間的な広がりが所定範囲以下の場合には、前記所定範囲以下でない場合に比べて、前記観測点を用いて前記状態量を更新する際に、前記観測点の重み付けを低減するように構成された、
物体追跡装置。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17