(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-25
(45)【発行日】2023-10-03
(54)【発明の名称】オブジェクト追跡装置、オブジェクト追跡方法、およびプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20230926BHJP
【FI】
H04N7/18 G
(21)【出願番号】P 2022512996
(86)(22)【出願日】2020-03-31
(86)【国際出願番号】 JP2020014821
(87)【国際公開番号】W WO2021199286
(87)【国際公開日】2021-10-07
【審査請求日】2022-09-01
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100106909
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100134544
【氏名又は名称】森 隆一郎
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【氏名又は名称】伊藤 英輔
(72)【発明者】
【氏名】大網 亮磨
【審査官】鈴木 隆夫
(56)【参考文献】
【文献】特表2019-511044(JP,A)
【文献】特開2019-128944(JP,A)
【文献】特開2009-089365(JP,A)
【文献】国際公開第2014/083910(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、
前記センサの速度情報を取得するセンサ速度取得手段と、
前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、
前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段と、
を備えるオブジェクト追跡装置。
【請求項2】
前記パラメータ制御手段は、さらに、前記位置情報取得手段で取得した前記位置情報も用いて、前記パラメータ制御情報を生成する
請求項1に記載のオブジェクト追跡装置。
【請求項3】
前記パラメータ制御手段は、前記センサ速度取得手段で取得された前記速度情報に基づいて、前記追跡処理に関する第1のパラメータを調整し、前記パラメータ制御情報を生成する
請求項1に記載のオブジェクト追跡装置。
【請求項4】
前記パラメータ制御手段は、前記センサ速度取得手段で取得された前記速度情報に基づいて、前記センサの検出特性に関する第2のパラメータを推定し、前記パラメータ制御情報を生成する
請求項2に記載のオブジェクト追跡装置。
【請求項5】
前記パラメータ制御手段は、前記センサ速度取得手段で取得する前記速度情報が所定の値以下のときに、前記位置情報取得手段が取得する前記位置情報を用いて、前記センサの検出特性に関する第2のパラメータを推定し、前記パラメータ制御情報を生成する
請求項4に記載のオブジェクト追跡装置。
【請求項6】
前記パラメータ制御手段は、前記センサ速度取得手段が取得する前記速度情報が、所定の値以下のときに、前記位置情報取得手段が取得する前記位置情報を用いて、前記センサの検出特性に関する第2のパラメータを推定し、第一のパラメータ制御情報を生成し、
前記センサ速度取得手段が取得した前記速度情報と、前記第一のパラメータ制御情報に基づいて、第1のパラメータを調整し、調整した前記第1のパラメータと推定した前記第2のパラメータと合わせて、前記パラメータ制御情報を生成する
請求項2に記載のオブジェクト追跡装置。
【請求項7】
前記追跡処理で用いる前記第1のパラメータは、前記追跡処理で検出する前記オブジェクトと追跡対象オブジェクトの対応付けに用いる対応付け尤度の閾値、追跡対象オブジェクトの確からしさを表す追跡尤度を変化させる度合い、初期の追跡尤度、初期のオブジェクト位置および速度の分散、パーティクルフィルタの粒子数、追跡対象オブジェクトをオブジェクト削除する際の追跡尤度の閾値の少なくとも1つを含む
請求項3又は6に記載のオブジェクト追跡装置。
【請求項8】
前記センサの検出特性に関する前記第2のパラメータは、
前記オブジェクトの検出率とクラッタ発生率の少なくとも1つを含む
請求項4又は6に記載のオブジェクト追跡装置。
【請求項9】
前記位置情報取得手段で用いる前記センサは、電波や光によって前記オブジェクトを検出し、前記オブジェクトの位置を検出する
請求項1から8までのいずれか一項に記載のオブジェクト追跡装置。
【請求項10】
前記位置情報取得手段で用いる前記センサは、画像を取得可能なカメラであり、得られた前記画像を解析して前記オブジェクトを検出する
請求項1から8までのいずれか一項に記載のオブジェクト追跡装置。
【請求項11】
センサにより検出されたオブジェクトの位置情報を取得し、
前記センサの速度情報を取得し、
取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成し、
生成した前記パラメータ制御情報と、取得した前記位置情報とを用いて前記追跡処理を行う
オブジェクト追跡方法。
【請求項12】
オブジェクト追跡装置のコンピュータを、
センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、
前記センサの速度情報を取得するセンサ速度取得手段と、
前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、
前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段、
として機能させるプログラム
。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動体の周囲に存在するオブジェクトを追跡するオブジェクト追跡装置、オブジェクト追跡方法、およびプログラムに関する。
【背景技術】
【0002】
従来、移動体の周囲に存在するオブジェクトを追跡する方式が複数提案されている。
例えば、特許文献1では、UAV(Unmanned Aerial Vehicle)の周囲のオブジェクトを検出し、追跡する方法が開示されている。この特許文献1では、UAVに搭載された撮像デバイスを用いて追跡目標となるオブジェクトを撮影し、追跡する。この際、追跡目標となるオブジェクトが、想定された撮影状態になるように、UAV自体、あるいは撮像デバイスが制御される。具体的には、オブジェクトの位置やサイズなど、想定された撮影状態を表す予想目標情報を求め、その予想目標情報と、実際に撮影される目標物体の撮影状態との偏差を求めて、偏差が小さくなるように補正するための制御信号を生成し、撮像デバイスを制御する。この際、制御する情報としては、追跡目標となるオブジェクトの大きさや位置、あるいは、フォーカス、露光時間などの撮像デバイスのパラメータである。偏差が小さくなるように、UAV、あるいは撮像デバイスの位置や向きを調整したり、フォーカスや露光時間などの撮像デバイスのパラメータを制御したりし、オブジェクト追跡を行っている。
【0003】
また、特許文献2では、車載カメラで撮影したオブジェクトを追跡する方法が開示されている。車載カメラで検出されたオブジェクトをすべて追跡しようとすると、処理負荷が高くなるため、各検出オブジェクトに優先度を付与し、優先度が高いオブジェクトを優先的に追跡している。この際、優先度の算出では、オブジェクト自体のオクルージョン率やトランケーション率、走行中の車線にオブジェクトが存在するかどうか等を考慮している。また、オブジェクト検出器の学習時に用いる学習データの生成で、アノテーション時に追跡すべきオブジェクトかどうかを判定し、重要なオブジェクトを優先的に検出するように、学習段階で制御している。
【0004】
また、特許文献3では、カルマンフィルタを用いて歩行者を追跡し、その移動パラメータを推定する方法が開示されている。この特許文献3では、歩行者を追跡する際に、車速とヨーレイトの誤差分を考慮しているが、この誤差は、センサの分解能を指しており、速度やヨーレイトの大きさによらず、一定であるとみなしている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2018-129063号公報
【文献】特開2019-211831号公報
【文献】特開2018-060326号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
この開示は、上述の課題を解決するオブジェクト追跡装置、オブジェクト追跡方法、およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【0007】
本開示のいくつかの態様は、上述の課題を解決すべくなされたもので、本開示の第1の態様は、センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、前記センサの速度情報を取得するセンサ速度取得手段と、前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段と、を備えるオブジェクト追跡装置である。
【0008】
また、本開示の第2の態様は、センサにより検出されたオブジェクトの位置情報を取得し、前記センサの速度情報を取得し、取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成し、生成した前記パラメータ制御情報と、取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡方法である。
【0009】
また、本開示の第3の態様は、オブジェクト追跡装置のコンピュータを、センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、前記センサの速度情報を取得するセンサ速度取得手段と、前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段、として機能させる記録媒体を記憶した記憶媒体である。
【図面の簡単な説明】
【0010】
【
図1】本開示の第1の実施の形態によるオブジェクト追跡装置の構成を示す概略ブロック図である。
【
図2】本開示の第1の実施の形態によるオブジェクト追跡装置の追跡処理の流れをフローチャートである。
【
図3】本開示の第1の実施の形態によるオブジェクト追跡装置のパラメータ制御部(
図1)の一構成例を示す図である。
【
図4】本開示の第1の実施の形態によるオブジェクト追跡装置のパラメータ制御部(
図1)の他の構成例を示す図である。
【
図5】本開示の第2の実施の形態によるオブジェクト追跡装置の構成を示す概略ブロック図である。
【
図6】本開示の第2の実施の形態によるオブジェクト追跡装置のパラメータ制御部(
図5)の一構成例を示す図である。
【
図7】本開示の第2の実施の形態によるオブジェクト追跡装置のパラメータ制御部(
図5)の他の構成例を示す図である。
【
図8】オブジェクト追跡装置を実現するための計算機、センサ、速度センサを例示する図である。
【
図9】最小構成を有するオブジェクト追跡装置の構成を示すブロック図である。
【
図10】最小構成を有するオブジェクト追跡装置の処理を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下に、本開示を実施するためのいくつかの形態について、図面を参照して詳細に説明する。
【0012】
(第1の実施の形態)
図1は、本開示の第1の実施の形態によるオブジェクト追跡装置100aの構成を示す概略ブロック図である。オブジェクト追跡装置100aは、位置情報取得部101(位置情報取得手段とも称する)、センサ速度取得部102(センサ速度取得手段とも称する)、パラメータ制御部103(パラメータ制御手段とも称する)、オブジェクト追跡部104(オブジェクト追跡とも称する)を備える。
【0013】
位置情報取得部101は、センサでオブジェクトを検出し、検出されたオブジェクトの位置情報であるオブジェクト検出位置情報を、オブジェクト追跡部104へ出力する。
【0014】
センサ速度取得部102は、センサの速度情報を取得し、取得したセンサ速度情報を、パラメータ制御部103へ出力する。
【0015】
パラメータ制御部103は、センサ速度取得部102から出力されるセンサ速度情報に基づいて、オブジェクトの追跡に用いるパラメータを制御するパラメータ制御情報を、オブジェクト追跡部104へ出力する。
【0016】
オブジェクト追跡部104は、パラメータ制御部103から出力されるパラメータ制御情報に基づいて、位置情報取得部101から出力されるオブジェクト検出位置情報を用いてオブジェクト追跡を行い、追跡結果であるオブジェクト追跡情報を出力する。
【0017】
次に、
図1のオブジェクト追跡装置100aの動作について説明する。
位置情報取得部101は、移動体に搭載されたセンサによって、移動体の周囲に存在するオブジェクトを検出し、その位置情報を求める。
【0018】
ここで、センサとしては、オブジェクトの位置検出に利用できるものであれば、どのようなセンサでもよい。例えば、ミリ波レーダやレーザレンジスキャナのように、電波や光を用いて周囲のオブジェクトの有無とその位置を検出するものであってもよい。得られた各検出オブジェクトの座標は、実世界上での座標に変換されて出力される。この際、座標は、センサの位置や移動体の所定の位置を基準とした座標系で記述される。
【0019】
あるいは、カメラのように、周囲の画像を撮影するデバイスを、センサとして用いてもよい。この場合は、画像からオブジェクトを検出する画像処理技術と組み合わせ、周囲のオブジェクト検出と位置推定を行う。この画像処理の方式としては、既存の様々な方式を用いることができる。オブジェクト検出の方式としては、例えば、あらかじめ学習させたニューラルネットワークベースの検出器を用いる検出方式や、エッジなどの特徴量を抽出した上で、あらかじめ学習させた検出器を用いてオブジェクトを検出する方式を用いることができる。
【0020】
また、センサがカメラ画像の場合には、位置情報は画像上の情報であってもよい。この場合は、位置推定としては、オブジェクトの検出結果から直接そのオブジェクトの位置情報(すなわち、画像上の座標)を求める方式を用いることができる。一方、位置情報は、実世界座標系に変換されたものであってもよい。この場合は、カメラのキャリブレーション情報を用いて、カメラ座標を実世界座標に変換し、オブジェクトの位置を求める。キャリブレーション情報は、カメラの位置と姿勢、およびレンズ等の特性によって定まり、事前に求めておくことが可能である。
【0021】
あるいは、カメラを2つ用いて、ステレオ視によって位置を求めるようにしてもよい。この場合は、既存の様々なステレオ方式によってオブジェクトの位置を求めることができる。あるいは、TOF(Time Of Flight)カメラのように奥行き計測が可能なカメラを用い、オブジェクトの位置を求めるようにしてもよい。
【0022】
位置情報取得部101は、このようにして取得したオブジェクト検出位置情報を、オブジェクト追跡部104へ出力する。オブジェクト検出位置情報は、検出されたオブジェクトの数と、各検出オブジェクトを識別するID情報、および、各オブジェクトの位置情報を含む。オブジェクト検出位置情報は、さらに、検出された位置にどの程度の誤差が含まれ得るかを表す誤差情報も含んでもよい。もし、誤差特性が方向によって異なる場合には、オブジェクト検出位置情報は、方向別の誤差情報を含んでもよい。なお、検出処理の結果、オブジェクトが一つも検出されなかった場合であっても、そのことを示す情報(すなわち、オブジェクト検出数が0であること)を、位置情報取得部101は、オブジェクト検出位置情報として出力する。
【0023】
また、センサがカメラの場合には、オブジェクト検出位置情報と合わせて、オブジェクトの外見特徴を表す情報も併せて出力してもよい。この情報は、追跡の際のオブジェクトの対応付けに用いることができる。
【0024】
センサ速度取得部102は、オブジェクト追跡装置100aでオブジェクトの位置を検出するセンサの速度を取得する。センサが移動体に固定されている場合には、移動体の速度がセンサの速度となるため、移動体の速度を計測するセンサを用いればよい。例えば、移動体がUAVの場合は、UAVの速度を、センサ速度として取得する。速度を計測して取得する方法としては、既存の任意の方式を用いることができる。なお、ここでセンサ速度情報としては、センサの速度の大きさだけでなく、センサが移動する向きの情報を含んでいてもよい。取得したセンサ速度情報は、パラメータ制御部103へ出力される。
【0025】
パラメータ制御部103は、センサ速度取得部102から入力されるセンサ速度情報に基づいて、追跡パラメータを制御する情報を含むパラメータ制御情報を生成する。この処理の詳細は後述する。パラメータ制御部103は、生成したパラメータ制御情報を、オブジェクト追跡部104へ出力する。
【0026】
オブジェクト追跡部104は、位置情報取得部101から出力されるオブジェクト検出位置情報を用いて、「Tracking by Detection」と呼ばれる追跡処理であって、検出結果に基づいた追跡処理を行う。すなわち、一つ前の時刻までのオブジェクト追跡結果に含まれ、追跡対象となっている各オブジェクトが、現時刻のオブジェクト検出結果に含まれる、どの検出オブジェクトと対応づくかを求め、追跡結果を更新する。
【0027】
追跡処理としては、カルマンフィルタやパーティクルフィルタによる方式など、様々な方式を用いることができる。あるいは、複数オブジェクトの存在分布を推定するPHD(Probabilistic Hypothesis Density)フィルタによる方式や、さらにオブジェクト数の分布も同時に推定するCPHD(Cardinal PHD)フィルタによる方式を用いてもよい。
【0028】
図2は、本開示の第1の実施の形態によるオブジェクト追跡装置100aの追跡処理の流れをフローチャートである。
【0029】
ステップS101では、過去の追跡結果から、各追跡対象オブジェクトの位置を予測する。すなわち、過去の追跡結果に基づいてオブジェクトの動きモデルを求めておき、動きモデルと過去の位置情報に基づいて、現時刻におけるオブジェクトの位置を予測する。例えば、カルマンフィルタを用いて追跡する場合には、線形な動きモデルを用い、一つ前の位置から現在の位置を予測する。パーティクルフィルタを用いる場合には、動きモデルに基づいて各粒子の位置を定める。この際、動きとして想定される値の分布を考慮して、各粒子の動き量や向きを変化させて位置を予測する。
【0030】
ステップS102では、入力されるオブジェクト位置検出結果と追跡対象オブジェクトとを対応付ける。すなわち、検出された各オブジェクトと追跡対象となっている各オブジェクトとの対応付けを行う。対応付けの指標としては、対応付けの確からしさを表す対応付け尤度を用いることができ、例えば位置の類似度を用いることができる。この場合、追跡対象オブジェクトから各検出オブジェクトまでの距離を求め、距離の単調非増加関数として対応付け尤度を定め、対応付け尤度が所定の閾値以上のものを対応づくとみなす。あるいは、距離をそのまま用い、距離が所定の閾値以内のときに対応づくとみなしてもよい。この際、単純なユークリッド距離で対応付けを行うのではなく、位置の分散を考慮し、マハラノビス距離を用いて判定してもよい。あるいは、検出されたオブジェクトと追跡対象オブジェクトを排他的に対応付ける場合には、ハンガリアン法による対応付けを行ってもよい。この際の対応付けのコストにも、上述の距離を用いることができる。
【0031】
この結果、追跡対象オブジェクトと検出オブジェクトを対応付ける対応付け情報が生成される。対応づけ情報は、各追跡対象オブジェクトが、どの検出オブジェクトに対応づくかを表す情報である。この際、単に対応づいたかどうかという情報だけでなく、対応付け尤度も含めてもよい。また、追跡対象オブジェクトの中には、検出オブジェクトと対応づかないものも存在し得る。この場合は、その追跡対象オブジェクトに対しては、未対応であることを表す情報を生成する。同様に、検出オブジェクトの中にも、追跡対象オブジェクトと対応づかないものが存在し得るが、同様に未対応であることを表す情報を対応付け情報として生成する。
【0032】
なお、センサがカメラの場合で外見特徴も用いることができる場合には、外見特徴の類似性も併せて考慮し、対応付けを行ってもよい。すなわち、位置の類似性と外見特徴の類似性の両方を用いて対応付け尤度を求め、対応付けを行ってもよい。この際の組み合わせ方法としては、既存の様々な方式を用いることができ、例えば、類似度の重みづけ加算によって対応付け尤度を求めてもよい。
【0033】
ステップS103では、各追跡対象オブジェクトの情報を更新する。カルマンフィルタを用いてオブジェクトの追跡を行う場合には、対応づいた検出オブジェクトの位置によって、カルマンフィルタの更新式に従って追跡対象オブジェクトの位置を更新する。パーティクルフィルタを用いてオブジェクトの追跡を行う場合は、各粒子の対応付け尤度を求め、全体として最も尤度が高くなる位置を追跡対象オブジェクトの位置とするとともに、尤度に応じて粒子の再サンプリングを行う。なお、未対応の追跡対象オブジェクトについては、予測位置を現在の位置とみなして、オブジェクトの位置を更新する。
【0034】
また、追跡対象オブジェクトの確からしさを表す尤度である追跡尤度も併せて更新する。対応付け尤度が、所定値よりも高い場合には、追跡結果が確からしいと考えられるため、追跡尤度の値を高める。一方、対応付け尤度が、所定値よりも低い場合、あるいは未対応の場合には、追跡尤度の値を低くする。
【0035】
一方、PHDフィルタやCPHDフィルタによって追跡を行う場合には、分布自体がオブジェクトの存在確率を表しているため、追跡尤度はフィルタの更新式によって自動的に算出される。具体的には、対応付け尤度と、未検出の発生頻度(あるいは、オブジェクトが検出される度合いを表す検出率)と、誤検出の発生頻度を表すクラッタ発生率を用い、所定の更新式によって算出する。
【0036】
ステップS104では、追跡対象オブジェクトの新規生成、削除の処理を行う。どの追跡対象オブジェクトとも対応づかなかった、未対応の検出オブジェクトは、新たに出現したオブジェクトである可能性が高いため、その検出オブジェクトに対応する追跡対象オブジェクトを新たに生成し、オブジェクト追跡結果に追加する。特に、追跡開始時点では、追跡対象オブジェクトが存在しないため、検出されたオブジェクトをすべてオブジェクト追跡結果に追加し、以降の追跡で用いる。この際、付与する初期の追跡尤度としては、あらかじめ定めた値を用いてもよいし、あるいは、検出の確からしさによって変化させてもよい。また、PHDフィルタやCPHDフィルタの場合は、オブジェクトの発生確率も用いて追跡尤度を定めてもよい。また、カルマンフィルタを用いる場合は、位置や速度の分散として所定の初期値を設定する。パーティクルフィルタを用いる場合は、さらに、用いる粒子数もパラメータとして設定する。
【0037】
一方、どの検出オブジェクトとも対応づかなかった、未対応の追跡対象オブジェクトは、現フレームでたまたま未検出であったケース以外にも、以前の誤検出に基づいて追加された追跡対象オブジェクトであったり、追跡対象オブジェクトがセンサの覆域外に出て消失したりしたケースが考えられる。よって、何度も未対応が続いて追跡尤度が低くなった追跡対象オブジェクトは、現時点で存在している可能性が低いと判定し、削除する。
【0038】
ステップS105では、位置情報取得部101から次のオブジェクト検出位置情報が入力されたか否かを判定し、オブジェクト検出位置情報が入力されたとき(ステップS105のYES)には、ステップS101に戻り、そうでないとき(ステップS105のNO)には、
図2のフローチャートの処理を終了する。
【0039】
このようにして、オブジェクト追跡部104は、現時刻におけるオブジェクト追跡情報を生成し、出力する。ここで、オブジェクト追跡情報は、オブジェクトの位置、追跡対象オブジェクトごとに付与されたID情報、対応づいた検出オブジェクトのID情報(対応づかなかった場合には未対応であることを表す情報)を含む。
【0040】
なお、位置情報の記述方法は任意である。センサがカメラの場合であって、位置情報が画面上の位置を表す場合には、追跡オブジェクトの外接矩形を求め、その情報自体で位置を示してもよいし、追跡オブジェクト領域中の一点(例えば、オブジェクトの外接矩形の中心や下辺の中点などの定められた点)の座標を求めてもよい。あるいは、位置情報を実空間座標で表す場合には、必要に応じて所定の座標系に変換して出力する。例えば、もともと求まっている位置座標がセンサごとの個別の座標系であり、移動体によって定められる座標系に変換する必要がある場合には、センサの設置位置や向きに基づいて、センサ座標系から移動体の座標系に変換する変換式を求めておき、上述の追跡で求まった位置座標を変換して出力する。
【0041】
オブジェクト追跡部104は、上述の追跡処理によって用いる、対応付け尤度の閾値や、更新時に追跡尤度を変化させる度合い、初期の追跡尤度や、初期のオブジェクト位置、速度の分散、パーティクルフィルタの粒子数、オブジェクト削除時の追跡尤度の閾値などの追跡パラメータを、パラメータ制御部103から出力されるパラメータ制御情報に基づいて制御する。また、PHDやCPHDフィルタの更新で用いる、検出率やクラッタ発生率といったセンサの検出特性に基づくパラメータ(以後、センサ特性パラメータと呼ぶ)も、パラメータ制御部103から出力されるパラメータ制御情報に基づいて制御する。これらの制御については、この後に述べるパラメータ制御部103の動作説明の際に一緒に述べる。
【0042】
次に、パラメータ制御部103について図を用いて説明する。
図3は、本開示の第1の実施の形態によるオブジェクト追跡装置100aのパラメータ制御部103(
図1)の一構成例を示す図である。
図3に示すパラメータ制御部103は、追跡パラメータ調整部110を備える。追跡パラメータ調整部110は、センサ速度情報に基づいて追跡パラメータを調整し、パラメータ制御情報を生成し、オブジェクト追跡部104(
図1)へ出力する。
【0043】
次に、
図3のパラメータ制御部103の動作について説明する。
追跡パラメータ調整部110は、入力されるセンサ速度情報によって、追跡パラメータの調整を行う。移動体が移動している場合、センサがオブジェクトを検出してから実際に位置情報を出力するまでに遅延がある場合、センサから出力される位置情報は、現在のオブジェクトの位置からずれている可能性がある。もし、この遅延が一定であれば大きな問題は生じないが、遅延のばらつきが大きい場合で、かつ移動体の速度が大きい場合には、位置のずれが追跡に与える影響を無視できなくなる。その結果、オブジェクトの追跡結果が途切れやすくなるなどの影響が生じ得る。
【0044】
これを避けるために、移動体の速度が速い場合には、位置のずれが大きい可能性を考慮し、検出オブジェクトと追跡対象オブジェクトの対応付けで用いるパラメータを制御する。具体的には、対応づけ尤度の閾値を低め(あるいは検出オブジェクトと追跡対象オブジェクトの距離の閾値を高め)に設定する。また、追跡対象オブジェクトを新規生成する際、オブジェクトの位置や速度の分散を大きめに設定する。あるいは、パーティクルフィルタで用いる粒子数を増やし、より多くの位置を追跡候補に加えてもよい。
【0045】
また、位置ずれによって追跡が途切れやすくなることを考慮し、追跡尤度更新時の追跡尤度の変動幅を小さくしたり、追跡対象オブジェクト削除時の追跡尤度の閾値を下げたりしてもよい。
【0046】
追跡パラメータ調整部110は、センサ速度と上述のパラメータの変更値の関係を記述した情報(変換テーブルや、変換に必要なロジックの情報など)を保持しており、センサ速度情報が入力されると、変更する追跡パラメータの変更後の値を求め、この値を含むパラメータ制御情報を生成し、オブジェクト追跡部104(
図1)へ出力する。そして、オブジェクト追跡部104では、パラメータ制御情報に含まれるパラメータの値を用いて、オブジェクトの追跡を行う。
【0047】
このように、センサ速度の大きさに応じて、追跡パラメータを制御することで、追跡の途切れを減らすことができ、追跡の精度が向上する。
【0048】
次に、パラメータ制御部103(
図1)の別の例ついて説明する。
図4は、本開示の第1の実施の形態によるオブジェクト追跡装置100aのパラメータ制御部103(
図1)の他の構成例を示す図である。
図4に示すパラメータ制御部103は、センサ特性パラメータ推定部111を備える。センサ特性パラメータ推定部111は、センサ速度情報に基づいてセンサ特性パラメータを推定し、パラメータ制御情報を生成し、オブジェクト追跡部104(
図1)へ出力する。
【0049】
次に、
図4のパラメータ制御部103の動作について説明する。
センサ特性パラメータ推定部111は、入力されるセンサ速度情報に基づいて、センサ特性パラメータの推定を行う。
【0050】
センサによっては、移動速度によって、検出率やクラッタ発生率といったセンサ特性パラメータが変わり得る。例えば、カメラの場合、動きボケが生じることによって、オブジェクト検出の特性が変わる。よって、移動速度によって影響を受けるセンサを用いる場合には、センサ速度に応じて、検出率やクラッタ発生率を推定する。
【0051】
これは、例えば、事前に様々な速度に応じてセンサの特性を実測しておき、センサ速度に対応付けて記憶しておけばよい。そして、センサ特性パラメータ推定部111は、入力されるセンサ速度に応じて、対応するセンサ特性の値を読み出し、読み出したセンサ特性パラメータの値を含むパラメータ制御情報を生成し、オブジェクト追跡部104(
図1)へ出力する。オブジェクト追跡部104は、パラメータ制御情報に含まれるセンサ特性パラメータの値を用いて、オブジェクトの追跡を行う。
【0052】
これにより、追跡で用いるセンサ特性パラメータが実際の値に近づくため、追跡の精度が向上する。
このように、第1の実施の形態では、センサ速度を用いてパラメータを制御することにより、移動体の速度にあった追跡を行うことができ、移動体の周囲にあるオブジェクトの追跡精度を向上できる。
【0053】
(第2の実施の形態)
次に、本開示の第2の実施の形態について説明する。第2の実施の形態によるオブジェクト追跡装置の構成及び処理が、第1の実施の形態によるオブジェクト追跡装置100aと同じ部分については、それらの説明を省略する。
【0054】
図5は、本開示の第2の実施の形態によるオブジェクト追跡装置100bの構成を示す概略ブロック図である。オブジェクト追跡装置100bは、位置情報取得部101、センサ速度取得部102と、パラメータ制御部203と、オブジェクト追跡部104を備える。
図1のオブジェクト追跡装置100aと比較すると、
図5のオブジェクト追跡装置100bは、パラメータ制御部103のかわりに、パラメータ制御部203を備えている。
【0055】
位置情報取得部101から出力されるオブジェクト検出位置情報は、オブジェクト追跡部104とパラメータ制御部203へ出力される。センサ速度取得部102から出力されるセンサ速度情報は、パラメータ制御部203へ出力される。パラメータ制御部203は、位置情報取得部101から出力されるオブジェクト検出位置情報と、センサ速度取得部102から出力されるセンサ速度情報とに基づいて、パラメータ制御情報を生成し、オブジェクト追跡部104へ出力する。それ以外の接続関係は、
図1と同様であるため、それらの説明を省略する。
【0056】
次に、
図5のオブジェクト追跡装置100bの動作について説明する。
位置情報取得部101、センサ速度取得部102、オブジェクト追跡部104の動作は、
図1の場合と同様である。
【0057】
パラメータ制御部203は、位置情報取得部101から出力されるオブジェクト検出位置情報と、センサ速度取得部102から入力されるセンサ速度情報に基づいて、追跡パラメータを制御する情報を含むパラメータ制御情報を生成する。この処理の詳細は後で述べる。生成されたパラメータ制御情報は、オブジェクト追跡部104へ出力される。
次に、パラメータ制御部203の詳細について説明する。
【0058】
図6は、本開示の第2の実施の形態によるオブジェクト追跡装置100bのパラメータ制御部203(
図5)の一構成例を示す図である。
図6に示すパラメータ制御部103は、センサ特性パラメータ推定部211を備えるセンサ特性パラメータ推定部211は、オブジェクト検出位置情報と、センサ速度情報とに基づいて、センサ特性パラメータを推定し、パラメータ制御情報を生成し、オブジェクト追跡部104(
図5)へ出力する。
【0059】
次に、
図6のパラメータ制御部203の動作について説明する。
図6のセンサ特性パラメータ推定部211は、実際にセンサで得られたオブジェクト検出位置情報も使ってセンサ特性パラメータを推定する点で、
図4のセンサ特性パラメータ推定部111とは異なる。センサの検出率やクラッタ発生率などの検出に関する特性は、センサの個体差があり、ある程度のばらつきが存在する。このため、センサごとに個別に調整しない限りは、設定された値からずれがある場合がある。また、経年劣化等によって、センサの性能が途中で変化することも考えられえる。このようにセンサの検出特性がずれると、PHDやCPHDフィルタのようにその値を用いて実行される追跡にも悪影響を及ぼす。これを避けるためには、センサの特性を推定し、補正する必要が生じる。
【0060】
移動体が止まっている状況であれば、周囲の静止オブジェクトは静止し続けるため、あえて追跡しなくても、同一物体を時系列で対応付けることが可能となる。その結果、未検出が容易に判定できるようになり、検出率を推定できる。また、周囲に移動しているオブジェクトであっても、移動体が移動している場合よりも動きがシンプルになるため、追跡しやすくなる。よって、誤検知の判定も容易になる。
【0061】
したがって、実際の検出結果に基づく検出率やクラッタ発生率の推定は、移動体が止まっているとき、あるいは、一定速度よりもゆっくり動いているときに限定するほうが望ましい。よって、センサ特性パラメータ推定部211は、センサ速度の大きさが所定の閾値以下である場合のみ、上述の推定を行う。そして、センサ特性パラメータ推定部211は、推定された結果が求まった時点で、パラメータ制御情報を生成し、そのパラメータ制御情報を、オブジェクト追跡部104(
図5)へ出力する。
【0062】
このようにすることで、センサの個体差まで考慮したセンサ特性パラメータの推定精度の向上が可能となり、追跡精度が向上する。
【0063】
次に、パラメータ制御部203(
図5)の別の例ついて説明する。
【0064】
図7は、本開示の第2の実施の形態によるオブジェクト追跡装置100bのパラメータ制御部203(
図5)の他の構成例を示す図である。
図7に示すパラメータ制御部203は、追跡パラメータ調整部210、センサ特性パラメータ推定部211を備える。センサ特性パラメータ推定部211は、センサ速度情報とオブジェクト検出位置情報とに基づいてセンサ特性パラメータを推定し、パラメータ制御情報を生成し、そのパラメータ制御情報を、追跡パラメータ調整部210へ出力する。追跡パラメータ調整部210は、センサ速度情報と、センサ特性パラメータ推定部211から出力されるセンサ特性に関するパラメータ制御情報に基づいて、追跡パラメータを調整してパラメータ制御情報を生成し、生成したパラメータ制御情報を、オブジェクト追跡部104(
図5)へ出力する。
【0065】
次に、
図7のパラメータ制御部203の動作について説明する。
センサ特性パラメータ推定部211の動作は、
図6で説明した動作と同様である。
追跡パラメータ調整部210の動作は、
図3の追跡パラメータ調整部110の動作と同様であるが、センサ特性パラメータ推定部211から出力されるセンサ特性パラメータの制御情報に基づいて、追跡パラメータの調整をさらに行う点が異なる。
【0066】
例えば、センサ特性パラメータ推定部211から出力されるパラメータ制御情報が、推定されるクラッタ発生率が増加していることを示している場合には、追跡対象オブジェクトが誤ってクラッタと対応づかないように、対応付けのパラメータを厳しくする(対応づけ尤度の閾値を上げる(距離の閾値を小さくする)など)ようにする。この追跡パラメータの調整は、例えば、事前にクラッタ発生率に対してどのように追跡パラメータを変化させるかを決め、その対応関係を保持しておけばよい。そして、入力されるクラッタ発生率に応じて、用いる追跡パラメータを選択するようにする。
【0067】
センサ特性パラメータ推定部211は、このようにして追跡パラメータの値を調整し、この値を含むパラメータ制御情報を生成する。出力されるパラメータ制御情報は、追跡パラメータに関する情報のみを含んでもよいし、追跡パラメータと、センサ特性パラメータ推定部211から出力されたセンサ特性パラメータの両方の情報を含んでもよい。
【0068】
このように、センサ特性に基づくパラメータも用いて追跡パラメータを調整することで、より適切なパラメータ調整が可能となり、追跡の精度が向上する。
このように、第2の実施の形態では、センサ速度だけでなく、オブジェクト検出位置情報も用いてパラメータ制御情報を生成することで、より適切な追跡が行えるようになり、追跡精度が向上する。
【0069】
<ハードウエアの構成例>
ここで、第1の実施の形態によるオブジェクト追跡装置100a(
図1)、および、第2の実施の形態によるオブジェクト追跡装置100b(
図5)のハードウエア構成について以下に説明する。オブジェクト追跡装置100a及び100bの各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、オブジェクト追跡装置100a及び100bの各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【0070】
図8は、オブジェクト追跡装置100a及び100bを実現するための計算機1000、センサ1200、速度センサ1300を例示する図である。計算機1000は、任意の計算機である。例えば計算機1000は、Personal Computer(PC)、産業用コンピュータなどである。計算機1000は、オブジェクト追跡装置100a及び100bを実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
【0071】
計算機1000は、バス1020、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力I/F(インタフェース)1100、及び周辺機器I/F1120を備える。
【0072】
バス1020は、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力I/F1100、及び周辺機器I/F1120が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1040などを互いに接続する方法は、バス接続に限定されない。
【0073】
プロセッサ1040は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は、FPGA(Field-Programmable Gate Array)などの種々のプロセッサである。
【0074】
メモリ1060は、RAM(Random Access Memory)などを用いて実現される主記憶装置である。
【0075】
ストレージデバイス1080は、ハードディスク、SSD(Solid State Drive)、メモリカード、又は、ROM(Read Only Memory)などを用いて実現される補助記憶装置である。
【0076】
入出力I/F1100は、計算機1000と入出力デバイスとを接続するためのインタフェースである。例えば、入出力I/F1100には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
【0077】
周辺機器I/F1120は、周辺機器を計算機1000に接続するためのインタフェースである。周辺機器I/F1120は、例えば、USB(Universal Serial Bus)やIEEE1394などのインタフェースである。あるいは、有線又は無線のネットワークインターフェースやBruetoothなどのインタフェースである。
【0078】
さらに、周辺機器インタフェースI/Fには、センサ1200、速度センサ1300が接続されている。センサ1200及び速度センサ1300と、計算機1000とは、周辺機器インタフェースI/Fを介して通信できる。ここで、センサ1200、速度センサ1300は、オブジェクト追跡装置100a及び100bの、位置情報取得部101、センサ速度取得部102に、それぞれ該当する。なお、位置情報取得部101がカメラによって取得した映像を解析し、オブジェクトの位置を求める場合には、カメラとその映像を処理する機能が組み合わされる。この場合、センサとしてはカメラのみを接続し、そのあとの処理は、計算機1000側で実行してもよい。
【0079】
ストレージデバイス1080は、オブジェクト追跡装置100a又は100bの各部を実現するプログラムモジュールを記憶している。プロセッサ1040は、これら各プログラムモジュールをメモリ1060に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
【0080】
図9は、最小構成を有するオブジェクト追跡装置100cの構成を示すブロック図である。オブジェクト追跡装置100cは、パラメータ制御部303、オブジェクト追跡部304を備える。
【0081】
図10は、最小構成を有するオブジェクト追跡装置100cの処理を示すフローチャートである。
パラメータ制御部303は、センサの速度情報に基づいて、オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成する(ステップS201)。
そして、オブジェクト追跡部304は、パラメータ制御部303で生成したパラメータ制御情報と、オブジェクトの位置情報とを用いて追跡処理を行う(ステップS202)。
【0082】
以上、本開示を、上述した第1及び第2の実施の形態に適用した例として説明した。しかしながら、本開示の技術的範囲は、上述した各実施の形態に記載した範囲には限定されない。当業者には、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本開示の技術的範囲に含まれ得る。そして、このことは、請求の範囲に記載した事項から明らかである。
【0083】
上記の第1又は第2の実施の形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
【0084】
(付記1) センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、
前記センサの速度情報を取得するセンサ速度取得手段と、
前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、
前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段と、
を備えるオブジェクト追跡装置。
【0085】
(付記2) 前記パラメータ制御手段は、さらに、前記位置情報取得手段で取得した前記位置情報も用いて、前記パラメータ制御情報を生成する
付記1に記載のオブジェクト追跡装置。
【0086】
(付記3) 前記パラメータ制御手段は、前記センサ速度取得手段で取得された前記速度情報に基づいて、前記追跡処理に関する第1のパラメータを調整し、前記パラメータ制御情報を生成する
付記1に記載のオブジェクト追跡装置。
【0087】
(付記4) 前記パラメータ制御手段は、前記センサ速度取得手段で取得された前記速度情報に基づいて、前記センサの検出特性に関する第2のパラメータを推定し、前記パラメータ制御情報を生成する
付記2に記載のオブジェクト追跡装置。
【0088】
(付記5) 前記パラメータ制御手段は、前記センサ速度取得手段で取得する前記速度情報が所定の値以下のときに、前記位置情報取得手段が取得する前記位置情報を用いて、前記センサの検出特性に関する第2のパラメータを推定し、前記パラメータ制御情報を生成する
付記4に記載のオブジェクト追跡装置。
【0089】
(付記6) 前記パラメータ制御手段は、前記センサ速度取得手段が取得する前記速度情報が、所定の値以下のときに、前記位置情報取得手段が取得する前記位置情報を用いて、前記センサの検出特性に関する第2のパラメータを推定し、第一のパラメータ制御情報を生成し、
前記センサ速度取得手段が取得した前記速度情報と、前記第一のパラメータ制御情報に基づいて、第1のパラメータを調整し、調整した前記第1のパラメータと推定した前記第2のパラメータと合わせて、前記パラメータ制御情報を生成する
付記2に記載のオブジェクト追跡装置。
【0090】
(付記7) 前記追跡処理で用いる前記第1のパラメータは、前記追跡処理で検出する前記オブジェクトと追跡対象オブジェクトの対応付けに用いる対応付け尤度の閾値、追跡対象オブジェクトの確からしさを表す追跡尤度を変化させる度合い、初期の追跡尤度、初期のオブジェクト位置および速度の分散、パーティクルフィルタの粒子数、追跡対象オブジェクトをオブジェクト削除する際の追跡尤度の閾値の少なくとも1つを含む
付記3又は6に記載のオブジェクト追跡装置。
【0091】
(付記8) 前記センサの検出特性に関する前記第2のパラメータは、
前記オブジェクトの検出率とクラッタ発生率の少なくとも1つを含む
付記4又は6に記載のオブジェクト追跡装置。
【0092】
(付記9) 前記位置情報取得手段で用いる前記センサは、電波や光によって前記オブジェクトを検出し、前記オブジェクトの位置を検出する
付記1から8までのいずれか一項に記載のオブジェクト追跡装置。
【0093】
(付記10) 前記位置情報取得手段で用いる前記センサは、画像を取得可能なカメラであり、得られた前記画像を解析して前記オブジェクトを検出する
付記1から8までのいずれか一項に記載のオブジェクト追跡装置。
【0094】
(付記11) センサにより検出されたオブジェクトの位置情報を取得し、
前記センサの速度情報を取得し、
取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成し、
生成した前記パラメータ制御情報と、取得した前記位置情報とを用いて前記追跡処理を行う
オブジェクト追跡方法。
【0095】
(付記12) オブジェクト追跡装置のコンピュータを、
センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、
前記センサの速度情報を取得するセンサ速度取得手段と、
前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、
前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段、
として機能させるプログラムを記録した記録媒体。
【産業上の利用可能性】
【0096】
本開示のいくつかの態様によるオブジェクト追跡装置は、UAVなど移動体に搭載されたセンサによって周囲のオブジェクトを検出、追跡し、周囲に障害物等がないかどうかを把握するのに用いることができる。移動体としては、UAVだけでなく、車両やロボット、船舶、潜水艇など、オブジェクト検知のためのセンサを搭載して移動する、あらゆるものを含む。
【符号の説明】
【0097】
100a、100b、100c・・・オブジェクト追跡装置
101・・・位置情報取得部
102・・・センサ速度取得部
103・・・パラメータ制御部
104・・・オブジェクト追跡部
110・・・追跡パラメータ調整部
111・・・センサ特性パラメータ推定部
203・・・パラメータ制御部
210・・・追跡パラメータ調整部
211・・・センサ特性パラメータ推定部
303・・・パラメータ制御部
304・・・オブジェクト追跡部
1000・・・計算機
1020・・・バス
1040・・・プロセッサ
1060・・・メモリ
1080・・・ストレージデバイス
1100・・・入出力I/F
1120・・・周辺機器I/F
1200・・・センサ
1300・・・速度センサ