特開 2023-69801 トラッキング装置、トラッキング方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023069801

(43)【公開日】2023-05-18

(54)【発明の名称】トラッキング装置、トラッキング方法およびプログラム

(51)【国際特許分類】

   G06T 7/246 20170101AFI20230511BHJP

   G06N 20/00 20190101ALI20230511BHJP

   G06T 7/00 20170101ALI20230511BHJP

【ＦＩ】

G06T7/246

G06N20/00 130

G06T7/00 350C

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021181936

(22)【出願日】2021-11-08

(71)【出願人】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(72)【発明者】

【氏名】関川 雄介

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA69

5L096HA05

5L096HA11

5L096KA04

5L096KA15

(57)【要約】      （修正有）

【課題】イベントデータのスパース性を活用し、効率的な計算を行えるトラッキング装置を提供する。
【解決手段】トラッキング装置１は、イベントデータとトラッキング対象物の相対位置及び相対速度との関係が予め学習された多層パーセプトロンを記憶した記憶部１３と、入力されたイベントデータからトラッキング対象物の相対位置及び相対速度を演算する演算部１１と、を備える。演算部１１は、イベントカメラから取得したイベントデータと、トラッキング対象物の暫定的な相対位置及び相対速度のデータを多層パーセプトロンに入力し、イベントデータに対する暫定的な相対位置及び相対速度のずれを求める処理と、ずれを小さくする方向にトラッキング対象物の相対位置および相対速度のデータを修正する処理を繰り返し行い、所定の終了条件を満たしたときの相対位置及び相対速度をトラッキング対象物の相対位置及び相対速度として求める。
【選択図】図５

【特許請求の範囲】

【請求項1】

イベントカメラから取得したイベントデータを用いてトラッキング対象物のトラッキングを行う装置であって、
前記トラッキング対象物の相対位置と相対速度に対応するイベントデータを教師データとして、イベントデータとトラッキング対象物の相対位置および相対速度との関係を予め学習した多層パーセプトロンを記憶した記憶部と、
入力されたイベントデータからトラッキング対象物の相対位置及び相対速度を演算する演算部とを備え、
前記演算部は、
イベントカメラから取得したイベントデータと、トラッキング対象物の暫定的な相対位置および相対速度のデータを前記多層パーセプトロンに入力し、イベントデータに対する前記暫定的な相対位置及び相対速度のずれを求める処理と、
前記ずれを小さくする方向に前記トラッキング対象物の相対位置および相対速度のデータを修正する処理と、
修正したトラッキング対象物の相対位置および相対速度のデータを、暫定的なトラッキング対象物の相対位置および相対速度のデータとして前記多層パーセプトロンに入力してイベントデータに対するずれを求める処理と、
を繰り返し行い、所定の終了条件を満たしたときの相対位置および相対速度をトラッキング対象物の相対位置および相対速度として求めるトラッキング装置。

【請求項2】

トラッキング対象物は、所定の図柄を有する平面、または３次元形状である請求項１に記載のトラッキング装置。

【請求項3】

前記多層パーセプトロンは、トラッキング対象物の相対位置および相対速度と、それに対応するイベントデータであってブラー処理をかけたイベントデータを教師データとして、学習されたものである請求項１または２に記載のトラッキング装置。

【請求項4】

イベントカメラから取得したイベントデータを用いてトラッキング対象物のトラッキングを行う方法であって、
前記トラッキング対象物の相対位置と相対速度に対応するイベントデータを教師データとして、イベントデータとトラッキング対象物の相対位置および相対速度との関係を予め学習した多層パーセプトロンを準備するステップと、
イベントカメラから取得したイベントデータと、トラッキング対象物の暫定的な相対位置および相対速度のデータを前記多層パーセプトロンに入力し、イベントデータに対する前記暫定的な相対位置及び相対速度のずれを求めるステップと、
前記ずれを小さくする方向に前記トラッキング対象物の相対位置および相対速度のデータを修正し、修正したトラッキング対象物の相対位置および相対速度のデータを、暫定的なトラッキング対象物の相対位置および相対速度のデータとして前記多層パーセプトロンに入力してイベントデータに対する前記暫定的な相対位置及び相対速度のずれを求める処理を繰り返し行うステップと、
所定の終了条件を満たしたときの相対位置および相対速度をトラッキング対象物の相対位置および相対速度として求めるステップと、
を備えるトラッキング方法。

【請求項5】

トラッキング対象物の相対位置および相対速度とイベントデータとの関係を表す多層パーセプトロンの生成方法であって、
トラッキング対象物の相対位置および相対位置とイベントデータを取得するステップと、
イベントデータにブラー処理をかけるステップと、
多層パーセプトロンにトラッキング対象物の相対位置および相対位置のデータを適用して生成されたイベントデータとブラー処理をかけたイベントデータとの誤差を最小にするように多層パーセプトロンの学習を行うステップと、
を備える生成方法。

【請求項6】

イベントデータを取得するステップは、トラッキング対象物が既知である場合には、トラッキング対象物をランダムに移動させるシミュレーションによりイベントデータを生成する請求項５に記載の生成方法。

【請求項7】

イベントカメラから取得したイベントデータを用いてトラッキング対象物のトラッキングを行うためのプログラムであって、コンピュータに、
前記トラッキング対象物の相対位置と相対速度に対応するイベントデータを教師データとして、イベントデータとトラッキング対象物の相対位置および相対速度との関係を予め学習した多層パーセプトロンを準備するステップと、
イベントカメラから取得したイベントデータと、トラッキング対象物の暫定的な相対位置および相対速度のデータを前記多層パーセプトロンに入力し、イベントデータに対する前記暫定的な相対位置及び相対速度のずれを求めるステップと、
前記ずれを小さくする方向に前記トラッキング対象物の相対位置および相対速度のデータを修正し、修正したトラッキング対象物の相対位置および相対速度のデータを、暫定的なトラッキング対象物の相対位置および相対速度のデータとして前記多層パーセプトロンに入力してイベントデータに対する前記暫定的な相対位置及び相対速度のずれを求める処理を繰り返し行うステップと、
所定の終了条件を満たしたときの相対位置および相対速度をトラッキング対象物の相対位置および相対速度として求めるステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イベントデータに基づいてトラッキングを行う装置に関する。

【背景技術】

【0002】

ビデオフレームなどの時空間データからのモーション・トラッキングは、ロボット・アプリケーションの基本的な機能の１つである。モーション・トラッキングには、カメラから特定のターゲットの位置を追跡する方法と、世界座標からカメラの位置を追跡する方法がある。モーション・トラッキングの用途は、ロボットアームの操作や移動ロボットのローカライズなど多岐にわたる。

【0003】

イベントカメラは、生物の網膜を模倣したバイオインスパイア型の新しいビジョンセンサで、ピクセルごとの強度変化を、強度フレームではなく非同期のイベントストリームの形で出力する。このユニークな動作原理により、イベントベースのセンシングは、ハイダイナミックレンジ（ＨＤＲ）、高時間分解能、ブレのないセンシングなど、従来のカメラに比べて非常に大きな利点がある。その結果、激しい動きや厳しい照明環境下でも、ロバストなトラッキングを実現できる可能性を秘めている。

【0004】

このような特徴を利用して、高速・高ダイナミックレンジ環境下でのトラッキングを実現する手法が提案されている（非特許文献１）。非特許文献１では、フレームベースのビデオデータ用に開発されたLucas-Kanade tracker（ＫＬＴ）をイベントベースのカメラからのスパースな強度差データに拡張している。非特許文献１に記載された方法では、与えられたフォトメトリック３Ｄマップまたはフレームをワープさせ、観測値と予想される観測値の差を取ることでトラッキング対象の位置と速度を更新する。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】S. Bryner他「Event-based,direct camera tracking from a photometric 3d map using nonlinear optimization」ICRA, 2019, pp. 325-331

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記した非特許文献１をはじめとする従来の方法では、まず、スパースなイベントを密なフレームに変換し、それをＣＮＮなどの密なニューラルネットワークで処理している。従来の方法は、差分を計算するためにdenseな計算が必要であり、イベントデータのスパース性を十分に活用することができていなかった。

【0007】

上記背景に鑑み、本発明は、イベントデータのスパース性を活用し、効率的な計算を行えるトラッキング装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明のトラッキング装置は、イベントカメラから取得したイベントデータを用いてトラッキング対象物のトラッキングを行う装置であって、前記トラッキング対象物の相対位置と相対速度に対応するイベントデータを教師データとして、イベントデータとトラッキング対象物の相対位置および相対速度との関係を予め学習した多層パーセプトロンを記憶した記憶部と、入力されたイベントデータからトラッキング対象物の相対位置及び相対速度を演算する演算部とを備え、前記演算部は、イベントカメラから取得したイベントデータと、トラッキング対象物の暫定的な相対位置および相対速度のデータを前記多層パーセプトロンに入力し、イベントデータに対する前記暫定的な相対位置及び相対速度のずれを求める処理と、前記ずれを小さくする方向に前記トラッキング対象物の相対位置および相対速度のデータを修正する処理と、修正したトラッキング対象物の相対位置および相対速度のデータを、暫定的なトラッキング対象物の相対位置および相対速度のデータとして前記多層パーセプトロンに入力してイベントデータに対するずれを求める処理とを繰り返し行い、所定の終了条件を満たしたときの相対位置および相対速度をトラッキング対象物の相対位置および相対速度として求める。

【0009】

このようにイベントデータから直接にトラッキング対象物の相対位置と相対速度を推定するので、現在の状態を計算する必要がなく、スパース性を利用して計算効率を高めることができる。

【0010】

本発明のトラッキング装置は、トラッキング対象物は、所定の図柄を有する平面、または３次元形状であってもよい。

【0011】

本発明のトラッキング装置において、前記多層パーセプトロンは、トラッキング対象物の相対位置および相対速度と、それに対応するイベントデータであってブラー処理をかけたイベントデータを教師データとして、学習されたものであってもよい。

【0012】

本発明のトラッキング方法は、イベントカメラから取得したイベントデータを用いてトラッキング対象物のトラッキングを行う方法であって、前記トラッキング対象物の相対位置と相対速度に対応するイベントデータを教師データとして、イベントデータとトラッキング対象物の相対位置および相対速度との関係を予め学習した多層パーセプトロンを準備するステップと、イベントカメラから取得したイベントデータと、トラッキング対象物の暫定的な相対位置および相対速度のデータを前記多層パーセプトロンに入力し、イベントデータに対する前記暫定的な相対位置及び相対速度のずれを求めるステップと、前記ずれを小さくする方向に前記トラッキング対象物の相対位置および相対速度のデータを修正し、修正したトラッキング対象物の相対位置および相対速度のデータを、暫定的なトラッキング対象物の相対位置および相対速度のデータとして前記多層パーセプトロンに入力してイベントデータに対する前記暫定的な相対位置及び相対速度のずれを求める処理を繰り返し行うステップと、所定の終了条件を満たしたときの相対位置および相対速度をトラッキング対象物の相対位置および相対速度として求めるステップとを備える。

【0013】

本発明の多層パーセプトロンの生成方法は、トラッキング対象物の相対位置および相対速度とイベントデータとの関係を表す多層パーセプトロンの生成方法であって、トラッキング対象物の相対位置および相対位置とイベントデータを取得するステップと、イベントデータにブラー処理をかけるステップと、多層パーセプトロンにトラッキング対象物の相対位置および相対位置のデータを適用して生成されたイベントデータとブラー処理をかけたイベントデータとの誤差を最小にするように多層パーセプトロンの学習を行うステップとを備える。ここで、「イベントデータにブラー処理をかける」とは、イベントが発生した位置までの距離に応じた値を与えて、イベント発生位置とイベントがない位置とを連続にすることである。

【0014】

本発明の多層パーセプトロンの生成方法において、イベントデータを取得するステップは、トラッキング対象物が既知である場合には、トラッキング対象物をランダムに移動させるシミュレーションによりイベントデータを生成してもよい。

【0015】

本発明のプログラムは、イベントカメラから取得したイベントデータを用いてトラッキング対象物のトラッキングを行うためのプログラムであって、コンピュータに、前記トラッキング対象物の相対位置と相対速度に対応するイベントデータを教師データとして、イベントデータとトラッキング対象物の相対位置および相対速度との関係を予め学習した多層パーセプトロンを準備するステップと、イベントカメラから取得したイベントデータと、トラッキング対象物の暫定的な相対位置および相対速度のデータを前記多層パーセプトロンに入力し、イベントデータに対する前記暫定的な相対位置及び相対速度のずれを求めるステップと、前記ずれを小さくする方向に前記トラッキング対象物の相対位置および相対速度のデータを修正し、修正したトラッキング対象物の相対位置および相対速度のデータを、暫定的なトラッキング対象物の相対位置および相対速度のデータとして前記多層パーセプトロンに入力してイベントデータに対する前記暫定的な相対位置及び相対速度のずれを求める処理を繰り返し行うステップと、所定の終了条件を満たしたときの相対位置および相対速度をトラッキング対象物の相対位置および相対速度として求めるステップとを実行させる。

【発明の効果】

【0016】

本発明によれば、イベントデータのスパース性を利用して計算良くトラッキングを行うことができる。

【図面の簡単な説明】

【0017】

【図1】本実施の形態のトラッキング装置の処理の原理を示す図である。

【図2】ＩＥＧに対する入力および出力を示す図である。

【図3】トラッキングの処理対象の単位について説明するための図である。

【図4】人工的なデータの生成方法を示す図である。

【図5】実施の形態のトラッキング装置の構成を示す図である。

【図6】トラッキング装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、本実施の形態のトラッキング装置について説明する。トラッキング装置は、トラッキング対象物の相対位置と相対速度とをトラッキングする機能を有する。カメラが固定されている場合にはトラッキング対象物を追跡するアプリケーションになり、トラッキング対象物が固定されている場合にはカメラの姿勢を推定するアプリケーションとなる。いずれの場合も、カメラから見たトラッキング対象物の位置および移動速度をトラッキングすることになるので、相対位置、相対速度という用語を用いている。以下では、簡単のため、単に「位置」「速度」ということがある。

【0019】

［概要］
図１は、本実施の形態のトラッキング装置１の処理の原理を示す図である。本実施の形態のトラッキング装置１は、学習済みの多層パーセプトロンを有している。多層パーセプトロンは、トラッキング対象物の位置及び速度とそれに対応するイベントデータとを教師データとして、イベントデータとトラッキング対象物の位置及び速度との関係を予め学習したものである。

【0020】

多層パーセプトロンは、入力がイベントデータ（イベントが発生した座標と時刻）とトラッキング対象物の位置及び速度のデータである。多層パーセプトロンの出力は、イベントデータとトラッキング対象物の位置及び速度のずれを表すデータである。この多層パーセプトロンは、イベントデータが示すトラッキング対象物の３次元データを陽に持っているわけではないので、本明細書では、暗黙的なイベント生成器（ＩＥＧ：Implicit Event Generator）と呼ぶ。

【0021】

図２は、ＩＥＧに対する入力および出力を示す図である。本実施の形態のトラッキング装置１では、ＩＥＧに対し、観測されたイベントデータｘ（３次元）と、トラッキング対象物の暫定的な位置Ｔ及び速度Ｔ′（各６次元）のデータを入力し、推論を行う。入力された暫定的なトラッキング対象物の位置Ｔ及び速度Ｔ′が、イベントデータに現れた対象物の実際の位置及び速度に近い場合に（すなわち正解に近い場合に）、ＩＥＧから出力されるずれのデータは小さくなる。

【0022】

トラッキング対象物の暫定的な位置Ｔ及び速度Ｔ′の初期値として、トラッキング対象物の前時刻における位置及び速度を用いる。トラッキング開始時には前時刻のデータがないが、この場合は全探索により検出されたトラッキング対象物の位置及び速度を用いる。

【0023】

トラッキング装置１は、ずれのデータが小さくなるように、トラッキング対象物の位置Ｔ及び速度Ｔ′のデータを修正し、ずれのデータを求める処理を繰り返し行う。所定の収束条件を満たすと、その時点の位置及び速度をトラッキング対象物の位置Ｔ及び速度Ｔ′として求める。なお、所定の収束条件は、損失の変化が最適化閾値εよりも小さくなることである。

【0024】

ＩＥＧは、事前の学習により設定された重みΘを有している。本実施の形態では、ＩＥＧを用いてトラッキングを行うため、推論時には、イベントストリーム｛ｅ｝の観測と推定の差Ｌを以下のように最小化するようにトラッキング対象物の位置Ｔと速度Ｔ′を最適化する。

【数1】

【0025】

本実施の形態では、従来の方法のように、現在の位置及び速度の推定値（Ｔ，Ｔ′）を用いてイベントを明示的に生成する必要はなく、スパースなイベントから暗黙的に、現在値と推定値の差分を直接計算する。

【0026】

図３は、トラッキングの処理対象の単位について説明するための図である。トラッキング時には、Ｍ個のイベントデータからなる既存の小グループ（ウィンドウ）のイベントデータを上述のように処理し、繰り返しのｊ番目で位置Ｔ_jと速度Ｔ_j′を得る。そして、繰り返し処理のｊ＋１番目で、スライド幅Ｋでウィンドウをスライドさせ、再度最適化することで、位置Ｔ_j+1と速度Ｔ_j+1′を更新する。繰り返し処理のｊ番目とｊ＋１番目の間でトラッキング対象物の位置と速度はあまり変化しないので、ｊ＋１番目で（Ｔ_j，Ｔ_j′）を更新して計算を行うことにより、フレームカメラの場合よりもレイテンシーを減らすことができる。本実施の形態では加速度を考慮していないが、ウィンドウサイズＭが十分に小さければ、ウィンドウ内の動きは等速運動として近似できるため、問題ない。

【0027】

［ＩＥＧの勾配を用いたトラッキング］
最初に、以下で用いる符号について説明する。
重みΘ：学習により固定されたＩＥＧのパラメータ
ｘ_i＝（ｘ_i，ｙ_i，ｔ_i）：ｉ番目に検出された強度変化の場所（ｘ_i，ｙ_i）及び時刻ｔ_i
δ（ｘ_i）：ｘ_iで検出された強度変化
Ｍ：処理対象のウィンドウに含まれるイベントデータの数

【数2】

【0028】

トラッキング時には、次式（２）で示す損失Ｌ_updateが小さくなるように、すなわち、ＩＥＧが出力する絶対値が１に近くなるように最適化を行う。この最適化は、損失の変化が最適化閾値εよりも小さくなるまで繰り返し行う。

【数3】

【0029】

［ＩＥＧの学習］
次に、ＩＥＧの学習の概要について説明する。学習時には、イベントの強度変化δを出力として用いて、ＩＥＧの学習を行う。すなわち、トラッキング対象の２次元位置ｘ＝（ｘ，ｙ）と時刻ｔと位置Ｔと位置の時間変化Ｔ′を入力とし、検出された強度変化δ∈［＋／－／NaN］を出力とするＩＥＧを用意する。

【0030】

ＩＥＧの学習を行うための教師データについて説明する。本実施の形態のトラッキング装置１がトラッキングする対象は既知である。したがって、対象を移動したときに発生するイベントデータを人工的に生成することができ、人工的に生成したデータを教師データとして用いる。

【0031】

図４は、人工的なデータの生成方法を示す図である。図４においてＡはトラッキングの対象を示す。トラッキングの対象は、例えば、図４に示すような特定のパターンである。ここでは、図柄のある二次元データを用いる例を挙げているが、トラッキング対象物は３次元形状であってもよい。トラッキング対象物のエッジのデータを求めると、Ｂに示すようなスパースな勾配のデータが得られる。

【0032】

次に、Ｂの勾配データに対して、ランダムに、時間ｔ、移動速度ｖ、回転角度ｗの動きを与えると、各位置ｘ_iにおける強度変化δ_tが求まる。図４のＣでは、横方向に移動速度を与えた例である。横方向に伸びる辺では、移動方向に沿って隣接する画素の強度は同じなので強度変化は生じないが、縦方向に伸びる辺が横に移動することで強度変化が生じる。

【0033】

具体的にδ_tは次のように求められる。様々な速度での強度変化データを作成するために、ランダムに決定された速度Ｔ′＝（ｖ_x，ｖ_y，ω）と、既知の物体のエッジからの座標（ｘ_e，ｙ_e）、その座標での強度の微分データ∂Ｉ／∂ｘ＝（∂_ix，∂_iy）を用いる。これらの値から、物体が時間ｔだけ移動したときの、エッジ座標（ｘ_e，ｙ_e）に対応する座標（ｘ_t，ｙ_t）における理論上の強度変化値δ_tを以下のように算出することができる。

【数4】

【0034】

次に、強度変化δ_tのうち、イベント発生の閾値δ_sを超える強度変化を、Ｄに示すようにバイナリのイベント変化δ_t′＝（＋１，－１，Nan）とする。

【数5】

【0035】

最後に、バイナリのイベント変化δ_t′に対してガウスぼかしによるブラー処理を行って、Ｅに示すように人工的なデータを生成する。ガウスぼかしをかけるのは、データに勾配を持たせて、微分可能にするためである。強度変化δ_t′までの距離（ｄｘ，ｄｙ）に応じて，平均０，分散σの拡張ガウス関数Ｇ（ｄｘ，ｄｙ）を使用する。

【数6】

【0036】

他のエッジで発生したイベントとの干渉を避けるため、ぼかし幅をｗとし、（ｘ_t′，ｙ_t′）＝（ｘ_t＋ｄｘ，ｙ_t＋ｄｙ）におけるガウスぼかし強度変化δ_aを以下のように算出する。

【数7】

以上のようにして、人工的な教師データが求まる。すなわち、対象物の位置、移動方向、移動速度、移動時間に対して、強度変化δ_aが教師データとなる。

【0037】

ＩＥＧの学習においては、人工的なデータの６次元ベクトル（ｘ，ｙ，ｔ，ｖ_ｘ，ｖ_ｙ，ω）を入力し、推定強度変化δ_gを得る。生成された強度変化δ_gと人工的に計算された強度変化δ_aの誤差Ｌ_trainを逆伝播させることで、ＩＥＧの学習を行う。

【数8】

【0038】

図５は、実施の形態のトラッキング装置１の構成を示す図である。トラッキング装置１は、イベントカメラからイベントデータを取得するイベントデータ取得部１０と、イベントデータに基づいてトラッキング対象物のトラッキングを行う演算部１１と、トラッキング結果を出力する出力部１２と、各種のデータを記憶する記憶部１３とを有している。記憶部１３は、トラッキングに用いるＩＥＧを記憶している。

【0039】

図６は、実施の形態のトラッキング装置１の動作を示すフローチャートである。トラッキング装置１は、イベントカメラから送信されたイベントストリームを取得する（Ｓ１０）。トラッキング装置１は、イベントストリームからトラッキング処理を行う対象となる１ウィンドウのイベントデータを取得する（Ｓ１１）。上述したとおり、１ウィンドウは、Ｍ個のイベントデータからなる。

【0040】

トラッキング装置１は、ＩＥＧに対して、１ウィンドウのイベントデータと、トラッキング対象の暫定的な位置及び速度を入力し（Ｓ１２）、暫定的な位置及び速度のイベントデータに対するずれを算出する（Ｓ１３）。トラッキング装置１は、位置及び速度の算出処理の終了条件を満たすか否かを判定し（Ｓ１４）、終了条件を満たさないと判定された場合には（Ｓ１４でＮＯ）、ずれに基づいて、トラッキング対象物の位置及び速度を修正し（Ｓ１５）、修正した位置及び速度をＩＥＧに入力して（Ｓ１２）、ずれを算出する処理（Ｓ１３）を繰り返す。

【0041】

終了条件を満たすと判定された場合には（Ｓ１４でＹＥＳ）、トラッキング装置１は、当該ウィンドウのイベントデータに対応するトラッキング対象物の位置及び速度を記憶部１３に記憶し（Ｓ１６）、さらに処理すべきイベントデータがあるか否かを判定する（Ｓ１７）。

【0042】

さらに処理すべきイベントデータがあると判定された場合には（Ｓ１７でＹＥＳ）、ウィンドウをスライドさせて（Ｓ１８）、処理対象のイベントデータを取得し（Ｓ１１）、処理対象のウィンドウに対応するトラッキング対象物の位置及び速度を求める処理を行う（Ｓ１２～Ｓ１６）。イベントデータがないと判定された場合には（Ｓ１７でＮＯ）、トラッキング装置１は、トラッキング結果を出力する（Ｓ１９）。

【0043】

以上、実施の形態のトラッキング装置１について詳細に説明した。本実施の形態のトラッキング装置１は、イベントデータをＩＥＧに入力し、トラッキング対象物の暫定的な位置と速度とのずれを推定し、ずれを修正することでトラッキング対象物の位置及び速度を求めるので、スパース性を利用して効率良くトラッキングを行うことができる。

【0044】

上記した実施の形態においては、イベントデータとして、イベントが発生した位置および時刻を用いる例を挙げたが、イベントデータは、位置および時刻に加えて、極性（イベントの変化の方向）のデータを用いてもよい。

【0045】

上記した実施の形態においては、教師データを生成する際に、ブラー処理の一つとしてガウスぼかしを用いたが、イベントデータに対して行うブラー処理はガウスぼかしに限らない。イベントデータのエッジから離れていても値を０とするのではなく、距離に応じて値が入るようにする手法であればよい。

【符号の説明】

【0046】

１ トラッキング装置
１０ イベントデータ取得部
１１ 演算部
１２ 出力部
１３ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】