特開 2024-14544 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024014544

(43)【公開日】2024-02-01

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G06T 7/269 20170101AFI20240125BHJP

   H04N 23/60 20230101ALI20240125BHJP

【ＦＩ】

G06T7/269

H04N5/232 290

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022117449

(22)【出願日】2022-07-22

(71)【出願人】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(72)【発明者】

【氏名】石川 康太

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122DA30

5C122EA59

5C122FG05

5C122GA34

5C122HA88

5C122HB01

5C122HB06

5L096CA02

5L096DA02

5L096FA67

5L096GA08

5L096GA30

5L096GA51

5L096HA01

(57)【要約】      （修正有）

【課題】イベントカメラの信号の遅れの影響を考慮して観測されたイベント信号から実際の輝度変化の推定を行う情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】情報処理装置１は、ピクセルに輝度変化が生じたときにイベントカメラ２０が出力するイベント信号を記述するための点過程による確率的信号生成モデルを記憶した記憶部１４と、イベントカメラ２０から出力されるイベント信号を観測イベント信号として取得するイベント信号取得部１０と、記憶部１４から読み出した確率的信号生成モデルを用いて、観測イベント信号からピクセルに生じた輝度変化を推定する推定部１１と、推定された輝度変化に関する情報を出力する出力部１５と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ピクセルに輝度変化が生じたときにイベントカメラが出力するイベント信号を記述するための点過程による確率的信号生成モデルを記憶した記憶部と、
イベントカメラから出力されるイベント信号を観測イベント信号として取得するイベント信号取得部と、
前記記憶部から読み出した前記確率的信号生成モデルを用いて、前記観測イベント信号からピクセルに生じた輝度変化を推定する推定部と、
前記推定された輝度変化に関する情報を出力する出力部と、
を備える情報処理装置。

【請求項2】

前記確率的信号生成モデルは、前記イベントカメラのキャパシタ充電過程を反映したパラメータを含む請求項１に記載の情報処理装置。

【請求項3】

前記確率的信号生成モデルは、前記イベントカメラのキャパシタ充電過程と前記イベントカメラの回路実装上の特性であるDead Timeとを反映したパラメータを含む請求項１に記載の情報処理装置。

【請求項4】

前記確率的信号生成モデルは、前記イベントカメラで生じる物理現象を反映したパラメータを含む請求項１に記載の情報処理装置。

【請求項5】

前記推定部は、ピクセルに生じた輝度変化に基づいて、前記イベントカメラで撮影された物体の運動を推定する請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

前記推定部は、前記観測イベント信号の尤度を計算する請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項7】

前記推定部は、ピクセルに生じた輝度変化と前記確率的信号生成モデルのパラメータを同時に推定する請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項8】

イベントカメラから出力されるイベント信号を観測イベント信号として取得するステップと、
ピクセルに輝度変化が生じたときにイベントカメラが出力するイベント信号を記述するための点過程による確率的信号生成モデルを記憶した記憶部から前記確率的信号生成モデルを読み出し、前記確率的信号生成モデルを用いて前記観測イベント信号からピクセルに生じた輝度変化を推定するステップと、
前記推定された輝度変化に関する情報を出力するステップと、
を備える情報処理方法。

【請求項9】

イベントカメラから出力されるイベント信号を観測イベント信号から、ピクセルに生じた輝度変化を推定するためのプログラムであって、コンピュータに、
前記イベントカメラから出力される観測イベント信号を取得するステップと、
ピクセルに輝度変化が生じたときにイベントカメラが出力するイベント信号を記述するための点過程による確率的信号生成モデルを記憶した記憶部から前記確率的信号生成モデルを読み出し、前記確率的信号生成モデルを用いて前記観測イベント信号からピクセルに生じた輝度変化を推定するステップと、
前記推定された輝度変化に関する情報を出力するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イベントカメラから出力されるイベント信号の情報処理技術に関する。

【背景技術】

【0002】

イベントカメラはピクセルごとに非同期に輝度変化の有無のみを捉えるイメージセンサであり、マイクロ秒単位の時間解像度で輝度変化の検知が可能であるとされ、通常のカメラ（フレームカメラ）では捉えることのできない高速な運動を計測できるという期待などから広く応用研究がなされている。

【0003】

フレームカメラの信号が全ピクセルについて輝度値を測定した１枚の画像Ｉ∈Ｒ^H×Wであるのに対し、イベントカメラの信号はイベントｅ:=（ｘ,ｔ,ｐ）の系列｛ｅ_i｝_i=1,2,...＝｛（ｘ_i,ｔ_i,ｐ_i）｝_i=1,2,...である。ここで、ｘ∈Ｒ²は輝度変化が発生したピクセルの座標、ｔ∈Ｒは輝度変化が発生した時刻のタイムスタンプ、ｐ∈｛１,－１｝は輝度が増加したか減少したかを表す極性である。

【0004】

理想的なイベントカメラでは、ピクセルｘの対数輝度値Ｌ（ｘ,ｔ）：＝ｌｏｇＩ（ｘ,ｔ）と直近のイベント発生時点の対数輝度値Ｌ（ｘ,ｔ_p（ｘ））との差がある閾値θを上回ったときに、その差分を閾値で割った個数のイベントが発生する。すなわち、時刻ｔで、ΔＬ（ｘ,ｔ）:=｜Ｌ（ｘ,ｔ）－Ｌ（ｘ,ｔ_p（ｘ））｜＞θとなったとき、ΔＬ（ｘ,ｔ）／θ個（小数点以下切捨て）のイベント（ｘ,ｔ,ｐ）が発生する（ｐは対数輝度変化の符号）。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Gu, C., Learned-Miller, E., Sheldon, D., Gallego, G. Bideau, P.: 「The Spatio-Temporal Poisson Point Process: A Simple Model for the Alignment of Event Camera Data」ICCV (2021).

【発明の概要】

【発明が解決しようとする課題】

【0006】

残念ながら現実のイベントカメラは上記したような理想的な挙動を示すことはなく、ピクセル回路や読み出し回路に起因するランダムな遅れを伴う信号を出力する。イベントカメラ信号から物理的な運動の推定や何らかのパターン認識を行うコンピュータビジョンへの応用は、必然的に遅れの影響を受け性能に上限があると考えられる。

【0007】

ところが、ほとんどのイベントカメラ向けの応用手法は遅れのない理想的な信号の発生を前提として構成されており、実信号に含まれる遅れたイベントはヒューリスティックな手段で扱われているため遅れが実性能に与える影響は十分に理解されていない。

【0008】

一方で、イベントカメラのピクセル回路の挙動をモデリングし、現実的なイベントカメラ信号を生成する研究も近年行われている。これらはあくまでイベントカメラのシミュレーションを目的としており、物理的な運動の推定や認識の性能に与える遅れやノイズの影響までは議論されていない。また、正確なシミュレーションを行うため信号生成モデルは多数のパラメータを持つ複雑なものになり、推定や認識の性能を統計的に議論し性能限界の支配的な要因を明らかにする目的に対しては、あまり適切でない。

【0009】

観測画像に加わるランダムなノイズがキーポイント位置推定や運動推定の精度に与える影響についてはいくつか理論解析が行われている。これらはフレームカメラによる輝度観測を想定しているため、ノイズとしては輝度値やキーポイント座標に加わるものを考えている。イベントカメラ信号とその遅れは構造の異なる観測およびノイズであり、その影響を調べるには別途モデル化が必要である。遅れのあるイベントカメラ信号をPoisson過程でモデル化し系列のアライメントを試みた研究が既に提案されている（非特許文献１）。しかし、この提案では、過去のイベント系列を記憶しない定常Poisson過程を用いていることと、信号の発生原因である輝度変化をパラメータにとらず強度関数の事前分布による周辺化または直接の最尤推定を行っていることから、現実のイベントカメラ信号による推定精度と物理的な撮影条件の関係を議論できる枠組みにはなっていない。

【0010】

本発明は、上記背景に鑑み、イベントカメラの信号の遅れの影響を考慮して観測されたイベント信号から実際の輝度変化の推定を行うことができる技術を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の情報処理装置は、ピクセルに輝度変化が生じたときにイベントカメラが出力するイベント信号を記述するための点過程による確率的信号生成モデルを記憶した記憶部と、イベントカメラから出力されるイベント信号を観測イベント信号として取得するイベント信号取得部と、前記記憶部から読み出した前記確率的信号生成モデルを用いて、前記観測イベント信号からピクセルに生じた輝度変化を推定する推定部と、前記推定された輝度変化に関する情報を出力する出力部とを備える。

【0012】

本発明の情報処理装置において、前記確率的信号生成モデルは、前記イベントカメラのキャパシタ充電過程を反映したパラメータを含んでもよい。

【0013】

本発明の情報処理装置において、前記確率的信号生成モデルは、前記イベントカメラのキャパシタ充電過程と前記イベントカメラの回路実装上の特性であるDead Timeとを反映したパラメータを含んでもよい。

【0014】

本発明の情報処理装置において、前記確率的信号生成モデルは、前記イベントカメラで生じる物理現象を反映したパラメータを含んでもよい。

【0015】

本発明の情報処理装置において、前記推定部は、ピクセルに生じた輝度変化に基づいて、前記イベントカメラで撮影された物体の運動を推定してもよい。

【0016】

本発明の情報処理装置において、前記推定部は、前記観測イベント信号の尤度を計算してもよい。

【0017】

本発明の情報処理装置において、前記推定部は、ピクセルに生じた輝度変化と前記確率的信号生成モデルのパラメータを同時に推定してもよい。

【0018】

本発明の情報処理方法は、イベントカメラから出力されるイベント信号を観測イベント信号として取得するステップと、ピクセルに輝度変化が生じたときにイベントカメラが出力するイベント信号を記述するための点過程による確率的信号生成モデルを記憶した記憶部から前記確率的信号生成モデルを読み出し、前記確率的信号生成モデルを用いて前記観測イベント信号からピクセルに生じた輝度変化を推定するステップと、前記推定された輝度変化に関する情報を出力するステップとを備える。

【0019】

本発明のプログラムは、イベントカメラから出力されるイベント信号を観測イベント信号から、ピクセルに生じた輝度変化を推定するためのプログラムであって、コンピュータに、前記イベントカメラから出力される観測イベント信号を取得するステップと、ピクセルに輝度変化が生じたときにイベントカメラが出力するイベント信号を記述するための点過程による確率的信号生成モデルを記憶した記憶部から前記確率的信号生成モデルを読み出し、前記確率的信号生成モデルを用いて前記観測イベント信号からピクセルに生じた輝度変化を推定するステップと、前記推定された輝度変化に関する情報を出力するステップとを実行させる。

【発明の効果】

【0020】

本発明によれば、観測イベント信号に基づいて、ピクセルに生じた輝度変化を適切に推定することができる。

【図面の簡単な説明】

【0021】

【図1】実施の形態の情報処理装置の構成を示す図である。

【図2】（ａ）イベントにより発生する理想的なイベント信号を示す図である。（ｂ）イベントの発生時点から遅れて発生する現実的なイベント信号を示す図である。

【図3】（ａ）充電過程をそのまま用いて定義した条件付強度関数を示すグラフである。（ｂ）揺らぎのない条件付強度関数を示すグラフである。

【図4】実施の形態の情報処理装置の動作を示すフローチャートである。

【図5】充電過程とDead Timeを考慮して定義した条件付強度関数を示すグラフである。

【図6】式（１）で推定した各パラメータのＣＲＬＢを示す図である。

【図7】式（２）で推定した各パラメータのＣＲＬＢを示す図である。

【発明を実施するための形態】

【0022】

以下、本実施の形態の情報処理装置について図面を参照して説明する。なお、以下の説明はあくまでも好ましい態様の一例を示したものであり、特許請求の範囲に記載された発明を限定する意図ではない。

【0023】

（第１の実施の形態）
図１は、本実施の形態の情報処理装置１の構成を示す図である。情報処理装置１は、イベントカメラ２０からのイベント信号を処理して、イベント信号の発生の原因となった輝度変化とイベントカメラ２０で撮影された物体の運動を推定する装置である。本明細書では、イベントカメラ２０から取得するイベント信号を「観測イベント信号」という。

【0024】

図２を参照して、本発明の背景について説明する。図２（ａ）及び図２（ｂ）は、イベントにより発生するイベント信号を示す図である。図２（ａ）は遅れのない理想的なイベント信号を示す。図２（ａ）に示すように、理想的には、イベントが発生したタイミングに複数の（ここでは３個の）イベントが集中的に発生する。ここで、一つのイベントの発生により複数のイベントが発生することについて補足する。イベントカメラ２０は、上で説明したように、直近のイベント発生時点の対数輝度値Ｌの差分を閾値θで割った個数だけのイベント信号を発生するので、対数輝度値Ｌの差分の大きさに応じた数のイベント信号が発生する。

【0025】

図２（ｂ）は、遅れのある現実的なイベント信号を示す図である。図２（ｂ）に示すように、現実には、イベント信号は、イベントの発生時点から遅れて発生する。本発明は、ランダムの遅れのある観測イベント信号から、輝度変化が実際に発生した時刻を統計的に推定する。

【0026】

図１を参照して情報処理装置１の構成を説明する。情報処理装置１は、イベントカメラ２０から送信された観測イベント信号を受信して取得するイベント信号取得部１０と、観測イベント信号に基づいて輝度変化が実際に発生した時刻を推定する推定部１１と、推定に用いる確率的信号生成モデルを記憶した記憶部１４と、推定結果を出力する出力部１５とを備えている。推定部１１は、輝度変化を推定する機能１２と輝度変化の元となった物体の運動（すなわち、イベントカメラ２０で撮影された物体の運動）を推定する機能１３を有する。

【0027】

本実施の形態では、確率的信号生成モデルとして、イベントカメラ２０で生じる物理現象を反映したパラメータを含む条件付強度関数（ＣＩＦ：Conditional Intensity Function）を用いる。なお、条件付強度関数は、発生タイミングの系列を確率的に生成する点過程モデルの一つであり、イベント系列Ｔⁿ＝｛ｔ₁，ｔ₂，・・・，ｔ_n｝が与えられたときに、時刻ｔに次のイベントが発生する確率密度関数である。

【0028】

イベントカメラ２０の信号の発生原理はピクセルの対数輝度が閾値を超えて変動した際にイベントが発火するというものである。ここで、イベントカメラ２０で生じる物理現象について検討する。ピクセルの対数輝度値は、イベントカメラ２０のキャパシタが照度の対数に比例する起電力で充電されることによって計測される。その充電にゼロでない時間がかかることが、イベント信号の遅れの主な要因であると考えられる。そこで、本実施の形態では、条件付強度関数（確率的信号生成モデル）にキャパシタの充電の過程を反映させる。

【0029】

基本的なＲＣ回路の充電過程は線形微分方程式で記述され、初期電圧Ｖ₀を基準に起電力Ｅがｔ=０で印加されたときの時刻ｔでの電圧Ｖ（ｔ）は、次式で表される。

【数1】

ここでτ：＝ＲＣは回路の充電速度を表す時定数である。この充電過程を仮定したときのイベント発生タイミングは、Ｖ₀がちょうど閾値の整数倍であったとして、

【数2】

となる各時刻ということになる。

【0030】

図３（ｂ）は、上記の仮定により求めたイベント発生タイミングを図示したグラフである。充電過程において、電圧が閾値の整数倍になったところで、イベントが発生するモデルであることが分かる。この式は現実に起こるイベント発生タイミングのランダムな揺らぎには対応していないので、この式を用いる場合には、現実のランダムな揺らぎを表現する別のパラメータを導入する必要がある。

【0031】

本実施の形態では、充電過程をそのまま用いて次式（１）のように条件付強度関数を定義する。

【数3】

ただしＮ：＝ΔＬ／θはピクセルに発生した対数輝度変化量ΔＬを閾値θで割った値であり、ｔ₀はそのピクセルに輝度変化が発生した時刻である。係数部分がＮ／τになっているのは、経過時間τまでの平均イベント発生個数をＮ（小数点以下切り捨て）とするためである。

【0032】

図３（ａ）は、式（１）の条件付強度関数を図示したグラフである。図３（ａ）に示すグラフの形は、確率的に決まるイベントの発生タイミングによって形状が変化する。

【0033】

情報処理装置１の推定部１１は、観測イベント信号により信号系列Ｔⁿ＝｛ｔ₁，ｔ₂，・・・，ｔ_n｝が与えられたときに、式（１）に示す条件付強度関数のパラメータを推定する。推定部１１は、条件付強度関数で求められるイベント信号のタイミング（図３（ａ）参照）と観測イベント信号のイベント系列Ｔⁿとの当てはまりが良いように、回路の充電速度を表す時定数τと輝度変化の時刻ｔ₀と大きさＮを同時に推定する。したがって、情報処理装置１は、時定数τが既知でなくても輝度変化の時刻ｔ₀と大きさＮを推定することができる。なお、このように、システムの動作中にモデルのパラメータとモデルの状態を推定することを「オンライン推定」という。

【0034】

推定部１１は、また、各ピクセルにおける輝度変化に基づいて、イベントカメラ２０で撮影された物体の運動を推定する。

【0035】

図４は、実施の形態の情報処理装置１の動作を示すフローチャートである。情報処理装置１は、イベントカメラ２０から観測イベント信号を取得する（Ｓ１０）。情報処理装置１の推定部１１は記憶部１４から条件付強度関数を読み出す。推定部１１は、観測イベント信号の信号系列Ｔⁿを用いて、条件付強度関数のパラメータを推定し、輝度変化が起こった時刻ｔ₀とその大きさを推定する（Ｓ１１）。ここで、推定部１１は、一般的な数理最適化アルゴリズムを用いて行いてパラメータの推定を行う。例えば、最尤法やベイズ推定、事後確率最大化などの様々な方法を適用し得る。また、推定部１１は、各ピクセルで輝度変化が起こった時刻ｔ₀とその大きさに基づいて、イベントカメラ２０が捉えた物体の運動を推定する（Ｓ１２）。情報処理装置１は、推定部１１にて求めた輝度変化の情報および物体の運動の情報を出力する（Ｓ１３）。

【0036】

以上、本実施の形態の情報処理装置１の構成について説明したが、上記した情報処理装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した情報処理装置１が実現される。このようなプログラムも本発明の範囲に含まれる。

【0037】

（第２の実施の形態）
次に、第２の実施の形態の情報処理装置について説明する。第２の実施の形態の情報処理装置の基本的な構成は第１の実施の形態の情報処理装置１と同じであるが、イベント信号を記述するための確率的信号生成モデルが異なる。第２の実施の形態の情報処理装置では、キャパシタの充電過程に加えて、イベントカメラの回路実装上の特性であるDead Time（Refractory Period）を考慮した確率的信号生成モデルを用いる。

【0038】

Dead Timeとは、あるピクセルでイベントが１つ発生した後、ある決まった期間は輝度変化の如何によらずそのピクセルでイベントが発生しないというものである。Dead Timeはセンサの設定によってある程度自由に変更することができるが、回路としては電圧変化を測定するためのキャパシタの放電に必要な時間でもあるため、ゼロにすることはできない。Dead Timeがある場合、１つのイベントが発生した後は、強制的にしばらく時間が空くことになるため、複数のイベントが発生するような輝度変化量の場合、たとえ遅れが小さかったとしてもイベントの間の時間間隔は広くなると考えられる。

【0039】

第２の実施の形態では、充電過程に加え、Dead Timeをパラメータとして取り入れ、次式（２）のように条件付強度関数を定義する。

【数4】

【0040】

図５は、式（２）の条件付強度関数を図示したグラフである。図３（ａ）に示すグラフの形は、確率的に決まるイベントの発生タイミングによって形状が変化する。図５に示すように、第２の実施の形態で用いられる条件付き強度関数によると、キャパシタが放電した後に、一定時間δの期間だけ、キャパシタの充電が行われないDead Timeが存在する。

【0041】

第２の実施の形態の情報処理装置は、図５に示す条件付き強度関数で求められるイベント信号のタイミング（図５参照）と観測イベント信号のイベント系列Ｔⁿとの当てはまりが良いように、回路の充電速度を表す時定数τと輝度変化の時刻ｔ₀と大きさＮとDead Time δを同時に推定する。第２の実施の形態の情報処理装置のその他の構成および動作は、第１の実施の形態の情報処理装置１と同じである。

【0042】

第２の実施の形態の情報処理装置は、イベントカメラの回路実装上の特性であるDead Timeをもパラメータとして含む確率的信号モデルを用いることにより、ピクセルに生じた輝度変化を適切に推定することができる。

【0043】

以上、本発明の情報処理装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。上記した実施の形態では、イベントカメラで生じる物理現象として、キャパシタの充電過程を反映したパラメータを含む確率的信号生成モデルを用いたが、充電過程以外の物理現象を反映した確率的信号生成モデルを用いてもよい。

【0044】

また、イベントカメラはピクセル毎にキャパシタを有するので、ピクセル毎に別々の条件付強度関数を用いることとしてもよい。これにより、キャパシタの個体差（例えば時定数の違い等）を反映して、精度の高い推定を行うことができる。

【実施例0045】

本実施の形態の情報処理装置による輝度変化の推定精度について検討する。具体的には、各ピクセルにおける輝度変化がオプティカルフローによる輝度マップの並進で起こると仮定して推定誤差を求めた。

【0046】

［パラメトリゼーション］
オプティカルフローは通常通り画像平面上のベクトルｖ＝（ｖ_x，ｖ_y）としてパラメトライズした。

【0047】

輝度変化については，イベントカメラで測定できるのは相対的な輝度変化のみであるから、ｔ＝０のＦＯＶにおいて適当な基準輝度を想定しそれを上回るかまたは下回る輝度の点がＦＯＶ上のどこかに存在するということをパラメータにとる。具体的には、パラメータを、ｔ＝０において基準輝度と異なる輝度を持つ点の座標ｘ_k∈Ｒ²とその点における基準輝度との（対数）差分Δｌ_k∈Ｒのペアの集合Ω_K：＝｛（ｘ_k，Δｌ_k）｝（ただしｋ＝１，・・・，Ｋ）にとる。Ω_Kとｖが与えられれば，各ピクセルｘにおけるイベント発生時刻は、ｘ－ｖ_t0がΩ_Kに含まれる｛ｘ_k｝と一致するかどうか、一致する場合はｔ₀が最小となるｘ_kとそのときのｔ₀を計算することで求めることができる。それにより観測イベント信号系列の尤度を評価した。

【0048】

［評価指標］
評価指標としては、未知パラメータを観測データから推定する際の推定誤差（推定量の分散）の評価によく用いられるCramer-Rao Lower Bound（ＣＲＬＢ）を用いた。式（１）で定義した条件付強度関数と、次式に示す条件付強度関数の尤度関数の下で未知パラメータ（ｖ，Ω_K，τ）についてＣＲＬＢを評価した。

【数5】

【0049】

［計算条件］
観測時間Ｔ＝５［ｍｓ］、ＦＯＶ＝５×５［pixel］，Ｎ＝ΔＬ／θ＝３の輝度変化がｔ＝０でｘ＝０，ｙ＝０，・・・，４の５ピクセルに存在するとした。この条件設定からｖ_yと輝度変化位置の座標はaperture problemによって推定不能である（ＣＲＬＢのFisher情報行列がランク落ちする）。従って、オプティカルフローはｘ方向のみ、輝度変化位置はｘ座標のみに推定対象を制限してＣＲＬＢを計算した。

【0050】

［計算結果］
図６は、式（１）の条件付強度関数を用いて推定を行った結果を示す図であり、各パラメータのＣＲＬＢを示す図である。
まず、aperture problemとなるパラメータを除いた全ての未知パラメータに対して Fisher情報行列がフルランクとなりＣＲＬＢを計算可能だということが重要である。これは未知パラメータを観測から同時推定できることを意味する。カメラの選択や設定および利用条件に依存すると考えられるτを事前にキャリブレートしたいという要求が考えられるが、同時推定可能であることから、十分な観測の下に最尤推定を行うことでそれが可能であることが言える。

【0051】

個別のＣＲＬＢの結果を見ると、どのパラメータも遅れの増大と共に誤差が悪化することが分かるが、これは自然な振る舞いだと言える。オプティカルフローを大きく（高速に）していくとオプティカルフローそのものの精度が悪化していくことが見て取れる。これはオプティカルフローが大きいと短時間の間に複数ピクセルを通過するため輝度変化が起こるタイミングの僅かな差が信号の遅れに埋もれてしまうことによるものと解釈できる。一方で、オプティカルフロー以外のパラメータについては、ｖ＝１［pixel/ms］の場合を除いて誤差は速度とほぼ無関係だった。ＦＯＶを５×５［pixel］とした条件設定から、ｖ＝１［pixel/ms］の場合はｘ＝４のピクセル群は観測時間Ｔ＝５［ms］までに輝度変化が起こらなくなる。そのため実質的に観測データ数が４／５になる。オプティカルフロー以外のパラメータがｖ＝１［pixel/ms］で精度悪化するのはこのことによるものと考えられる。逆に言えば、観測ピクセル数を大きくとることができるならば推定誤差を大幅に減らせるということがわかる。

【0052】

現実のイベントカメラ信号のノイズ要因には様々なものがあるが、それが信号の遅れとして現れる限りにおいてはτの値がどの程度であるかだけを考えれば推定の良し悪しを見積もることができる。本実施例において、τの誤差は真値の０．１％オーダーで非常に精度よく決定できることがわかった。τのキャリブレーションだけでなく運用時のオンライン推定も容易であることが期待される。

【0053】

輝度変化位置は遅れが小さいまたは観測ピクセル数が大きいならばサブピクセル精度で推定できることが示唆された。高速なトラッキングやパターン検知へのイベントカメラの適用は妥当な手段と言える。ΔＬの誤差はτへの依存性が弱かった。これは観測が離散的なイベント系列であることに対応している。環境が十分に明るくコントラストも大きい場合はΔＬが非常に大きくなり観測の離散性が相対的に弱くなるので誤差も連続的に変化するようになると考えられる。

【0054】

図７は、式（２）の条件付強度関数を用いて推定を行った結果を示す図であり、各パラメータのＣＲＬＢを示す図である。なお、図７では、オプティカルフローが１，３，５［pixel/ms］の３パターンについて結果を示し、対応する最尤推定量を点線で示している。図７に示すように、Dead Time δを推定対象に加えた場合も、ＣＲＬＢなどは、式（１）の場合と同様に求めることができる。最尤推定量の標準偏差はＣＲＬＢよりも小さい値になる傾向がある。これは今回利用した特定の最適化アルゴリズムによる最尤推定量が不偏推定量になっていない（平均として真値に一致せずバイアスが乗る推定になっている）からである。

【産業上の利用可能性】

【0055】

本発明は、イベントカメラにて取得したイベント信号から輝度変化を検出する技術として有用である。

【符号の説明】

【0056】

１ 情報処理装置
１０ イベント信号取得部
１１ 推定部
１２ 輝度変化推定機能
１３ 運動推定機能
１４ 記憶部
１５ 出力部
２０ イベントカメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】