知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-19
(45)【発行日】2022-12-27
(54)【発明の名称】画像処理装置、システム、画像処理方法およびプログラム
(51)【国際特許分類】
H04N 5/232 20060101AFI20221220BHJP
G06T 7/20 20170101ALI20221220BHJP
【ＦＩ】
H04N5/232 290
G06T7/20
H04N5/232 300
【請求項の数】
7
(21)【出願番号】P 2021541371
(86)(22)【出願日】2019-08-20
(86)【国際出願番号】 JP2019032342
(87)【国際公開番号】W WO2021033250
(87)【国際公開日】2021-02-25
【審査請求日】2022-01-11
(73)【特許権者】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】110000637
【氏名又は名称】特許業務法人樹之下知的財産事務所
(72)【発明者】
【氏名】長沼 宏昌
(72)【発明者】
【氏名】林 正和
(72)【発明者】
【氏名】栗原 洋輔
【審査官】佐藤 直樹
(56)【参考文献】
【文献】米国特許出願公開第２０１８／００９８０８２（ＵＳ，Ａ１）
【文献】特表２０１７－５３５９９９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２３２
Ｇ０６Ｔ ７／２０
(57)【特許請求の範囲】
【請求項1】
同期的なスキャンによって撮像された画像に与えられた第１のタイムスタンプ、前記画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号、および前記イベント信号に与えられ前記第１のタイムスタンプに同期する第２のタイムスタンプに基づいて、前記画像における被写体の動きを推定する動き推定部と、前記動きに基づいて逆フィルタを生成する逆フィルタ生成部と、
前記逆フィルタを前記画像に適用するフィルタ適用部と
を備える画像処理装置。
【請求項2】
前記第１のタイムスタンプは、前記スキャンの開始または終了の少なくともいずれかを示すタイムスタンプを含み、前記動き推定部は、前記スキャンの開始から終了までの時間に含まれる前記第２のタイムスタンプを有する前記イベント信号に基づいて前記画像における被写体の動きを推定する、請求項１に記載の画像処理装置。
【請求項3】
前記動き推定部は、前記画像において被写体の動きが発生した動き領域を推定し、前記逆フィルタ生成部は、前記動き領域に限定的に作用する前記逆フィルタを生成する、請求項１または請求項２のいずれか１項に記載の画像処理装置。
【請求項4】
前記動き推定部は、前記画像における被写体の動きを示す動きベクトルを推定し、前記逆フィルタ生成部は、前記動きベクトルを打ち消す前記逆フィルタを生成する、請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項5】
同期的なスキャンによって画像を撮像し、前記画像に第１のタイムスタンプを与える第１のビジョンセンサと、前記画像の１または複数のピクセルに対応付けられるセンサを含み、前記センサが光の強度変化を検出したときにイベント信号を生成し、前記イベント信号に前記第１のタイムスタンプに同期する第２のタイムスタンプを与える第２のビジョンセンサと、
前記第１のタイムスタンプ、前記イベント信号、および前記第２のタイムスタンプに基づいて前記画像における被写体の動きを推定する動き推定部、
前記動きに基づいて逆フィルタを生成する逆フィルタ生成部、および
前記逆フィルタを前記画像に適用するフィルタ適用部
を備える画像処理装置と
を含むシステム。
【請求項6】
同期的なスキャンによって画像を撮像し、前記画像に第１のタイムスタンプを与えるステップと、前記画像の１または複数のピクセルに対応付けられるセンサが前記画像の１または複数のピクセルにおいて光の強度変化を検出したときに、検出した光の強度変化に応じてイベント信号を生成し、前記イベント信号に前記第１のタイムスタンプに同期する第２のタイムスタンプを与えるステップと、
前記第１のタイムスタンプ、前記イベント信号、および前記第２のタイムスタンプに基づいて前記画像における被写体の動きを推定するステップと、
前記動きに基づいて逆フィルタを生成するステップと、
前記逆フィルタを前記画像に適用するステップと
を含む画像処理方法。
【請求項7】
同期的なスキャンによって撮像された画像に与えられた第１のタイムスタンプ、前記画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号、および前記イベント信号に与えられ前記第１のタイムスタンプに同期する第２のタイムスタンプに基づいて、前記画像における被写体の動きを推定する機能と、前記動きに基づいて逆フィルタを生成する機能と、
前記逆フィルタを前記画像に適用する機能と
をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、システム、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特表２０１４－５３５０９８号公報
【文献】特開２０１８－８５７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、他の装置、例えばフレーム型ビジョンセンサと組み合わせた利用方法については、まだ十分に提案されているとは言いがたい。
【0005】
そこで、本発明は、イベント駆動型のビジョンセンサをフレーム型ビジョンセンサと組み合わせて用いることによって有利な効果を得ることができる画像処理装置、システム、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明のある観点によれば、同期的なスキャンによって撮像された画像に与えられた第１のタイムスタンプ、画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号、およびイベント信号に与えられ第１のタイムスタンプに同期する第２のタイムスタンプに基づいて、画像における被写体の動きを推定する動き推定部と、動きに基づいて逆フィルタを生成する逆フィルタ生成部と、逆フィルタを画像に適用するフィルタ適用部とを備える画像処理装置が提供される。
【0007】
本発明の別の観点によれば、同期的なスキャンによって画像を撮像し、画像に第１のタイムスタンプを与える第１のビジョンセンサと、画像の１または複数のピクセルに対応付けられるセンサを含み、センサが光の強度変化を検出したときにイベント信号を生成し、イベント信号に第１のタイムスタンプに同期する第２のタイムスタンプを与える第２のビジョンセンサとを備える撮像装置が提供される。
【0008】
本発明のさらに別の観点によれば、同期的なスキャンによって画像を撮像し、画像に第１のタイムスタンプを与える第１のビジョンセンサと、画像の１または複数のピクセルに対応付けられるセンサを含み、センサが光の強度変化を検出したときにイベント信号を生成し、イベント信号に第１のタイムスタンプに同期する第２のタイムスタンプを与える第２のビジョンセンサと、第１のタイムスタンプ、イベント信号、および第２のタイムスタンプに基づいて画像における被写体の動きを推定する動き推定部、動きに基づいて逆フィルタを生成する逆フィルタ生成部、および逆フィルタを画像に適用するフィルタ適用部を備える画像処理装置とを含むシステムが提供される。
【0009】
本発明のさらに別の観点によれば、同期的なスキャンによって画像を撮像し、画像に第１のタイムスタンプを与えるステップと、画像の１または複数のピクセルに対応付けられるセンサを含み、センサが光の強度変化を検出したときにイベント信号を生成し、イベント信号に第１のタイムスタンプに同期する第２のタイムスタンプを与えるステップと、第１のタイムスタンプ、イベント信号、および第２のタイムスタンプに基づいて画像における被写体の動きを推定するステップと、動きに基づいて逆フィルタを生成するステップと、逆フィルタを画像に適用するステップとを含む画像処理方法が提供される。
【0010】
本発明のさらに別の観点によれば、同期的なスキャンによって撮像された画像に与えられた第１のタイムスタンプ、画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号、およびイベント信号に与えられ第１のタイムスタンプに同期する第２のタイムスタンプに基づいて、画像における被写体の動きを推定する機能と、動きに基づいて逆フィルタを生成する機能と、逆フィルタを画像に適用する機能とをコンピュータに実現させるためのプログラムが提供される。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。
【図2】本発明の一実施形態におけるカメラ・センサ間のキャリブレーションについて概略的に説明するための図である。
【図3】本発明の一実施形態における画像とイベント信号とのマッチングの例について説明するための図である。
【図4A】本発明の一実施形態におけるイベント信号に基づく動きの推定および逆フィルタについて説明するための図である。
【図4B】本発明の一実施形態におけるイベント信号に基づく動きの推定および逆フィルタについて説明するための図である。
【図4C】本発明の一実施形態におけるイベント信号に基づく動きの推定および逆フィルタについて説明するための図である。
【図4D】本発明の一実施形態におけるイベント信号に基づく動きの推定および逆フィルタについて説明するための図である。
【図5】本発明の一実施形態に係る画像処理方法の例を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0013】
図１は、本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。図１に示されるように、システム１０は、ＲＧＢカメラ１００と、ＥＤＳ（Event Driven Sensor）２００と、画像処理装置３００とを含む。
【0014】
ＲＧＢカメラ１００は、同期的なスキャンによって画像を撮像する第１のビジョンセンサの例であり、イメージセンサ１１０と、イメージセンサ１１０に接続される処理回路１２０とを含む。イメージセンサ１１０は、例えば所定の周期で、またはユーザー操作に応じた所定のタイミングで全ピクセルを同期的にスキャンすることによってＲＧＢ画像１０１を撮像する。処理回路１２０は、例えばＲＧＢ画像１０１を保存および伝送に適した形式に変換する。また、処理回路１２０は、ＲＧＢ画像１０１にタイムスタンプ１０２を与える。例えば、処理回路１２０は、ＲＧＢ画像１０１に、イメージセンサ１１０によるスキャンの開始または終了の少なくともいずれかを示すタイムスタンプ１０２を与える。例えば静止画像の場合、スキャンの開始から終了までの時間は露光時間とも呼ばれる。
【0015】
ＥＤＳ２００は、センサが光の強度変化を検出したときにイベント信号を生成する第２のビジョンセンサの例であり、センサアレイを構成するセンサ２１０と、センサ２１０に接続される処理回路２２０とを含む。センサ２１０は、受光素子を含み、入射する光の強度変化、より具体的には輝度変化を検出したときにイベント信号２０１を生成する。入射する光の強度変化を検出しなかったセンサ２１０はイベント信号２０１を生成しないため、ＥＤＳ２００においてイベント信号２０１は時間非同期的に生成される。処理回路２２０を経て出力されるイベント信号２０１は、センサ２１０の識別情報（例えばピクセルの位置）と、輝度変化の極性（上昇または低下）と、タイムスタンプ２０２とを含む。
【0016】
ここで、本実施形態において、ＲＧＢ画像１０１に与えられるタイムスタンプ１０２と、イベント信号２０１に与えられるタイムスタンプ２０２とは同期している。具体的には、例えば、ＥＤＳ２００でタイムスタンプ２０２を生成するために用いられる時刻情報をＲＧＢカメラ１００に提供することによって、タイムスタンプ１０２をタイムスタンプ２０２に同期させることができる。あるいは、タイムスタンプ１０２，２０２を生成するための時刻情報がＲＧＢカメラ１００とＥＤＳ２００とでそれぞれ独立している場合、特定のイベント（例えば、画像全体にわたる被写体の変化）が発生した時刻を基準にしてタイムスタンプのオフセット量を算出することによって、事後的にタイムスタンプ１０２とタイムスタンプ２０２とを同期させることができる。
【0017】
また、本実施形態では、事前に実行されるＲＧＢカメラ１００とＥＤＳ２００とのキャリブレーション手順によって、ＥＤＳ２００のセンサ２１０がＲＧＢ画像１０１の１または複数のピクセルに対応付けられ、イベント信号２０１はＲＧＢ画像１０１の１または複数のピクセルにおける光の強度変化に応じて生成される。
【0018】
図２は、本発明の一実施形態におけるカメラ・センサ間のキャリブレーションについて概略的に説明するための図である。図示された例では、ＲＧＢカメラ１００とＥＤＳ２００とで共通の校正パターン２１を撮像し（ＥＤＳ２００の場合、例えば光源２２を用いて校正パターン２１の領域全体を明滅させることによって校正パターンを撮像できる）、ＲＧＢカメラ１００およびＥＤＳ２００のぞれぞれの内部パラメータおよび外部パラメータからカメラ・センサ間の対応パラメータを算出することによって、ＲＧＢ画像１０１の１または複数のピクセルにセンサ２１０を対応付けることができる。例えば、上記のようなタイムスタンプの同期およびキャリブレーション手順が予め実施されたＲＧＢカメラ１００およびＥＤＳ２００を組み合わせた撮像装置が提供されてもよい。
【0019】
図３は、本発明の一実施形態における画像とイベント信号とのマッチングの例について説明するための図である。図示された例では、ＲＧＢカメラ１００で撮像されたＲＧＢ画像１０１と、ＲＧＢ画像１０１のスキャンに対応する時間にＥＤＳ２００から出力されたイベント信号２０１をピクセルの位置に配置したものとが示されている。上記で図２を参照して説明したようなカメラ・センサ間の対応パラメータを予め算出しておくことによって、図３に示されるようにＲＧＢ画像１０１の１または複数のピクセルにイベント信号２０１を対応付ける、つまりＲＧＢ画像１０１にイベント信号２０１を重ね合わせることが可能になる。
【0020】
再び図１を参照して、画像処理装置３００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される動き推定部３１０、逆フィルタ生成部３２０、およびフィルタ適用部３３０の機能を含む。以下、各部の機能についてさらに説明する。
【0021】
動き推定部３１０は、ＲＧＢ画像１０１に与えられたタイムスタンプ１０２、イベント信号２０１、およびイベント信号２０１に与えられたタイムスタンプ２０２に基づいて、ＲＧＢ画像１０１における被写体の動きを推定する。ＲＧＢ画像１０１の被写体が動いた場合、例えば被写体のエッジ部分で発生する光の強度変化、具体的には輝度変化がイベント信号２０１によって検出される。つまり、本実施形態において、動き推定部３１０はＲＧＢ画像１０１そのものを参照しなくても、イベント信号２０１に基づいて、ＲＧＢ画像１０１における被写体の動きを推定することができる。動き推定部３１０は、例えば後述する例のように、イベント信号２０１によって輝度変化が発生したことが示されるピクセルの時系列での位置変化から、ＲＧＢ画像１０１において被写体の動きが発生した動き領域、およびＲＧＢ画像１０１における被写体の動きを示す動きベクトルを推定することができる。
【0022】
具体的には、例えば、動き推定部３１０は、ＲＧＢ画像１０１を撮像するためのスキャンの開始から終了までの時間に含まれるタイムスタンプ２０２を有するイベント信号２０１に基づいて動きを推定する。ここで、スキャンの開始から終了までの時間は、例えばＲＧＢ画像１０１に与えられた２つのタイムスタンプによって特定される。あるいは、ＲＧＢ画像１０１にスキャンの開始または終了のいずれかを示すタイムスタンプしか与えられない場合であっても、スキャンの継続時間が既知であれば、スキャンの開始から終了までの時間を特定することができる。後述するように、例えばスキャンの開始から終了までの時間に発生した被写体の動きに基づいて生成した逆フィルタを適用することによって、被写体の動きによってＲＧＢ画像１０１に発生しているボケの影響を低減することができる。
【0023】
逆フィルタ生成部３２０は、動き推定部３１０が推定したＲＧＢ画像１０１における被写体の動きに基づいて逆フィルタ３２１を生成する。ここで、逆フィルタは、被写体の動きによってＲＧＢ画像１０１に生じた本来の被写体の像からの変化（フィルタ）とは逆の変化（フィルタ）を生じさせることによってＲＧＢ画像１０１を本来の被写体の像に近づけることを意図したフィルタである。フィルタ適用部３３０は、逆フィルタ３２１をＲＧＢ画像１０１に適用して出力画像３３１を得る。後述するように、フィルタ適用部３３０は、逆フィルタ３２１の適用によってＲＧＢ画像１０１に生じた変化を補償する（例えば、空白領域を背景を引き伸ばすことによって埋める）ためのフィルタを、別途ＲＧＢ画像１０１に適用してもよい。
【0024】
図４Ａ～図４Ｄは、本発明の一実施形態におけるイベント信号に基づく動きの推定および逆フィルタについて説明するための図である。図示された例では、ＲＧＢ画像１０１において被写体ｏｂｊが捉えられている。イメージセンサ１１０によるスキャンの間に被写体ｏｂｊが移動したため、図４Ａに示すようにＲＧＢ画像１０１ではボケが発生して被写体ｏｂｊの像が引き伸ばされている。一方、図４Ｂに示すように、イベント信号２０１は、ＲＧＢ画像１０１のスキャンの開始直後にはピクセル群Ｐ１でイベントが発生しており、それが徐々に移動して（ピクセル群Ｐ２，…，Ｐｎ－１）、スキャンの終了直前にはピクセル群Ｐｎでイベントが発生していたことを示している。
【0025】
この場合、動き推定部３１０は、図４Ｃに示すように、ＲＧＢ画像１０１における動き領域Ｒおよび動きベクトルＶを推定する。例えば動き領域Ｒはスキャンの開始から終了までの間にイベントが発生したピクセル群Ｐ１，Ｐ２，・・・，Ｐｎ－１，Ｐｎを包含する領域（ボケが発生して引き伸ばされた被写体ｏｂｊの像に対応する）であり、動きベクトルＶは動きの始点に対応するピクセル群Ｐ１の各ピクセルを動きの終点に対応するピクセル群Ｐｎの各ピクセルに移動させるベクトルである。上述の通り、ＲＧＢ画像１０１の１または複数のピクセルにイベント信号２０１を生成するセンサ２１０が対応付けられているため、動き推定部３１０は動き領域Ｒおよび動きベクトルＶを推定するためにＲＧＢ画像１０１そのものを参照しなくてもよい。
【0026】
上記のような動き領域Ｒおよび動きベクトルＶが推定された場合、逆フィルタ生成部３２０は、ＲＧＢ画像１０１に適用することによって図４Ｄに示すような出力画像３３１が得られる逆フィルタ３２１を生成する。図示された例において、逆フィルタ３２１は、動き領域Ｒ内のピクセルについて限定的に作用して動きベクトルＶを打ち消す。具体的には、逆フィルタ３２１は、動き領域Ｒ内のピクセルを動きベクトルＶの逆ベクトル－Ｖに係数ｋを乗じたベクトル－ｋＶだけ移動させる。係数ｋは、例えば動きベクトルＶの始点（ピクセル群Ｐ１）では０、終点（ピクセル群Ｐｎ）では１になるように漸増する。出力画像３３１では、引き伸ばされた被写体ｏｂｊの像が本来の大きさに圧縮され、被写体ｏｂｊの動きによって生じたボケの影響が低減されている。
【0027】
以上で説明したような本発明の一実施形態では、画像処理装置３００の動き推定部３１０が、ＲＧＢ画像１０１における被写体の動きをイベント信号２０１から推定する。イベント信号２０１はＲＧＢ画像１０１の１または複数のピクセルで光の強度変化が検出された場合にのみ生成されるため、例えば時間的に連続する複数のＲＧＢ画像１０１のピクセル同士を比較して動きを推定する場合に比べて処理を高速化することができる。また、逆フィルタ生成部３２０が生成する逆フィルタ３２１はＲＧＢ画像１０１の動き領域Ｒに限定的に作用するため、例えば動き領域Ｒ以外の領域を含むＲＧＢ画像１０１の全体にフィルタを適用する場合に比べてアーティファクトの発生を抑制できる。
【0028】
なお、上記の例で説明されたシステム１０は、単一の装置内で実装されてもよいし、複数の装置に分散して実装されてもよい。例えば、ＲＧＢカメラ１００で取得されるＲＧＢ画像１０１とＥＤＳ２００で取得されるイベント信号２０１とが、タイムスタンプ１０２，２０２とともにメモリに保存され、後処理として画像処理装置３００による動きの推定、逆フィルタ３２１の生成、および逆フィルタ３２１の適用が実行されてもよい。あるいは、ＲＧＢ画像１０１およびイベント信号２０１が取得されたときに画像処理装置３００における逆フィルタ３２１の生成までの処理が実行され、逆フィルタ３２１がＲＧＢ画像１０１とともに保存されてもよい。この場合、ＲＧＢ画像１０１の表示時に、例えばユーザーの操作に従って逆フィルタ３２１をＲＧＢ画像１０１に適用して出力画像３３１が生成されてもよい。
【0029】
また、上記で図４Ｄに示された例では、ボケが発生して引き伸ばされた被写体ｏｂｊの像を動きベクトルＶの始点側に圧縮する逆フィルタ３２１が生成されたが、他の例では、被写体ｏｂｊの像を動きベクトルＶの終点側、または中間点に圧縮する逆フィルタ３２１が生成されてもよい。また、イベント信号２０１に基づいて生成される逆フィルタ３２１は上記の例には限られず、例えば被写体の動きによって生じたボケの影響を低減するためのフィルタとして知られている各種のフィルタを利用することができる。これらの場合においても、例えば動き推定部３１０がＲＧＢ画像１０１の動き領域Ｒを推定し、逆フィルタ生成部３２０が動き領域Ｒに限定的に作用する逆フィルタ３２１を生成することによって、例えばＲＧＢ画像１０１の全体にフィルタを適用する場合に比べてアーティファクトの発生を抑制できる。
【0030】
図５は、本発明の一実施形態に係る画像処理方法の例を示すフローチャートである。図示された例では、ＲＧＢカメラ１００がＲＧＢ画像１０１を撮像し（ステップＳ１０１）、それと同時にＥＤＳ２００がイベント信号２０１を生成する（ステップＳ１０２）。なお、イベント信号２０１を生成するステップＳ１０２は、ＲＧＢ画像１０１の１または複数のピクセルに対応付けられるセンサ２１０が光の強度変化を検出した場合にのみ実行される。ＲＧＢ画像１０１にはタイムスタンプ１０２が与えられ（ステップＳ１０３）、イベント信号にはタイムスタンプ２０２が与えられる（ステップＳ１０４）。
【0031】
次に、画像処理装置３００での処理が実行される。まず、動き推定部３１０が、ＲＧＢ画像１０１のタイムスタンプ１０２、イベント信号２０１、およびイベント信号２０１のタイムスタンプ２０２に基づいてＲＧＢ画像１０１における被写体の動きを推定する（ステップＳ１０５）。次に、逆フィルタ生成部３２０が推定された動きに基づいて逆フィルタ３２１を生成し（ステップＳ１０６）、フィルタ適用部３３０がＲＧＢ画像１０１に逆フィルタ３２１を適用する（ステップＳ１０７）。以上のような処理によって、例えば被写体の動きによってＲＧＢ画像１０１に発生しているボケの影響を低減した出力画像３３１を得ることができる。
【0032】
以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0033】
１０…システム、１００…ＲＧＢカメラ、１０１…ＲＧＢ画像、１０２…タイムスタンプ、１１０…イメージセンサ、１２０…処理回路、２０１…イベント信号、２０２…タイムスタンプ、２１０…センサ、２２０…処理回路、３００…画像処理装置、３１０…動き推定部、３２０…逆フィルタ生成部、３２１…逆フィルタ、３３０…フィルタ適用部、３３１…出力画像。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】