特許 7571467 画像復元装置、画像復元方法、画像復元プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-15

(45)【発行日】2024-10-23

(54)【発明の名称】画像復元装置、画像復元方法、画像復元プログラム

(51)【国際特許分類】

   G06T 7/215 20170101AFI20241016BHJP

【ＦＩ】

G06T7/215

【請求項の数】 18

(21)【出願番号】P 2020180824

(22)【出願日】2020-10-28

(65)【公開番号】P2021082273

(43)【公開日】2021-05-27

【審査請求日】2023-07-11

(31)【優先権主張番号】P 2019207197

(32)【優先日】2019-11-15

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(73)【特許権者】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】関川 雄介

(72)【発明者】

【氏名】時 洋

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】国際公開第２０１９／０６７７３１（ＷＯ，Ａ１）

【文献】長田 惇，外４名，イベントカメラを用いた照明条件やぶれに頑健なＱＲコード認識，ＳＳＩＩ２０１９ ［ＵＳＢ］ ，日本，画像センシング技術研究会，2019年06月12日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

撮影期間内に相対運動する白黒被写体（４）を撮影したイベントカメラ（２）から、少なくとも一つのカメラ画素において輝度が変化したイベントの発火時刻（ｔ）と関連付けて出力される、前記イベントの画素座標（ｘ，ｙ）及び極性値（ｐ）に基づきバイナリ画像（Ｂ）を復元する画像復元装置（３）であって、
前記白黒被写体は、所定幅の白色セルと所定幅の黒色セルとを所定位置に配置した前記バイナリ画像であって、前記白色セルと前記黒色セルとの境界部にセルのエッジ部を有しており、
一対の前記極性値及びそれらの中間値のうち、いずれかの値を前記画素座標毎の輝度値として保存する輝度配列リスト（Ｌ）において、各前記画素座標の輝度値を前記白色セルより明度が暗く前記黒色セルより明度が明るく前記白色セルの極性値とも前記黒色セルの極性値とも異なる前記中間値に初期化する初期化部（１００）と、
前記初期化部により初期化された前記輝度配列リストを、前記イベント毎の前記画素座標及び前記極性値に応じて更新する更新部（１２０）と、
前記更新部により前記撮影期間に亘って更新された前記輝度配列リストを、前記バイナリ画像として出力する出力部（１６０）とを、備え、
前記更新部による更新は、前記輝度配列リストにおいて前記イベントの発火した前記画素座標である発火座標の輝度値を、前記イベントの前記極性値により上書き演算する一方、前記輝度配列リストにおいて前記発火座標を除いた前記画素座標である非発火座標の輝度値を、保持し、前記中間値から前記極性値への変化に基づいて前記セルのエッジ部を検知して、検知した前記セルのエッジ部に基づいて前記バイナリ画像を出力する画像復元装置。

【請求項2】

撮影期間内に相対運動する白黒被写体（４）を撮影したイベントカメラ（２）から、少なくとも一つのカメラ画素において輝度が変化したイベントの発火時刻（ｔ）と関連付けて出力される、前記イベントの画素座標（ｘ，ｙ）及び極性値（ｐ）に基づきバイナリ画像（Ｂ）を復元する画像復元装置（３）であって、
一対の前記極性値及びそれらの中間値のうち、いずれかの値を前記画素座標毎の輝度値として保存する輝度配列リスト（Ｌ）において、各前記画素座標の輝度値を前記中間値に初期化する初期化部（１００）と、
前記初期化部により初期化された前記輝度配列リストを、前記イベント毎の前記画素座標及び前記極性値に応じて更新する更新部（１２０）と、
前記更新部により前記撮影期間に亘って更新された前記輝度配列リストを、前記バイナリ画像として出力する出力部（１６０）とを、備え、
前記更新部による更新は、前記輝度配列リストにおいて前記イベントの発火した前記画素座標である発火座標の輝度値を、前記イベントの前記極性値により上書き演算する一方、前記輝度配列リストにおいて前記発火座標を除いた前記画素座標である非発火座標の輝度値を、保持し、
前記更新部により前記撮影期間に亘って更新された前記輝度配列リストにおいて、前記中間値が保存された前記画素座標である中間座標の輝度値を、補正する補正部（１４０）を、さらに備え、
前記補正部による補正は、前記イベントカメラに対する前記白黒被写体の相対運動方向（Ｍ）を探索方向（Ｓ）と設定し、前記輝度配列リストにおいていずれかの前記極性値が保存された前記画素座標のうち、前記中間座標から前記探索方向に直近となる注目座標を探索し、前記輝度配列リストにおける前記中間座標の輝度値に前記注目座標の前記極性値を上書き演算する画像復元装置。

【請求項3】

前記更新部による更新は、前記輝度配列リストにおいて前記発火座標から切り替わった前記非発火座標の輝度値を、当該切り替わり前の座標の前記発火時刻から許容時間範囲内では保持する一方、当該切り替わり前の座標の前記発火時刻から前記許容時間範囲外では前記中間値により上書き演算する請求項２に記載の画像復元装置。

【請求項4】

前記更新部による更新は、前記発火座標及び前記極性値の同じ前記イベントが複数回連続して発火するまで、スキップされる請求項１～３のいずれか一項に記載の画像復元装置。

【請求項5】

前記イベントカメラに対する相対運動により前記撮影期間内に発生するオプティカルフローの方向が、前記イベントカメラによる被撮影面（４０）の全域において同一となる前記白黒被写体の、前記バイナリ画像を復元する請求項１～４のいずれか一項に記載の画像復元装置。

【請求項6】

前記イベントカメラに対して前記撮影期間内に相対運動する二次元コードを前記白黒被写体として、前記バイナリ画像を復元する請求項１～５のいずれか一項に記載の画像復元装置。

【請求項7】

撮影期間内に相対運動する白黒被写体（４）を撮影したイベントカメラ（２）から、少なくとも一つのカメラ画素において輝度が変化したイベントの発火時刻（ｔ）と関連付けて出力される、前記イベントの画素座標（ｘ，ｙ）及び極性値（ｐ）に基づきバイナリ画像（Ｂ）を復元するために、プロセッサ（１２）により実行される画像復元方法であって、
前記白黒被写体は、所定幅の白色セルと所定幅の黒色セルとを所定位置に配置した前記バイナリ画像であって、前記白色セルと前記黒色セルとの境界部にセルのエッジ部を有しており、
一対の前記極性値及びそれらの中間値のうち、いずれかの値を前記画素座標毎の輝度値として保存する輝度配列リスト（Ｌ）において、各前記画素座標の輝度値を前記白色セルより明度が暗く前記黒色セルより明度が明るく前記白色セルの極性値とも前記黒色セルの極性値とも異なる前記中間値に初期化する初期化プロセス（Ｓ１０１）と、
前記初期化プロセスにより初期化された前記輝度配列リストを、前記イベント毎の前記画素座標及び前記極性値に応じて更新する更新プロセス（Ｓ１０２，Ｓ２０２）と、
前記更新プロセスにより前記撮影期間に亘って更新された前記輝度配列リストを、前記バイナリ画像として出力する出力プロセス（Ｓ１０４）とを、含み、
前記更新プロセスによる更新は、前記輝度配列リストにおいて前記イベントの発火した前記画素座標である発火座標の輝度値を、前記イベントの前記極性値により上書き演算する一方、前記輝度配列リストにおいて前記発火座標を除いた前記画素座標である非発火座標の輝度値を、保持し、前記中間値から前記極性値への変化に基づいて前記セルのエッジ部を検知して、検知した前記セルのエッジ部に基づいて前記バイナリ画像を出力する画像復元方法。

【請求項8】

撮影期間内に相対運動する白黒被写体（４）を撮影したイベントカメラ（２）から、少なくとも一つのカメラ画素において輝度が変化したイベントの発火時刻（ｔ）と関連付けて出力される、前記イベントの画素座標（ｘ，ｙ）及び極性値（ｐ）に基づきバイナリ画像（Ｂ）を復元するために、プロセッサ（１２）により実行される画像復元方法であって、
一対の前記極性値及びそれらの中間値のうち、いずれかの値を前記画素座標毎の輝度値として保存する輝度配列リスト（Ｌ）において、各前記画素座標の輝度値を前記中間値に初期化する初期化プロセス（Ｓ１０１）と、
前記初期化プロセスにより初期化された前記輝度配列リストを、前記イベント毎の前記画素座標及び前記極性値に応じて更新する更新プロセス（Ｓ１０２，Ｓ２０２）と、
前記更新プロセスにより前記撮影期間に亘って更新された前記輝度配列リストを、前記バイナリ画像として出力する出力プロセス（Ｓ１０４）とを、含み、
前記更新プロセスによる更新は、前記輝度配列リストにおいて前記イベントの発火した前記画素座標である発火座標の輝度値を、前記イベントの前記極性値により上書き演算する一方、前記輝度配列リストにおいて前記発火座標を除いた前記画素座標である非発火座標の輝度値を、保持し、
前記更新プロセスにより前記撮影期間に亘って更新された前記輝度配列リストにおいて、前記中間値が保存された前記画素座標である中間座標の輝度値を、補正する補正プロセス（Ｓ１０３）を、さらに含み、
前記補正プロセスによる補正は、前記イベントカメラに対する前記白黒被写体の相対運動方向（Ｍ）を探索方向（Ｓ）と設定し、前記輝度配列リストにおいていずれかの前記極性値が保存された前記画素座標のうち、前記中間座標から前記探索方向に直近となる注目座標を探索し、前記輝度配列リストにおける前記中間座標の輝度値に前記注目座標の前記極性値を上書き演算する画像復元方法。

【請求項9】

前記更新プロセスによる更新は、前記輝度配列リストにおいて前記発火座標から切り替わった前記非発火座標の輝度値を、当該切り替わり前の座標の前記発火時刻から許容時間範囲内では保持する一方、当該切り替わり前の座標の前記発火時刻から前記許容時間範囲外では前記中間値により上書き演算する請求項８に記載の画像復元方法。

【請求項10】

前記更新プロセス（Ｓ２０２）による更新は、前記発火座標及び前記極性値の同じ前記イベントが複数回連続して発火するまで、スキップされる請求項７～９のいずれか一項に記載の画像復元方法。

【請求項11】

前記イベントカメラに対する相対運動により前記撮影期間内に発生するオプティカルフローの方向が、前記イベントカメラによる被撮影面（４０）の全域において同一となる前記白黒被写体の、前記バイナリ画像を復元するために、前記プロセッサにより実行される請求項７～１０のいずれか一項に記載の画像復元方法。

【請求項12】

前記イベントカメラに対して前記撮影期間内に相対運動する二次元コードを前記白黒被写体として、前記バイナリ画像を復元するために、前記プロセッサにより実行される請求項７～１１のいずれか一項に記載の画像復元方法。

【請求項13】

撮影期間内に相対運動する白黒被写体（４）を撮影したイベントカメラ（２）から、少なくとも一つのカメラ画素において輝度が変化したイベントの発火時刻（ｔ）と関連付けて出力される、前記イベントの画素座標（ｘ，ｙ）及び極性値（ｐ）に基づきバイナリ画像（Ｂ）を復元するために、記憶媒体（１０）に格納され、プロセッサ（１２）に実行させる命令を含む画像復元プログラムであって、
前記白黒被写体は、所定幅の白色セルと所定幅の黒色セルとを所定位置に配置した前記バイナリ画像であって、前記白色セルと前記黒色セルとの境界部にセルのエッジ部を有しており、
前記命令は、
一対の前記極性値及びそれらの中間値のうち、いずれかの値を前記画素座標毎の輝度値として保存する輝度配列リスト（Ｌ）において、各前記画素座標の輝度値を前記白色セルより明度が暗く前記黒色セルより明度が明るく前記白色セルの極性値とも前記黒色セルの極性値とも異なる前記中間値に初期化させる初期化プロセス（Ｓ１０１）と、
前記初期化プロセスにより初期化された前記輝度配列リストを、前記イベント毎の前記画素座標及び前記極性値に応じて更新させる更新プロセス（Ｓ１０２，Ｓ２０２）と、
前記更新プロセスにより前記撮影期間に亘って更新された前記輝度配列リストを、前記バイナリ画像として出力させる出力プロセス（Ｓ１０４）とを、含み、
前記更新プロセスによる更新は、前記輝度配列リストにおいて前記イベントの発火した前記画素座標である発火座標の輝度値を、前記イベントの前記極性値により上書き演算させる一方、前記輝度配列リストにおいて前記発火座標を除いた前記画素座標である非発火座標の輝度値を、保持させ、前記中間値から前記極性値への変化に基づいて前記セルのエッジ部を検知させて、検知された前記セルのエッジ部に基づいて前記バイナリ画像を出力させる画像復元プログラム。

【請求項14】

撮影期間内に相対運動する白黒被写体（４）を撮影したイベントカメラ（２）から、少なくとも一つのカメラ画素において輝度が変化したイベントの発火時刻（ｔ）と関連付けて出力される、前記イベントの画素座標（ｘ，ｙ）及び極性値（ｐ）に基づきバイナリ画像（Ｂ）を復元するために、記憶媒体（１０）に格納され、プロセッサ（１２）に実行させる命令を含む画像復元プログラムであって、
前記命令は、
一対の前記極性値及びそれらの中間値のうち、いずれかの値を前記画素座標毎の輝度値として保存する輝度配列リスト（Ｌ）において、各前記画素座標の輝度値を前記中間値に初期化させる初期化プロセス（Ｓ１０１）と、
前記初期化プロセスにより初期化された前記輝度配列リストを、前記イベント毎の前記画素座標及び前記極性値に応じて更新させる更新プロセス（Ｓ１０２，Ｓ２０２）と、
前記更新プロセスにより前記撮影期間に亘って更新された前記輝度配列リストを、前記バイナリ画像として出力させる出力プロセス（Ｓ１０４）とを、含み、
前記更新プロセスによる更新は、前記輝度配列リストにおいて前記イベントの発火した前記画素座標である発火座標の輝度値を、前記イベントの前記極性値により上書き演算させる一方、前記輝度配列リストにおいて前記発火座標を除いた前記画素座標である非発火座標の輝度値を、保持させ、
前記更新プロセスにより前記撮影期間に亘って更新された前記輝度配列リストにおいて、前記中間値が保存された前記画素座標である中間座標の輝度値を、補正させる補正プロセス（Ｓ１０３）を、さらに含み、
前記補正プロセスによる補正は、前記イベントカメラに対する前記白黒被写体の相対運動方向（Ｍ）を探索方向（Ｓ）と設定させ、前記輝度配列リストにおいていずれかの前記極性値が保存された前記画素座標のうち、前記中間座標から前記探索方向に直近となる注目座標を探索させ、前記輝度配列リストにおける前記中間座標の輝度値に前記注目座標の前記極性値を上書き演算させる画像復元プログラム。

【請求項15】

前記更新プロセスによる更新は、前記輝度配列リストにおいて前記発火座標から切り替わった前記非発火座標の輝度値を、当該切り替わり前の座標の前記発火時刻から許容時間範囲内では保持させる一方、当該切り替わり前の座標の前記発火時刻から前記許容時間範囲外では前記中間値により上書き演算させる請求項１４に記載の画像復元プログラム。

【請求項16】

前記更新プロセス（Ｓ２０２）による更新は、前記発火座標及び前記極性値の同じ前記イベントが複数回連続して発火するまで、スキップされる請求項１３～１５のいずれか一項に記載の画像復元プログラム。

【請求項17】

前記イベントカメラに対する相対運動により前記撮影期間内に発生するオプティカルフローの方向が、前記イベントカメラによる被撮影面（４０）の全域において同一となる前記白黒被写体の、前記バイナリ画像を復元するために、前記記憶媒体に格納される請求項１３～１６のいずれか一項に記載の画像復元プログラム。

【請求項18】

前記イベントカメラに対して前記撮影期間内に相対運動する二次元コードを前記白黒被写体として、前記バイナリ画像を復元するために、前記記憶媒体に格納される請求項１３～１７のいずれか一項に記載の画像復元プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、イベントカメラからの出力に基づきバイナリ画像を復元する、画像復元技術に関する。

【背景技術】

【0002】

人の知覚システムを模倣したカメラとしては、時間分解能に優れたイベントカメラが、知られている。被写体の撮影によりイベントカメラは、少なくとも一つのカメラ画素において輝度が変化したイベントの発火時刻と関連付けて、当該イベントの画素座標及び極性値を出力する。

【0003】

こうしたイベントカメラの出力に基づき輝度画像を復元する技術は、例えば非特許文献１等に開示されている。ここで非特許文献１の開示技術では、イベントカメラに対して相対運動する被写体のオプティカルフロー及び輝度を、コスト関数の最適化により同時に推定することで、輝度画像を復元している。

【先行技術文献】

【非特許文献】

【0004】

【文献】P. Bardow, A. J. Davison, and S. Leutenegger. Simultaneous Optical Flow and Intensity Estimation From an Event Camera. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 884-892, 2016.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、非特許文献１の開示技術がオプティカルフロー及び輝度を同時推定する対象は、被写体の被撮影面のうち相対運動によってカメラ画素が輝度変化を感知可能なエッジ部分に、限られる。そのため、被写体の被撮影面全域にまで輝度推定を拡張して輝度画像を復元するには、演算処理が複雑となるため、演算負荷が増大してしまう。

【0006】

本開示の課題は、画像復元に必要な演算負荷を低減する画像復元装置を、提供することにある。本開示の別の課題は、画像復元に必要な演算負荷を低減する画像復元方法を、提供することにある。本開示のさらに別の課題は、画像復元に必要な演算負荷を低減する画像復元プログラムを、提供することにある。

【課題を解決するための手段】

【0007】

以下、課題を解決するための本開示の技術的手段について、説明する。なお、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。

【0008】

本開示の第１態様は、
撮影期間内に相対運動する白黒被写体（４）を撮影したイベントカメラ（２）から、少なくとも一つのカメラ画素において輝度が変化したイベントの発火時刻（ｔ）と関連付けて出力される、イベントの画素座標（ｘ，ｙ）及び極性値（ｐ）に基づきバイナリ画像（Ｂ）を復元する画像復元装置（３）であって、
白黒被写体は、所定幅の白色セルと所定幅の黒色セルとを所定位置に配置したバイナリ画像であって、白色セルと黒色セルとの境界部にセルのエッジ部を有しており、
一対の極性値及びそれらの中間値のうち、いずれかの値を画素座標毎の輝度値として保存する輝度配列リスト（Ｌ）において、各画素座標の輝度値を白色セルより明度が暗く黒色セルより明度が明るく白色セルの極性値とも黒色セルの極性値とも異なる中間値に初期化する初期化部（１００）と、
初期化部により初期化された輝度配列リストを、イベント毎の画素座標及び極性値に応じて更新する更新部（１２０）と、
更新部により撮影期間に亘って更新された輝度配列リストを、バイナリ画像として出力する出力部（１６０）とを、備え、
更新部による更新は、輝度配列リストにおいてイベントの発火した画素座標である発火座標の輝度値を、イベントの極性値により上書き演算する一方、輝度配列リストにおいて発火座標を除いた画素座標である非発火座標の輝度値を、保持し、中間値から極性値への変化に基づいてセルのエッジ部を検知して、検知したセルのエッジ部に基づいて前記バイナリ画像を出力する。
本開示の第２態様は、
撮影期間内に相対運動する白黒被写体（４）を撮影したイベントカメラ（２）から、少なくとも一つのカメラ画素において輝度が変化したイベントの発火時刻（ｔ）と関連付けて出力される、イベントの画素座標（ｘ，ｙ）及び極性値（ｐ）に基づきバイナリ画像（Ｂ）を復元する画像復元装置（３）であって、
一対の極性値及びそれらの中間値のうち、いずれかの値を画素座標毎の輝度値として保存する輝度配列リスト（Ｌ）において、各画素座標の輝度値を中間値に初期化する初期化部（１００）と、
初期化部により初期化された輝度配列リストを、イベント毎の画素座標及び極性値に応じて更新する更新部（１２０）と、
更新部により撮影期間に亘って更新された輝度配列リストを、バイナリ画像として出力する出力部（１６０）とを、備え、
更新部による更新は、輝度配列リストにおいてイベントの発火した画素座標である発火座標の輝度値を、イベントの極性値により上書き演算する一方、輝度配列リストにおいて発火座標を除いた画素座標である非発火座標の輝度値を、保持し、
更新部により撮影期間に亘って更新された輝度配列リストにおいて、中間値が保存された画素座標である中間座標の輝度値を、補正する補正部（１４０）を、さらに備え、
補正部による補正は、イベントカメラに対する白黒被写体の相対運動方向（Ｍ）を探索方向（Ｓ）と設定し、輝度配列リストにおいていずれかの極性値が保存された画素座標のうち、中間座標から探索方向に直近となる注目座標を探索し、輝度配列リストにおける中間座標の輝度値に注目座標の極性値を上書き演算する。

【0009】

本開示の第３態様は、
撮影期間内に相対運動する白黒被写体（４）を撮影したイベントカメラ（２）から、少なくとも一つのカメラ画素において輝度が変化したイベントの発火時刻（ｔ）と関連付けて出力される、イベントの画素座標（ｘ，ｙ）及び極性値（ｐ）に基づきバイナリ画像（Ｂ）を復元するために、プロセッサ（１２）により実行される画像復元方法であって、
白黒被写体は、所定幅の白色セルと所定幅の黒色セルとを所定位置に配置したバイナリ画像であって、白色セルと黒色セルとの境界部にセルのエッジ部を有しており、
一対の極性値及びそれらの中間値のうち、いずれかの値を画素座標毎の輝度値として保存する輝度配列リスト（Ｌ）において、各画素座標の輝度値を白色セルより明度が暗く黒色セルより明度が明るく白色セルの極性値とも黒色セルの極性値とも異なる中間値に初期化する初期化プロセス（Ｓ１０１）と、
初期化プロセスにより初期化された輝度配列リストを、イベント毎の画素座標及び極性値に応じて更新する更新プロセス（Ｓ１０２，Ｓ２０２）と、
更新部プロセスにより撮影期間に亘って更新された輝度配列リストを、バイナリ画像として出力する出力プロセス（Ｓ１０４）とを、含み、
更新プロセスによる更新は、輝度配列リストにおいてイベントの発火した画素座標である発火座標の輝度値を、イベントの極性値により上書き演算する一方、輝度配列リストにおいて発火座標を除いた画素座標である非発火座標の輝度値を、保持し、中間値から極性値への変化に基づいてセルのエッジ部を検知して、検知したセルのエッジ部に基づいてバイナリ画像を出力する。
本開示の第４態様は、
撮影期間内に相対運動する白黒被写体（４）を撮影したイベントカメラ（２）から、少なくとも一つのカメラ画素において輝度が変化したイベントの発火時刻（ｔ）と関連付けて出力される、イベントの画素座標（ｘ，ｙ）及び極性値（ｐ）に基づきバイナリ画像（Ｂ）を復元するために、プロセッサ（１２）により実行される画像復元方法であって、
一対の極性値及びそれらの中間値のうち、いずれかの値を画素座標毎の輝度値として保存する輝度配列リスト（Ｌ）において、各画素座標の輝度値を中間値に初期化する初期化プロセス（Ｓ１０１）と、
初期化プロセスにより初期化された輝度配列リストを、イベント毎の画素座標及び極性値に応じて更新する更新プロセス（Ｓ１０２，Ｓ２０２）と、
更新部プロセスにより撮影期間に亘って更新された輝度配列リストを、バイナリ画像として出力する出力プロセス（Ｓ１０４）とを、含み、
更新プロセスによる更新は、輝度配列リストにおいてイベントの発火した画素座標である発火座標の輝度値を、イベントの極性値により上書き演算する一方、輝度配列リストにおいて発火座標を除いた画素座標である非発火座標の輝度値を、保持し、
更新プロセスにより撮影期間に亘って更新された輝度配列リストにおいて、中間値が保存された画素座標である中間座標の輝度値を、補正する補正プロセス（Ｓ１０３）を、さらに含み、
補正プロセスによる補正は、イベントカメラに対する白黒被写体の相対運動方向（Ｍ）を探索方向（Ｓ）と設定し、輝度配列リストにおいていずれかの極性値が保存された画素座標のうち、中間座標から探索方向に直近となる注目座標を探索し、輝度配列リストにおける中間座標の輝度値に注目座標の極性値を上書き演算する。

【0010】

本開示の第５態様は、
撮影期間内に相対運動する白黒被写体（４）を撮影したイベントカメラ（２）から、少なくとも一つのカメラ画素において輝度が変化したイベントの発火時刻（ｔ）と関連付けて出力される、イベントの画素座標（ｘ，ｙ）及び極性値（ｐ）に基づきバイナリ画像（Ｂ）を復元するために、記憶媒体（１０）に格納され、プロセッサ（１２）に実行させる命令を含む画像復元プログラムであって、
白黒被写体は、所定幅の白色セルと所定幅の黒色セルとを所定位置に配置したバイナリ画像であって、白色セルと黒色セルとの境界部にセルのエッジ部を有しており、
命令は、
一対の極性値及びそれらの中間値のうち、いずれかの値を画素座標毎の輝度値として保存する輝度配列リスト（Ｌ）において、各画素座標の輝度値を白色セルより明度が暗く黒色セルより明度が明るく白色セルの極性値とも黒色セルの極性値とも異なる中間値に初期化させる初期化プロセス（Ｓ１０１）と、
初期化プロセスにより初期化された輝度配列リストを、イベント毎の画素座標及び極性値に応じて更新させる更新プロセス（Ｓ１０２，Ｓ２０２）と、
更新部プロセスにより撮影期間に亘って更新された輝度配列リストを、バイナリ画像として出力させる出力プロセス（Ｓ１０４）とを、含み、
更新プロセスによる更新は、輝度配列リストにおいてイベントの発火した画素座標である発火座標の輝度値を、イベントの極性値により上書き演算する一方、輝度配列リストにおいて発火座標を除いた画素座標である非発火座標の輝度値を、保持させ、中間値から極性値への変化に基づいてセルのエッジ部を検知させて、検知されたセルのエッジ部に基づいてバイナリ画像を出力させる。
本開示の第６態様は、
撮影期間内に相対運動する白黒被写体（４）を撮影したイベントカメラ（２）から、少なくとも一つのカメラ画素において輝度が変化したイベントの発火時刻（ｔ）と関連付けて出力される、イベントの画素座標（ｘ，ｙ）及び極性値（ｐ）に基づきバイナリ画像（Ｂ）を復元するために、記憶媒体（１０）に格納され、プロセッサ（１２）に実行させる命令を含む画像復元プログラムであって、
命令は、
一対の極性値及びそれらの中間値のうち、いずれかの値を画素座標毎の輝度値として保存する輝度配列リスト（Ｌ）において、各画素座標の輝度値を中間値に初期化させる初期化プロセス（Ｓ１０１）と、
初期化プロセスにより初期化された輝度配列リストを、イベント毎の画素座標及び極性値に応じて更新させる更新プロセス（Ｓ１０２，Ｓ２０２）と、
更新部プロセスにより撮影期間に亘って更新された輝度配列リストを、バイナリ画像として出力させる出力プロセス（Ｓ１０４）とを、含み、
更新プロセスによる更新は、輝度配列リストにおいてイベントの発火した画素座標である発火座標の輝度値を、イベントの極性値により上書き演算する一方、輝度配列リストにおいて発火座標を除いた画素座標である非発火座標の輝度値を、保持させ、
更新プロセスにより撮影期間に亘って更新された輝度配列リストにおいて、中間値が保存された画素座標である中間座標の輝度値を、補正させる補正プロセス（Ｓ１０３）を、さらに含み、
補正プロセスによる補正は、イベントカメラに対する白黒被写体の相対運動方向（Ｍ）を探索方向（Ｓ）と設定させ、輝度配列リストにおいていずれかの極性値が保存された画素座標のうち、中間座標から探索方向に直近となる注目座標を探索させ、輝度配列リストにおける中間座標の輝度値に注目座標の極性値を上書き演算させる。

【0011】

これら第１～第６態様によると、各画素座標の輝度値が中間値に初期化された輝度配列リストに対して、イベント毎の画素座標及び極性値に応じた更新は、発火座標の輝度値をイベントの極性値により上書き演算する。このとき輝度値に上書き演算される極性値は、白黒被写体の被撮影面のうち相対移動によってカメラ画素にイベントを発火させる部分の実輝度を、表し得る。また第１～第６態様によると、初期化された輝度配列リストに対する更新は、そうした上書き演算の一方で、発火座標を除く非発火座標の輝度値を保持する。その結果、極性値の上書き演算後に発火座標から切り替わった非発火座標に保持される当該極性値は、被撮影面のうち相対移動によってもイベントを発火させない部分の実輝度を、表し得る。

【0012】

これらのことから、第１～第６態様により撮影期間に亘って更新された輝度配列リストは、被撮影面に対応する各画素座標に、それぞれ実輝度に応じた極性値を保存したバイナリ画像として、出力され得る。以上によれば、上書き演算という簡易な演算処理によってバイナリ画像を復元することができるので、画像復元に必要な演算負荷を低減することが可能となる。

【図面の簡単な説明】

【0013】

【図1】第１実施形態による画像システムの全体構成を示すブロック図である。

【図2】第２実施形態による画像システムにおいて画像復元装置の詳細構成を示すブロック図である。

【図3】第１実施形態によるイベントカメラ及び白黒被写体の相対運動関係を模式的に説明するための斜視図である。

【図4】第１実施形態による被写体を示す平面図である。

【図5】第１実施形態によるイベントデータを説明するための模式図である。

【図6】第１実施形態による輝度配列リストを説明するための模式図である。

【図7】第１実施形態による初期化処理を説明するための模式図である。

【図8】第１実施形態による更新処理を説明するための模式図である。

【図9】第１実施形態による第１サブ補正処理を説明するための模式図である。

【図10】第１実施形態による第２サブ補正処理を説明するための模式図である。

【図11】第１実施形態によるバイナリ画像を説明するための模式図である。

【図12】第１実施形態による画像復元方法を示すフローチャートである。

【図13】第２実施形態による画像復元方法を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、複数の実施形態を図面に基づいて説明する。なお、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。

【0015】

（第１実施形態）
図１，２に示すように第１実施形態による画像システム１は、イベントカメラ２及び画像復元装置３を含んで構成されている。画像システム１では、二階調の白黒被写体４を撮影したイベントカメラ２からの出力に基づき、二階調輝度画像としてのバイナリ画像Ｂが画像復元装置３により復元される。この画像復元装置３により復元されるバイナリ画像Ｂでは、白黒被写体４のうち黒色部分を表す輝度値（即ち、階調値）が「０」であり、同被写体４のうち白色部分を表す輝度値が「１」であるとする。

【0016】

イベントカメラ２は、撮影対象となる白黒被写体４との間において特定の相対運動関係の成立する状態に、設置される。特定の相対運動関係とは、イベントカメラ２に対する相対運動により撮影期間内に発生するオプティカルフローの方向が、白黒被写体４のうちイベントカメラ２による被撮影面４０の全域において同一となる所謂、並進運動関係である。この並進運動関係の一例は、位置固定されたイベントカメラ２に対して平面状の白黒被写体４が、カメラ軸と直交する一方向Ｍのみへ相対的に直線運動する、例えば図３の関係となる。そこで平面状の白黒被写体４として、図４に示すように白と黒の二階調で描画された二次元コードが、例えば工場製品に印刷又は貼着されてコンベア移動等により直線運動しつつ、位置固定のイベントカメラ２により撮影される並進運動関係が、本実施形態では想定される。なお、図４に示す二次元コードは、ＱＲコード（デンソーウェーブの登録商標）であるが、例えばバーコード等であってもよい。

【0017】

図３に示すようにイベントカメラ２は、所定の撮影期間内に相対運動する白黒被写体４の被撮影面４０を、当該撮影期間に亘ってカメラ画角内に収める。イベントカメラ２は、水平方向と垂直方向とに二次元配列された複数のカメラ画素により、カメラ画角内からの入射光を感知する。イベントカメラ２では、カメラ画素毎に感知される入射光の輝度変化が、撮影期間において時系列に監視される。その結果、少なくとも一つのカメラ画素における増大方向又は減少方向への輝度変化量がｌｏｇオーダーでの閾値以上となった場合には、イベントが発火したとして、イベントデータＤがイベントカメラ２から出力される。図５に示すようにイベントデータＤは、イベントの発火時刻ｔと関連付けて、同イベントの画素座標ｘ，ｙ及び極性値ｐを出力するためのデータセットとして、生成される。なお、図５及び後述の図６～８では、縦横における各座標ｘ，ｙの最大値がそれぞれＸ，Ｙにより表されている。

【0018】

画素座標ｘ，ｙは、閾値以上に輝度変化したカメラ画素の縦横二次元位置を、座標値により規定する。極性値ｐは、閾値以上に輝度変化した増減の方向を、二値により規定する。特に本実施形態では、黒色から白色への輝度増大方向を表した極性値ｐが「１」に規定される一方、白色から黒色への減少方向を表した極性値ｐが「０」に規定される。このようにイベントデータＤでは、イベントの発火した画素座標ｘ，ｙにおける輝度変化の増減方向が、一対の極性値ｐにより表される。

【0019】

図１，２に示す画像復元装置３は、例えばＬＡＮ（Local Area Network）、ワイヤハーネス及び内部バス等のうち、少なくとも一種類を介して、イベントカメラ２に接続される。図１に示すように画像復元装置３は、メモリ１０及びプロセッサ１２を、少なくとも一つずつ含んで構成される専用のコンピュータである。メモリ１０は、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に格納又は記憶する、例えば半導体メモリ、磁気媒体及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。プロセッサ１２は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）及びＲＩＳＣ（Reduced Instruction Set Computer）－ＣＰＵ等のうち、少なくとも一種類をコアとして含む。

【0020】

プロセッサ１２は、メモリ１０に格納された画像復元プログラムに含まれる複数の命令を、実行する。これにより画像復元装置３は、イベントカメラ２から出力されるイベントデータＤに基づきバイナリ画像Ｂを復元するための機能ブロックを、複数構築する。このように画像復元装置３では、バイナリ画像Ｂを復元するためにメモリ１０に格納された画像復元プログラムが複数の命令をプロセッサ１２に実行させることで、複数の機能ブロックが構築される。画像復元装置３により構築される複数の機能ブロックには、図２に示すように初期化ブロック１００、更新ブロック１２０、補正ブロック１４０及び出力ブロック１６０が、含まれる。

【0021】

初期化ブロック１００は、メモリ１０における所定のデータ格納領域に、輝度配列リストＬを準備する。図６に示すように輝度配列リストＬは、イベントカメラ２の全カメラ画素に対応する縦横二次元の画素座標ｘ，ｙ毎に、輝度値Ｉ及びタイムスタンプＴを関連付けて保存するデータセットとして、準備される。輝度配列リストＬに保存される輝度値Ｉは、バイナリ画像Ｂの二階調輝度値に対応する一対の極性値ｐの各々と、それらの中間値ｍとのうち、いずれかである。中間値ｍは、一対の極性値ｐである二値間の範囲に、規定される。特に本実施形態では、バイナリ画像Ｂの白色輝度値に対応した輝度増大方向の極性値ｐである「１」と、同画像Ｂの黒色輝度値に対応した輝度減少方向の極性値ｐである「０」との間の、中央値となる「０．５」が中間値ｍに規定される。

【0022】

図７に示すように初期化ブロック１００は、輝度配列リストＬにおける各画素座標ｘ，ｙの輝度値Ｉを全て、中間値ｍに初期化する。それと共に初期化ブロック１００は、輝度配列リストＬにおける各画素座標ｘ，ｙのタイムスタンプＴを全て、リセット値としての「０」に初期化する。これらの初期化処理は、イベントカメラ２による撮影期間の開始前又は開始に伴って、初期化ブロック１００により実現される。

【0023】

図２に示す更新ブロック１２０は、撮影期間内におけるイベント毎のイベントデータＤを、イベントカメラ２から取得する。更新ブロック１２０は、イベントカメラ２から発火時刻ｔ毎に出力されるイベントデータＤを、それぞれ同時刻ｔ毎に取得してもよい。更新ブロック１２０は、イベントカメラ２から発火時刻ｔ毎に出力されて、例えば撮影期間内等の設定期間内はメモリ１０にバッファリングされたイベントデータＤを、当該設定期間後に纏めて取得してもよい。

【0024】

更新ブロック１２０は、イベントデータＤを取得したイベント毎に当該データＤに含まれる、発火時刻ｔと画素座標ｘ，ｙと極性値ｐとに応じて、輝度配列リストＬを更新する。更新ブロック１２０は、イベントデータＤの取得される発火時刻ｔ毎に、輝度配列リストＬを更新してもよい。更新ブロック１２０は、バッファリングされたイベントデータＤから発火時刻ｔ毎のデータを順次抽出することで、当該抽出毎に輝度配列リストＬを更新してもよい。以下では、いずれの場合の更新処理もイベント毎の処理として、詳細に説明する。

【0025】

図８に示すように更新処理の更新ブロック１２０は、イベントデータＤにおける発火時刻ｔの画素座標ｘ，ｙに対応した輝度配列リストＬの画素座標ｘ，ｙを、イベントの発火した発火時刻ｔでの発火座標ｘｆ，ｙｆに設定する。それと共に更新ブロック１２０は、輝度配列リストＬにおいて発火座標ｘｆ，ｙｆを除いた全ての画素座標ｘ，ｙを、発火時刻ｔでの非発火座標ｘｎ，ｙｎに設定する。

【0026】

更新処理の更新ブロック１２０は、輝度配列リストＬにおける発火時刻ｔでの発火座標ｘｆ，ｙｆの輝度値Ｉを、イベントデータＤにおける発火時刻ｔでのイベントの極性値ｐにより上書き演算する。それと共に更新ブロック１２０は、輝度配列リストＬにおける発火時刻ｔでの発火座標ｘｆ，ｙｆのタイムスタンプＴを、イベントデータＤにおけるイベントの発火時刻ｔにより上書き演算する。このとき本実施形態の更新ブロック１２０は、撮影期間の開始時刻を基準の「０」秒として、発火時刻ｔを当該開始時刻からの経過時間へと置き換えてタイムスタンプＴに保存する。

【0027】

これら上書き一方で更新処理の更新ブロック１２０は、輝度配列リストＬにおける発火時刻ｔでの非発火座標ｘｎ，ｙｎのうち、発火時刻ｔとタイムスタンプＴとの時間差が許容時間範囲内にある座標の輝度値Ｉを、発火時刻ｔにおける保存値のまま保持する。その結果、輝度配列リストＬにおいて発火座標ｘｆ，ｙｆから切り替わった非発火座標ｘｎ，ｙｎの輝度値Ｉは、当該切り替わり前の座標ｘｆ，ｙｆの発火時刻ｔから許容時間範囲内では、保持されることとなる。

【0028】

但し、輝度配列リストＬにおける発火時刻ｔでの非発火座標ｘｎ，ｙｎのうち、発火時刻ｔとタイムスタンプＴとの時間差が許容時間範囲外にある座標の輝度値Ｉについては、上書き演算により更新ブロック１２０が中間値ｍへと戻す。その結果、輝度配列リストＬにおいて発火座標ｘｆ，ｙｆから切り替わった非発火座標ｘｎ，ｙｎの輝度値Ｉは、当該切り替わり前の座標ｘｆ，ｙｆの発火時刻ｔから許容時間範囲外では、中間値ｍにより上書き演算されることとなる。

【0029】

なお、このように時間差に基づいて更新処理の内容を切り替えるための許容時間範囲は、輝度値Ｉを保持すべき時間差の上限値以下に設定されてもよいし、輝度値Ｉを中間値ｍにより上書き演算すべき時間差の下限値未満に設定されてもよい。

【0030】

図２に示す補正ブロック１４０は、更新ブロック１２０により撮影期間に亘って更新された輝度配列リストＬを、補正する。即ち、補正ブロック１４０は、撮影期間内における全イベントのイベントデータＤに応じて更新された輝度配列リストＬを、補正する。以下では、この補正ブロック１４０による補正処理を、全更新後の輝度配列リストＬに対する処理として、詳細に説明する。

【0031】

補正処理の補正ブロック１４０は、全更新後の輝度配列リストＬにおいて中間値ｍが保存された画素座標ｘ，ｙを全て、中間座標ｘｍ，ｙｍに設定する。この設定下において更新ブロック１２０は、輝度配列リストＬにおける中間座標ｘｍ，ｙｍの輝度値Ｉを中間値ｍから適正値へと補正するために、第１サブ補正処理及び第２サブ補正処理を実行する。以下、第１サブ補正処理を説明するために図９は、輝度配列リストＬの全体を画像イメージにて示している。一方、第２サブ補正処理を説明するために図１０は、輝度配列リストＬの一部を画像イメージにて示している。

【0032】

第１サブ補正処理の補正ブロック１４０は、図９に示すように輝度配列リストＬのエッジ部分を構成する中間座標ｘｍ，ｙｍを、起点座標ｘｓ，ｙｓとして抽出する。このとき補正ブロック１４０は、縦横における各座標ｘ，ｙのうち少なくとも一方が最小値又は最大値（図９は双方が最小値の例）となる中間座標ｘｍ，ｙｍを、起点座標ｘｓ，ｙｓに設定する。第１サブ補正処理の補正ブロック１４０は、輝度配列リストＬにおける中間座標ｘｍ，ｙｍのうち、起点座標ｘｓ，ｙｓから直接的又は他の中間座標ｘｍ，ｙｍを介して間接的に連続する座標の輝度値Ｉと、同座標ｘｓ，ｙｓの輝度値Ｉとを、特定一方の極性値ｐにより上書き演算する。ここで、白黒被写体４が二次元コードである場合、バイナリ画像Ｂの白色輝度値に対応して輝度増大方向を表した値「１」が、特定一方の極性値ｐとして起点座標ｘｓ，ｙｓとその連続座標とに上書き演算される。なお、本開示における「更新部による更新は、輝度配列リストにおいてイベントの発火した画素座標である発火座標の輝度値を、イベントの極性値により上書き演算する一方、輝度配列リストにおいて発火座標を除いた画素座標である非発火座標の輝度値を、保持する。」との処理は、この第１サブ補正処理によりなされる。その観点で、第１サブ補正処理はメインの処理である。

【0033】

第２サブ補正処理の補正ブロック１４０は、図１０に示すようにイベントカメラ２に対する白黒被写体４の相対運動方向Ｍを、探索方向Ｓに設定する。このとき相対運動方向Ｍは、例えば加速度センサからの出力値等に基づき算出されることで、探索方向Ｓに設定される。第２サブ補正処理の補正ブロック１４０は、輝度配列リストＬにおける中間座標ｘｍ，ｙｍのうち、第１サブ補正処理によっても輝度値Ｉが中間値ｍのまま残存している座標から、探索方向Ｓに直近となる注目座標ｘｃ，ｙｃを、探索する。第２サブ補正処理の補正ブロック１４０は、輝度配列リストＬにおける中間値ｍの残存座標の輝度値Ｉを、注目座標ｘｃ，ｙｃの極性値ｐにより上書き演算する。その結果として残存座標の輝度値Ｉには、図１０に示す探索方向Ｓとは逆方向Ｏに注目座標ｘｃ，ｙｃの極性値ｐがコピーされる。このように第２サブ補正処理が加えられることで、メインである第１サブ補正処理によりイベントデータＤの全ての読取が終了するのを待つことなく、極性値ｐを特定することができる。

【0034】

図２に示す出力ブロック１６０は、更新ブロック１２０により撮影期間に亘って更新されるのに加えて補正ブロック１４０により補正された輝度配列リストＬを、バイナリ画像Ｂとして出力する。即ち出力ブロック１６０は、撮影期間内における全発火時刻ｔでのイベントデータＤにより更新されてから中間座標ｘｍ，ｙｍがいずれかの極性値ｐに補正された最新の輝度配列リストＬを、図１１に示すように出力するバイナリ画像Ｂとして復元する。

【0035】

ここまでの説明から第１実施形態では、初期化ブロック１００が「初期化部」に相当し、更新ブロック１２０が「更新部」に相当する。また第１実施形態では、補正ブロック１４０が「補正部」に相当し、出力ブロック１６０が「出力部」に相当する。

【0036】

このようなブロック１００，１２０，１４０，１６０の共同により画像復元装置３がバイナリ画像Ｂを復元するための画像復元方法のフローである画像復元フローを、図１２に従って説明する。なお、本画像復元フローは、イベントカメラ２による撮影期間の開始前又は開始に伴って、開始される。また本画像復元フローにおいて「Ｓ」とは、画像復元プログラムに含まれた複数命令によって実行される、同フローの複数ステップを意味する。

【0037】

Ｓ１０１において初期化ブロック１００は、メモリ１０に準備した輝度配列リストＬを初期化する。このとき初期化ブロック１００は、輝度配列リストＬにおける各画素座標ｘ，ｙの輝度値Ｉ及びタイムスタンプＴを、それぞれ中間値ｍ及びリセット値に初期化する。

【0038】

Ｓ１０１に続くＳ１０２において更新ブロック１２０は、Ｓ１０１により初期化された輝度配列リストＬを、イベント毎のイベントデータＤに応じて更新する。このとき、イベント毎の更新処理として更新ブロック１２０は、輝度配列リストＬにおける発火座標ｘｆ，ｙｆの輝度値Ｉ及びタイムスタンプＴを、それぞれイベントの極性値ｐ及び発火時刻ｔにより上書き演算する。それと共に、イベント毎の更新処理として更新ブロック１２０は、輝度配列リストＬにおける非発火座標ｘｎ，ｙｎのうち、発火時刻ｔとタイムスタンプＴとの時間差が許容時間範囲外となる座標の輝度値Ｉを、中間値ｍにより上書き演算する。その結果、輝度配列リストＬにおいて発火座標ｘｆ，ｙｆから切り替わった非発火座標ｘｎ，ｙｎの輝度値Ｉは、切り替わり前座標ｘｆ，ｙｆの発火時刻ｔから許容時間範囲外では、中間値ｍにより上書き演算されることとなる。

【0039】

さらにこれら上書き演算の一方で、イベント毎の更新処理としてＳ１０２の更新ブロック１２０は、輝度配列リストＬにおける非発火座標ｘｎ，ｙｎのうち、発火時刻ｔとタイムスタンプＴとの時間差が許容時間範囲内となる座標の輝度値Ｉを、保持する。その結果、輝度配列リストＬにおいて発火座標ｘｆ，ｙｆから切り替わった非発火座標ｘｎ，ｙｎの輝度値Ｉは、切り替わり前座標ｘｆ，ｙｆの発火時刻ｔから許容時間範囲内では、保持されることとなる。

【0040】

Ｓ１０２に続くＳ１０３において補正ブロック１４０は、撮影期間に亘る全イベントのイベントデータＤに応じて更新ブロック１２０により更新された輝度配列リストＬを、補正する。このとき、第１サブ補正処理として補正ブロック１４０は、全更新後の輝度配列リストＬにおいて中間値ｍの保存されている中間座標ｘｍ，ｙｍのうち、エッジ部分の起点座標ｘｓ，ｙｓの輝度値Ｉと、同座標ｘｓ，ｙｓから連続する座標の輝度値Ｉとを、特定一方の極性値ｐにより上書き演算する。上述の通り、この第１サブ補正処理がメインの処理である。また、第２サブ補正処理として補正ブロック１４０は、第１サブ補正処理後の輝度配列リストＬにおける中間座標ｘｍ，ｙｍのち、中間値ｍのまま残存している残存座標の輝度値Ｉを、当該残存中座標ｘｍ，ｙｍから探索方向Ｓに直近となる注目座標ｘｃ，ｙｃの極性値ｐにより、上書き演算する。このとき探索方向Ｓは、イベントカメラ２に対する白黒被写体４の相対運動方向Ｍに、設定される。この第２サブ補正処理により処理速度を向上させることができる。

【0041】

Ｓ１０３に続くＳ１０４において出力ブロック１６０は、Ｓ１０２により撮影期間に亘って更新されてから補正ブロック１４０により補正された輝度配列リストＬを、バイナリ画像Ｂとして出力する。以上により、一回の撮影期間に対する画像復元フローが終了する。

【0042】

ここまでの説明から第１実施形態では、Ｓ１０１が「初期化プロセス」に相当し、Ｓ１０２が「更新プロセス」に相当する。また第１実施形態では、Ｓ１０３が「補正プロセス」に相当し、Ｓ１０４が「出力プロセス」に相当する。

【0043】

（作用効果）
以上説明した第１実施形態の作用効果を、以下に説明する。

【0044】

第１実施形態によると、各画素座標ｘ，ｙの輝度値Ｉが中間値ｍに初期化された輝度配列リストＬに対して、イベント毎の画素座標ｘ，ｙ及び極性値ｐに応じた更新は、発火座標ｘｆ，ｙｆの輝度値Ｉをイベントの極性値ｐにより上書き演算する。このとき輝度値Ｉに上書き演算される極性値ｐは、白黒被写体４の被撮影面４０のうち相対移動によってカメラ画素にイベントを発火させる発火部分（即ち、輝度変化を与える輝度変化部分）の実輝度を、表し得る。また第１実施形態によると、初期化された輝度配列リストＬに対する更新は、そうした上書き演算の一方で、発火座標ｘｆ，ｙｆを除く非発火座標ｘｎ，ｙｎの輝度値Ｉを保持する。その結果、極性値ｐの上書き演算後に発火座標ｘｆ，ｙｆから切り替わった非発火座標ｘｎ，ｙｎに保持される当該極性値ｐは、被撮影面４０のうち相対移動によってもイベントを発火させない非発火部分の実輝度を、表し得る。

【0045】

これらのことから、第１実施形態により撮影期間に亘って更新された輝度配列リストＬは、被撮影面４０に対応する各画素座標ｘ，ｙに、それぞれ実輝度に応じた極性値ｐを保存したバイナリ画像Ｂとして、出力され得る。以上によれば、上書き演算という簡易な演算処理によってバイナリ画像Ｂを復元することができるので、画像復元に必要な演算負荷を低減することが可能となる。

【0046】

第１実施形態によると、撮影期間に亘って更新された輝度配列リストＬにおいて中間値ｍの保存された中間座標ｘｍ，ｙｍの輝度値Ｉには、当該中間座標ｘｍ，ｙｍから探索方向Ｓに直近となる注目座標ｘｃ，ｙｃの極性値ｐが、上書き演算される。このとき、イベントカメラ２に対する白黒被写体４の相対運動方向Ｍに探索方向Ｓが設定されることによれば、当該方向Ｍでの被撮影面４０の実輝度を表す可能性が高い方の極性値ｐを、中間値ｍからの置換によって復元することができる。故に、中間値ｍの残存に起因したバイナリ画像Ｂの復元不良を抑制することが可能となる。

【0047】

第１実施形態によると、輝度配列リストＬにおいて発火座標ｘｆ，ｙｆから切り替わった非発火座標ｘｎ，ｙｎの輝度値Ｉは、切り替わり前座標ｘｆ，ｙｆの発火時刻ｔから許容時間範囲内では、切り替わり前座標ｘｆ，ｙｆの極性値ｐに保持されることとなる。その結果、発火座標ｘｆ，ｙｆから切り替わった非発火座標ｘｎ，ｙｎに許容時間範囲内において保持される極性値ｐは、被撮影面４０のうちイベント発火後の相対移動によってはイベント発火しなくなる非発火部分の実輝度を、表し得る。故に、従来はオプティカルフローの推定を必要としていた非発火部分でのバイナリ画像Ｂの復元を、簡易な演算処理により実現して、演算負荷を低減することが可能となる。

【0048】

第１実施形態によると、輝度配列リストＬにおいて発火座標ｘｆ，ｙｆから切り替わった非発火座標ｘｎ，ｙｎの輝度値Ｉは、切り替わり前座標ｘｆ，ｙｆの発火時刻ｔから許容時間範囲外では、初期の中間値ｍに上書き演算されることとなる。その結果、ノイズに起因してイベント発火した場合の発火座標ｘｆ，ｙｆでは、輝度値Ｉが誤った極性値ｐにより上書き演算されたとしても、その後のイベント発火が許容時間範囲外まで生じないことで、輝度値Ｉが正規の中間値ｍへと戻され得る。故に、ノイズに起因したバイナリ画像Ｂの復元不良を抑制することが可能となる。

【0049】

第１実施形態によると、イベントカメラ２に対する相対運動により撮影期間内に発生するオプティカルフローの方向は、イベントカメラ２による被撮影面４０の全域において同一となる。これによれば、極性値ｐの上書き演算後に発火座標ｘｆ，ｙｆから切り替わった非発火座標ｘｎ，ｙｎの当該極性値ｐが、非発火部分の実輝度から外れ難くなる。故に簡易な演算処理によっても、バイナリ画像Ｂを復元することが可能となる。

【0050】

イベントカメラ２に対して撮影期間内に相対運動する二次元コードを白黒被写体４として画像復元する第１実施形態では、極性値ｐの上書き演算後に発火座標ｘｆ，ｙｆから切り替わった非発火座標ｘｎ，ｙｎの当該極性値ｐが、非発火部分の実輝度を正確に表し得る。故に簡易な演算処理によっても、バイナリ画像Ｂを高精度に復元することが可能となる。

【0051】

次に、以上の第１実施形態を別の観点で改めて説明する。まず、本開示の読取対象である白黒被写体４は、上述の通りＱＲコード（デンソーウェーブの登録商標）に限らず、他の二次元コードでもよく、バーコードでもよい。通常は白色と黒色で印刷されているが、明色と暗色であれば色彩を持っていても構わない。したがって、以下の説明で用いる白色と黒色とは、明色と暗色とを意味している。

【0052】

ＱＲコードの場合では、図１～３に示すように、コードの三方の隅に四角形状のファインディングパターン４ａを有し、コードの内部は、四角形状の白色セルと同じく四角形状の黒色セルが配置され、このセルの配置により情報が定まる。ファインディングパターン４ａの最外方の四角黒色部の幅はセルの幅と同じで、その内方の四角白色部の幅もセルの幅と同じで、中央の四角黒色部の幅はセルの幅の三倍となっている。いずれにせよ、印刷されたＱＲコードは、白色又は黒色の四角形状の組み合わせである。

【0053】

図４は、画像復元装置３で復元されたＱＲコードのイメージ画像を、示している。印刷された状態では、ＱＲコードは、図４のように変形していない。ただ、ＱＲコードは、セルの中の中心部での明度（白色、黒色）を判断するので、図４のように復元されたＱＲコードであっても、情報の読取は可能である。

【0054】

また、イベントカメラ２は、図９の輝度配列リストＬに表示されるように多数のカメラ画素（以下ピクセルという）を持つ。図６～８の例においてイベントカメラ２は、横方向に例えば１２８０ピクセル（ｘは１～１２８０）有し、縦方向に例えば７２０ピクセル（ｙは１～７２０）有している。図３に示す被撮影面４０は、イベントカメラ２と白黒被写体４との距離で変わるが、通常は、白黒被写体４（ＱＲコード）に比べて充分大きな面積である。そのため、図３では、被撮影面４０の一部のみが示されている。被撮影面４０の大きさと白黒被写体４（ＱＲコード）の大きさの例示としては、図１１の画像が理解し易い。例えば、被撮影面４０の大きさが横方向に１２８ミリメートルであり、縦方向に７２ミリメートルである場合には、被撮影面４０の０．０１ミリメートル四方がイベントカメラ２の１ピクセルに対応する。

【0055】

イベントカメラ２は、図５に示すように、輝度（明度）の変化が生じた際（発火時）に、その変化の生じたピクセルの座標ｘ，ｙと、輝度（明度）の変化である極性値ｐと、発火時刻ｔをイベントデータＤとして記録する。したがって、発火がなければ、イベントカメラ２は何も新たな記録を行わず、イベントデータＤも更新されない。一方、発火があれば、極めて短いタイミングでその発火を記録する。イベントカメラ２の性能によるが、例えば１マイクロセカンド（１００万分の１秒）でも、記録可能である。

【0056】

図５の例では、ｘ座標が１で、ｙ座標がＹ－１（７２０ピクセルの例では７１９）のピクセルで、極性値ｐが１に変化するイベント（発火）が、０．５ミリセカンド（千分の０．５秒）の時間に生じたことが記録される。また、ｘ座標がＸ（１２８０ピクセルの例では１２８０）で、ｙ座標がＹ－１（７１９）のピクセルでも０．５ミリセカンドの時間に極性値ｐが０に変化する発火が記録される。０．７ミリセカンドの時間では、ｘ座標が２、ｙ座標がＹ－１（７１９）のピクセルで極性値ｐが１に変化する発火が記録され、１ミリセカンドの時間でも、ｘ座標が２、ｙ座標がＹ－１（７１９）のピクセルで極性値ｐが１に変化する発火が記録される。

【0057】

なお、イベントカメラ２は輝度（明度）の変化を検知するものであり、輝度（明度）の絶対値を検知するものではない。上述の通り、輝度変化量はｌｏｇオーダーで検出するが、例えば、輝度（明度）を黒（０）から白（１）までの間で１２８分解したとし、変化を検知する閾値を１０／１２８とした場合、変化前の明るさから１０／１２８以上明るくなると「１」の極性値ｐを記録し、１０／１２８以上暗くなると「０」の極性値ｐを記録する。この例では、輝度（明度）の絶対値が、変化前が０．５で変化後が０．３の場合、閾値以上暗くなっているので「０」の極性値ｐを記録するが、輝度（明度）の絶対値が、変化前が０で変化後が０．３の場合には、閾値以上明るくなっているので「１」の極性値ｐを記録する。即ち、輝度（明度）の絶対値が同じく０．３であっても記録する極性値ｐは「０」になったり「１」になったりする。

【0058】

図５と図６との関係では、図６は時間が１ミリセカンドの状態での輝度配列リストＬを示している。ｘ座標が１でｙ座標がＹ－１（７１９）のピクセル、ｘ座標がＸ（１２８０）でｙ座標がＹ－１（７１９）のピクセル、及びｘ座標が２でｙ座標がＹ－１（７１９）の３つのピクセル以外のピクセルでは輝度（明度）の変化（発火）が生じていないので時間は「０ミリセカンド」のままである。ｘ座標が１でｙ座標がＹ－１（７１９）のピクセルと、ｘ座標がＸ（１２８０）でｙ座標がＹ－１（７１９）のピクセルとでは、輝度（明度）の変化（発火）が０．５ミリセカンドの時間で生じたので、タイムスタンプＴを「０．５ミリセカンド」とし、極性値ｐをそれぞれ「１」と「０」としている。ｘ座標が２でｙ座標がＹ－１（７１９）のピクセルでは、輝度（明度）の変化（発火）が０．７ミリセカンドの時間と１ミリセカンドの時間で２度起きているので、図５ではそれぞれのタイムスタンプＴを記録している。また、１ミリセカンドの状態を示す図６の例では、極性値ｐの「１」とタイムスタンプＴの「１ミリセカンド」とが記録されている。

【0059】

繰り返しになるが、イベントカメラ２は、輝度（明度）の変化を検知するものであるので、変化がなければ何も検知されない。そのため、白黒被写体４（ＱＲコード）が移動せずに静止していれば、何も検知されない。イベントデータＤが記録されるのは、白黒被写体４（ＱＲコード）が移動する場合に限られる。

【0060】

被撮影面４０の大きさが横方向に１２８ミリメートル、縦方向に７２ミリメートルで、被撮影面４０の１ミリメートル四方がイベントカメラ２の１００ピクセルに対応するとした上述の想定例で、白黒被写体４（ＱＲコード）の白色四角セル及び黒色四角セルの幅が１ミリメートルであるとすると、白黒被写体４（ＱＲコード）の１つのセルとイベントカメラ２の１００ピクセルが対応する。これは、１ピクセルに受光する被撮影面４０を正方形で示せば、一辺が０．１ミリメートルとなる。そして、白黒被写体４（ＱＲコード）が、例えば１秒に１０センチメートル移動するとすれば、１秒間に１００ミリメートル移動することであり、１秒間に１０００ピクセル移動することに相当する。即ち、１秒間に白黒被写体４（ＱＲコード）のセルのエッジ部は、１０００ピクセル分相対運動方向Ｍに移動することとなる。１ピクセル当たりにすれば、白黒被写体４（ＱＲコード）のセルのエッジ部は１ミリセカンドで通過することとなる。

【0061】

なお、「白黒被写体４（ＱＲコード）のセルのエッジ部」とは、白色セルと黒色セルとの境界部を意味し、白色セルの観点では、黒色セルが終了し白色セルが開始する境界部と、白色セルが終了し黒色セルが開始する境界部とがある。黒色セルの観点でも、同様に、開始部と終了部が境界部となる。

【0062】

仮にイベントカメラ２の分解能を０．１ミリセカンド（千分の０．１秒）とした場合には、白黒被写体４（ＱＲコード）のセルのエッジ部が一つのピクセルを通過する際に、１０回の輝度（明度）の変化を記録することができる。例えば、当初の明るさが黒（輝度値０）のセルから白（輝度値１）のセルに移動するとした場合で、イベントカメラ２には特定の座標のピクセルがこの輝度（明度）の変化を全て観察できる位置にあったとすれば、その座標のピクセルは、全ての領域で白黒被写体４（ＱＲコード）の黒色のセルが示されていた時間（時間０ミリセカンド）から全ての領域で白黒被写体４（ＱＲコード）の白色のセルが示される時間（時間１ミリセカンド）まで、１０回に亘って輝度（明度）の変化を検知することができる。

【0063】

したがって、この例では、イベントカメラ２の１ピクセルは、ピクセル全体が黒（輝度値０）の状態（時間０ミリセカンド）からピクセル全体が白（輝度値１）の状態（時間１ミリセカンド）に１０回にわたって変化を検知する。この１０回（時間０ミリセカンドから時間１ミリセカンド）は、閾値上の輝度（明度）変化があるので、イベントデータＤには、当該特定ピクセルの座標ｘ，ｙと、極性値ｐの「１」と、発火時刻ｔが記録される。

【0064】

上述の想定設定で、白黒被写体４（ＱＲコード）で１つのセルの一辺がイベントカメラ２の１０ピクセルに対応し、その１０ピクセルが相対運動方向Ｍに連続するとすれば、最初の第１ピクセルと最後の第１０ピクセルが、白黒被写体４（ＱＲコード）のセルのエッジ部に対応し、白黒反転を検知し得る。一方で、第２から第９ピクセルでは、白黒被写体４（ＱＲコード）のセルのエッジ部に対応せず、白黒の反転は生じない。その場合、最初の第１ピクセルで１０回（時間０ミリセカンドから時間１ミリセカンド）、座標ｘ，ｙ、極性値ｐ「１」及び発火時刻ｔが記録され、第２から第９ピクセルでは、閾値以上の輝度（明度）変化がないので、イベントデータＤは記録されない。最後の第１０ピクセルは、白（輝度値１）のセルから黒（輝度値０）セルに移行するので、閾値以上の輝度（明度）の変化があり、座標ｘ，ｙ、極性値ｐ「０」及び発火時刻ｔが記録される。

【0065】

換言すれば、白黒被写体４（ＱＲコード）の白黒が反転するセルのエッジ部では、閾値以上の輝度（明度）の変化が検出されて輝度（明度）が明るい方向に閾値以上変化したことを表す極性値ｐ「１」や、輝度（明度）が暗い方向に閾値以上変化したことを意味する極性値ｐ「０」が記録されるが、白又は黒が連続するセルの中間部分では、輝度（明度）の変化がないので、記録されない。

【0066】

なお、以上の説明は、白黒被写体４（ＱＲコード）が１つのセルのみで、白色セルから黒色セルに変わる例を前提に行ったが、実際の白黒被写体４（ＱＲコード）では、複数の白色セルや黒色セルが連続することが通常である。そのため、実際に白黒被写体４（ＱＲコード）のセルのエッジ部を検知するピクセルは、より少なくなっている。

【0067】

このことは、被撮影面４０から白黒被写体４（ＱＲコード）を検出する上で非常に重要である。白黒被写体４（ＱＲコード）は、セルは白色又は黒色で中間色が存在しないのであるが、それ以外の部分、例えば白黒被写体４（ＱＲコード）が印刷された部品では、その輝度（明度）はランダムに変化する。したがって、白色（輝度値１）や黒色（輝度値０）を数ミリセカンド亘って維持することはまれである。

【0068】

以上の技術事項を踏まえて、本開示の画像システム１を説明する。図１，２に示すようにイベントカメラ２は、撮影対象となる白黒被写体４（ＱＲコード）を撮影する。白黒被写体４（ＱＲコード）は、一定の相対運動方向Ｍに例えば１秒間に１０センチメートルの速度で移動している。勿論、秒速１～１０センチメートルは例示であり、より高速の移動の可能である。より重要な点は、白黒被写体４（ＱＲコード）の物理的な速度ではなく、イベントカメラ２から見た視野角度の変化である。イベントカメラ２と白黒被写体４との距離が近ければ、より高速の移動が検出できる。

【0069】

イベントカメラ２は、輝度（明度）の変化を検知したとき、イベントデータＤを画像復元装置３に出力する。イベントデータＤには、図５に示すような、イベントの生じたピクセルの座標ｘ，ｙと、閾値以上の輝度（明度）の変化が生じた極性値ｐ（０，１）と、イベントの生じた発火時刻ｔ（タイムスタンプＴ）が記録される。

【0070】

図１は、画像復元装置３のハードウェアを示しており、メモリ１０とプロセッサ１２とがバスで接続されている。図２は、画像復元装置３のソフトウェアの機能ブロックを示しており、初期化ブロック１００、更新ブロック１２０、補正ブロック１４０及び出力ブロック１６０を備えている。上記イベントデータＤはメモリ１０に記録される。図６は、図５に示すイベントデータＤを記録した例であり、メモリ１０の輝度配列リストＬには、イベントカメラ２のピクセルの座標ｘ，ｙと、閾値以上の輝度（明度）の変化が生じた極性値ｐ（０，１）と、イベントの生じた発火時刻ｔ（タイムスタンプＴ）が記録される。

【0071】

初期化ブロック１００は、メモリ１０のデータを初期化する。初期化とは、イベントカメラ２の全てのピクセルの座標ｘ，ｙにおいて、タイムスタンプＴを０とする。イベントカメラ２の分解能が例えば０．１ミリセカンドである場合、０は０ミリセカンドを示す。また初期化とは、イベントカメラ２の全てのピクセルの座標ｘ，ｙにおいて、輝度値Ｉを「０」でも「１」でもない中間値ｍにする。本例では、中間値ｍとして「０．５」が採用されている。初期化されたメモリ１０の輝度配列リストＬの例が図７である。イベントカメラ２の全てのピクセルの座標ｘ，ｙにおいて、輝度値Ｉが「０．５」であり、タイムスタンプＴは「０」である。この初期化ブロック１００で行われる動作が、図１２のフローチャートのステップＳ１０１に対応する。

【0072】

更新ブロック１２０は、イベントカメラ２からイベントデータＤを取得して、メモリ１０のデータに上書き（更新）する。例えば、図５のイベントデータＤを取得すると、メモリ１０の輝度配列リストＬは、時間が０．５ミリセカンドの状態で図８のように更新され、時間が１ミリセカンドの状態で、図６のように更新される。ｘ座標が２、ｙ座標がY－１の座標に注目すると、時間が０．５ミリセカンドの状態（図８）では、まだ発火が生じておらず、輝度値Ｉは「０．５」で、タイムスタンプＴは「０ミリセカンド」である。

【0073】

なお、図５，６，８では、イベントが輝度配列リストＬの端（（ｘ＝１，ｙ＝Ｙ－１）、（ｘ＝２，y＝Ｙ－１）、（ｘ＝Ｘ，ｙ＝Ｙ－１））で生じているが、これは、白黒被写体４がイベントカメラ２の視野の端から移動してくることに起因している。なお、白黒被写体４がＱＲコードである場合、コードを読み取るためには、ＱＲコードが所定量以上イベントカメラ２の視野に入る必要がある。

【0074】

図９の例において発火座標ｘｆ，ｙｆは、同図で黒（輝度値Ｉ：「０」）又は白（輝度値Ｉ：「１」）で示されたピクセルである。そして、この更新ブロック１２０で行われる動作が、図１２のフローチャートのステップＳ１０２に対応する。

【0075】

補正ブロック１４０は、イベントデータＤから白黒被写体４（ＱＲコード）を素早く抽出するために、メインの処理である第１サブ補正処理に加えて第２サブ補正処理を行い、計２回でメモリ１０の輝度配列リストＬの補正を行う。上述のように、白黒被写体４（ＱＲコード）は、白色セルと黒色セルのみからなり、中間色がないので、イベントカメラ２のピクセルは、セルのエッジの部分で白黒の反転を検出し、エッジ部以外の部分では白黒の反転は検出しない。そして、白黒被写体４（ＱＲコード）のセルは直線として印刷されるので、白黒被写体４（ＱＲコード）のセルのエッジによる発火座標ｘｆ，ｙｆは白又は黒の直線となる。図９の例では、黒色の直線と白色の直線が発火座標ｘｆ，ｙｆである。そこで第１サブ補正処理では、発火座標ｘｆ，ｙｆより白色の直線と黒色の直線が検出される。

【0076】

なお、図９で発火座標ｘｆ，ｙｆの内左側の黒色縦線と下側の黒色横線から左下方の部分が白色となっているが、この白色部分は白黒被写体４（ＱＲコード）の移動方向のイメージを表すのみで、実際に発火座標ｘｆ，ｙｆとなっているわけではない。撮影時間は、ピクセルの数や、白黒被写体４（ＱＲコード）のセルの大きさ、相対運動方向Ｍ及び相対運動のスピードにより異なるが、所定の許容時間範囲とする。図９の例では、白黒被写体４（ＱＲコード）内の白色直線及び黒色直線の幅が、所定の許容時間範囲に対応する。

【0077】

また、図９では、上記白色部分を除き、白黒被写体４（ＱＲコード）以外の部位では発火が起きていない非発火座標ｘｎ，ｙｎとして、輝度値Ｉが「０．５」の中間座標ｘｍ，ｙｍとしているが、実際には、白黒被写体４（ＱＲコード）のみが相対移動をすることはなく、白黒被写体４（ＱＲコード）が印刷されている部品も相対移動する。したがって、白黒被写体４（ＱＲコード）以外の部位であっても、部品等の物体が移動する位置では通常は発火座標ｘｆ，ｙｆとなる。しかし、白黒被写体４（ＱＲコード）以外の部位では輝度（明度）の変化はランダムであり、明方向又は暗方向の輝度（明度）の変化を検知したピクセルが直線状に配置されることは、通常は起きない。また、物体が移動しない領域では輝度（明度）の変化がないので、輝度値Ｉは「０．５」の中間座標ｘｍ，ｙｍのままである。

【0078】

上述の第１サブ補正処理により、白黒被写体４（ＱＲコード）のセルのエッジが特定できる。そして、この白黒被写体４（ＱＲコード）が存在する範囲内に輝度値Ｉが「０．５」の中間座標ｘｍ，ｙｍとして存在する非発火座標ｘｎ，ｙｎは、白黒の反転が生じていない部位であり、ＱＲコードのセルの実際では、白又は黒色である。本例の第２サブ補正処理は、この輝度値Ｉが「０．５」の中間座標ｘｍ，ｙｍを輝度値Ｉが「１」又は「０」の発火座標ｘｆ，ｙｆとする補正処理である。相対運動方向Ｍで輝度値Ｉが「１」から「０．５」に変化する座標、又は輝度値Ｉが「０」から「０．５」に変化する座標を注目座標ｘｃ，ｙｃとし、その注目座標ｘｃ，ｙｃから相対運動方向Ｍと逆方向Ｏに同じ輝度値Ｉとなるように発火座標ｘｆ，ｙｆとする。

【0079】

例えば、輝度（明度）の変化が暗方向で黒の輝度値Ｉの「０」に発火した座標から続く注目座標ｘｃ，ｙｃからは、相対運動方向Ｍと逆方向Ｏに同じ輝度値Ｉの「０」に置き換える。図１０の例では、左側の注目座標ｘｃ，ｙｃからは相対運動方向Ｍと逆方向Ｏに、灰色が黒に置き換えられる。また、右側の注目座標ｘｃ，ｙｃからは相対運動方向Ｍと逆方向Ｏに、灰色が白に置き換えられる。これによりＱＲコードのセルは、本来の白色又は黒色として出力される。

【0080】

図１１は、第２サブ補正処理を行った白黒被写体４（ＱＲコード）を示している。上述のように、メインの処理である第１サブ補正処理は、ＱＲコードのセルのエッジ部を検出する処理であるので、白黒被写体４（ＱＲコード）が存在しない位置では通常なされない。また、第２サブ補正処理は第１サブ補正処理により白黒被写体４（ＱＲコード）の領域と判断された部分のみで行うので、この第２サブ補正処理も白黒被写体４（ＱＲコード）が存在しない位置ではなされない。そのため、図１１で白黒被写体４（ＱＲコード）以外の部位で、部品等の物体が移動する部位では、輝度（明度）の変化がそのまま残って白色（輝度値Ｉが「１」）のピクセルと黒色（輝度値Ｉが「０」）のピクセルがランダムに存在している。

【0081】

ただ、イベントカメラ２の視野内で白黒被写体４（ＱＲコード）をより的確に把握できるよう、図１１に示すように、そのランダムな存在を省いて白色で表示する処理が、行われる。同様に、部品等の物体が移動しない部位では、輝度値Ｉが「０．５」の中間座標ｘｍ，ｙｍは残るが、そのような部位の中間座標ｘｍ，ｙｍも白色で表示するような処理が、行われる。なお、図１１で白黒被写体４（ＱＲコード）より左下方に延びる線は、単に白黒被写体４（ＱＲコード）の相対運動方向Ｍを示すのみで、第２サブ補正処理で得られた線ではなく、また、撮影時間を表すものでもない。

【0082】

以上の第１サブ補正処理及び第２サブ補正処理が補正ブロック１４０で行われる。この補正ブロック１４０での動作が、図１２のフローチャートのステップＳ１０３である。

【0083】

出力ブロック１６０は、図１１に示すような補正処理を行った画像を出力する。上述の通り、白黒被写体４（ＱＲコード）が存在する領域では白色のセルと黒色のセルが表示される。白黒被写体４（ＱＲコード）が存在しない領域では、白色（輝度値Ｉが「１」）のピクセルと黒色（輝度値Ｉが「０」）のピクセルがランダムに存在するか、変化がない部位を白色としている。いずれにせよ、輝度値Ｉが「０．５」の中間座標ｘｍ，ｙｍは存在しないので、バイナリ画像Ｂが出力される。この出力ブロック１６０での動作が、図１２のフローチャートでは、ステップＳ１０４に対応する。なお、図１１の例では白黒被写体４（ＱＲコード）以外の部位を白色に補正する処理を行ったが、色は白黒が把握しやすければよく、黒色としても、緑等の他の色としてもよい。

【0084】

その後、出力されたバイナリ画像Ｂから白黒被写体４（ＱＲコード）に含められた情報が、読み取られる。白黒被写体４（ＱＲコード）は３か所にファインディングパターン４ａを有するので、白色（輝度値Ｉが「１」）のピクセルと黒色（輝度値Ｉが「０」）のピクセルがランダムに存在している中から特殊形状のファインディングパターン４ａを検出することはソフト的に容易である。そして、ファインディングパターン４ａの位置が分かると白黒被写体４（ＱＲコード）のセルの中心位置での明度が白色（輝度値Ｉが「１」）であるのか、黒色（輝度値Ｉが「０」）であるのかが容易に計算でき、白黒被写体４（ＱＲコード）の情報を読み出すことができる。

【0085】

特に、本開示では、第１サブ補正処理により、白黒被写体４（ＱＲコード）が存在する領域を特定し、その領域で第２サブ補正処理を行うので、実際に白黒被写体４（ＱＲコード）の全てを読み取る前（最小２ピクセルの読み取り後）」に白黒被写体４（ＱＲコード）の復元を行うことができる。そして、復元された情報はバイナリ画像Ｂであるので、改めて２値化の処理を行う必要もない。そのため、本開示によれば、極めて短い撮影時間（最小１マイクロセカンド）の間に、白黒被写体４（ＱＲコード）の情報読み出しを行うことができる。

【0086】

ただ、白黒被写体４（ＱＲコード）の把握にある程度の時間をかけることができる場合には、第２サブ補正処理を行わず、第１サブ補正処理のみで白黒被写体４（ＱＲコード）のセルを検出するようにすることも可能である。即ち、図９や図１０の例で直線の太さが許容時間範囲に相当するが、この許容時間範囲を長くすることで、白黒被写体４（ＱＲコード）のセルの全体を白色又は黒色とすることが可能となる。このような意味において、第１サブ補正処理がメインの処理となる。

【0087】

（第２実施形態）
図１３に示すように第２実施形態は、第１実施形態の変形例である。

【0088】

第２実施形態による画像復元フローは、Ｓ１０２に代わるＳ２０２を実行する。このＳ２０２では、発火座標ｘｆ，ｙｆ及び極性値ｐの同じイベントが複数回連続して発火するまで更新ブロック１２０が、イベント毎のイベントデータＤに応じた輝度配列リストＬの一部更新処理を、スキップする。このときスキップされる一部更新処理とは、極性値ｐ及び発火時刻ｔによる上書き演算である。そこで更新ブロック１２０は、発火座標ｘｆ，ｙｆ及び極性値ｐの同じイベントが複数回連続して発火する連続発火では、輝度配列リストＬにおける発火座標ｘｆ，ｙｆの輝度値Ｉを、当該同じ極性値ｐにより上書き演算する。それと共に更新ブロック１２０は、そうした連続発火では、輝度配列リストＬにおける発火座標ｘｆ，ｙｆのタイムスタンプＴを、当該連続発火のうちラストとなるイベントの発火時刻ｔにより上書き演算する。

【0089】

こうしたＳ２０２において、更新ブロック１２０により更新処理をスキップするイベントの連続回数は、例えば外乱等のノイズ発火に起因した極性値ｐへの上書き誤りを抑制可能な適数に、設定される。また、Ｓ２０２において更新ブロック１２０による更新処理は、極性値ｐ及び発火時刻ｔの上書き演算以外については、第１実施形態と同様に実行される。このような第２実施形態では、Ｓ２０２が「更新プロセス」に相当する。

【0090】

（作用効果）
以上説明した第２実施形態の作用効果を、以下に説明する。

【0091】

第２実施形態によると、発火座標ｘｆ，ｙｆ及び極性値ｐの同じイベントが複数回連続して発火するまで、輝度配列リストＬの更新がスキップされる。これによれば、ノイズ発火に起因した極性値ｐへの上書き誤りによるバイナリ画像Ｂの復元不良を、抑制することが可能となる。

【0092】

この第２実施形態に関しても、別の観点で改めて説明する。第１実施形態では、主に白黒被写体４（ＱＲコード）のエッジ部での輝度（明度）の変化を捉え、エッジ部以外の部分では白色又は黒色が連続し、輝度（明度）の変化が生じないことを前提としていた。この前提は、勿論正しいのであるが、外乱に起因するノイズの発生も否定できない。

【0093】

例えば、白黒被写体４（ＱＲコード）のセルの白色部分で、外光の変化や汚れ等に起因して、いずれかのピクセルが閾値以上の輝度（明度）の低下を検出する可能性も排除できないし、さらには光の変化がなくてもイベントカメラ２からの定電圧なアナログ出力信号に外部からのノイズが乗る可能性もある。この場合、輝度（明度）低下を検出又はノイズが乗ったピクセルは、その座標ｘ，ｙ、極性値ｐ「０」と共に発火時刻ｔ（タイムスタンプＴ）をイベントデータＤに記録する。その結果、メモリ１０の輝度配列リストＬでは、当該ピクセルの座標が発火座標ｘｆ，ｙｆとなって、輝度値Ｉも「０」となる。

【0094】

しかし、そうしたピクセルの座標は、本来輝度（明度）に変化がなく、白黒被写体４（ＱＲコード）のセルの白色部分が継続しているはずであって、非発火座標ｘｎ，ｙｎであり、輝度値Ｉは「０．５」の中間値ｍを示す中間座標ｘｍ，ｙｍであるはずである。このように誤った情報がメモリ１０の輝度配列リストＬに記録されると、補正ブロック１４０における第１補正処理や第２補正処理でノイズを取り除くフィルタ処理を行う必要があり、処理時間が伸びたり、誤判断の原因となったりする。

【0095】

尤も、このようなノイズが同一のピクセルで何度も連続して検出される可能性は、低い。何故なら、本来は白黒被写体４（ＱＲコード）のセルの白色部分が継続しているはずの場所であって、連続して輝度（明度）の低下が続く場所ではないからである。一方、白黒被写体４（ＱＲコード）のセルのエッジ部では、所定のピクセルは複数回に亘って輝度（明度）の変化を検知できる。

【0096】

そのため、輝度（明度）の変化が複数回に亘って連続するピクセルは、白黒被写体４（ＱＲコード）のセルのエッジ部を検知している可能性が高い。一方、輝度（明度）の変化が単発的なピクセルは、本来生じていない輝度変化を誤って検出したり、外部ノイズの影響を受けている可能性が高い。

【0097】

第２実施形態は、この特性を利用したものである。特定のピクセル（特定の座標）で輝度（明度）の変化が生じたとしても、同じ方向（「０」又は「１」）の極性値ｐが複数回連続しなければ、更新ブロック１２０でのメモリ１０の輝度配列リストＬの更新を行わないようにしている。これは、図１３のフローチャートのステップS２０２である。

【0098】

このように、メモリ１０の輝度配列リストＬで輝度値Ｉが「０」又は「１」に書き換えられるのは、イベントが複数回連続した結果となるので、輝度配列リストＬは信頼性が高いものとなる。そのため、補正ブロック１４０は精度の高い情報を用いて第１サブ補正処理及び第２サブ補正処理を行うことができ、フィルタリング処理を廃止又は軽減できる。結果、処理時間の短縮や、読取エラーの低減が図られ得る。

【0099】

なお、連続する複数回の回数は、イベントカメラ２のピクセル数、被撮影面４０の面積、白黒被写体４（ＱＲコード）のセルの大きさや、白黒被写体４（ＱＲコード）の相対運動方向Ｍへの移動速度等により、適宜定めることとなる。例えば、連続する複数回の回数は、白黒被写体４（ＱＲコード）のエッジによる輝度変化を十分に検出可能な数であることが、好ましい。

【0100】

以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

【0101】

変形例の画像復元装置３は、デジタル回路及びアナログ回路のうち少なくとも一方をプロセッサとして含んで構成される、専用のコンピュータであってもよい。ここで特にデジタル回路とは、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＳＯＣ（System on a Chip）、ＰＧＡ（Programmable Gate Array）及びＣＰＬＤ（Complex Programmable Logic Device）等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、備えていてもよい。

【0102】

変形例では、更新ブロック１２０及びＳ１０２の更新処理において、発火時刻ｔとタイムスタンプＴとの時間差に拘わらず、輝度配列リストＬにおける非発火座標ｘｎ，ｙｎの輝度値Ｉが保持されてもよい。変形例では、補正ブロック１４０及びＳ１０３の第２サブ補正処理が、必要に応じてスキップ又は常に省略されてもよい。

【0103】

変形例では、イベントカメラ２に対する相対運動により撮影期間内に発生するオプティカルフローの方向が、イベントカメラ２による被撮影面４０の一部において異なっていてもよい。この場合、補正ブロック１４０及びＳ１０３の第２サブ補正処理において、例えばイベントカメラ２に対する白黒被写体４の相対運動方向Ｍに基づくことで、オプティカルフローの一部方向が異なることに起因した輝度値Ｉの誤りが、輝度配列リストＬに対して補正されてもよい。

【0104】

変形例では、イベントカメラ２に対して撮影期間内に相対運動する平面状二次元コード以外の白黒被写体４が、バイナリ画像Ｂの復元対象であってもよい。具体的には、例えば車両等の移動体に搭載されたイベントカメラ２により、当該移動体の周囲に存在する白黒被写体４が撮影されることで出力されるイベントデータＤに基づき、バイナリ画像Ｂが復元されてもよい。

【符号の説明】

【0105】

２ イベントカメラ、３ 画像復元装置、４ 白黒被写体、１０ メモリ、１２ プロセッサ、４０ 被撮影面、１００ 初期化ブロック、１２０ 更新ブロック、１４０ 補正ブロック、１６０ 出力ブロック、Ｂ バイナリ画像、Ｄ イベントデータ、Ｉ 輝度値、Ｌ 輝度配列リスト、Ｓ 探索方向、Ｔ タイムスタンプ、ｍ 中間値、ｐ 極性値、ｔ 発火時刻、ｘ，ｙ 画素座標、ｘｃ，ｙｃ 注目座標、ｘｆ，ｙｆ 発火座標、ｘｍ，ｙｍ 中間座標、ｘｎ，ｙｎ 非発火座標

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】