特許 7533479 信号処理装置、信号処理方法、および検出センサ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-05

(45)【発行日】2024-08-14

(54)【発明の名称】信号処理装置、信号処理方法、および検出センサ

(51)【国際特許分類】

   H04N 25/50 20230101AFI20240806BHJP

   H04N 25/47 20230101ALI20240806BHJP

   H04N 25/60 20230101ALI20240806BHJP

【ＦＩ】

H04N25/50

H04N25/47

H04N25/60

【請求項の数】 15

(21)【出願番号】P 2021562556

(86)(22)【出願日】2020-11-18

(86)【国際出願番号】 JP2020042908

(87)【国際公開番号】W WO2021111873

(87)【国際公開日】2021-06-10

【審査請求日】2023-09-28

(31)【優先権主張番号】P 2019218055

(32)【優先日】2019-12-02

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】海津 俊

【審査官】辻本 寛司

(56)【参考文献】

【文献】国際公開第２０１９／１３５３０３（ＷＯ，Ａ１）

【文献】特開２０１８－０２２４９０（ＪＰ，Ａ）

【文献】特開２００４－００７４０２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／５０

Ｈ０４Ｎ ２５／４７

Ｈ０４Ｎ ２５／６０

(57)【特許請求の範囲】

【請求項1】

受光部で検出された輝度変化のうち、プラス方向の第１の輝度変化と、マイナス方向の第２の輝度変化を検出する変化検知部と、
前記輝度変化が検出された時刻に応じた係数を生成する係数生成部と、
前記第１の輝度変化と前記係数の乗算結果とを積算するとともに、前記第２の輝度変化と前記係数の乗算結果とを積算する積算部と
を備える信号処理装置。

【請求項2】

前記変化検知部は、前記第１の輝度変化を第１の値で出力し、前記第２の輝度変化を第２の値で出力する
請求項１に記載の信号処理装置。

【請求項3】

前記変化検知部は、
前記第１の輝度変化を検知する第１の変化検知部と、
前記第２の輝度変化を検知する第２の変化検知部と
を有する
請求項１に記載の信号処理装置。

【請求項4】

前記第１の変化検知部および前記第２の変化検知部は、前記第１の輝度変化または前記第２の輝度変化をオンオフ信号として表す
請求項３に記載の信号処理装置。

【請求項5】

前記係数生成部は、前記時刻に応じたsin関数およびcos関数の値を前記係数として生成する
請求項１に記載の信号処理装置。

【請求項6】

前記係数生成部は、検知したい周期に応じた前記sin関数およびcos関数の値を前記係数として生成する
請求項５に記載の信号処理装置。

【請求項7】

前記係数生成部は、前記sin関数およびcos関数を近似したsin近似関数およびcos近似関数の値を前記係数として生成する
請求項５に記載の信号処理装置。

【請求項8】

前記sin近似関数およびcos近似関数は、前記sin関数およびcos関数を、１と－１の２値を取る信号に近似した関数である
請求項７に記載の信号処理装置。

【請求項9】

前記係数生成部は、前記時刻に対して１または－１を対応付けたテーブルに基づいて、１または－１を出力する
請求項８に記載の信号処理装置。

【請求項10】

前記積算部の積算結果に基づいて、前記輝度変化が特定の周波数で発生しているフリッカ量を推定するフリッカ量推定部をさらに備える
請求項１に記載の信号処理装置。

【請求項11】

前記変化検知部と、
前記係数生成部と、
前記積算部と、
前記フリッカ量推定部と
を備えるフリッカ検出部を複数備え、
複数の前記フリッカ検出部それぞれは、前記フリッカ量を推定する周波数が異なる
請求項１０に記載の信号処理装置。

【請求項12】

前記フリッカ量推定部の推定結果に基づいて、前記受光部の感度パラメータを制御する制御部をさらに備える
請求項１０に記載の信号処理装置。

【請求項13】

前記受光部は、複数のブロックに分割され、
前記複数のブロックに対応して複数の前記積算部を備え、
複数の前記積算部は、前記輝度変化が発生したブロック単位で、前記乗算結果を積算する
請求項１に記載の信号処理装置。

【請求項14】

信号処理装置が、
受光部で検出された輝度変化のうち、プラス方向の第１の輝度変化と、マイナス方向の第２の輝度変化を検出し、
前記輝度変化が検出された時刻に応じた係数を生成し、
前記第１の輝度変化と前記係数の乗算結果とを積算するとともに、前記第２の輝度変化と前記係数の乗算結果とを積算する
信号処理方法。

【請求項15】

入射光の光電変換を行って電気信号を生成する画素が格子状に配置された受光部と、
前記受光部で検出された輝度変化のうち、プラス方向の第１の輝度変化と、マイナス方向の第２の輝度変化を検出する変化検知部と、
前記輝度変化が検出された時刻に応じた係数を生成する係数生成部と、
前記第１の輝度変化と前記係数の乗算結果とを積算するとともに、前記第２の輝度変化と前記係数の乗算結果とを積算する積算部と
を備える検出センサ。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、信号処理装置、信号処理方法、および検出センサに関し、特に、輝度変化を示す出力から、フリッカ情報を検出できるようにした信号処理装置、信号処理方法、および検出センサに関する。

【背景技術】

【0002】

画素の輝度変化をイベントとして、イベントが発生した場合に、イベントの発生を表すイベントデータを出力するイメージセンサが提案されている（例えば、特許文献１参照）。

【0003】

ここで、垂直同期信号に同期して撮像を行い、その垂直同期信号の周期で１フレーム（画面）の画像データであるフレームデータを出力するイメージセンサは、同期型のイメージセンサということができる。これに対して、イベントデータを出力するイメージセンサは、イベントが発生すると、イベントデータを出力するため、非同期型（又はアドレス制御型）のイメージセンサということができる。非同期型のイメージセンサは、例えば、DVS(Dynamic Vision Sensor)と呼ばれる。

【0004】

DVSでは、輝度変化のある画素の情報を出力するが、例えば、室内の光源がフリッカしている場合など、画面全体に輝度変化が生じて多くのイベントが発生してしまうことがある。この場合、フリッカ起因による多数のイベントに、本来取得したいイベントが埋もれてしまい、本来取得したい情報が捉えられないため、フリッカ起因による多数のイベントを除去する必要がある。

【0005】

同期型のイメージセンサである一般的なCMOSイメージセンサにおいて、例えば、フリッカの発生しないシャッタ時間で撮影した画像と、それよりも短いシャッタ時間で撮影した画像の差分、あるいは、比率を用いてフリッカ成分を検出する技術が開示されている（例えば、特許文献２参照）。

【0006】

しかしながら、DVSは輝度変化自体を捉えるセンサであり、所定のシャッタ時間を規定して撮影する方法ではないため、この方法は適用できない。

【0007】

DVS向けのノイズ除去方法としては、例えば、２ｘ２単位の画素でイベント出力を制御することで、フリッカも除去する技術が提案されている（例えば、非特許文献１参照）。

【先行技術文献】

【特許文献】

【0008】

【文献】特表2017-535999号公報

【文献】特開2004-7402号公報

【非特許文献】

【0009】

【文献】Chenghan Li , et. Al.,A 132 by 104 10m-Pixel 250W 1kefps Dynamic Vision Sensor with Pixel-Parallel Noise and Spatial Redundancy Suppression 2019 Symposium on VLSI Circuits

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、非特許文献１の技術は、有効なイベントまで除去する場合があり、所望の結果が得られない場合がある。

【0011】

本技術は、このような状況に鑑みてなされたものであり、輝度変化を示す出力から、フリッカ情報を検出できるようにするものである。

【課題を解決するための手段】

【0012】

本技術の第１の側面の信号処理装置は、受光部で検出された輝度変化のうち、プラス方向の第１の輝度変化と、マイナス方向の第２の輝度変化を検出する変化検知部と、前記輝度変化が検出された時刻に応じた係数を生成する係数生成部と、前記第１の輝度変化と前記係数の乗算結果とを積算するとともに、前記第２の輝度変化と前記係数の乗算結果とを積算する積算部とを備える。

【0013】

本技術の第１の側面の信号処理方法は、信号処理装置が、受光部で検出された輝度変化のうち、プラス方向の第１の輝度変化と、マイナス方向の第２の輝度変化を検出し、前記輝度変化が検出された時刻に応じた係数を生成し、前記第１の輝度変化と前記係数の乗算結果とを積算するとともに、前記第２の輝度変化と前記係数の乗算結果とを積算する。

【0014】

本技術の第１の側面においては、受光部で検出された輝度変化のうち、プラス方向の第１の輝度変化と、マイナス方向の第２の輝度変化が検出され、前記輝度変化が検出された時刻に応じた係数が生成され、前記第１の輝度変化と前記係数の乗算結果とが積算されるとともに、前記第２の輝度変化と前記係数の乗算結果とが積算される。

【0015】

本技術の第２の側面の検出センサは、入射光の光電変換を行って電気信号を生成する画素が格子状に配置された受光部と、前記受光部で検出された輝度変化のうち、プラス方向の第１の輝度変化と、マイナス方向の第２の輝度変化を検出する変化検知部と、前記輝度変化が検出された時刻に応じた係数を生成する係数生成部と、前記第１の輝度変化と前記係数の乗算結果とを積算するとともに、前記第２の輝度変化と前記係数の乗算結果とを積算する積算部とを備える。

【0016】

本技術の第２の側面においては、入射光の光電変換を行って電気信号を生成する画素が格子状に配置された受光部と、前記受光部で検出された輝度変化のうち、プラス方向の第１の輝度変化と、マイナス方向の第２の輝度変化を検出する変化検知部と、前記輝度変化が検出された時刻に応じた係数を生成する係数生成部と、前記第１の輝度変化と前記係数の乗算結果とを積算するとともに、前記第２の輝度変化と前記係数の乗算結果とを積算する積算部とが設けられる。

【0017】

なお、本技術の第１の側面の信号処理装置は、コンピュータにプログラムを実行させることにより実現することができる。コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

【0018】

信号処理装置および検出センサは、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

【図面の簡単な説明】

【0019】

【図1】本技術を適用したセンサとしてのDVSの一実施の形態の構成例を示すブロック図である。

【図2】イベントデータの概念図である。

【図3】図１の画素回路の詳細構成例を示すブロック図である。

【図4】フレームデータを生成する方法の例を説明する図である。

【図5】光源フリッカによるイベント発生原理を説明する図である。

【図6】電源周波数５０Hzの光源下でイベントを検出した結果を示す図である。

【図7】フリッカ検出部の第１構成例を示すブロック図である。

【図8】フリッカ検出部の第２構成例を示すブロック図である。

【図9】第２構成例に係るフリッカ検出部の詳細な構成例を示す図である。

【図10】sin関数およびcos関数とsin近似関数およびcos近似関数の例を示す図である。

【図11】図１０の畳み込み係数生成部の回路構成例を示す図である。

【図12】図１１に示した論理回路で動作させた場合のタイミングチャートを示す図である。

【図13】フリッカ検出部の第３構成例を示すブロック図である。

【図14】図１のDVSによるフリッカ制御処理を説明するフローチャートである。

【図15】フリッカ制御処理の処理結果を示す図である。

【図16】画素アレイ部を分割したブロックを説明する図である。

【図17】フリッカ検出部の第４構成例を示すブロック図である。

【図18】DVSのその他の構成例を示すブロック図である。

【図19】DVSのチップ構成例を示す斜視図である。

【発明を実施するための形態】

【0020】

以下、添付図面を参照しながら、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
１．DVSの構成例
２．光源フリッカによるイベント発生原理
３．フリッカ検出部の第１構成例
４．フリッカ検出部の第２構成例
５．フリッカ検出部の第３構成例
６．フリッカ制御処理の処理フロー
７．フリッカ検出部の第４構成例
８．DVSのその他の構成例
９．DVSのチップ構成例

【0021】

＜１．DVSの構成例＞
図１は、本技術を適用したセンサ（イベント検出センサ）としてのDVSの一実施の形態の構成例を示すブロック図である。

【0022】

DVS１は、画素アレイ部１１と、信号処理部１２とを備える。

【0023】

画素アレイ部１１は、入射光の光電変換を行って電気信号を生成する画素３１を含む複数の画素回路２１が２次元平面上に格子状に配置されて構成される。画素アレイ部１１は、画素３１において、入射光の光電変換を行って電気信号を生成する撮像を行う。さらに、画素アレイ部１１は、画素回路２１において、画素３１の電気信号の変化であるイベントの発生を表すイベントデータを生成し、信号処理部１２に出力する。

【0024】

画素アレイ部１１において、複数の画素回路２１が配置された部分は、全体として、入射光を受光して、光電変換を行う部分であるので、受光部ともいう。

【0025】

信号処理部１２は、イベント出力部２２、フリッカ検出部２３、および、画素パラメータ制御部２４を備える。

【0026】

イベント出力部２２は、画素アレイ部１１のいずれかの画素回路２１でイベントの発生が検出された場合、イベントの位置情報である画素回路２１の座標（ｘｎ，ｙｎ）、イベントの時刻情報であるタイムスタンプｔｎ、および、イベントの極性ｐｎを生成し（ｎ＝０，１，２，３・・）、出力フラグであるvalid信号をHighにして、DVS１の外部と、フリッカ検出部２３とに出力する。

【0027】

図２は、イベント出力部２２が出力するイベントデータの概念図を示している。

【0028】

座標（ｘｎ，ｙｎ）は、イベントが発生した画素アレイ部１１内の画素回路２１の位置を表す。

【0029】

タイムスタンプｔｎは、例えば、所定のクロック信号に基づくカウンタにおいて、イベントが発生したときのカウント値を表す。イベントが発生したタイミングで出力するカウント値は、イベントどうしの間隔がイベントの発生時のまま維持されている限り、イベントが発生した（相対的な）時刻を表す時刻情報であるということができる。

【0030】

イベントの極性ｐｎは、画素３１において、所定の閾値を超える輝度変化（光量変化）がイベントとして発生した場合の輝度変化の方向を表し、輝度変化がプラス方向の変化（以下、正極性という。）か、または、マイナス方向の変化（以下、負極性という。）かを表す。具体的には、イベントの極性ｐｎは、正極性のとき＋１で表され、負極性のとき－１で表される。

【0031】

図２に示されるように、イベントが発生した場合、出力フラグであるvalid信号がHighに設定され、座標（ｘｎ，ｙｎ）、タイムスタンプｔｎ、および、イベントの極性ｐｎが出力される。

【0032】

図１に戻り、フリッカ検出部２３は、イベント出力部２２から供給されるイベントデータを用いて、フリッカ量を検出（推定）し、DVS１の外部と、画素パラメータ制御部２４とに出力する。

【0033】

画素パラメータ制御部２４は、フリッカ検出部２３で検出されたフリッカ量に基づいて、画素回路２１の感度パラメータを調整（制御）する。すなわち、画素パラメータ制御部２４は、フリッカ量が多い場合には、イベントとして捉える輝度変化の閾値を上げて、イベントを発生しにくくし、フリッカ量が少ない場合には、輝度変化の閾値を下げて、イベントを発生しやすくなるように制御する。

【0034】

＜画素回路２１の構成例＞
図３は、図１の画素回路２１の詳細構成例を示すブロック図である。

【0035】

画素回路２１は、画素３１と、イベント検出部３２とを備える。

【0036】

画素３１は、光電変換素子としてのPD(PhotoDiode)５１を備える。画素３１は、PD５１において、PD５１に入射する光を受光し、光電変換を行って、電気信号としての光電流(Iph)を生成して流す。

【0037】

イベント検出部３２は、画素３１の光電変換によって生成される光電流に所定の閾値を超える変化（閾値以上の変化を必要に応じて含む）が発生した場合に、その光電流の変化をイベントとして検出する。イベント検出部３２は、イベント（の検出）に対して、イベントフラグを出力する。

【0038】

ここで、画素３１で生成される光電流の変化は、画素３１に入射する光の光量変化とも捉えることができるので、イベントは、画素３１の光量変化（閾値を超える光量変化）であるともいうことができる。

【0039】

イベント検出部３２は、電流電圧変換部４１、減算部４２、及び、出力部４３を備える。

【0040】

電流電圧変換部４１は、画素３１からの光電流を、その光電流の対数に対応する電圧（以下、光電圧ともいう）Voに変換し、減算部４２に出力する。

【0041】

電流電圧変換部４１は、FET６１ないし６３で構成される。FET６１及び６３としては、例えば、N型のMOS FETを採用することができ、FET６２としては、例えば、P型のMOS(PMOS) FETを採用することができる。

【0042】

FET６１のソースは、FET６３のゲートと接続され、FET６１のソースとFET６３のゲートとの接続点には、画素３１による光電流が流れる。FET６１のドレインは、電源VDDに接続され、そのゲートは、FET６３のドレインに接続される。

【0043】

FET６２のソースは、電源VDDに接続され、そのドレインは、FET６１のゲートとFET６３のドレインとの接続点に接続される。FET６２のゲートには、所定のバイアス電圧Vbiasが印加される。

【0044】

FET６３のソースは接地される。

【0045】

電流電圧変換部４１において、FET６１のドレインは電源VDD側に接続されており、ソースフォロアになっている。ソースフォロアになっているFET６１のソースには、画素３１のPD５１が接続され、これにより、FET６１（のドレインからソース）には、画素３１のPD５１の光電変換により生成される電荷による光電流が流れる。FET６１は、サブスレッショルド領域で動作し、FET６１のゲートには、そのFET６１に流れる光電流の対数に対応する光電圧Voが現れる。以上のように、電流電圧変換部４１では、FET６１により、画素３１からの光電流が、その光電流の対数に対応する光電圧Voに変換される。

【0046】

光電圧Voは、FET６１のゲートとFET６３のドレインとの接続点から、減算部４２に出力される。

【0047】

減算部４２は、電流電圧変換部４１からの光電圧Voについて、現在の光電圧と、現在と微小時間だけ異なるタイミングの光電圧との差を演算し、その差に対応する差信号Voutを、出力部４３に出力する。

【0048】

減算部４２は、コンデンサ７１、オペアンプ７２、コンデンサ７３、及び、スイッチ７４を備える。

【0049】

コンデンサ７１の一端は、電流電圧変換部４１（のFET６２と６３との接続点）に接続され、他端は、オペアンプ７２の入力端子に接続される。したがって、オペアンプ７２の（反転）入力端子には、コンデンサ７１を介して光電圧Voが入力される。

【0050】

オペアンプ７２の出力端子は、出力部４３に接続される。

【0051】

コンデンサ７３の一端は、オペアンプ７２の入力端子に接続され、他端は、オペアンプ７２の出力端子に接続される。

【0052】

スイッチ７４は、コンデンサ７３の両端の接続をオン／オフするように、コンデンサ７３に接続される。スイッチ７４は、出力部４３からのリセット信号に従ってオン／オフすることにより、コンデンサ７３の両端の接続をオン／オフする。

【0053】

コンデンサ７３及びスイッチ７４は、スイッチドキャパシタを構成する。オフになっているスイッチ７４が一時的にオンにされ、再び、オフにされることにより、コンデンサ７３は、電荷が放電され、新たに電荷を蓄積することができる状態にリセットされる。

【0054】

スイッチ７４をオンした際のコンデンサ７１の、電流電圧変換部４１側の光電圧VoをVinitと表すとともに、コンデンサ７１の容量（静電容量）をC1と表すこととする。オペアンプ７２の入力端子は、仮想接地になっており、スイッチ７４がオンである場合にコンデンサ７１に蓄積される電荷Qinitは、式（１）により表される。
Qinit = C1 ×Vinit ・・・（１）

【0055】

また、スイッチ７４がオンである場合には、コンデンサ７３の両端は短絡されるため、コンデンサ７３に蓄積される電荷はゼロとなる。

【0056】

その後、スイッチ７４がオフになった場合の、コンデンサ７１の、電流電圧変換部４１側の光電圧Voを、Vafterと表すこととすると、スイッチ７４がオフになった場合にコンデンサ７１に蓄積される電荷Qafterは、式（２）により表される。
Qafter = C1×Vafter ・・・（２）

【0057】

コンデンサ７３の容量をC2と表すこととすると、コンデンサ７３に蓄積される電荷Q2は、オペアンプ７２の出力電圧である差信号Voutを用いて、式（３）により表される。

【0058】

Q2 = -C2×Vout ・・・（３）

【0059】

スイッチ７４がオフする前後で、コンデンサ７１の電荷とコンデンサ７３の電荷とを合わせた総電荷量は変化しないため、式（４）が成立する。
Qinit = Qafter + Q2 ・・・（４）

【0060】

式（４）に式（１）ないし式（３）を代入すると、式（５）が得られる。
Vout = -(C1/C2)×(Vafter - Vinit) ・・・（５）

【0061】

式（５）によれば、減算部４２では、光電圧Vafter及びVinitの減算、すなわち、光電圧VafterとVinitとの差Vafter - Vinitに対応する差信号Voutの算出が行われる。式（５）によれば、減算部４２の減算のゲインはC1/C2となる。したがって、減算部４２は、コンデンサ７３のリセット後の光電圧Voの変化をC1/C2倍した電圧を、差信号Voutとして出力する。

【0062】

出力部４３は、減算部４２が出力する差信号Voutと、イベントの検出に用いられる所定の閾値（電圧）+Vth及び-Vthとを比較する。出力部４３は、差信号Voutが閾値+Vth以上である場合、又は、閾値-Vth以下である場合、イベントとしての光量変化が検出された（発生した）として、イベントフラグを出力する。

【0063】

例えば、出力部４３は、差信号Voutが閾値+Vth以上である場合に、正極性のイベントが検出されたとして、+1のイベントフラグを出力し、差信号Voutが閾値-Vth以下である場合に、負極性のイベントが検出されたとして、-1のイベントフラグを出力する。

【0064】

イベントが検出されると、出力部４３は、スイッチ７４を一時的にオンにしてオフにするリセット信号を出力することで、コンデンサ７３をリセットする。

【0065】

なお、スイッチ７４がオンにされたままにされると、差信号Voutは、所定のリセットレベルに固定され、イベント検出部３２では、イベントとしての光量変化を検出することができなくなる。同様に、スイッチ７４がオフにされたままにされる場合も、イベント検出部３２では、イベントとしての光量変化を検出することができなくなる。

【0066】

以上のように構成される画素回路２１では、所定の閾値を超える輝度変化（光量変化）をイベントとして捉え、イベントフラグを出力することができる。画素パラメータ制御部２４による、イベントとして捉える輝度変化の閾値の調整は、出力部４３の閾値（電圧）+Vth及び-Vthを変更することで行うことができる。あるいはまた、減算部４２のコンデンサ７１の容量C1とコンデンサ７３の容量C2を可変容量とすることで、ゲインC1/C2を調整し、差信号Voutのレベルを変更することで行ってもよい。

【0067】

＜イベントデータに応じたフレームデータの生成＞
図４は、イベントデータに応じて、フレームデータを生成する方法の例を説明する図である。

【0068】

図４では、x軸、y軸、及び、時間軸tで構成される３次元（時）空間において、イベントデータとしての点が、そのイベントデータに含まれるイベントの時刻t、及び、イベントの位置（としての座標）(x, y)にプロットされている。

【0069】

すなわち、イベントデータに含まれるイベントの時刻t、及び、イベントの位置(x, y)で表される３次元空間上の位置(x, y, t)を、イベントの時空間位置ということとすると、図４では、イベントデータが、イベントの時空間位置(x, y, t)に、点としてプロットされている。

【0070】

DVS１から出力されるイベントデータを画素値として、所定のフレーム間隔ごとに、所定のフレーム間隔の先頭から所定のフレーム幅内のイベントデータを用いて、イベント画像を生成することができる。

【0071】

フレーム幅及びフレーム間隔は、時間による指定とすることもできるし、イベントデータの数による指定とすることもできる。フレーム幅及びフレーム間隔の一方が、時間による指定であり、他方が、イベントデータの数による指定でもよい。

【0072】

ここで、フレーム幅及びフレーム間隔が、時間による指定であって、フレーム幅とフレーム間隔とが同一である場合、フレームボリュームは、隙間なく接した状態となる。また、フレーム間隔がフレーム幅より大である場合、フレームボリュームは、隙間を空けて並んだ状態となる。フレーム幅がフレーム間隔より大である場合、フレームボリュームは、一部が重複する形で並んだ状態となる。

【0073】

イベント画像の生成は、例えば、イベントの位置(x, y)のフレームの画素（の画素値）を白色に、フレームの他の位置の画素をグレー等の所定の色にセットすることで行うことができる。

【0074】

その他、フレームデータの生成は、イベントデータについて、イベントとしての光量変化の極性を特定することができる場合には、その極性を考慮して行うことができる。例えば、極性が正である場合には、画素を白色にセットし、極性が負である場合には、画素を黒色にセットすることができる。

【0075】

＜２．光源フリッカによるイベント発生原理＞
図５を参照して、光源フリッカによるイベント発生原理について説明する。

【0076】

電源周波数が５０Hzの光源を用いた環境下でイベント検出を行うと、光源は、電源周波数５０Hzの２倍の１００Hzでフリッカを発生させる。

【0077】

図５に示されるように、電源周波数が５０Hzの光源の１周期は２０msecであり、DVS１で検出される発光強度は、その倍の１０msecの周期でフリッカが発生する。

【0078】

正極性のイベント（以下、正イベントとも称する。）と、負極性のイベント（以下、負イベント）とに分けると、図５に示されるように、正イベントと負イベントとが５msecで交互に検出される。

【0079】

図６は、実際に、電源周波数５０Hzの光源下でイベントを検出した結果を示している。

【0080】

図６では、イベント数を１msec間隔で、１０msec分積算した結果、換言すれば、フレーム幅を１０msec、フレーム間隔を１msecとした場合の正イベントと負イベントそれぞれのイベント数が示されている。

【0081】

このように、正イベントと負イベントそれぞれを見ると、電源周波数５０Hzの光源下では、１０msecを一周期としたイベントが発生している。

【0082】

そこで、DVS１のフリッカ検出部２３は、正イベントと負イベントとに分けてイベントを積算し、変化の周期性を検知することで、フリッカの有無を検出する。

【0083】

なお、以下の説明では、フリッカ検出部２３が、電源周波数５０Hzの光源下で発生する１０msecを一周期としたフリッカを検出する場合を例にして説明する。

【0084】

＜３．フリッカ検出部の第１構成例＞
図７は、フリッカ検出部２３の第１構成例を示すブロック図である。

【0085】

フリッカ検出部２３は、＋変化検知部１０１、－変化検知部１０２、積算部選択信号生成部１０３、積算部１０４－１ないし１０４－１０、積算部１０５－１ないし１０５－１０、および、フリッカ量推定部１０６を備える。

【0086】

＋変化検知部１０１は、イベント出力部２２から供給されるイベントデータの極性ｐｎのうち、正イベントを検知して、積算部１０４－１ないし１０４－１０のいずれか一つに供給する。

【0087】

－変化検知部１０２は、イベント出力部２２から供給されるイベントデータの極性ｐｎのうち、負イベントを検知して、積算部１０５－１ないし１０５－１０のいずれか一つに供給する。

【0088】

積算部選択信号生成部１０３は、イベント出力部２２から供給されるタイムスタンプｔｎに基づいて、１msecの時間間隔で、積算部１０４－１ないし１０４－１０を順次切り替える。同様に、積算部選択信号生成部１０３は、１msecの時間間隔で、積算部１０５－１ないし１０５－１０を順次切り替える。

【0089】

換言すれば、＋変化検知部１０１で検知された正イベントが、積算部選択信号生成部１０３からの選択信号により選択された積算部１０４－１ないし１０４－１０のいずれかに供給される。－変化検知部１０２で検知された負イベントが、積算部選択信号生成部１０３からの選択信号により選択された積算部１０５－１ないし１０５－１０のいずれかに供給される。

【0090】

積算部１０４－１ないし１０４－１０それぞれは、１msecの時間に発生したイベントを記憶するメモリであり、＋変化検知部１０１から供給される正イベントを記憶する。

【0091】

積算部１０５－１ないし１０５－１０それぞれは、１msecの時間に発生したイベントを記憶するメモリであり、－変化検知部１０２から供給される負イベントを記憶する。

【0092】

フリッカ量推定部１０６は、積算部１０４－１ないし１０４－１０に記憶された１０msec分の正イベントの積算情報と、積算部１０５－１ないし１０５－１０に記憶された１０msec分の負イベントの積算情報とに基づいて、フリッカ量を推定する。

【0093】

すなわち、フリッカ量推定部１０６は、正イベントおよび負イベントそれぞれについて、図６に示したような、１０msecを一周期とするイベントの周期性を検知することで、特定の周波数（この例では５０Hz）で発生しているフリッカ量を推定する。

【0094】

したがって、フリッカ検出部２３の第１構成例によれば、輝度変化を示す出力から、フリッカ情報を検出することができる。

【0095】

以上のように、１０msecを一周期としたフリッカを検出する場合には、正イベントおよび負イベントそれぞれについて、１msecの時間のイベントを記憶するメモリ（積算部１０４および１０５）を１０msec分用意する構成が有り得る。

【0096】

しかしながら、第１構成例では、多くのメモリ容量を確保する必要があり、１０msecの時間幅で記憶可能なイベント数によっても、メモリ容量はさらに増大する。

【0097】

そこで、以下では、少ないメモリ容量で実現する、その他の構成について説明する。

【0098】

＜４．フリッカ検出部の第２構成例＞
図８は、フリッカ検出部２３の第２構成例を示すブロック図である。

【0099】

フリッカ検出部２３は、＋変化検知部１２１、－変化検知部１２２、畳み込み係数生成部１２３、積算部１２４ないし１２６、および、フリッカ量推定部１２７を備える。

【0100】

＋変化検知部１２１は、イベント出力部２２から供給されるイベントデータの極性ｐｎのうち、正イベントを検知して、積算部１２５に供給する。＋変化検知部１２１は、正イベントを検知した場合をHigh(1)、検知していない場合をLow(0)とするオンオフ信号で表す。

【0101】

－変化検知部１２２は、イベント出力部２２から供給されるイベントデータのうち、負イベントを検知して、積算部１２６に供給する。－変化検知部１２２は、負イベントを検知した場合をHigh(1)、検知していない場合をLow(0)とするオンオフ信号で表す。

【0102】

畳み込み係数生成部１２３は、タイムスタンプｔｎを引数として、積算部１２５および１２６で行われる畳み込み演算の係数（畳み込み係数）を生成することにより、イベントとしての輝度変化が発生した時刻に応じた係数を生成する。具体的には、畳み込み係数生成部１２３は、検知したいフリッカ周期のsin関数およびcos関数に、タイムスタンプｔｎを引数として代入し、その結果得られる値（関数値）を、畳み込み係数として、積算部１２５および１２６に供給する。なお、sin関数およびcos関数の代わりに、sin関数およびcos関数を近似した近似関数を用いて、近似関数にタイムスタンプｔｎを引数として代入して得られる近似値を、積算部１２５および１２６に供給してもよい。

【0103】

積算部１２４は、イベント発生の有無を示すvalid信号に基づいて、イベント数を積算し、積算結果をフリッカ量推定部１２７に供給する。

【0104】

積算部１２５は、正イベント発生をオンオフ信号として、畳み込み係数生成部１２３から供給される畳み込み係数を乗算して積算する。積算結果は、フリッカ量推定部１２７に供給される。

【0105】

積算部１２６は、負イベント発生をオンオフ信号として、畳み込み係数生成部１２３から供給される畳み込み係数を乗算して積算する。積算結果は、フリッカ量推定部１２７に供給される。

【0106】

フリッカ量推定部１２７は、積算部１２４ないし１２６それぞれから供給される積算結果を用いて、フリッカ周波数の振幅成分を計算し、特定の周波数（フリッカ周波数）で発生しているフリッカ量（フリッカらしさ）を推定する。

【0107】

図９は、図８に示した第２構成例に係るフリッカ検出部２３を実現する論理回路の構成例を示している。

【0108】

＋変化検知部１２１は、AND回路１４１を備える。

【0109】

－変化検知部１２２は、インバータ１５１と、AND回路１５２とを備える。

【0110】

積算部１２４は、カウンタ１６１と、出力部１６２とを備える。

【0111】

積算部１２５は、乗算器１７１および１７２、積分器１７３および１７４、並びに、出力部１７５および１７６を備える。

【0112】

積算部１２６は、乗算器１８１および１８２、積分器１８３および１８４、並びに、出力部１８５および１８６を備える。

【0113】

＋変化検知部１２１のAND回路１４１には、valid信号と、正極性または負極性を示す極性ｐｎとが入力される。AND回路１４１は、valid信号と極性ｐｎとのAND（論理積）を演算し、演算結果を、積算部１２５の乗算器１７１および１７２に供給する。

【0114】

－変化検知部１２２のインバータ１５１は、入力される極性ｐｎの論理を反転させ、AND回路１５２に供給する。AND回路１５２には、valid信号と、反転後の極性ｐｎとが入力される。AND回路１５２は、valid信号と、反転後の極性ｐｎとのAND（論理積）を演算し、演算結果を、積算部１２６の乗算器１８１および１８２に供給する。

【0115】

畳み込み係数生成部１２３は、検知したいフリッカ周期のsin関数およびcos関数に、タイムスタンプｔｎを代入して得られる関数値を、畳み込み係数として、積算部１２５および１２６に供給する。

【0116】

なお、本実施の形態では、図１０乃至図１２を参照して説明するように、sin関数およびcos関数を、１と－１の２値を取る信号に近似したsin近似関数およびcos近似関数を用いて、タイムスタンプｔｎに応じた関数値を算出する。sin近似関数の関数値は、乗算器１７２および１８２に供給され、cos近似関数の関数値は、乗算器１７１および１８１に供給される。

【0117】

畳み込み係数生成部１２３は、積算結果の出力タイミングを示すイネーブル信号を、出力部１６２、出力部１７５および１７６、並びに、出力部１８５および１８６に供給する。

【0118】

積算部１２４のカウンタ１６１は、イベント発生の有無を示すvalid信号に基づいて、イベント数sumをカウントし、カウント結果を出力部１６２に供給する。

【0119】

出力部１６２は、例えばフリップフロップで構成され、畳み込み係数生成部１２３から供給されるイネーブル信号がオン（High）のタイミングで、カウンタ１６１のイベント数sumを取得して、フリッカ量推定部１２７（図８）に供給する。

【0120】

積算部１２５の乗算器１７１は、＋変化検知部１２１のAND回路１４１のAND演算結果と、cos近似関数の関数値とを乗算した乗算結果を、積分器１７３に供給する。乗算器１７２は、＋変化検知部１２１のAND回路１４１のAND演算結果と、sin近似関数の関数値とを乗算した乗算結果を、積分器１７４に供給する。

【0121】

積分器１７３は、乗算器１７１から供給される乗算結果を積分し、出力部１７５に供給する。積分器１７４は、乗算器１７２から供給される乗算結果を積分し、出力部１７６に供給する。

【0122】

出力部１７５は、例えばフリップフロップで構成され、畳み込み係数生成部１２３から供給されるイネーブル信号がオンのタイミングで、積分器１７３の積分値cos_posを取得して、フリッカ量推定部１２７に供給する。

【0123】

出力部１７６は、例えばフリップフロップで構成され、畳み込み係数生成部１２３から供給されるイネーブル信号がオンのタイミングで、積分器１７４の積分値sin_posを取得して、フリッカ量推定部１２７に供給する。

【0124】

積算部１２６の乗算器１８１は、－変化検知部１２２のAND回路１５２のAND演算結果と、cos近似関数の関数値とを乗算した乗算結果を、積分器１８３に供給する。乗算器１８２は、－変化検知部１２２のAND回路１５２のAND演算結果と、sin近似関数の関数値とを乗算した乗算結果を、積分器１８４に供給する。

【0125】

積分器１８３は、乗算器１８１から供給される乗算結果を積分し、出力部１８５に供給する。積分器１８４は、乗算器１８２から供給される乗算結果を積分し、出力部１８６に供給する。

【0126】

出力部１８５は、例えばフリップフロップで構成され、畳み込み係数生成部１２３から供給されるイネーブル信号がオンのタイミングで、積分器１８３の積分値cos_negを取得して、フリッカ量推定部１２７に供給する。

【0127】

出力部１８６は、例えばフリップフロップで構成され、畳み込み係数生成部１２３から供給されるイネーブル信号がオンのタイミングで、積分器１８４の積分値sin_negを取得して、フリッカ量推定部１２７に供給する。

【0128】

フリッカ量推定部１２７は、積算部１２４ないし１２６それぞれから供給される積算結果を用いて、フリッカ周波数の振幅成分を計算し、フリッカ量（フリッカらしさ）を推定する。

【0129】

具体的には、フリッカ量推定部１２７は、イベント数sum、積分値cos_pos、sin_pos、cos_neg、およびsin_negを用いた式（６）または式（７）により、フリッカ量EST_FLを算出する。

【数1】

【0130】

積分値cos_posは、cos関数の位相に反応した正イベントを表し、積分値sin_posは、sin関数の位相に反応した正イベントを表す。積分値cos_negは、cos関数の位相に反応した負イベントを表し、積分値sin_negは、sin関数の位相に反応した負イベントを表す。ターゲットとする周期のフリッカが発生していない場合には、検出されるイベントは略均一となり、フリッカ量EST_FLは小さい値となる。一方、ターゲットとする周期のフリッカが発生している場合には、式（６）または式（７）の分子の値が大きくなり、フリッカ量EST_FLは大きい値となる。

【0131】

なお、イネーブル信号がオンとなるタイミングは、例えば、検出したいフリッカ周期（１周期）と同じ１０msecとすることができる。この場合、出力部１６２、１７５、１７６、１８５、および、１８６は、フリッカ周期単位で、イベント数sumや、積分値cos_pos、sin_pos、cos_neg、および、sin_negを積算する。あるいはまた、積算する期間は、フリッカ周期の整数倍の周期としてもよい。

【0132】

図１０は、畳み込み係数生成部１２３が生成するsin関数およびcos関数、または、それを近似したsin近似関数およびcos近似関数の例を示している。

【0133】

畳み込み係数生成部１２３は、図１０の上段に示されるように、検知したいフリッカ周期を１周期とするsin関数およびcos関数に対して、タイムスタンプｔｎを代入して得られる関数値を生成してもよいが、本実施の形態では、図１０の下段に示されるような、sin関数およびcos関数を、１と－１の２値を取る信号に近似したsin近似関数およびcos近似関数を用いて、タイムスタンプｔｎに応じた関数値を算出する。

【0134】

sin近似関数およびcos近似関数をsin_approx(t)およびcos_approx(t)で表すと、sin近似関数およびcos近似関数は、次式で表すことができる。

【数2】

【0135】

式（８）および式（９）のｆは、フリッカ周期であり、ｔは、タイムスタンプｔｎである。この近似により、sin近似関数およびcos近似関数は、図１０に示されるように、sin関数およびcos関数が正のときには＋１を、sin関数およびcos関数が負のときには－１を出力する信号に近似される。いまフリッカ周期は１０msecとしているので、sin近似関数およびcos近似関数の出力は、５msec単位で、＋１と－１とが切り替わる。

【0136】

このようなsin近似関数およびcos近似関数は、例えば、畳み込み係数生成部１２３内において１周期の各時刻（タイムスタンプｔｎ）に対して、＋１または－１を対応付けたテーブルを記憶し、テーブルに基づいてsin近似関数およびcos近似関数の関数値を出力する構成を採用することができる。

【0137】

その他、sin近似関数およびcos近似関数は、図１１に示されるような論理回路で、実現することもできる。

【0138】

図１１は、図１０に示したsin近似関数およびcos近似関数を採用した場合の畳み込み係数生成部１２３の回路構成例を示している。

【0139】

図１１の畳み込み係数生成部１２３は、フリッカ周期に対応したカウントを行うカウンタ２０１を備える。

【0140】

また、畳み込み係数生成部１２３は、タイムスタンプｔｎに応じたcos近似関数の関数値cos_approxを出力する構成として、比較器２０２および２０３、セレクタ２０４、並びに、フリップフロップ２０５を有する。

【0141】

さらに、畳み込み係数生成部１２３は、タイムスタンプｔｎに応じたsin近似関数の関数値sin_approxを出力する構成として、比較器２１１および２１２、セレクタ２１３、並びに、フリップフロップ２１４を有する。

【0142】

さらに、畳み込み係数生成部１２３は、イネーブル信号を出力する構成として、比較器２２１を有する。

【0143】

カウンタ２０１には、フリッカ周期に対応したカウント数cycleが入力され、カウンタ２０１は、カウント値cntを、０から開始してカウント数cycleまでカウントすると、カウント値cntをリセットして、再度０からカウントする処理を繰り返す。カウント値cntは、比較器２０２、２０３、２１１、２１２、および、２２１に供給される。

【0144】

比較器２０２には、設定値cos_ptimが供給され、比較器２０２は、カウンタ２０１から供給されるカウント値cntと設定値cos_ptimを比較し、設定値cos_ptimと一致したタイミングで、＋１をセレクタ２０４に出力する。設定値cos_ptim以外のカウント値cntでは、例えば、０が出力される。

【0145】

比較器２０３には、設定値cos_ntimが供給され、比較器２０３は、カウンタ２０１から供給されるカウント値cntと設定値cos_ntimを比較し、設定値cos_ntimと一致したタイミングで、－１をセレクタ２０４に出力する。設定値cos_ntim以外のカウント値cntでは、例えば、０が出力される。

【0146】

セレクタ２０４は、比較器２０２から＋１が供給されるタイミングで、＋１を選択してフリップフロップ２０５に出力し、比較器２０２から－１が供給されるタイミングで、－１を選択してフリップフロップ２０５に出力し、それ以外のタイミングでは、フリップフロップ２０５からフィードバックされる値をフリップフロップ２０５に出力する。

【0147】

フリップフロップ２０５は、セレクタ２０４から入力される値（＋１または－１）を、次に更新されるまで保持して出力する。フリップフロップ２０５から出力される値が、cos近似関数の関数値cos_approxとなる。

【0148】

比較器２１１には、設定値sin_ptimが供給され、比較器２１１は、カウンタ２０１から供給されるカウント値cntと設定値sin_ptimを比較し、設定値sin_ptimと一致したタイミングで、＋１をセレクタ２１３に出力する。設定値sin_ptim以外のカウント値cntでは、例えば、０が出力される。

【0149】

比較器２１２には、設定値sin_ntimが供給され、比較器２１２は、カウンタ２０１から供給されるカウント値cntと設定値sin_ntimを比較し、設定値sin_ntimと一致したタイミングで、－１をセレクタ２１３に出力する。設定値sin_ntim以外のカウント値cntでは、例えば、０が出力される。

【0150】

セレクタ２１３は、比較器２１１から＋１が供給されるタイミングで、＋１を選択してフリップフロップ２１４に出力し、比較器２１２から－１が供給されるタイミングで、－１を選択してフリップフロップ２１４に出力し、それ以外のタイミングでは、フリップフロップ２１４からフィードバックされる値をフリップフロップ２１４に出力する。

【0151】

フリップフロップ２１４は、セレクタ２１３から入力される値（＋１または－１）を、次に更新されるまで保持して出力する。フリップフロップ２１４から出力される値が、sin近似関数の関数値sin_approxとなる。

【0152】

比較器２２１には、設定値（cycle-1）が供給され、比較器２２１は、カウンタ２０１から供給されるカウント値cntと設定値（cycle-1）を比較し、設定値（cycle-1）と一致したタイミングで、イネーブル信号をHighに設定する。設定値（cycle-1）以外のカウント値cntでは、Lowのイネーブル信号が出力される。

【0153】

図１２は、図１１に示した論理回路で動作させた場合のタイミングチャートを示している。

【0154】

図１１の論理回路により、図１０に示したsin近似関数sin_approx(t)およびcos近似関数cos_approx(t)が実現されている。

【0155】

イネーブル信号は、フレーム周期、具体的には電源周波数５０Hzの光源下で発生するフリッカを検出する場合には１０msec単位で、Highとなっている。

【0156】

＜５．フリッカ検出部の第３構成例＞
図１３は、フリッカ検出部２３の第３構成例を示すブロック図である。

【0157】

なお、図１３において、図９に示した第２構成例に係るフリッカ検出部２３の構成と対応する部分には同一の符号を付してあり、その部分の説明は適宜省略する。

【0158】

図１３のフリッカ検出部２３は、畳み込み係数生成部１２３、変化検知部２５１、積算部１２４および２５２、並びに、フリッカ量推定部２５３を備える。

【0159】

畳み込み係数生成部１２３と積算部１２４は、図９に示した第２構成例に係るフリッカ検出部２３の構成と同一であり、変化検知部２５１、積算部２５２、および、フリッカ量推定部２５３が、図９の＋変化検知部１２１、－変化検知部１２２、積算部１２５および１２６、並びに、フリッカ量推定部１２７に代えて設けられている。

【0160】

図９に示した第２構成例では、イベントの極性と、sin近似関数およびcos近似関数の関数値との乗算結果を、正極性と負極性とで個別に積算した後、フリッカ量推定部１２７において減算する構成とされていた。

【0161】

これに対して、図１３の第３構成例では、イベントの極性と、sin近似関数およびcos近似関数の関数値との乗算結果を、極性に応じて加減算してから積算する構成とされている。

【0162】

変化検知部２５１は、セレクタ２７１および２７２を有する。

【0163】

セレクタ２７１は、イベント出力部２２からイベントの極性ｐｎが供給されたタイミングで、＋１または－１を選択してセレクタ２７２に出力する。具体的には、セレクタ２７１は、イベントの極性ｐｎとして正極性を表す＋１が供給された場合、＋１を選択してセレクタ２７２に出力し、イベントの極性ｐｎとして負極性を表す－１が供給された場合、－１を選択してセレクタ２７２に出力する。

【0164】

セレクタ２７２は、イベント発生を示すHighのvalid信号が供給されたタイミングでセレクタ２７１の出力（＋１または－１）を選択して積算部２５２に出力し、それ以外のタイミングでは０を選択して積算部２５２に出力する。したがって、セレクタ２７２は、＋１、－１、または０のいずれかを積算部２５２に出力する。

【0165】

積算部２５２は、乗算器２８１および２８２、積分器２８３および２８４、並びに、出力部２８５および２８６を有する。

【0166】

乗算器２８１は、変化検知部２５１のセレクタ２７２の出力（＋１、－１、または０のいずれか）と、畳み込み係数生成部１２３から供給されるcos近似関数の関数値とを乗算した乗算結果を、積分器２８３に供給する。セレクタ２７２の出力が０である場合には、乗算に影響がないので、乗算器２８１は、＋１または－１と、cos近似関数の関数値とを乗算した乗算結果を、積分器２８３に供給する。

【0167】

乗算器２８２は、変化検知部２５１のセレクタ２７２の出力（＋１、－１、または０のいずれか）と、畳み込み係数生成部１２３から供給されるsin近似関数の関数値とを乗算した乗算結果を、積分器２８４に供給する。セレクタ２７２の出力が０である場合には、乗算に影響がないので、乗算器２８２は、＋１または－１と、sin近似関数の関数値とを乗算した乗算結果を、積分器２８４に供給する。

【0168】

積分器２８３は、乗算器２８１から供給される乗算結果を積分し、出力部２８５に供給する。積分器２８４は、乗算器２８２から供給される乗算結果を積分し、出力部２８６に供給する。

【0169】

出力部２８５は、例えばフリップフロップで構成され、畳み込み係数生成部１２３から供給されるイネーブル信号がオンのタイミングで、積分器２８３の積分値cos_sumを取得して、フリッカ量推定部２５３に供給する。

【0170】

出力部２８６は、例えばフリップフロップで構成され、畳み込み係数生成部１２３から供給されるイネーブル信号がオンのタイミングで、積分器２８４の積分値sin_sumを取得して、フリッカ量推定部２５３に供給する。

【0171】

フリッカ量推定部２５３は、出力部１６２、２８５、および２８６から供給される積算結果を用いて、フリッカ周波数の振幅成分を計算し、フリッカ量（フリッカらしさ）を推定する。

【0172】

具体的には、フリッカ量推定部２５３は、イベント数sum、積分値cos_sumおよびsin_sumを用いた式（１０）または式（１１）により、フリッカ量EST_FLを算出する。

【数3】

【0173】

式（１０）および式（１１）においても、ターゲットとする周期のフリッカが発生していない場合には、フリッカ量EST_FLは小さい値となり、ターゲットとする周期のフリッカが発生している場合には、フリッカ量EST_FLは大きい値となる。

【0174】

図１３の第３構成例では、図９の第２構成例のように、正極性と負極性とを個別に積算してから減算するのではなく、正極性と負極性とに応じて加減算してから積算する構成とすることより、乗算器と積分器とからなる積算部を１／２の構成で実現することができ、より軽量に演算を行うことができる。

【0175】

＜６．フリッカ制御処理の処理フロー＞
図１４のフローチャートを参照して、DVS１によるフリッカ制御処理について説明する。この処理は、例えば、DVS１に対してイベント検出（撮像）の開始が指示されたとき、開始される。

【0176】

初めに、ステップＳ１において、画素アレイ部１１は、輝度変化をイベントとして検出する。イベントが検出された場合、イベントフラグが、イベントを検出した画素回路２１からイベント出力部２２へ供給される。

【0177】

ステップＳ２において、イベント出力部２２は、画素回路２１からのイベントフラグを取得し、イベントデータを生成して、DVS１の外部と、フリッカ検出部２３とに出力する。具体的には、イベント出力部２２は、イベントデータとして、イベントフラグに対応するイベントの極性ｐｎに、イベントの位置情報である画素回路２１の座標（ｘｎ，ｙｎ）と、イベントの時刻情報であるタイムスタンプｔｎとを付加し、出力フラグであるvalid信号をHighにして、DVS１の外部と、フリッカ検出部２３とに出力する。

【0178】

ステップＳ３において、フリッカ検出部２３は、所定の蓄積期間が経過したかを判定する。所定の蓄積期間は、畳み込み係数生成部１２３がイネーブル信号をHighとする期間（周期）であり、例えば、フリッカ周期と同じか、または、フリッカ周期の整数倍の期間とすることができる。

【0179】

ステップＳ３で、所定の蓄積期間が経過したと判定されるまで、ステップＳ１ないしＳ３の処理が繰り返される。これにより、イベントデータの発生に応じてイベント数および積分値が更新される。そして、ステップＳ３で、所定の蓄積期間が経過したと判定された場合、処理はステップＳ４に進む。

【0180】

ステップＳ４において、フリッカ検出部２３は、所定の蓄積期間にイベント出力部２２から供給されたイベントデータを用いて、フリッカ量を検出（推定）し、DVS１の外部と、画素パラメータ制御部２４とに出力する。フリッカ量は、式（６）または式（７）のフリッカ量EST_FLや、式（１０）または式（１１）のフリッカ量EST_FLにより算出される。

【0181】

ステップＳ５において、画素パラメータ制御部２４は、フリッカ検出部２３から供給されたフリッカ量に基づいて、フリッカが検出されたかを判定する。例えば、算出されたフリッカ量EST_FLが、所定の閾値以上である場合、画素パラメータ制御部２４は、フリッカが検出されたと判定する。

【0182】

ステップＳ５で、フリッカが検出されていないと判定された場合、処理はステップＳ１に戻り、上述したステップＳ１ないしＳ５の処理が繰り返される。

【0183】

一方、ステップＳ５で、フリッカが検出されたと判定された場合、処理はステップＳ６に進み、画素パラメータ制御部２４は、検出されたフリッカ量に基づいて、画素回路２１の感度パラメータを調整（制御）する。例えば、画素パラメータ制御部２４は、画素回路２１の出力部４３の閾値（電圧）+Vth及び-Vthを変更する。

【0184】

その後、処理はステップＳ１に戻り、上述した処理が繰り返される。

【0185】

図１５は、DVS１によるフリッカ制御処理の処理結果の例を示している。

【0186】

図１５の画像３０１で示される撮影シーンにおいて、電源周波数が５０Hzの光源を用いた環境下で、DVS１によるイベント検出が実行された。撮影シーンは、背景の前を、画面内の右から左へ人が歩いて移動する様子を示している。画像３０１は、一般的なCMOSイメージセンサで撮影した画像である。

【0187】

画像３０２は、DVS１によるイベント検出のフレームデータ（フレーム画像）である。画像３０２は、イベント検出センサとしてのDVS１の感度が高い状態であり、画面内全体でイベントが検出され、移動している人を検出したイベントはノイズに埋もれている。

【0188】

画像３０３は、フリッカ制御処理により画像３０２よりもセンサ感度を落とした後の、イベント検出のフレームデータ（フレーム画像）である。

【0189】

画像３０３では、フリッカを捉えたノイズは低減され、フリッカより大きい動き（主に、移動している人）のみが、イベントとして検出されている。

【0190】

したがって、フリッカ制御処理によれば、輝度変化を示す出力から、フリッカ量（フリッカ情報）を検出することができる。そして、フリッカ量が多い場合に、フリッカを抑制し、優位なイベントのみを抽出することができる。

【0191】

なお、上述したフリッカ量制御処理では、感度を下げる処理についてのみ説明したが、センサ感度が低すぎる場合にも、センサ感度を上げて（輝度変化の閾値を下げて）、より微小なイベントを検出するような制御も可能である。

【0192】

＜７．フリッカ検出部の第４構成例＞
次に、フリッカ検出部２３の第４構成例について説明する。

【0193】

次の第４構成例では、図１６に示されるように、画素アレイ部１１全体の複数の画素回路２１をM個（M＞１）のブロックBLに分割し、ブロックBLごとに、フリッカ量が検出される。図１６の例は、M=１６、即ち画素アレイ部１１全体の複数の画素回路２１を、４ｘ４の１６個のブロックBLに分割した例を示している。なお、垂直方向と水平方向の分割数は同じである必要はない。

【0194】

図１７は、第４構成例に係るフリッカ検出部２３の構成例を示すブロック図である。

【0195】

図１７において、図８の第２構成例と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。

【0196】

図１７の第４構成例は、積算部１２５および１２６が、分割されたブロックBLの数と同じ個数（すなわちM個）設けられている点と、ブロック選択部３３１が新たに設けられている点が、図８の第２構成例と異なる。

【0197】

ブロック選択部３３１には、イベント出力部２２から供給されるイベントデータの位置情報である座標（ｘｎ，ｙｎ）が供給される。ブロック選択部３３１は、積算部１２５－１ないし１２５－Mのうち、イベントが発生した位置（ブロックBL）に対応する積算部１２５－ｍ（ｍは１ないしＭのいずれか１つ）を選択する。積算部１２６－１ないし１２６－Mについても同様に、ブロック選択部３３１は、積算部１２６－１ないし１２６－Mのうち、イベントが発生した位置（ブロックBL）に対応する積算部１２６－ｍを選択する。

【0198】

＋変化検知部１２１で検知された正イベント検知結果は、選択された積算部１２５－ｍに供給される。－変化検知部１２２で検知された負イベント検知結果は、選択された積算部１２６－ｍに供給される。

【0199】

積算部１２５－１ないし１２５－M、および、積算部１２６－１ないし１２６－Mそれぞれの動作は、図８および図９の積算部１２５と同様である。従って、第４構成例では、図９の積分値cos_pos、sin_pos、cos_neg、およびsin_negが、ブロックBL単位で計算される。

【0200】

フリッカ量推定部１２７は、ブロックBL単位で、フリッカ量EST_FLを算出する。

【0201】

以上の第４構成例に係るフリッカ検出部２３によれば、ブロックBL単位で、フリッカ量を推定することができる。

【0202】

画素パラメータ制御部２４は、ブロックBL単位で、画素回路２１の感度パラメータを調整（制御）する。

【0203】

また、フリッカは画素アレイ部１１内の広い領域で全体的に発生する場合が多いため、画素パラメータ制御部２４は、画面全体で発生している場合には、イベント検出の感度を下げ、一部のブロックBLに集中して検出されている場合には、イベント検出の感度を変更しないように制御することができる。

【0204】

あるいはまた、画素パラメータ制御部２４が画面全体で感度パラメータを変更する場合においても、複数のブロックBLのうち、フリッカ量が所定の順番のブロックBLのフリッカ量に応じて、感度パラメータを変更するような制御が可能である。例えば、フリッカ量が少ない方から２番目のブロックBLのフリッカ量に基づいて、感度パラメータを変更するような制御を行うことができる。

【0205】

＜８．DVSのその他の構成例＞
図１８は、DVS１のその他の構成例を示すブロック図である。

【0206】

図１８においては、図１と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。

【0207】

図１８では、フリッカ検出部２３－１ないし２３－R（R＞１）が設けられており、フリッカ検出部２３が複数個（R個）設けられている点が、図１のDVS１と異なり、その他の点で、図１のDVS１と共通する。

【0208】

図１８のDVS１は、複数のフリッカ検出部２３－１ないし２３－Rを備えることにより、複数のフリッカ周波数を検知することができる。すなわち、フリッカ検出部２３－１ないし２３－Rそれぞれは、検出対象として設定されるフリッカの周波数が異なる。

【0209】

例えば、Ｒ＝２として、フリッカ検出部２３－１および２３－２において検出するフリッカの周波数を、１００Hzと１２０Hzと設定すると、西日本地域と東日本地域とに対応したフリッカの検知が可能となる。

【0210】

あるいはまた、フリッカ検出部２３－１ないし２３－Rにおいて検出するフリッカの周波数を、２５Hz、５０ｈｚ、１００Hz、２００Hz、４００Hz、・・・のように設定すると、任意の周波数のイベントのみを検出することができ、フリッカを含む周波数解析が可能となる。

【0211】

＜９．DVSのチップ構成例＞
図１９は、DVS１のチップ構成例を示す斜視図である。

【0212】

DVS１は、例えば、図１９のAに示されるように、第１のダイ（基板）３５１と、第２のダイ（基板）３５２とが積層された１つのチップで構成することができる。

【0213】

第１のダイ３５１には、画素アレイ部１１（としての回路）が構成され、第２のダイ３５２には、信号処理部１２を含むロジック回路が構成される。

【0214】

なお、DVS１は、第１のダイ３５１と第２のダイ３５２とに加えて、もう１つのロジックダイを積層した３層で構成してもよい。あるいはまた、４層以上のダイ（基板）の積層で構成してもよい。

【0215】

あるいはまた、DVS１は、図１９のBに示されるように、第１のチップ３７１と、第２のチップ３７２とを、中継基板（インターポーザ基板）３７３上に形成して構成することができる。例えば、第１のチップ３７１には、画素アレイ部１１（としての回路）が含まれ、第２のチップ３７２には、信号処理部１２が含まれるように構成することができる。

【0216】

なお、第１のチップ３７１と第２のチップ３７２とは、図１９のBのように、中継基板３７３を用いて一体とせずに、別々に分離されてもよい。

【0217】

以上、本技術を適用してDVS１によれば、DVS１の出力から、フリッカ情報を検出することができる。

【0218】

また、フリッカ検出部２３の第２構成例ないし第４構成例を採用した場合には、フリッカ検出部２３の第１構成例を採用した場合よりも、少ないメモリ容量で、フリッカの検出を実現することができる。

【0219】

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0220】

例えば、上述した複数の構成例の全てまたは一部を組み合わせた形態を採用することができる。

【0221】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0222】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0223】

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

【0224】

なお、本技術は、以下の構成を取ることができる。
（１）
受光部で検出された輝度変化のうち、プラス方向の第１の輝度変化と、マイナス方向の第２の輝度変化を検出する変化検知部と、
前記輝度変化が検出された時刻に応じた係数を生成する係数生成部と、
前記第１の輝度変化と前記係数の乗算結果とを積算するとともに、前記第２の輝度変化と前記係数の乗算結果とを積算する積算部と
を備える信号処理装置。
（２）
前記変化検知部は、前記第１の輝度変化を第１の値で出力し、前記第２の輝度変化を第２の値で出力する
前記（１）に記載の信号処理装置。
（３）
前記変化検知部は、
前記第１の輝度変化を検知する第１の変化検知部と、
前記第２の輝度変化を検知する第２の変化検知部と
を有する
前記（１）に記載の信号処理装置。
（４）
前記第１の変化検知部および前記第２の変化検知部は、前記第１の輝度変化または前記第２の輝度変化をオンオフ信号として表す
前記（３）に記載の信号処理装置。
（５）
前記係数生成部は、前記時刻に応じたsin関数およびcos関数の値を前記係数として生成する
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）
前記係数生成部は、検知したい周期に応じた前記sin関数およびcos関数の値を前記係数として生成する
前記（５）に記載の信号処理装置。
（７）
前記係数生成部は、前記sin関数およびcos関数を近似したsin近似関数およびcos近似関数の値を前記係数として生成する
前記（５）または（６）に記載の信号処理装置。
（８）
前記sin近似関数およびcos近似関数は、前記sin関数およびcos関数を、１と－１の２値を取る信号に近似した関数である
前記（７）に記載の信号処理装置。
（９）
前記係数生成部は、前記時刻に対して１または－１を対応付けたテーブルに基づいて、１または－１を出力する
前記（８）に記載の信号処理装置。
（１０）
前記積算部の積算結果に基づいて、前記輝度変化が特定の周波数で発生しているフリッカ量を推定するフリッカ量推定部をさらに備える
前記（１）乃至（９）のいずれかに記載の信号処理装置。
（１１）
前記変化検知部と、
前記係数生成部と、
前記積算部と、
前記フリッカ量推定部と
を備えるフリッカ検出部を複数備え、
複数の前記フリッカ検出部それぞれは、前記フリッカ量を推定する周波数が異なる
前記（１０）に記載の信号処理装置。
（１２）
前記フリッカ量推定部の推定結果に基づいて、前記受光部の感度パラメータを制御する制御部をさらに備える
前記（１０）または（１１）に記載の信号処理装置。
（１３）
前記受光部は、複数のブロックに分割され、
前記複数のブロックに対応して複数の前記積算部を備え、
複数の前記積算部は、前記輝度変化が発生したブロック単位で、前記乗算結果を積算する
前記（１）乃至（１２）のいずれかに記載の信号処理装置。
（１４）
信号処理装置が、
受光部で検出された輝度変化のうち、プラス方向の第１の輝度変化と、マイナス方向の第２の輝度変化を検出し、
前記輝度変化が検出された時刻に応じた係数を生成し、
前記第１の輝度変化と前記係数の乗算結果とを積算するとともに、前記第２の輝度変化と前記係数の乗算結果とを積算する
信号処理方法。
（１５）
入射光の光電変換を行って電気信号を生成する画素が格子状に配置された受光部と、
前記受光部で検出された輝度変化のうち、プラス方向の第１の輝度変化と、マイナス方向の第２の輝度変化を検出する変化検知部と、
前記輝度変化が検出された時刻に応じた係数を生成する係数生成部と、
前記第１の輝度変化と前記係数の乗算結果とを積算するとともに、前記第２の輝度変化と前記係数の乗算結果とを積算する積算部と
を備える検出センサ。

【符号の説明】

【0225】

１ DVS， １１ 画素アレイ部， １２ 信号処理部， ２１ 画素回路， ２２ イベント出力部， ２３ フリッカ検出部， ２４ 画素パラメータ制御部， ３１ 画素， ３２ イベント検出部， １２１ ＋変化検知部， １２２ －変化検知部， １２３ 畳み込み係数生成部， １２４ないし１２６ 積算部， １２７ フリッカ量推定部， ２５１ 変化検知部， ２５２ 積算部， ２５３ フリッカ量推定部， ３３１ ブロック選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】