(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024162648
(43)【公開日】2024-11-21
(54)【発明の名称】光検出装置、補正方法、並びにプログラム
(51)【国際特許分類】
H04N 25/47 20230101AFI20241114BHJP
【ＦＩ】
H04N25/47
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2023078373
(22)【出願日】2023-05-11
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】仁科 有貴
(72)【発明者】
【氏名】松浦 幸治
(72)【発明者】
【氏名】衣川 洋史
【テーマコード（参考）】
5C024
【Ｆターム（参考）】
5C024CY26
5C024GX03
5C024GX18
5C024GY31
5C024GZ38
5C024GZ42
5C024HX29
5C024HX32
5C024HX48
(57)【要約】
【課題】階調信号及びイベント信号の干渉の影響を低減する。
【解決手段】入射光の輝度の同一方向の変化をイベントとして検出し、当該検出したイベントに基づくイベントデータを生成するイベントデータ生成部と、入射光の輝度に応じたデータである階調データを生成する階調データ生成部とを備える複数の画素が２次元行列状に配置される画素アレイ部と、階調データの生成及びイベントの検出の期間の重複により発生する干渉の強度を特定する干渉強度特定部と、干渉強度特定部により特定された干渉の強度に応じたイベントデータの補正を行う補正部とを備える。本技術は、例えば階調信号及びイベント信号を取得する光検出装置に適用できる。
【選択図】図１２
【解決手段】入射光の輝度の同一方向の変化をイベントとして検出し、当該検出したイベントに基づくイベントデータを生成するイベントデータ生成部と、入射光の輝度に応じたデータである階調データを生成する階調データ生成部とを備える複数の画素が２次元行列状に配置される画素アレイ部と、階調データの生成及びイベントの検出の期間の重複により発生する干渉の強度を特定する干渉強度特定部と、干渉強度特定部により特定された干渉の強度に応じたイベントデータの補正を行う補正部とを備える。本技術は、例えば階調信号及びイベント信号を取得する光検出装置に適用できる。
【選択図】図１２
【特許請求の範囲】
【請求項1】
入射光の輝度の同一方向の変化をイベントとして検出し、当該検出したイベントに基づくイベントデータを生成するイベントデータ生成部と、入射光の輝度に応じたデータである階調データを生成する階調データ生成部とを備える複数の画素が２次元行列状に配置される画素アレイ部と、
前記階調データの生成及び前記イベントの検出の期間の重複により発生する干渉の強度を特定する干渉強度特定部と、
前記干渉強度特定部により特定された前記干渉の強度に応じた前記イベントデータの補正を行う補正部と
を備える光検出装置。
前記階調データの生成及び前記イベントの検出の期間の重複により発生する干渉の強度を特定する干渉強度特定部と、
前記干渉強度特定部により特定された前記干渉の強度に応じた前記イベントデータの補正を行う補正部と
を備える光検出装置。
【請求項2】
前記画素アレイ部は、遮光された領域を有し、
前記干渉強度特定部は、前記遮光された領域に位置する前記イベントデータ生成部において検出されたイベント数をカウントし、カウントしたイベント数に応じて前記干渉の強度を特定する
請求項１に記載の光検出装置。
前記干渉強度特定部は、前記遮光された領域に位置する前記イベントデータ生成部において検出されたイベント数をカウントし、カウントしたイベント数に応じて前記干渉の強度を特定する
請求項１に記載の光検出装置。
【請求項3】
前記干渉強度特定部は、
前記画素アレイ部の干渉の強度を特定する注目行におけるイベントをカウントした第１のイベント数を取得し、
前記注目行の上側に位置し、前記干渉がない非干渉行における第２のイベント数を取得し、
前記注目行の下側に位置し、前記干渉がない非干渉行における第３のイベント数を取得し、
前記第１のイベント数と、前記第２のイベント数と前記第３のイベント数のうちの大きい方のイベント数とを用いた所定の条件に該当するか否かを判定することで前記干渉の強度を特定する
請求項１に記載の光検出装置。
前記画素アレイ部の干渉の強度を特定する注目行におけるイベントをカウントした第１のイベント数を取得し、
前記注目行の上側に位置し、前記干渉がない非干渉行における第２のイベント数を取得し、
前記注目行の下側に位置し、前記干渉がない非干渉行における第３のイベント数を取得し、
前記第１のイベント数と、前記第２のイベント数と前記第３のイベント数のうちの大きい方のイベント数とを用いた所定の条件に該当するか否かを判定することで前記干渉の強度を特定する
請求項１に記載の光検出装置。
【請求項4】
前記階調データの生成と前記イベントの検出の期間の重複が予測される行である重複予測行を検出したことを表す干渉発生フラグを取得し、
前記非干渉行は、前記干渉発生フラグが立っていない行である
請求項３に記載の光検出装置。
前記非干渉行は、前記干渉発生フラグが立っていない行である
請求項３に記載の光検出装置。
【請求項5】
フレームを特定する情報と、前記画素アレイ部の干渉の強度を特定する注目行と、前記干渉の強度が関連付けられたテーブルを有し、
前記干渉強度特定部は、前記テーブルを参照し、前記注目行の前記干渉の強度を特定する
請求項１に記載の光検出装置。
前記干渉強度特定部は、前記テーブルを参照し、前記注目行の前記干渉の強度を特定する
請求項１に記載の光検出装置。
【請求項6】
前記干渉強度特定部により、前記干渉の強度は弱いと特定された場合、前記補正部は、補正を行わない
請求項１に記載の光検出装置。
請求項１に記載の光検出装置。
【請求項7】
前記干渉強度特定部により、前記干渉の強度は強いと特定された場合、前記補正部は、補正対象とされている注目画素にはイベントは発生していないとのイベントデータに補正する
請求項１に記載の光検出装置。
請求項１に記載の光検出装置。
【請求項8】
前記干渉強度特定部により、前記干渉の強度は強いと特定された場合、前記補正部は、
補正対象とされている注目画素の上側に位置し、前記干渉がない非干渉行における前記注目画素の真上に位置する画素の第１のイベントと、前記注目画素の下側に位置し、前記干渉がない非干渉行における前記注目画素の真下に位置する画素の第２のイベントとを取得し、
前記第１のイベントと前記第２のイベントが一致している場合、前記注目画素のイベントを、前記第１のイベントが発生しているとのイベントデータに補正し、
前記第１のイベントと前記第２のイベントが一致していない場合、前記注目画素にイベントは発生していないとのイベントデータに補正する
請求項１に記載の光検出装置。
補正対象とされている注目画素の上側に位置し、前記干渉がない非干渉行における前記注目画素の真上に位置する画素の第１のイベントと、前記注目画素の下側に位置し、前記干渉がない非干渉行における前記注目画素の真下に位置する画素の第２のイベントとを取得し、
前記第１のイベントと前記第２のイベントが一致している場合、前記注目画素のイベントを、前記第１のイベントが発生しているとのイベントデータに補正し、
前記第１のイベントと前記第２のイベントが一致していない場合、前記注目画素にイベントは発生していないとのイベントデータに補正する
請求項１に記載の光検出装置。
【請求項9】
前記干渉強度特定部により、前記干渉の強度は強いと特定された場合、前記補正部は、
補正対象とされている注目画素の上側に位置し、前記干渉がない非干渉行における前記注目画素の真上または斜め上方向に位置する画素の第１のイベントと、前記注目画素の下側に位置し、前記干渉がない非干渉行における前記注目画素の真下または斜め下方向に位置する画素の第２のイベントとを取得し、
前記第１のイベントと前記第２のイベントが一致している場合、前記注目画素のイベントを、前記第１のイベントが発生しているとのイベントデータに補正し、
前記第１のイベントと前記第２のイベントが一致していない場合、前記注目画素にイベントは発生していないとのイベントデータに補正する
請求項１に記載の光検出装置。
補正対象とされている注目画素の上側に位置し、前記干渉がない非干渉行における前記注目画素の真上または斜め上方向に位置する画素の第１のイベントと、前記注目画素の下側に位置し、前記干渉がない非干渉行における前記注目画素の真下または斜め下方向に位置する画素の第２のイベントとを取得し、
前記第１のイベントと前記第２のイベントが一致している場合、前記注目画素のイベントを、前記第１のイベントが発生しているとのイベントデータに補正し、
前記第１のイベントと前記第２のイベントが一致していない場合、前記注目画素にイベントは発生していないとのイベントデータに補正する
請求項１に記載の光検出装置。
【請求項10】
前記干渉強度特定部により、前記干渉の強度は中と特定された場合、前記補正部は、
補正対象とされている注目画素の上側に位置し、前記干渉がない非干渉行における前記注目画素の真上または斜め上方向に位置する画素と、前記注目画素の下側に位置し、前記干渉がない非干渉行における前記注目画素の真下または斜め下方向に位置する画素を、探索画素とし、
前記注目画素のイベントと、複数の前記探索画素のイベントの少なくとも１つの画素のイベントが、一致している場合、前記注目画素のイベントのイベントデータを維持し、
前記注目画素のイベントと一致するイベントが、複数の前記探索画素のいずれにおいても発生していない場合、前記注目画素にイベントは発生していないとのイベントデータに補正する
請求項１に記載の光検出装置。
補正対象とされている注目画素の上側に位置し、前記干渉がない非干渉行における前記注目画素の真上または斜め上方向に位置する画素と、前記注目画素の下側に位置し、前記干渉がない非干渉行における前記注目画素の真下または斜め下方向に位置する画素を、探索画素とし、
前記注目画素のイベントと、複数の前記探索画素のイベントの少なくとも１つの画素のイベントが、一致している場合、前記注目画素のイベントのイベントデータを維持し、
前記注目画素のイベントと一致するイベントが、複数の前記探索画素のいずれにおいても発生していない場合、前記注目画素にイベントは発生していないとのイベントデータに補正する
請求項１に記載の光検出装置。
【請求項11】
前記干渉強度特定部は、前記干渉の強度を連続値で出力し、
前記補正部は、
前記連続値を補正率に変換し、
乱数を生成し、
前記乱数が前記補正率以下である場合、処理対象とされている注目画素のイベントデータを補正し、
前記乱数が前記補正率以下ではない場合、処理対象とされている注目画素のイベントデータを維持する
請求項１に記載の光検出装置。
前記補正部は、
前記連続値を補正率に変換し、
乱数を生成し、
前記乱数が前記補正率以下である場合、処理対象とされている注目画素のイベントデータを補正し、
前記乱数が前記補正率以下ではない場合、処理対象とされている注目画素のイベントデータを維持する
請求項１に記載の光検出装置。
【請求項12】
前記補正部の入力と出力は、同じビット数のイベントデータであり、
入力された前記イベントデータを補正した場合、補正後のイベントデータを出力する
請求項１に記載の光検出装置。
入力された前記イベントデータを補正した場合、補正後のイベントデータを出力する
請求項１に記載の光検出装置。
【請求項13】
前記補正部は、入力された前記イベントデータに、補正後のイベントデータを付加して出力する
請求項１に記載の光検出装置。
請求項１に記載の光検出装置。
【請求項14】
入射光の輝度の同一方向の変化をイベントとして検出し、当該検出したイベントに基づくイベントデータを生成するイベントデータ生成部と、入射光の輝度に応じたデータである階調データを生成する階調データ生成部とを備える複数の画素が２次元行列状に配置される画素アレイ部を備える光検出装置が、
前記階調データの生成及び前記イベントの検出の期間の重複により発生する干渉の強度を特定し、
特定された前記干渉の強度に応じた前記イベントデータの補正を行う
補正方法。
前記階調データの生成及び前記イベントの検出の期間の重複により発生する干渉の強度を特定し、
特定された前記干渉の強度に応じた前記イベントデータの補正を行う
補正方法。
【請求項15】
入射光の輝度の同一方向の変化をイベントとして検出し、当該検出したイベントに基づくイベントデータを生成するイベントデータ生成部と、入射光の輝度に応じたデータである階調データを生成する階調データ生成部とを備える複数の画素が２次元行列状に配置される画素アレイ部を備える光検出装置を制御するコンピュータに、
前記階調データの生成及び前記イベントの検出の期間の重複により発生する干渉の強度を特定し、
特定された前記干渉の強度に応じた前記イベントデータの補正を行う
処理を実行させるためのプログラム。
前記階調データの生成及び前記イベントの検出の期間の重複により発生する干渉の強度を特定し、
特定された前記干渉の強度に応じた前記イベントデータの補正を行う
処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は光検出装置、補正方法、並びにプログラムに関し、例えば、イベント検出の精度を向上させた光検出装置、補正方法、並びにプログラムに関する。
【背景技術】
【0002】
例えば、ＥＶＳ（Event Based Vision Sensor）などとして知られるように、受光量の変化を表すイベント信号を画素ごとに検出するセンサ装置がある。この種のセンサ装置では、イベントが検出された画素の階調信号（受光量の強度を表す信号）を取得できるように、イベント信号検出用の画素と、階調信号検出用の画素とが混載されたものがある（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１２９２６５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記の従来技術では、階調信号の生成とイベントの検出の処理が時間的に重なるため、制御信号等による干渉を生じる可能性があった。干渉が生じると、イベント信号に誤差が生じてしまう可能性があった。干渉による影響を低減し、イベント信号の精度を向上させることが望まれている。
【0005】
本技術は、このような状況に鑑みてなされたものであり、イベント信号の精度を向上させることができるようにするものである。
【課題を解決するための手段】
【0006】
本技術の一側面の光検出装置は、入射光の輝度の同一方向の変化をイベントとして検出し、当該検出したイベントに基づくイベントデータを生成するイベントデータ生成部と、入射光の輝度に応じたデータである階調データを生成する階調データ生成部とを備える複数の画素が２次元行列状に配置される画素アレイ部と、前記階調データの生成及び前記イベントの検出の期間の重複により発生する干渉の強度を特定する干渉強度特定部と、前記干渉強度特定部により特定された前記干渉の強度に応じた前記イベントデータの補正を行う補正部とを備える光検出装置である。
【0007】
本技術の一側面の補正方法は、入射光の輝度の同一方向の変化をイベントとして検出し、当該検出したイベントに基づくイベントデータを生成するイベントデータ生成部と、入射光の輝度に応じたデータである階調データを生成する階調データ生成部とを備える複数の画素が２次元行列状に配置される画素アレイ部を備える光検出装置が、前記階調データの生成及び前記イベントの検出の期間の重複により発生する干渉の強度を特定し、特定された前記干渉の強度に応じた前記イベントデータの補正を行う補正方法である。
【0008】
本技術の一側面のプログラムは、入射光の輝度の同一方向の変化をイベントとして検出し、当該検出したイベントに基づくイベントデータを生成するイベントデータ生成部と、入射光の輝度に応じたデータである階調データを生成する階調データ生成部とを備える複数の画素が２次元行列状に配置される画素アレイ部を備える光検出装置を制御するコンピュータに、前記階調データの生成及び前記イベントの検出の期間の重複により発生する干渉の強度を特定し、特定された前記干渉の強度に応じた前記イベントデータの補正を行う処理を実行させるためのプログラムである。
【0009】
本技術の一側面の光検出装置、補正方法、並びにプログラムにおいては、入射光の輝度の同一方向の変化をイベントとして検出し、当該検出したイベントに基づくイベントデータを生成するイベントデータ生成部と、入射光の輝度に応じたデータである階調データを生成する階調データ生成部とが備えられた複数の画素が２次元行列状に配置される画素アレイ部が備えられる。階調データの生成及びイベントの検出の期間の重複により発生する干渉の強度が特定され、特定された干渉の強度に応じたイベントデータの補正が行われる。
【0010】
なお、光検出装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【0011】
なお、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
【図面の簡単な説明】
【0012】
【図1】本開示の一実施の形態に係る光検出装置の構成例を示す図である。
【図2】画素の構成例を示す図である。
【図3】階調信号生成部の構成例を示す図である。
【図4】階調信号の生成の一例を示す図である。
【図5】イベント信号生成部の構成例を示す図である。
【図6】イベント信号生成部の構成例を示す回路図である。
【図7】イベント信号生成部の構成例を示す回路図である。
【図8】階調信号及びイベント信号の生成の一例を示す図である。
【図9】重複予測行検出部の構成例を示す図である。
【図10】イベントデータの一例を示す図である。
【図11】重複行検出処理の処理手順の一例を示す図である。
【図12】補正部の構成例を示す図である。
【図13】補正部の他の構成例を示す図である。
【図14】補正部の他の構成例を示す図である。
【図15】補正部の他の構成例を示す図である。
【図16】補正前と補正後のイベントデータについて説明するための図である。
【図17】補正前と補正後のイベントデータについて説明するための図である。
【図18】イベントデータの補正に係わる処理について説明するためのフローチャートである。
【図19】第１の干渉強度特定処理について説明するためのフローチャートである。
【図20】ＨＯＰＢ領域について説明するための図である。
【図21】干渉強度の特定に係わる条件について説明するための図である。
【図22】第２の干渉強度特定処理について説明するためのフローチャートである。
【図23】干渉強度の特定に係わる条件について説明するための図である。
【図24】第３の干渉強度特定処理について説明するためのフローチャートである。
【図25】干渉強度LUT６２１の一例を示す図である。
【図26】第１のイベントデータ補正処理について説明するためのフローチャートである。
【図27】ノイズイベントの除去について説明するための図である。
【図28】第１の補正ルールについて説明するための図である。
【図29】第２の補正ルールについて説明するための図である。
【図30】第３の補正ルールについて説明するための図である。
【図31】第２のイベントデータ補正処理について説明するためのフローチャートである。
【図32】干渉強度と補正率との関係を示す図である。
【図33】ＰＣの構成例を示す図である。
【図34】車両制御システムの概略的な構成の一例を示すブロック図である。
【図35】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【0013】
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
【0014】
＜光検出装置の構成＞
図１は、本技術を適用した光検出装置の一実施の形態に係る構成を示す図である。
図１は、本技術を適用した光検出装置の一実施の形態に係る構成を示す図である。
【0015】
光検出装置１は、画素アレイ部１０と、アクセス制御回路２０と、イベント信号出力回路３０と、階調信号出力回路４０と、タイミング制御部５０と、イベント信号処理部６０と、階調信号処理部７０と、重複予測行検出部８０とを備える。また、光検出装置１は、タイムスタンプ生成部９０と、画像処理部２とを更に備える。
【0016】
画素アレイ部１０は、複数の画素１００が２次元行列状に配置されて構成されるものである。ここで、画素１００は、入射光の輝度に応じた信号である階調信号を生成するものである。また、画素１００は、上述の入射光の輝度の同一方向の変化をイベントとして検出し、当該検出したイベントに基づく信号であるイベント信号の生成を更に行う。この画素１００は、入射光の光電変換を行う光電変換部を備え、光電変換の結果に基づいて上述の階調信号及びイベント信号を生成する。
【0017】
光電変換部には、例えば、フォトダイオードを使用することができる。それぞれの画素１００には、信号線１１，１２及び２１が配線される。画素１００は、信号線２１により伝達される制御信号に制御されて階調信号及びイベント信号を生成する。また、画素１００は、信号線１２を介して生成した階調信号を出力し、信号線１１を介して生成したイベント信号を出力する。なお、信号線２１は、２次元行列の形状の行毎に配置され、１行に配置された複数の画素１００に共通に配線される。信号線１１及び１２は、２次元行列の形状の列毎に配置され、１列に配置された複数の画素１００に共通に配線される。
【0018】
なお、図２において後述するように、画素１００は、階調信号を生成する階調信号生成部１１０及びイベント信号を生成するイベント信号生成部１２０を備える。また、画素アレイ部１０において、同じ行に配置された複数の画素１００は、階調信号を同時に生成する。この階調信号の生成は、タイミングをずらしながら行毎に順次行われる。
【0019】
アクセス制御回路２０は、上述の画素１００の制御信号を出力するものである。同図のアクセス制御回路２０は、信号線１２を介して画素アレイ部１０の２次元行列の行毎に制御信号を出力する。
【0020】
イベント信号出力回路３０は、画素アレイ部１０から出力される画素１００毎のイベント信号の処理を行い、処理後のイベント信号を出力するものである。イベント信号出力回路３０の処理には、例えば、画素１００から出力されるアナログのイベント信号をデジタルのデータ信号に変換する処理が該当する。
【0021】
階調信号出力回路４０は、画素１００により生成される階調信号の処理を行い、処理後の階調信号を出力するものである。同図の階調信号出力回路４０は、画素アレイ部１０の１行に配置された複数の画素１００からの階調信号の処理を同時に行う。階調信号出力回路４０の処理には、例えば、画素１００から出力されるアナログの階調信号をデジタルの信号に変換する処理が該当する。
【0022】
イベント信号処理部６０は、イベント信号出力回路３０からのイベント信号を処理するものである。このイベント信号出力回路３０は、例えば、イベント信号を所定の形式のデータに変換する処理を行う。イベント信号出力回路３０は、処理後のイベント信号をイベントデータとして外部の装置に出力する。
【0023】
階調信号処理部７０は、階調信号出力回路４０からの階調信号を処理するものである。この階調信号処理部７０は、例えば、階調信号を所定の形式のデータに変換する処理を行う。階調信号処理部７０は、処理後の階調信号を階調データとして出力する。
【0024】
タイミング制御部５０は、画素１００等の制御を制御するものである。このタイミング制御部５０は、画素１００等の制御信号を生成して出力することにより、画素１００等を制御する。この制御には、階調信号生成部１１０に階調信号を生成させる制御、イベント信号生成部１２０にイベントを検出させる制御及びイベント信号生成部１２０に検出したイベントに基づくイベント信号を生成させる制御が該当する。
【0025】
これらの制御に使用する制御信号は、アクセス制御回路２０を介して画素アレイ部１０の行毎の画素１００に出力される。また、タイミング制御部５０は、イベント信号処理部６０及び階調信号処理部７０の制御信号も生成する。生成された制御信号は、アクセス制御回路２０、イベント信号処理部６０、階調信号処理部７０及び重複予測行検出部８０に対して出力される。なお、タイミング制御部５０及びアクセス制御回路２０は、行制御部の一例である。
【0026】
タイムスタンプ生成部９０は、タイムスタンプを生成し、イベント信号処理部６０に供給するものである。
【0027】
重複予測行検出部８０は、階調信号の生成及びイベントの検出の期間の重複が予測される行である重複予測行を検出するものである。上述のように画素１００は、階調信号生成部１１０及びイベント信号生成部１２０を備え、階調信号及びイベント信号を個別に生成することができる。このため、階調信号の生成期間及びイベントの検出の期間が重複する場合がある。この際、階調信号の生成及びイベントの検出において干渉を生じる。
【0028】
これは、階調信号生成部１１０及びイベント信号生成部１２０が浮遊容量等により結合するため、階調信号生成部１１０及びイベント信号生成部１２０の一方の制御信号の変化が他方の信号レベルに影響を及ぼすことにより生じる。この干渉を生じると、階調信号やイベント信号に誤差を生じる。そこで、上述の重複予測行を検出し、干渉の影響の低減の用に供する。同図の、重複予測行検出部８０は、検出した重複予測行に基づいて干渉の発生を示す干渉発生フラグを生成し、イベント信号処理部６０に対して出力する。
【0029】
画像処理部２は、階調信号のデータである階調データの処理を行うものである。なお、イベント信号のデータであるイベントデータの処理を行うイベントデータ処理部を備える構成を採ることもできる。
【0030】
＜画素の構成＞
図２は、画素の構成例を示す図である。同図は、画素１００の構成例を表すブロック図である。画素１００は、階調信号生成部１１０と、イベント信号生成部１２０とを備える。階調信号生成部１１０は、アクセス制御回路２０からの信号線２１を介して供給される制御信号に基づいて階調信号を生成する。生成された階調信号は、信号線１２を介して階調信号出力回路４０に伝達される。イベント信号生成部１２０は、アクセス制御回路２０からの信号線２１を介して供給される制御信号に基づいてイベント信号を生成する。生成されたイベント信号は、信号線１１を介してイベント信号出力回路３０に伝達される。
図２は、画素の構成例を示す図である。同図は、画素１００の構成例を表すブロック図である。画素１００は、階調信号生成部１１０と、イベント信号生成部１２０とを備える。階調信号生成部１１０は、アクセス制御回路２０からの信号線２１を介して供給される制御信号に基づいて階調信号を生成する。生成された階調信号は、信号線１２を介して階調信号出力回路４０に伝達される。イベント信号生成部１２０は、アクセス制御回路２０からの信号線２１を介して供給される制御信号に基づいてイベント信号を生成する。生成されたイベント信号は、信号線１１を介してイベント信号出力回路３０に伝達される。
【0031】
＜階調信号生成部の構成＞
図３は、階調信号生成部の構成例を示す図である。同図は、階調信号生成部１１０の構成例を表す回路である。階調信号生成部１１０は、光電変換部２０１と、電荷保持部２０３と、ＭＯＳトランジスタ２１１乃至２１４とを備える。ＭＯＳトランジスタ２１１乃至２１４には、ｎチャネルＭＯＳトランジスタを使用することができる。画素１００に接続される信号線２１は、信号線ＴＲＧ、信号線ＲＳＴおよび信号線ＳＥＬを備える。画素１００には、電源を供給する電源線Ｖｄｄが配線される。
図３は、階調信号生成部の構成例を示す図である。同図は、階調信号生成部１１０の構成例を表す回路である。階調信号生成部１１０は、光電変換部２０１と、電荷保持部２０３と、ＭＯＳトランジスタ２１１乃至２１４とを備える。ＭＯＳトランジスタ２１１乃至２１４には、ｎチャネルＭＯＳトランジスタを使用することができる。画素１００に接続される信号線２１は、信号線ＴＲＧ、信号線ＲＳＴおよび信号線ＳＥＬを備える。画素１００には、電源を供給する電源線Ｖｄｄが配線される。
【0032】
光電変換部２０１のアノードは接地され、カソードはＭＯＳトランジスタ２１１のソースに接続される。ＭＯＳトランジスタ２１１のドレインは、ＭＯＳトランジスタ２１２のソース、ＭＯＳトランジスタ２１３のゲートおよび電荷保持部２０３の一端に接続される。電荷保持部２０３の他の一端は、接地される。ＭＯＳトランジスタ２１３のドレインは電源線Ｖｄｄに接続され、ソースはＭＯＳトランジスタ２１４のドレインに接続される。ＭＯＳトランジスタ２１４のソースは信号線１２に接続される。信号線ＴＲＧ、ＲＳＴ及びＳＥＬは、それぞれＭＯＳトランジスタ２１１、２１２及び２１４のゲートに接続される。
【0033】
光電変換部２０１は、入射光の光電変換を行う素子である。この光電変換部２０１は、光電変換により電荷を生成し、保持する。
【0034】
ＭＯＳトランジスタ２１１は、光電変換部２０１に保持された電荷を電荷保持部２０３に転送する。ＭＯＳトランジスタ２１１は、信号線ＴＲＧにより伝達される制御信号により制御される。
【0035】
電荷保持部２０３は、電荷を保持する素子である。この電荷保持部２０３は、半導体基板に形成された半導体領域により構成することができる。
【0036】
ＭＯＳトランジスタ２１２は、電荷保持部２０３をリセットするものである。このＭＯＳトランジスタ２１２は、信号線ＲＳＴにより伝達される制御信号により制御される。
【0037】
ＭＯＳトランジスタ２１３は、電荷保持部２０３に保持された電荷に応じた階調信号を生成する素子である。生成された階調信号は、ソース端子に出力される。
【0038】
ＭＯＳトランジスタ２１４は、ＭＯＳトランジスタ２１３により生成された階調信号を信号線１２に対して出力する素子である。このＭＯＳトランジスタ２１４は、信号線ＳＥＬにより伝達される制御信号により制御される。
【0039】
＜階調信号の生成＞
図４は、階調信号の生成の一例を示す図である。同図は、階調信号生成部１１０における階調信号の生成の一例を表すタイミング図である。同図において、「ＳＥＬ」は、信号線ＳＥＬにより伝達される選択信号を表す。「ＲＳＴ」は、信号線ＲＳＴにより伝達されるリセット信号を表す。「ＴＲＧ」は、信号線ＴＲＧにより伝達される転送信号を表す。これらの制御信号における２値化された波形の値「１」の部分がＭＯＳトランジスタを導通させる信号であるオン信号を表す。なお、同図の破線は、０Ｖのレベルを表す。同図に表したように、階調信号は、シャッタ５０１、露光５０２及び読出し５０３により生成される。なお、初期状態において、選択信号、リセット信号及び転送信号は、それぞれ値「０」、「１」及び「０」である。
図４は、階調信号の生成の一例を示す図である。同図は、階調信号生成部１１０における階調信号の生成の一例を表すタイミング図である。同図において、「ＳＥＬ」は、信号線ＳＥＬにより伝達される選択信号を表す。「ＲＳＴ」は、信号線ＲＳＴにより伝達されるリセット信号を表す。「ＴＲＧ」は、信号線ＴＲＧにより伝達される転送信号を表す。これらの制御信号における２値化された波形の値「１」の部分がＭＯＳトランジスタを導通させる信号であるオン信号を表す。なお、同図の破線は、０Ｖのレベルを表す。同図に表したように、階調信号は、シャッタ５０１、露光５０２及び読出し５０３により生成される。なお、初期状態において、選択信号、リセット信号及び転送信号は、それぞれ値「０」、「１」及び「０」である。
【0040】
シャッタ５０１は、電子シャッタに相当する期間であり、リセット信号及び転送信号が値「１」となり、ＭＯＳトランジスタ２１１及び２１２が導通する。これにより、光電変換部２０１及び電荷保持部２０３の電荷が排出されリセットされる。
【0041】
露光５０２は、転送信号が値「０」となり、光電変換部２０１の光電変換により生成される電荷が光電変換部２０１に蓄積される期間である。
【0042】
読出し５０３は、選択信号が値「１」、リセット信号が値「０」になり、ＭＯＳトランジスタ１１１により生成される階調信号が信号線１２に出力される読出しが行われる期間である。この期間に転送信号が値「１」になり、光電変換部２０１の電荷が電荷保持部２０３に転送される。ＭＯＳトランジスタ１１１は、電荷保持部２０３の電荷に応じた階調信号を生成し、信号線１２に出力する。
【0043】
このように、シャッタ５０１、露光５０２及び読出し５０３の３つの期間により階調信号が生成され、階調信号生成部１１０から出力される。前述のように、階調信号の生成は行毎に行われる。この際、シャッタ５０１、露光５０２及び読出し５０３が行毎にタイミングをずらしながら順次適用される。この様子については、図９において後述する。
【0044】
＜イベント信号生成部の構成＞
図５は、イベント信号生成部の構成例を示す図である。同図は、イベント信号生成部１２０の構成例を表すブロック図である。同図のイベント信号生成部１２０は、光電変換部１３０と、電流電圧変換回路１４０と、微分回路１５０と、輝度変化検出部１６０と、出力部１７０とを備える。
図５は、イベント信号生成部の構成例を示す図である。同図は、イベント信号生成部１２０の構成例を表すブロック図である。同図のイベント信号生成部１２０は、光電変換部１３０と、電流電圧変換回路１４０と、微分回路１５０と、輝度変化検出部１６０と、出力部１７０とを備える。
【0045】
光電変換部１３０は、光電変換部２０１と同様に、入射光の光電変換を行うものである。この光電変換部１３０は、フォトダイオードにより構成することができる。
【0046】
電流電圧変換回路１４０は、光電変換部１３０からの光電流を電圧信号に変換するものである。この変換の際、電流電圧変換回路１４０は、電圧信号の対数圧縮を行う。変換後の電圧信号は、微分回路１５０に対して出力される。電流電圧変換回路１４０の構成の詳細については後述する。
【0047】
微分回路１５０は、電流電圧変換回路１４０から出力される電圧信号の変化分を抽出するとともに抽出した変化分を積算して電圧信号の変化量に応じた信号を生成するものである。この信号は、入射光の輝度の変化に応じた信号に相当する。この信号を光信号と称する。微分回路１５０は、生成した光信号を信号線１２１を介して輝度変化検出部１６０に出力する。また、微分回路１５０は、アクセス制御回路２０から制御信号が入力される。この制御信号は、上述の電圧信号の変化量を検出する回路をリセットする信号である。微分回路１５０の構成の詳細については後述する。
【0048】
輝度変化検出部１６０は、入射光の輝度変化を検出するものである。同図の輝度変化検出部１６０は、微分回路１５０から出力される光信号の変化を閾値に基づいて検出する。すなわち、光信号の変化が閾値を超える場合に光信号の変化をイベントとして検出する。ここで、光信号が増加する方向のイベントをオンイベント、光信号が減少する方向のイベントをオフイベントと称する。輝度変化検出部１６０は、アクセス制御回路２０から供給されるオンイベント検出信号及びオフイベント検出信号の電圧を閾値としてオンイベント及びオフイベントをそれぞれ検出する。この検出結果は、出力部１７０に出力される。輝度変化検出部１６０の構成の詳細については後述する。
【0049】
出力部１７０は、アクセス制御回路２０からの制御信号に基づいて輝度変化検出部１６０により検出されたオンイベント及びオフイベントをイベント信号として出力するものである。
【0050】
＜イベント信号生成部の回路構成＞
図６及び図７は、イベント信号生成部の構成例を示す回路図である。図６は電流電圧変換回路１４０及び微分回路１５０の構成例を表す回路図である。なお、同図には、光電変換部２０２を更に記載した。図７は、輝度変化検出部１６０及び出力部１７０の構成例を表す回路図である。
図６及び図７は、イベント信号生成部の構成例を示す回路図である。図６は電流電圧変換回路１４０及び微分回路１５０の構成例を表す回路図である。なお、同図には、光電変換部２０２を更に記載した。図７は、輝度変化検出部１６０及び出力部１７０の構成例を表す回路図である。
【0051】
同図の電流電圧変換回路１４０は、ＭＯＳトランジスタ２１５乃至２１７を備える。同図においてＶｄｄは、電源を供給する電源線Ｖｄｄを表す。Ｖｂ１は、バイアス電圧を供給する信号線Ｖｂ１を表す。ＭＯＳトランジスタ２１５及び２１７には、ｎチャネルＭＯＳトランジスタを使用することができる。ＭＯＳトランジスタ２１６には、ｐチャネルＭＯＳトランジスタを使用することができる。
【0052】
光電変換部２０２のアノードは接地され、カソードはＭＯＳトランジスタ２１５のソースおよびＭＯＳトランジスタ２１７のゲートに接続される。ＭＯＳトランジスタ２１５及びＭＯＳトランジスタ２１６のソースは電源線Ｖｄｄに接続され、ＭＯＳトランジスタ２１６のゲートは信号線Ｖｂ１に接続される。ＭＯＳトランジスタ２１７のソースは接地され、ドレインはＭＯＳトランジスタ２１５のゲート、ＭＯＳトランジスタ２１６のドレインおよび電流電圧変換回路１４０の出力信号線に接続される。この出力信号線には、微分回路１５０のキャパシタの一端が接続される。
【0053】
ＭＯＳトランジスタ２１５は、光電変換部２０２に電流を供給するＭＯＳトランジスタである。光電変換部２０２には、入射光に応じたシンク電流（光電流）が流れる。ＭＯＳトランジスタ２１５は、このシンク電流を供給する。この際、ＭＯＳトランジスタ２１５のゲートは、後述するＭＯＳトランジスタ２１７の出力電圧により駆動され、光電変換部２０２のシンク電流に等しいソース電流を出力する。ＭＯＳトランジスタのゲートソース間電圧Ｖｇｓがソース電流に応じた電圧となるため、ＭＯＳトランジスタ２１５のソース電圧は、光電変換部２０２の電流に応じた電圧となる。これにより、光電変換部２０２の光電流が電圧信号に変換される。
【0054】
ＭＯＳトランジスタ２１７は、ＭＯＳトランジスタ２１５のソース電圧を増幅するＭＯＳトランジスタである。また、ＭＯＳトランジスタ２１６は、ＭＯＳトランジスタ２１７の定電流負荷を構成する。ＭＯＳトランジスタ２１７のドレインには、増幅された電圧信号が出力される。この電圧信号は、微分回路１５０に出力されるとともに、ＭＯＳトランジスタ２１５のゲートに帰還される。ＭＯＳトランジスタ２１５のＶｇｓが閾値電圧以下の場合には、Ｖｇｓの変化に対してソース電流は指数関数状に変化する。このため、ＭＯＳトランジスタ２１５のゲートに帰還されるＭＯＳトランジスタ２１７の出力電圧は、ＭＯＳトランジスタ２１５のソース電流と等しい光電変換部２０２の光電流が対数圧縮された電圧信号となる。
【0055】
＜微分回路の構成＞
同図の微分回路１５０は、キャパシタ２０４及び２０５と、ＭＯＳトランジスタ２１８及び２１９と、定電流回路２３１とを備える。ＭＯＳトランジスタ２１８及び２１９にはｐチャネルＭＯＳトランジスタを使用することができる。
同図の微分回路１５０は、キャパシタ２０４及び２０５と、ＭＯＳトランジスタ２１８及び２１９と、定電流回路２３１とを備える。ＭＯＳトランジスタ２１８及び２１９にはｐチャネルＭＯＳトランジスタを使用することができる。
【0056】
前述のようにキャパシタ２０４の一端には電流電圧変換回路１４０の出力が接続され、キャパシタ２０４の他の一端は、ＭＯＳトランジスタ２１８のゲート、ＭＯＳトランジスタ２１９のドレインおよびキャパシタ２０５の一端に接続される。キャパシタ２０５の他の一端は、ＭＯＳトランジスタ２１８のドレイン、ＭＯＳトランジスタ２１９のドレイン、定電流回路２３１のシンク側端子及び信号線１２１に接続される。ＭＯＳトランジスタ２１８のソースは電源線Ｖｄｄに接続され、ＭＯＳトランジスタ２１９のゲートは信号線ＡＺに接続される。定電流回路２３１のシンク側端子は、接地される。
【0057】
キャパシタ２０４は、結合キャパシタに相当する。このキャパシタ２０４は、電流電圧変換回路１４０の出力電圧のうちの直流分を阻止し、交流分のみを通過させる。また、電流電圧変換回路１４０の出力電圧の変化に基づく電流がキャパシタ２０４を介してＭＯＳトランジスタ２１８のゲートに供給される。電流電圧変換回路１４０の出力電圧の交流分は、光電流の変化分に相当する。
【0058】
ＭＯＳトランジスタ２１８及び定電流回路２３１は、反転増幅回路を構成する。ＭＯＳトランジスタ２１８のゲートにはキャパシタ２０４を介して電流電圧変換回路１４０出力電圧の変化分が入力され、ＭＯＳトランジスタ２１８により反転増幅されてドレインに出力される。このため、キャパシタ２０５には電流電圧変換回路１４０の出力電圧の変化に基づく電流が流れ、キャパシタ２０５が充放電される。すなわち、電流電圧変換回路１４０の出力電圧の変化分が積算（積分）される。信号線１２１には、電流電圧変換回路１４０が出力する電圧信号の変化量に応じた信号である光信号が出力される。
【0059】
ＭＯＳトランジスタ２１９は、微分回路１５０をリセットするものである。このＭＯＳトランジスタ２１９を導通させることにより、キャパシタ２０５の両端が短絡される。積算された電流電圧変換回路１４０の出力電圧の変化分が放電されてリセットされる。このリセットにより、微分回路１５０の出力電圧は、例えば、電源線Ｖｄｄと接地線との中点の電圧になる。このリセットは、信号線ＡＺにより伝達されるＡＺ制御信号により制御される。以下、微分回路１５０のリセットをＡＺ動作と称する。
【0060】
＜輝度変化検出部の構成＞
図７において、輝度変化検出部１６０は、ＭＯＳトランジスタ２２０乃至２２３を備える。ＭＯＳトランジスタ２２０及び２２２には、ｐチャネルＭＯＳトランジスタを使用することができる。ＭＯＳトランジスタ２２１及び２２３には、ｎチャネルＭＯＳトランジスタを使用することができる。輝度変化検出部１６０には、アクセス制御回路２０からの信号線ＯＮ及びＯＦＦが接続される。信号線ＯＮは、オンイベント検出信号を伝達する信号線である。信号線ＯＦＦは、オフイベント検出信号を伝達する信号線である。
図７において、輝度変化検出部１６０は、ＭＯＳトランジスタ２２０乃至２２３を備える。ＭＯＳトランジスタ２２０及び２２２には、ｐチャネルＭＯＳトランジスタを使用することができる。ＭＯＳトランジスタ２２１及び２２３には、ｎチャネルＭＯＳトランジスタを使用することができる。輝度変化検出部１６０には、アクセス制御回路２０からの信号線ＯＮ及びＯＦＦが接続される。信号線ＯＮは、オンイベント検出信号を伝達する信号線である。信号線ＯＦＦは、オフイベント検出信号を伝達する信号線である。
【0061】
信号線１２１は、ＭＯＳトランジスタ２２０のゲート及びＭＯＳトランジスタ２２２のゲートに接続される。ＭＯＳトランジスタ２２０のソースは電源線Ｖｄｄに接続され、ドレインはＭＯＳトランジスタ２２１のドレイン及び出力部１７０のＭＯＳトランジスタ２２５のゲートに接続される。ＭＯＳトランジスタ２２１のゲートは信号線ＯＮに接続され、ソースは接地される。ＭＯＳトランジスタ２２２のソースは電源線Ｖｄｄに接続され、ドレインはＭＯＳトランジスタ２２３のドレイン及び出力部１７０のＭＯＳトランジスタ２２７のゲートに接続される。ＭＯＳトランジスタ２２３のゲートは信号線ＯＦＦに接続され、ソースは接地される。
【0062】
ＭＯＳトランジスタ２２０及び２２１の回路は、比較回路を構成する。この比較回路の出力は、ＭＯＳトランジスタ２２１のシンク側のドレイン電流とＭＯＳトランジスタ２２０のソース側のドレイン電流との大小関係に応じて変化する。微分回路１５０の出力電圧がオンイベント検出信号の電圧に基づく閾値、具体的には、電源電圧Ｖｄｄから当該閾値電圧を減算した電圧より低い場合、ＭＯＳトランジスタ２２０のソース電流の方がＭＯＳトランジスタ２２１のシンク電流より小さくなる。
【0063】
このため、出力電圧は、Ｌレベルとなる。一方、微分回路１５０の出力電圧が閾値電圧（電源電圧Ｖｄｄから閾値電圧を減算した電圧）より高くなると、ＭＯＳトランジスタ２２１のシンク電流の方がＭＯＳトランジスタ２２０のソース電流より小さくなる。このため、出力電圧は、Ｈレベルに移行する。
【0064】
このように、ＭＯＳトランジスタ２２０及び２２１からなる比較回路は、微分回路１５０の出力電圧とオンイベント検出信号の閾値電圧とを比較し、入射光の輝度が上昇する方向の変化であるオンイベントを検出する。なお、オンイベント検出信号が閾値電圧より高い電圧、例えば、電源線Ｖｄｄの電源電圧の時には、比較器の出力が常にＬレベルになる。すなわちオンイベント検出信号として閾値電圧を印加することにより、オンイベントの検出を行うことができる。
【0065】
ＭＯＳトランジスタ２２２及び２２３の回路も比較回路を構成する。微分回路１５０の出力電圧がオフイベント検出信号の電圧に基づく閾値、具体的には、電源電圧Ｖｄｄから当該閾値電圧を減算した電圧より低い場合、出力電圧は、Ｌレベルとなる。一方、微分回路１５０の出力電圧が閾値電圧（電源電圧Ｖｄｄから閾値電圧を減算した電圧）より高くなると、出力電圧は、Ｈレベルに移行する。
【0066】
オフイベント検出信号の閾値をオンイベント検出信号の閾値より低い電圧にすることにより、ＭＯＳトランジスタ２２２及び２２３の比較回路は、入射光の輝度が下降する方向の変化であるオフイベントを検出する。なお、オフイベント検出信号が閾値電圧より低い電圧、例えば、接地電位の時には、比較器の出力が常にＨレベルになる。すなわちオフイベント検出信号として閾値電圧を印加することにより、オフイベントの検出を行うことができる。
【0067】
＜出力部の構成＞
出力部１７０は、ＭＯＳトランジスタ２２４乃至２２７を備える。ＭＯＳトランジスタ２２４乃至２２７には、ｎチャネルＭＯＳトランジスタを使用することができる。ＭＯＳトランジスタ２２４のドレインは信号線１１の一方に接続され、ＭＯＳトランジスタ２２６のドレインには信号線１１の他方に接続される。ＭＯＳトランジスタ２２４及び２２６のゲートは、信号線ＯＵＴに共通に接続される。ＭＯＳトランジスタ２２４のソースは、ＭＯＳトランジスタ２２５のドレインに接続され、ＭＯＳトランジスタ２２５のソースは接地される。ＭＯＳトランジスタ２２６のソースは、ＭＯＳトランジスタ２２７のドレインに接続され、ＭＯＳトランジスタ２２７のソースは接地される。
出力部１７０は、ＭＯＳトランジスタ２２４乃至２２７を備える。ＭＯＳトランジスタ２２４乃至２２７には、ｎチャネルＭＯＳトランジスタを使用することができる。ＭＯＳトランジスタ２２４のドレインは信号線１１の一方に接続され、ＭＯＳトランジスタ２２６のドレインには信号線１１の他方に接続される。ＭＯＳトランジスタ２２４及び２２６のゲートは、信号線ＯＵＴに共通に接続される。ＭＯＳトランジスタ２２４のソースは、ＭＯＳトランジスタ２２５のドレインに接続され、ＭＯＳトランジスタ２２５のソースは接地される。ＭＯＳトランジスタ２２６のソースは、ＭＯＳトランジスタ２２７のドレインに接続され、ＭＯＳトランジスタ２２７のソースは接地される。
【0068】
信号線ＯＵＴにイベント読出し信号が入力されるとＭＯＳトランジスタ２２４及び２２６が導通する。これにより、ＭＯＳトランジスタ２２５及び２２７のドレイン電圧が信号線１１に出力される。ＭＯＳトランジスタ２２５及び２２７のゲートには、輝度変化検出部１６０のオンイベント検出信号及びオフイベント検出信号が印加されるため、信号線１１にオンイベント信号及びオフイベント信号を含むイベント信号が出力される。
【0069】
このように、階調信号生成部１１０及びイベント信号生成部１２０において階調信号及びイベント信号がそれぞれ生成される。階調信号の生成の際には、タイミング制御部５０は、階調信号を生成させる行のアドレス信号である階調用アドレス信号を生成し、アクセス制御回路２０に出力する。
【0070】
アクセス制御回路２０は、階調用アドレス信号に基づく行の画素１００に選択信号、リセット信号及び転送信号を出力する。一方、イベント信号を生成する際には、タイミング制御部５０は、オンイベント検出信号、オフイベント検出信号、ＡＺ制御信号、出力信号及びイベント信号を読み出す際のアドレス信号であるＥＶＳ（Event-based Vision Sensor）用アドレス信号をアクセス制御回路２０に出力する。アクセス制御回路２０は、画素アレイ部１０の全ての画素１００にオンイベント検出信号、オフイベント検出信号、ＡＺ制御信号を順次出力する。その後、出力信号を画素アレイ部１０の行毎に順次出力し、イベント信号の出力（読出し）を行う。この様子を、図８を参照して説明する。
【0071】
なお、図２の画素１００は、階調信号生成部１１０及びイベント信号生成部１２０が光電変換部をそれぞれ備える場合の例を表したものである。これに対し、階調信号生成部１１０及びイベント信号生成部１２０において１つの光電変換部を共有する形式に画素１００を構成することもできる。
【0072】
＜階調信号及びイベント信号の生成＞
図８は、階調信号とイベント信号の生成の一例を示す図である。同図は、階調信号及びイベント信号の生成の一例を表すタイミング図である。同図の横軸は時間を表し、縦軸は行アドレスを表す。なお、同図は、画素アレイ部１０の全ての行の階調信号を生成する期間であるフレーム期間の階調信号及び当該期間にイベント信号の生成を行う場合の例を表したものである。
図８は、階調信号とイベント信号の生成の一例を示す図である。同図は、階調信号及びイベント信号の生成の一例を表すタイミング図である。同図の横軸は時間を表し、縦軸は行アドレスを表す。なお、同図は、画素アレイ部１０の全ての行の階調信号を生成する期間であるフレーム期間の階調信号及び当該期間にイベント信号の生成を行う場合の例を表したものである。
【0073】
同図の矩形は図４において説明したシャッタ５０１、露光５０２及び読出し５０３の期間を表す。同図に表したように、シャッタ５０１、露光５０２及び読出し５０３が行毎にタイミングをずらしながら順次実行され、１フレームの階調信号が生成される。このような階調信号の生成方法は、ローリングシャッタ方式と称される。
【0074】
同図の実線は、オンイベント検出（同図の「ＯＮ」）、オフイベント検出（同図の「ＯＦＦ」）、ＡＺ動作（同図の「ＡＺ」）及びイベント信号出力（読出し、同図の「ＲＤ」）のタイミングを表す。同図に表したように、オンイベント検出、オフイベント検出及びＡＺ動作は、全ての行の画素１００に対して同時に行われる。
【0075】
このため、階調信号を生成する行とオンイベント検出、オフイベント検出及びＡＺ動作が行われる行に重複を生じる。このような行の画素１００においては、前述の干渉を生じる。そこで、階調信号の生成及びイベントの検出の期間（例えば、オンイベント検出及びオフイベント検出からＡＺ動作までの期間）の重複が予測される行である重複予測行を検出する。同図には、重複予測行５００を記載した。
【0076】
＜重複予測行検出部の構成＞
図９は、重複予測行検出部の構成例を示す図である。同図は、重複予測行検出部８０の構成例を表すブロック図である。同図の重複予測行検出部８０は、重複行予測部８１と、記憶部（♯１）８２及び記憶部（♯２）８３を備える。
図９は、重複予測行検出部の構成例を示す図である。同図は、重複予測行検出部８０の構成例を表すブロック図である。同図の重複予測行検出部８０は、重複行予測部８１と、記憶部（♯１）８２及び記憶部（♯２）８３を備える。
【0077】
重複行予測部８１は、タイミング制御部５０からの制御信号に基づいて、重複予測行を検出するものである。重複行予測部８１には、階調用アドレス信号、オンイベント検出信号、オフイベント検出信号、ＡＺ制御信号、出力信号及びＥＶＳ用アドレス信号が入力される。重複行予測部８１は、これらの制御信号から重複予測行を検出する。例えば、オンイベント検出信号、オフイベント検出信号及びＡＺ制御信号が入力される際の階調用アドレス信号から重複予測行を検出することができる。この場合には、階調信号及びイベント信号の何れかに干渉による誤差を生じることとなる。
【0078】
重複行予測部８１は、階調用アドレス信号及びＥＶＳ用アドレス信号から重複予測行を検出することもできる。この場合は、イベント信号等を生成する前に重複予測行を検出することができるため、重複予測行の階調信号の生成やイベント信号の生成を回避することにより、干渉の影響を低減することができる。
【0079】
重複行予測部８１は、オンイベント検出信号及びオフイベント検出信号と階調用アドレス信号から検出した重複予測行の情報を記憶部（♯１）８２に保存する。重複行予測部８１は、検出した重複予測行の情報に基づく干渉発生フラグを生成し、イベント信号処理部６０に出力する。
【0080】
重複行予測部８１は、ＡＺ制御信号及び階調用アドレス信号から検出した重複予測行の情報を記憶部（♯２）８３に保存する。ＡＺ動作が干渉の影響を受ける場合には、次のフレーム期間のイベント信号に影響が出る。そこで、この場合の重複予測行の情報を記憶部（♯１）８２とは異なる記憶部（♯２）８３に保持させる。次のフレーム期間に移行した際に、重複行予測部８１は、記憶部（♯２）８３に保存した重複予測行の情報に基づく干渉発生フラグを生成し、イベント信号処理部６０に出力する。
【0081】
＜イベントデータ＞
図１０は、イベントデータの一例を示す図である。同図は、イベント信号処理部６０が生成するイベントデータの一例を表す図である。同図は、１フレーム期間のイベントデータのフレーム５１０を表したものである。同図の「ＦＳ」は、フレームの開始を示すブロックである。「ＦＥ」は、フレームの終了を示すブロックである。「ＰＨ」は、パケットのヘッダを示すブロックである。「ＰＦ」は、パケットのフッダを示すブロックである。「ＥＢＤ」は、埋込みデータを示すブロックである。「Ｅｖｅｎｔ」は、行毎のイベント信号が保持されるブロックである。この「Ｅｖｅｎｔ」は、「ＰＨ」及び「ＰＦ」の間に配置される。なお、同図の領域５５１は、重複予測行５００に対応する行のデータの領域を表す。
図１０は、イベントデータの一例を示す図である。同図は、イベント信号処理部６０が生成するイベントデータの一例を表す図である。同図は、１フレーム期間のイベントデータのフレーム５１０を表したものである。同図の「ＦＳ」は、フレームの開始を示すブロックである。「ＦＥ」は、フレームの終了を示すブロックである。「ＰＨ」は、パケットのヘッダを示すブロックである。「ＰＦ」は、パケットのフッダを示すブロックである。「ＥＢＤ」は、埋込みデータを示すブロックである。「Ｅｖｅｎｔ」は、行毎のイベント信号が保持されるブロックである。この「Ｅｖｅｎｔ」は、「ＰＨ」及び「ＰＦ」の間に配置される。なお、同図の領域５５１は、重複予測行５００に対応する行のデータの領域を表す。
【0082】
同図において領域５５１に対応する「Ｅｖｅｎｔ」には、干渉の影響を受けたイベント信号が格納される。そこで、当該「Ｅｖｅｎｔ」の「ＰＨ」に干渉発生フラグを付加する。同図の太線の矩形は、干渉発生フラグが付加された「ＰＨ」を表す。これにより、干渉の影響を受けたデータを識別することができる。当該イベントデータを使用する装置において識別されたデータを除去することができる。イベント信号処理部６０は、例えば、重複予測行検出部８０から出力される干渉発生フラグに基づく行の「ＰＨ」にマスク情報を付加する。なお、干渉発生フラグは、「ＰＦ」の側に配置することもできる。なお、干渉発生フラグは、重複予測行を示す情報の一例である。
【0083】
＜重複行検出処理＞
図１１は、重複行検出処理の処理手順の一例を示す図である。まず、重複行予測部８１は、フレーム期間の開始を表す垂直同期信号が入力されたかを判断する（ステップＳ１００）。垂直同期信号が入力されない場合には（ステップＳ１１０，Ｎｏ）、重複行予測部８１はステップＳ１０３の処理に移行する。一方、垂直同期信号が入力された場合には（ステップＳ１００，Ｙｅｓ）、重複行予測部８１は、記憶部（♯１）８２を初期化する（ステップＳ１０１）。次に、重複行予測部８１は、記憶部（♯２）の情報を記憶部（♯１）に転送し（ステップＳ１０２）、ステップＳ１０３の処理に移行する。ステップＳ１０３において、重複行予測部８１は、記憶部（♯２）８３を初期化する（ステップＳ１０３）。
図１１は、重複行検出処理の処理手順の一例を示す図である。まず、重複行予測部８１は、フレーム期間の開始を表す垂直同期信号が入力されたかを判断する（ステップＳ１００）。垂直同期信号が入力されない場合には（ステップＳ１１０，Ｎｏ）、重複行予測部８１はステップＳ１０３の処理に移行する。一方、垂直同期信号が入力された場合には（ステップＳ１００，Ｙｅｓ）、重複行予測部８１は、記憶部（♯１）８２を初期化する（ステップＳ１０１）。次に、重複行予測部８１は、記憶部（♯２）の情報を記憶部（♯１）に転送し（ステップＳ１０２）、ステップＳ１０３の処理に移行する。ステップＳ１０３において、重複行予測部８１は、記憶部（♯２）８３を初期化する（ステップＳ１０３）。
【0084】
次に、重複行予測部８１は、イベント検出中かを判断する（ステップＳ１０４）。イベント検出中の場合には（ステップＳ１０４，Ｙｅｓ）、重複行予測部８１は、階調信号の生成する行を記憶部（♯１）８２に保存し（ステップＳ１０５）、ステップＳ１０６の処理に移行する。一方、イベント検出中でない場合には（ステップＳ１０４，Ｎｏ）、重複行予測部８１は、ＡＺ動作中かを判断する（ステップＳ１０７）。ＡＺ動作中でない場合には（ステップＳ１０７、Ｎｏ）、重複行予測部８１は、ステップＳ１０６の処理に移行する。一方ＡＺ動作中の場合には（ステップＳ１０７，Ｙｅｓ）、重複行予測部８１は、階調信号の生成する行を記憶部（♯２）８２に保存し（ステップＳ１０８）、ステップＳ１０６の処理に移行する。
【0085】
ステップＳ１０６において、重複行予測部８１は、イベント信号読出し中かを判断する（ステップＳ１０６）。イベント信号読出し中でない場合には（ステップＳ１０６，Ｎｏ）、重複行予測部８１は、処理を終了する。一方、イベント信号読出し中の場合には（ステップＳ１０６、Ｙｅｓ）、重複行予測部８１は、記憶部（♯１）８２に行のデータが保存されているかを判断する（ステップＳ１０９）。記憶部（♯１）８２に行のデータが保存されていない場合には（ステップＳ１０９，Ｎｏ）、重複行予測部８１は、処理を終了する。
【0086】
一方、記憶部（♯１）８２に行のデータが保存されている場合には（ステップＳ１０９，Ｙｅｓ）、重複行予測部８１は、干渉発生フラグをイベント信号処理部６０に出力する（ステップＳ１１０）。次に、イベント信号処理部６０は、干渉情報を出力データに付加する（ステップＳ１１１）。
【0087】
このように、光検出装置１は、階調信号の生成及びイベントの検出の期間の重複が予測される行である重複予測行を検出し、当該行のイベント信号を含むイベントデータに干渉の発生を示す情報を付加する。これにより、干渉の影響を受けたイベント信号の使用を回避することができ、干渉の影響を低減することができる。
【0088】
＜補正に係わる構成＞
上記した処理により、干渉の影響を受けた可能性のあるイベントデータを検出し、干渉発生フラグを出力することができる。例えば、干渉発生フラグが出力されたイベントデータを補正することで、干渉の影響を低減し、イベントデータの精度を向上させることができる。
上記した処理により、干渉の影響を受けた可能性のあるイベントデータを検出し、干渉発生フラグを出力することができる。例えば、干渉発生フラグが出力されたイベントデータを補正することで、干渉の影響を低減し、イベントデータの精度を向上させることができる。
【0089】
干渉発生フラグが出力されたイベントデータを一律に補正することも考えられる。この場合、干渉強度が強いイベントデータと、干渉強度が弱いイベントデータとに対して同一の補正が行われることになる。干渉強度が強いイベントデータに対しては、補正が弱く、干渉強度が弱いイベントデータに対して補正が強く、適切に補正が行われない可能性がある。そこで、干渉強度に応じた補正が行われることで、適切な補正が行えるようにすることについて、説明を加える。
【0090】
図１２は、干渉強度に応じた補正を行う補正部６０１の構成例を示す図である。図１２に示した補正部６０１は、イベントデータ取得部６１１、干渉補正部６２１、および干渉強度特定部６１３を含む構成とされている。図１２に示した補正部６０１は、センサ内、例えば光検出装置１（図１）内に設けられる。補正部６０１は、イベント信号処理部６０（図１）内に設けたり、イベント信号処理部６０の外部に設けられ、イベント信号処理部６０からのイベントデータを処理する位置に設けられたりする構成とすることができる。
【0091】
補正部６０１のイベントデータ取得部６１１は、イベントデータを取得し、取得したイベントデータを、干渉補正部６１２と干渉強度特定部６１３に供給する。干渉補正部６１２は、干渉強度特定部６１３から供給される干渉強度に関する情報に基づき、イベントデータを補正し、補正したイベントデータを、例えば後段のアプリケーション６０２に出力する。
【0092】
図１３は、干渉強度に応じた補正を行う補正部６０１の他の構成例を示す図である。補正部６０１は、アプリケーション（アプリケーションプロセッサ）６０２に設けられている構成としても良い。この場合、例えば、イベント信号処理部６０（図１）から出力されるイベントデータを取得し、処理するアプリケーション６０２内に干渉補正部６１２と干渉強度特定部６１３の両方またはどちらか一方が設けられる。
【0093】
図１４は、干渉強度に応じた補正を行う補正部６０１のさらに他の構成例を示す図である。図１４に示した補正部６０１は、干渉補正部６１２にイベントデータと干渉発生フラグが入力される点が、図１３に示した補正部６０１と異なり、他の点は同様の構成である。図１４に示した補正部６０１が、例えば、光検出装置１（図１）内に設けられているような場合、イベントデータ取得６１１を備える構成とすることもできる。図１４に示した補正部６０１は、センサ内に設けられていても良いし、センサ外のアプリケーションプロセッサ６０２内に設けられていても良い。
【0094】
図１５は、干渉強度に応じた補正を行う補正部６０１のさらに他の構成例を示す図である。図１５に示した補正部６０１は、干渉補正部６１２にイベントデータと干渉発生フラグが入力される点は、図１４に示した補正部６０１と同様であるが、干渉強度LTU（Look Up Table）３２１を備える点で異なる。
【0095】
図１５に示した補正部６０１は、センサ内に設けられていても良いし、センサ外のアプリケーションプロセッサ６０２内に設けられていても良い。干渉強度LUT６２１は、後述するように、１フレーム内の所定の行と干渉強度とが関連付けられたテーブルであり、干渉補正部６１２は、干渉強度LUT６２１を参照し、干渉強度に応じた補正を行う。
【0096】
干渉強度LUT６２１を設けた構成の場合、干渉発生フラグを入力しない構成としたり、干渉発生フラグを生成しない構成とし、干渉発生フラグの生成に係わる部分を省略したりした構成とすることもできる。換言すれば、干渉強度LUT６２１に、干渉発生フラグ、すなわち干渉が発生する画素に関する情報を含ませることができ、そのようにすることで、干渉発生フラグに関する処理や機能を省略することができる。
【0097】
＜補正前と補正後のイベントデータについて＞
図１６を参照し、補正前のイベントデータと補正後のイベントデータについて説明を加える。図１６の上段は、補正前の所定の行におけるイベントデータの一例を示し、図１６の下段は、補正後の所定の行におけるイベントデータの一例を示す。
図１６を参照し、補正前のイベントデータと補正後のイベントデータについて説明を加える。図１６の上段は、補正前の所定の行におけるイベントデータの一例を示し、図１６の下段は、補正後の所定の行におけるイベントデータの一例を示す。
【0098】
図１６において、１つの四角形は、１画素（１つのイベント信号生成部１２０）を表す。Ｐは、オンイベントのイベントデータであることを示し、イベントデータとしては“０１”で表されるとする。Ｎは、オフイベントのイベントデータであることを示し、イベントデータとしては“１０”で表されるとする。空欄は、イベント無しであることを示し、イベントデータとしては“００”で表されるとする。図の上部に示した１から２０の番号は、説明のために付した番号である。
【0099】
画素１は、イベント無しであり、イベントデータは“００”である。画素２は、オンイベントあり、イベントデータは“０１”である。画素３は、イベント無しであり、イベントデータは“００”である。画素４は、オフイベントあり、イベントデータは“１０”である。画素５は、イベント無しであり、イベントデータは“００”である。画素６、画素７は、オンイベントあり、イベントデータは“０１”である。
【0100】
画素８乃至１１は、イベント無しであり、イベントデータは“００”である。画素１２乃至１４は、オフイベントあり、イベントデータは“１０”である。画素１５，１６は、イベント無しであり、イベントデータは“００”である。画素１７は、オンイベントあり、イベントデータは“０１”である。画素１８乃至２０は、イベント無しであり、イベントデータは“００”である。
【0101】
このようなイベントデータを、補正部６０１が取得した場合、干渉補正部６１２は、詳細は後述するが、干渉強度に応じた補正を行うことで、図１６の下段に示したような補正後のイベントデータを出力する。補正によりイベントデータが置き換わった箇所について説明を加える。
【0102】
画素２、画素７、および画素１７は、オンイベントのイベントデータであったが、補正によりイベント無しの“００”のデータに補正される。画素１２、画素１３は、オフイベントのイベントデータであったが、補正によりイベント無しの“００”のデータに補正される。このように、オンイベントまたはオフイベントが発生しているとされた画素に対して補正がなされることで、イベント無しの画素に補正される場合がある。
【0103】
画素９は、イベント無しのイベントデータであったが、補正によりオンイベントのイベントデータ“０１”に補正される。画素１０は、イベント無しのイベントデータであったが、補正によりオフイベントのイベントデータ“１０”のデータに補正される。このように、イベント無しとして検出された画素に対して補正がなされることで、オンイベントまたはオフイベントが発生した画素に補正される場合がある。
【0104】
図１６の下段に示したようなデータ列が、補正されたイベントデータとして、後段に出力される。この場合、１つの画素に対する補正前のイベントデータは、２ビットで表され、補正後のイベントデータも２ビットで表される例である。図１７に示すように、補正前の２ビットのイベントデータが、補正により４ビットのイベントデータに変換されて後段に出力されるようにしても良い。
【0105】
図１７の上段は、図１６の上段に示した補正前のイベントデータと同一であり、干渉補正部６１２に入力される補正前のイベントデータを表す。画素１、画素３、画素５、画素８、画素１１、画素１５、画素１６、画素１８乃至２０は、イベント無しのイベントデータであり、補正後もイベント無しのイベントデータである。
【0106】
これらの画素は、補正前後で同一のイベントデータであり、補正する必要の無いイベントデータとして扱われた画素、または補正した結果、同一のイベントデータとなった画素である。このような場合、補正前の２ビットのイベントデータ“００”に、補正後の２ビットのイベントデータ“００”が連結され、換言すれば、補正前のイベントデータを２回繰り返す４ビットのイベントデータ“００００”に変換され、この変換後のイベントデータが、補正されたイベントデータとして後段に出力される。
【0107】
画素４，画素１４は、オフイベントのイベントデータであり、補正後もオフイベントのイベントデータである。これらの画素は、補正前後で同一のイベントデータであり、補正する必要の無いイベントデータとして扱われた画素、または補正した結果、同一のイベントデータとなった画素である。
【0108】
このような場合、補正前の２ビットのイベントデータ“１０”に、補正後の２ビットのイベントデータ“１０”が連結され、換言すれば、補正前のイベントデータを２回繰り返す４ビットのイベントデータ“１０１０”に変換され、この変換後のイベントデータが、補正されたイベントデータとして後段に出力される。
【0109】
画素６は、オンイベントのイベントデータであり、補正後もオンイベントのイベントデータである。この画素は、補正前後で同一のイベントデータであり、補正する必要の無いイベントデータとして扱われた画素、または補正した結果、同一のイベントデータとなった画素である。
【0110】
このような場合、補正前の２ビットのイベントデータ“０１”に、補正後の２ビットのイベントデータ“０１”が連結され、換言すれば、補正前のイベントデータを２回繰り返す４ビットのイベントデータ“０１０１”に変換され、この変換後のイベントデータが、補正されたイベントデータとして後段に出力される。
【0111】
画素２、画素７、画素１７は、オンイベントのイベントデータであるが、補正後にはイベント無しのイベントデータに補正された画素である。このような場合、補正前の２ビットのイベントデータ“０１”に、補正後の２ビットのイベントデータ“００”が連結され、４ビットのイベントデータ“０１００”に変換され、この変換後のイベントデータが、補正されたイベントデータとして後段に出力される。
【0112】
画素１２、画素１３は、オフイベントのイベントデータであるが、補正後にはイベント無しのイベントデータに補正された画素である。このような場合、補正前の２ビットのイベントデータ“１０”に、補正後の２ビットのイベントデータ“００”が連結され、４ビットのイベントデータ“１０００”に変換され、この変換後のイベントデータが、補正されたイベントデータとして後段に出力される。
【0113】
画素９は、イベント無しのイベントデータであるが、補正後にはオンイベントのイベントデータに補正された画素である。このような場合、補正前の２ビットのイベントデータ“００”に、補正後の２ビットのイベントデータ“０１”が連結され、４ビットのイベントデータ“０００１”に変換され、この変換後のイベントデータが、補正されたイベントデータとして後段に出力される。
【0114】
画素１０は、イベント無しのイベントデータであるが、補正後にはオフイベントのイベントデータに補正された画素である。このような場合、補正前の２ビットのイベントデータ“００”に、補正後の２ビットのイベントデータ“１０”が連結され、４ビットのイベントデータ“００１０”に変換され、この変換後のイベントデータが、補正されたイベントデータとして後段に出力される。
【0115】
図１７の下段に示したようなデータ列が、補正されたイベントデータとして、後段に出力される。例えば、後段がアプリケーション６０２であるような場合、アプリケーション６０２は、補正後の４ビットのイベントデータを用いて処理を行うようにしても良いし、後半の２ビット（補正処理後に追加された２ビット）のイベントデータを用いて処理を行うようにしても良い。
【0116】
アプリケーション６０２は、補正後の４ビットのイベントデータを用いるようにした場合、前半の２ビット（補正前のイベントデータ）と後半の２ビット（補正後のイベントデータ）を比較し、同一の場合、すなわち補正が行われなかった場合と、異なる場合、すなわち補正が行われた場合とで、異なる処理を実行するように構成することもできる。
【0117】
＜補正部の処理＞
図１８のフローチャートを参照し、補正部６０１の処理について説明を加える。ここでは、図１２に示した構成の場合の補正部６０１の処理を例に挙げて説明を続けるが、基本的な処理は、図１３乃至１５のいずれに示した補正部６０１においても同様に行うことができる。
図１８のフローチャートを参照し、補正部６０１の処理について説明を加える。ここでは、図１２に示した構成の場合の補正部６０１の処理を例に挙げて説明を続けるが、基本的な処理は、図１３乃至１５のいずれに示した補正部６０１においても同様に行うことができる。
【0118】
ステップＳ２０１において、イベントデータ取得部６１１はイベントデータを取得する。
【0119】
ステップＳ２０２において、干渉強度特定部６１３は、干渉強度を特定する。ステップＳ２０２における処理については、図１９乃至２５を参照して後述する。
【0120】
ステップＳ２０３において、干渉補正部６１２は、イベントデータに対して干渉強度に応じた補正を施し、補正後のイベントデータを生成する。ステップＳ２０３における処理については、図２６乃至３２を参照して後述する。
【0121】
ステップＳ２０４において、補正後のイベントデータが、後段の処理部に対して出力される。
【0122】
＜第１の干渉強度特定処理について＞
図１９のフローチャートを参照し、ステップＳ２０２における干渉強度特定処理について説明する。図１９に示したフローチャートに基づく処理は、図２０に示すように、オプティカルブラック（Optical Black）領域を有する画素アレイ部１０を備える光検出装置１において行われる干渉強度特定処理（第１の干渉強度特定処理とする）である。
図１９のフローチャートを参照し、ステップＳ２０２における干渉強度特定処理について説明する。図１９に示したフローチャートに基づく処理は、図２０に示すように、オプティカルブラック（Optical Black）領域を有する画素アレイ部１０を備える光検出装置１において行われる干渉強度特定処理（第１の干渉強度特定処理とする）である。
【0123】
ステップＳ２２１において、注目行のＨＯＰＢ（Horizontal Optical black）領域のイベント数がカウントされる。図２０を参照し、ＨＯＰＢ領域について説明を加える。画素アレイ部１０の画素領域は、実際に光を受光し光電変換によって生成された信号電荷を増幅してカラム信号処理回路に読み出す有効画素領域６５２（図中Visible領域）と、黒レベルの基準になる光学的黒を出力するためのＨＯＰＢ領域６５１とを有する構成されている。
【0124】
図２０では、垂直方向（図中縦方向）のオプティカルブラック領域が設けられている例を示し、その領域をＨＯＰＢ領域６５１とする。オプティカルブラック領域は、水平方向にも設けられていても良い。図２０では、図中、左右にそれぞれＨＯＰＢ領域６５１が設けられている例を示したが、左側のみ、または右側のみＨＯＰＢ領域６５１が設けられている構成とすることもできる。
【0125】
ステップＳ２２１（図１９）においては、ＨＯＰＢ領域６５１内の注目行において発生しているイベントがカウントされる。ＨＯＰＢ領域６５１は、遮光された領域であり、照度の変化がなく、イベントが発生しないことが期待されている領域である。干渉が発生しているような場合、このような領域においてもイベントが発生する可能性がある。干渉が強く発生していると、ＨＯＰＢ領域６５１内で発生するイベント数も多くなる。このことを利用し、干渉強度が検出される。
【0126】
ステップＳ２２１においては、干渉強度を測定したい行（注目行）のＨＯＰＢ領域６５１内で発生しているイベントがカウントされる。ステップＳ２２２において、カウントされたイベント数が、干渉強度に変換される。例えば、図２１に示すようなテーブルが備えられ、そのテーブルが参照されて、イベント数から干渉強度に変換される。
【0127】
図２１を参照するに、テーブル６７１は、カウントしたイベント数と干渉強度が関連付けられたテーブルである。図２１に示したテーブル６７１は、例えば、ＨＯＰＢ領域６５１の１行におけるイベントデータ数が５００である場合を示す。これは一例であり、ＨＯＰＢ領域６５１におけるイベントデータ数が５００以外の数値に設定されていても良いし、以下に説明する各数値が、以下に示す値以外であってももちろん良い。
【0128】
カウントしたイベント数が“１０以下”である場合、干渉強度は、“弱”に変換される。カウントしたイベント数が“１１以上、かつ１００以下”である場合、干渉強度は、“中”に変換される。カウントしたイベント数が“１０１以上”である場合、干渉強度は、“強”に変換される。
【0129】
なおテーブル６７１を設け、参照することでイベント数から干渉強度に変換される構成以外の構成、例えば所定の演算式を用いてイベント数から干渉強度が算出されるような構成であっても良い。
【0130】
イベント数は、オンイベントとオフイベントを別々にカウントするようにしても良いし、オンイベントとオフイベントを区別せずにまとめてカウントするようにしても良い。
【0131】
オンイベントとオフイベントを別々にカウントし、オンイベントの干渉強度とオフイベントの干渉強度を別々に推定するようにしても良いし、オンイベントとオフイベントを区別せずにまとめてカウントし、それらをまとめてカウントされたカウント値を用いて干渉強度が推定されるようにしても良い。
【0132】
干渉強度として、ここでは、強、中、弱の３つに分類される場合、換言すれば離散的に分類される例を示したが、例えば干渉強度＝0.8といった連続値として推定され、出力されるようにしても良い。
【0133】
ステップＳ２２３において、ステップＳ２２２においてイベント数から変換された干渉強度が、干渉強度特定部６１３から干渉補正部６１２に対して出力される。
【0134】
このように、画素アレイ部１０に、遮光された領域が設けられているような場合、この遮光された領域内から得られるイベントデータを用いて、干渉強度が特定されるように干渉強度特定部６１３を構成することができる。
【0135】
＜第２の干渉強度特定処理について＞
図２２のフローチャートを参照し、ステップＳ２０２における干渉強度特定処理（第２の干渉強度特定処理とする）について説明する。
図２２のフローチャートを参照し、ステップＳ２０２における干渉強度特定処理（第２の干渉強度特定処理とする）について説明する。
【0136】
図１９を参照して説明した第１の干渉強度特定処理は、画素アレイ部１０のＨＯＰＢ領域６５１を用いてイベント数をカウントして干渉強度を特定する処理を例に挙げて説明した。図２２を参照して説明する第２の干渉強度特定処理は、画素アレイ部１０の有効画素領域６５２（図２０）を用いてイベント数をカウントして干渉強度を特定する処理を例に挙げて説明する。
【0137】
ステップＳ２４１において、有効画素領域６５２内の注目行で発生しているイベント数がカウントされる。カウントされたイベント数の値を、値ａとする。
【0138】
ステップＳ２４２において、注目行の上下の非干渉行のイベント数の値が大きい方が取得される。取得された値を、値ｂとする。ステップＳ２４２においては、有効画素領域６５２内の注目行よりも上側にあり、干渉が発生していないと判断されている行から得られたイベント数と、有効画素領域６５２内の注目行よりも下側にあり、干渉が発生していないと判断されている行から得られたイベント数が、それぞれ取得され、比較され、大きい値の方が値ｂとして取得される。
【0139】
なおここでは、注目行の上下の非干渉行のイベント数の値が大きい方が取得され、大きい値の方が用いられる場合を例に挙げて説明を続けるが、他の値が用いられるようにしても良い。例えば、注目行の上下の非干渉行のイベント数の平均値が算出され、その平均値が用いられるようにしても良い。
【0140】
注目行の上下の非干渉行のイベント数が用いられる場合を例に挙げて説明するが、注目行の上側の非干渉行のイベント数、または、注目行の下側の非干渉行のイベント数のどちらか一方が用いられるように構成することもできる。
【0141】
有効画素領域６５２においては、通常のイベントも存在するため、換言すれば、ＨＯＰＢ領域６５１と異なり、干渉が発生していない正常な状態において発生しているイベントも存在するため、ＨＯＰＢ領域６５１と同じくイベント数をカウントするだけでは、干渉の強度を推定することはできない。そこで、注目行のイベント数を、注目行の上下の非干渉行のイベント数、換言すれば、正常にイベントを検出している行におけるイベント数と比較することで、注目行の干渉強度を特定する。注目行のイベント数が、非干渉行のイベント数と比較して、どれだけ多いかにより干渉強度が推定される。
【0142】
このような比較を行うために、ステップＳ２４２において、注目行の上下の非干渉行のイベント数の値が大きい方の値ｂが取得される。上下の行が非干渉行であるか否かは、例えば干渉発生フラグを用いて判定することができる。例えば、注目行よりも上に位置し、干渉発生フラグが立っていない行を、上の非干渉行とし、注目行よりも下に位置し、干渉発生フラグが立っていない行を、下の非干渉行として処理が行われる。
【0143】
非干渉行は、干渉発生フラグが立ってない行となるため、必ずしも注目行に隣接する行となるとは限らない。例えば、注目行のすぐ上の行に干渉発生フラグがたっている場合、その行を避け、さらに上の行に干渉発生フラグが立っていないかが判定され、干渉発生フラグが立っていたらさらに上の行に干渉発生フラグが立っているか否かが判定されるといった処理が、干渉発生フラグが立っていないと判定される行になるまで繰り返される。
【0144】
ステップＳ２４３において、値ａと値ｂを比較することで、干渉強度が特定される。例えば、図２３に示した条件を設け、その条件に合う干渉強度に特定されるようにすることができる。図２３に示した条件は、１行のイベントデータ数が１９２０の場合における条件の一例を示す。１行のイベントデータ数は、１９２０に限定される記載ではなく、１９２０以外のイベントデータ数であっても良い。またイベントデータ数に応じた条件が適宜設定される。図２３に示した条件における数値、例えば、１．５，１０，２００といった数値は、一例であり、限定を示す記載ではなく、適宜イベントデータ数などに応じた適切な値を設定することができる。
【0145】
図２３を参照するに、条件として“値ａ≦１．５×値ｂ＋１０”という条件に当てはまる場合、干渉強度は“弱”と推定される。条件として“値ａ≧１．５×値ｂ＋２００”という条件に当てはまる場合、干渉強度は“強”と推定される。条件として“上記２条件を満たさない”という条件に当てはまる場合、干渉強度は“中”と推定される。
【0146】
イベント数は、オンイベントとオフイベントを別々にカウントするようにしても良いし、オンイベントとオフイベントを区別せずにまとめてカウントするようにしても良い。
【0147】
オンイベントとオフイベントを別々にカウントし、オンイベントの干渉強度とオフイベントの干渉強度を別々に推定するようにしても良いし、オンイベントとオフイベントを区別せずにまとめてカウントし、そのまとめてカウントされたカウント数を用いて干渉強度が推定されるようにしても良い。
【0148】
干渉強度として、ここでは、強、中、弱の３つに分類される場合、換言すれば離散的に分類される例を示したが、例えば干渉強度＝0.8といった連続値として推定され、出力されるようにしても良い。この場合、上記した条件を変更、例えば値aと値ｂを代入する所定の演算式により干渉強度が求められるようにすることができる。
【0149】
このように、画素アレイ部１０の有効画素領域６５２内から得られるイベントデータを用いて、干渉強度が特定されるように構成することができる。
【0150】
＜第３の干渉強度特定処理について＞
図２４のフローチャートを参照し、ステップＳ２０２における干渉強度特定処理（第３の干渉強度特定処理とする）について説明する。
図２４のフローチャートを参照し、ステップＳ２０２における干渉強度特定処理（第３の干渉強度特定処理とする）について説明する。
【0151】
第３の干渉強度特定処理は、図１５に示したように補正部６０１が干渉強度LUT６２１を備える構成の場合に行われる。ステップＳ２６１において、イベントのタイムスタンプと注目行がセットされる。タイムスタンプは、フレーム番号と同等に扱うことができる情報であり、フレームを特定するための情報（どの時点で取得されたフレームであるかを特定するための情報）である。ステップＳ２６１においては、処理対象とするフレームと、そのフレームにおいて干渉強度を特定する行（注目行）が設定される。
【0152】
ステップＳ２６２において、タイムスタンプと注目行に対応する干渉強度が、干渉強度LUT６２１から取得される。図２５は、干渉強度LUT６２１の一例を示す図である。干渉強度LUT６２１は、タイムスタンプ、注目行、干渉強度が関連付けられたテーブルである。
【0153】
干渉強度LUT６２１は、タイムスタンプ、注目行、干渉強度が関連付けられたテーブルである。図２５に示した干渉強度LUT６２１においては、例えば、タイムスタンプとして“00000000”、注目行として“０”、干渉強度として“弱”が関連付けられ、タイムスタンプとして“00000000”、注目行として“１”、干渉強度として“中”が関連付けられている。また図２５に示した干渉強度LUT６２１においては、例えば、タイムスタンプとして“00000015”、注目行として“100”、干渉強度として“強”が関連付けられている。
【0154】
このような干渉強度LUT６２１は、例えば、干渉強度がどのように推移するかのパターンが得られる場合に作成され、補正部６０１に備えられる。干渉の出やすいフレームや、出やすい行などは、デバイスに依存する可能性があり、デバイスにより、同じようなパターンがあるよう場合に、干渉強度LUT６２１を作成することができる。
【0155】
干渉強度の推移に周期性がある場合、１周期分のLUTが干渉強度LUT６２１に格納されていれば良い。干渉強度LUT６２１は、干渉発生フラグを取得することで学習し、更新されるような仕組みを設けても良い。
【0156】
干渉強度LUT６２１のテーブルは、オンイベントとオフイベントの２種類のイベントに対して、それぞれのテーブルが設けられている構成とすることができる。オンイベントとオフイベントを区別せずにまとめたテーブルとして設けられているようにすることもできる。
【0157】
干渉強度として、ここでは、強、中、弱の３つに分類される場合、換言すれば離散的に分類される例を示したが、例えば干渉強度＝0.8といった連続値として推定され、連続値の値が干渉強度LUT６２１に記載されているようにしても良い。
【0158】
ステップＳ２６２においては、ステップＳ２６１において処理対象のフレームとして設定されたタイムスタンプと注目行に対応する干渉強度が、干渉強度LUT６２１から読み出される。ステップＳ２６３において、干渉強度LUT６２１から読み出された干渉強度が、干渉強度LUT６２１から干渉補正部６１２に対して出力される。
【0159】
このように、干渉強度の出方に特定のパターンがあるような場合、干渉強度LUT６２１を予め作成し、その干渉強度LUT６２１が参照されて、干渉強度が特定されるように構成することができる。
【0160】
図１８のフローチャートに戻り、ステップＳ２０２において、干渉強度特定処理が実行される。干渉強度特定処理は上記した第１乃至第３の干渉強度特定処理のうちのいずれか１つが実行、または組み合わせて実行されることで行われる。干渉強度特定処理が実行されることで、干渉強度が特定されると、ステップＳ２０３において、イベントデータの補正処理が実行される。
【0161】
＜第１のイベントデータの補正処理＞
ステップＳ２０３において実行されるイベントデータの補正処理について説明を加える。図２６は、第１のイベントデータの補正処理について説明するためのフローチャートである。
ステップＳ２０３において実行されるイベントデータの補正処理について説明を加える。図２６は、第１のイベントデータの補正処理について説明するためのフローチャートである。
【0162】
ステップＳ３０１において、干渉補正部６１２は、イベントデータ取得部６１１から出力される注目行（処理対象とされた行）のイベントデータを取得する。ステップＳ３０２において、干渉補正部６１２は、干渉強度特定部６１３により特定された注目行の干渉強度を取得する。
【0163】
ここでは、干渉強度特定部６１３において、干渉強度として、弱、中、強の３種類の干渉強度が特定され、干渉補正部６１２に出力される場合を例に挙げて説明を続ける。干渉強度により、イベントデータの補正方法が切り替えられる。ステップＳ３０３において、干渉補正部６１２は、干渉強度は弱であるか否かを判定する。
【0164】
ステップＳ３０３において、干渉強度は、弱であると判定された場合、ステップＳ３０４に処理は進められる。干渉強度が弱である場合、干渉による誤イベントの発生数は少ないとし、何も補正処理を行わず（ステップＳ３０４）、入力されたイベントデータが後段の処理部に出力される。なお、図１７を参照して説明したように、補正前の２ビットのデータを、４ビットのデータに変換して出力する場合、ステップＳ３０４においては、補正前の２ビットのデータを繰り返し、４ビットのデータとして出力する処理が実行される。
【0165】
一方、ステップＳ３０３において、干渉強度は弱ではないと判定された場合、処理は、ステップＳ３０５に進められる。ステップＳ３０５において、干渉強度は中であるか否かが判定される。ステップＳ３０５において、干渉強度は中であると判定された場合、ステップＳ３０６に処理は進められる。ステップＳ３０６において、ノイズイベントの除去が行われる。
【0166】
ステップＳ３０６において実行されるノイズイベントの除去について、図２７を参照して説明する。干渉強度が中の場合、通常イベントは保持され、干渉による誤イベントがノイズ的に付与されているとし、そのようなノイズイベントは除去するための処理が実行される。
【0167】
図２７のＡの左図は、補正前の画素（イベント信号生成部１２０を含む画素）の配置と、イベント信号生成部１２０において発生したイベントのイベントデータを表した図である。図２７のＡに示した画素１２０－１乃至１２０－７のうち、干渉強度が中と判定された注目行内に位置し、補正対象とされた画素を、画素１２０－４とする。
【0168】
注目画素の画素１２０－４の上側にあり、非干渉行にある画素を、画素１２０－１乃至１２０－３とする。画素１２０－１は、注目画素１２０－４の左上側に位置し、画素１２０－２は、注目画素１２０－４の真上側に位置し、画素１２０－３は、注目画素１２０－４の右上側に位置している。なお、図２７のＡでは、注目画素１２０－４の隣接する行内に、画素１２０－１乃至１２０－３が位置しているように図示しているが、非干渉行が隣接していない場合には、数行離れた位置にある非干渉行内に、画素１２０－１乃至１２０－３が位置している場合もある。
【0169】
注目画素の画素１２０－４の下側にあり、非干渉行にある画素を、画素１２０－５乃至１２０－７とする。画素１２０－５は、注目画素１２０－４の左下側に位置し、画素１２０－６は、注目画素１２０－４の真下側に位置し、画素１２０－７は、注目画素１２０－４の右下側に位置している。なお、図２７のＡでは、注目画素１２０－４の隣接する行内に、画素１２０－５乃至１２０－７が位置しているように図示しているが、非干渉行が隣接していない場合には、数行離れた位置にある非干渉行内に、画素１２０－５乃至１２０－７が位置している場合もある。
【0170】
以下、このような画素配置を例に挙げて説明を続ける。またここでは、イベントが発生している画素に斜線を付して図示し、注目画素１２０－４は、オンイベントまたはオフイベントが発生している画素であるとして説明を続ける。図２７のＡに示した例では、画素１２０－１も、オンイベントまたはオフイベントが発生している画素であるとし、斜線を付して図示している。ここでは、画素１２０－１に付したような密度が濃い斜線を付した画素は、オンイベントが発生している画素とし、画素１２０－４に付したような密度が薄い斜線を付した画素は、オフイベントが発生している画素とする。
【0171】
干渉行における注目画素１２０－４の上側に位置する非干渉行内のｘ方向における±１画素の画素１２０－１乃至１２０－３と、注目画素１２０－４の下側に位置する非干渉行内のｘ方向における±１画素の画素１２０－５乃至１２０－７の計６画素が、探索対象の画素として設定される。この探索対象の画素に設定された６画素に、注目画素１２０－４のイベントと同じ極性のイベントが存在していない場合、孤立点として判断し、ノイズイベントとして削除対象とされる。
【0172】
図２７のＡに示した例では、オフイベントの注目画素１２０－４に対して、探索画素１２０－１乃至１２０－３，１２０－５乃至１２０－７の６画素には、オフイベントは発生していない。この場合、探索対象の画素に、注目画素１２０－４と同じ極性（オフイベント）のイベントはないと判定され、孤立点として処理される。図２７のＡの右図に示したように、オフイベントが検出された注目画素１２０－４は、イベントが発生していない画素１２０－４に補正される。
【0173】
このように注目画素のイベントデータが、複数（この場合６個）の探索画素のいずれのイベントデータとも一致しない場合、注目画素のイベントデータは、イベント無しのデータに補正される。
【0174】
図２７のＢを参照する。図２７のＢの左図は、補正前の画素配置におけるイベントの発生例を示す。図２７のＢの左図に示した例では、注目画素１２０－４にはオフイベントが発生し、探索対象の画素１２０－１にはオンイベントが発生し、探索対象の画素１２０－７にはオフイベントが発生している。
【0175】
図２７のＢに示したイベントの発生状況の場合、注目画素１２０－４にはオフイベントが発生し、探索対象の画素である画素１２０－７でもオフイベントが発生している状況である。この場合、探索対象の画素に、注目画素１２０－４と同じ極性（オフイベント）のイベントがあると判定され、通常イベントとして保持される。図２７のＢの右図に示したように、オフイベントが検出された注目画素１２０－４は、そのままオフイベントが発生している画素１２０－４として扱われる。
【0176】
このように、注目画素のイベントデータが、複数（この場合６個）の探索画素の少なくとも１つの探索画素のイベントデータと一致する場合、注目画素のイベントデータは、そのまま維持される。
【0177】
ここでは、探索対象となる画素は６画素である場合を例に挙げて説明したが、６画素より少ない画素、または６画素より多い画素が、探索対象の画素として設定されるようにしても良い。
【0178】
このように、干渉強度が中の場合には、孤立点が除去される補正が実行される。
【0179】
図２６のフローチャートを参照した説明に戻り、ステップＳ３０５において、干渉強度は中ではないと判定された場合、すなわちこの場合、干渉強度は強であると判定された場合、処理は、ステップＳ３０７に進められる。ステップＳ３０７において、全イベントデータに対して補正が実行される。干渉強度が強の場合、干渉による誤イベントが多く発生している可能性があるため、注目行の全イベントデータに対して補正が行われる。
【0180】
ステップＳ３０７において実行される全イベントデータに対する補正について、図２８乃至図３０を参照して説明する。図２８乃至図３０において、上段は補正前の画素配置とイベント発生例を示し、下段は補正後の画素配置とイベント発生例を示す。画素配置は、図２７に示した場合と同じく、補正対象とされている画素は、注目画素１２０－４であり、その周りに位置する画素１２０－１乃至１２０－７（画素１２０－４を除く）の６画素のイベント発生の状況に応じて、注目画素１２０－４のイベントデータが補正される。
【0181】
図２８を参照して説明する干渉強度が強の場合の補正ルールを、補正ルール１とする。補正ルール１は、マスクをする補正であり、注目画素のイベントを削除する補正である。
【0182】
注目画素１２０－４においては、オフイベントが発生している場合を例に挙げて説明する。図２８のＡの上段に示した補正前において、注目画素１２０－４の真上と真下に位置する探索画素の画素１２０－２と画素１２０－６では、共にオンイベントが発生している。図２８のＡの下段に示したように、補正ルール１においては注目画素のイベントは削除されるため、注目画素１２０－４は、イベントが削除され、イベントが発生していないイベントデータに補正され、出力される。
【0183】
図２８のＢの上段に示した補正前において、注目画素１２０－４の真上と右下に位置する探索画素の画素１２０－２と画素１２０－７では、共にオンイベントが発生している。図２８のＢの下段に示したように、補正ルール１においては注目画素のイベントは削除されるため、注目画素１２０－４は、イベントが削除され、イベントが発生していないイベントデータに補正され、出力される。
【0184】
図２８のＣの上段に示した補正前において、注目画素１２０－４の真上に位置する探索画素の画素１２０－２では、オンイベントが発生している。図２８のＣの下段に示したように、補正ルール１においては注目画素のイベントは削除されるため、注目画素１２０－４は、イベントが削除され、イベントが発生していないイベントデータに補正され、出力される。
【0185】
図２８のＤの上段に示した補正前において、注目画素１２０－４の真上に位置する探索画素の画素１２０－２では、オンイベントが発生し、注目画素１２０－４の真下に位置する探索画素の画素１２０－６では、オフイベントが発生している。図２８のＤの下段に示したように、補正ルール１においては注目画素のイベントは削除されるため、注目画素１２０－４は、イベントが削除され、イベントが発生していないイベントデータに補正され、出力される。
【0186】
図２９を参照し、干渉強度が強の場合の補正ルール２について説明を加える。補正ルール２は、注目画素１２０－４の上下の非干渉行に位置し、注目画素１２０－４の真上と真下に位置する探索画素に発生しているイベントが一致する場合、注目画素１２０－４のイベントデータを上書きし、一致しない場合、注目画素のイベントを削除するルールである。
【0187】
【0188】
図２９のＡの上段を参照するに、補正前において、注目画素１２０－４の真上と真下に位置する探索画素の画素１２０－２と画素１２０－６では、共にオンイベントが発生している。このように、注目画素１２０－４の上下に位置する画素のイベントが一致する場合、その一致しているイベントに注目画素１２０－４のイベントが書き換えられる。よって、図２９のＡの下段に示したように、注目画素１２０－４は、オフイベントであったが、そのオフイベントが、上下の画素で発生しているオンイベントに書き換えられ、出力される。
【0189】
図２９のＢの上段に示した補正前において、注目画素１２０－４の真上と右下に位置する探索画素の画素１２０－２と画素１２０－７では、共にオンイベントが発生しているが、注目画素１２０－４の真下に位置する探索画素の画素１２０－６ではイベントは発生していない。このような場合、補正ルール２に基づき補正が行われると、注目画素１２０－４の上下に位置する画素のイベントが一致してないため、図２９のＢの下段に示したように、注目画素１２０－４のイベントは削除され、イベント無しに書き換えられ、出力される。
【0190】
図２９のＣの上段に示した補正前において、注目画素１２０－４の真上に位置する探索画素の画素１２０－２では、オンイベントが発生しているが、注目画素１２０－４の真下に位置する探索画素の画素１２０－６ではイベントは発生していない。このような場合、補正ルール２に基づき補正が行われると、注目画素１２０－４の上下に位置する画素のイベントが一致してないため、図２９のＣの下段に示したように、注目画素１２０－４のイベントは削除され、イベント無しに書き換えられ、出力される。
【0191】
図２９のＤの上段に示した補正前において、注目画素１２０－４の真上に位置する探索画素の画素１２０－２では、オンイベントが発生し、注目画素１２０－４の真下に位置する探索画素の画素１２０－６では、オフイベントが発生している。このような場合、補正ルール２に基づき補正が行われると、注目画素１２０－４の上下に位置する画素のイベントが一致してないため、図２９のＤの下段に示したように、注目画素１２０－４のイベントは削除され、イベント無しに書き換えられ、出力される。
【0192】
図３０を参照し、干渉強度が強の場合の補正ルール３について説明を加える。補正ルール３は、注目画素１２０－４の上下の非干渉行に位置し、注目画素１２０－４の真上と真下の探索画素に発生しているイベントが一致する場合、および注目画素１２０－４の真上と真下の探索画素に発生しているイベントが一致していなくても、真上または真下の画素の代わりに、斜め方向の探索画素に発生しているイベントが一致する場合、注目画素１２０－４のイベントデータを上書きし、一致しない場合、注目画素のイベントを削除するルールである。
【0193】
【0194】
図３０のＡの上段を参照するに、補正前において、注目画素１２０－４の真上と真下に位置する探索画素の画素１２０－２と画素１２０－６では、共にオンイベントが発生している。このように、注目画素１２０－４の上下に位置する画素のイベントが一致する場合、その一致しているイベントに注目画素１２０－４のイベントが書き換えられる。よって、図３０のＡの下段に示したように、注目画素１２０－４は、オフイベントであるが、そのオフイベントが、上下の画素で発生しているオンイベントに書き換えられ、出力される。
【0195】
図３０のＢの上段に示した補正前において、注目画素１２０－４の真上と右下に位置する探索画素の画素１２０－２と画素１２０－７では、共にオンイベントが発生しているが、注目画素１２０－４の真下に位置する探索画素の画素１２０－６ではイベントが発生していない。このような場合、補正ルール３に基づき補正が行われると、注目画素１２０－４の上下に位置する画素のイベントが一致してないが、注目画素１２０－４の上に位置する画素と斜め下に位置する画素とのイベントがオンイベントで一致しているため、図３０のＢの下段に示したように、注目画素１２０－４のイベントはオフイベントからオンイベントに補正され、出力される。
【0196】
図３０のＣの上段に示した補正前において、注目画素１２０－４の真上に位置する探索画素の画素１２０－２は、オンイベントが発生しているが、注目画素１２０－４の真下に位置する探索画素の画素１２０－６ではイベントが発生していない。このような場合、補正ルール３に基づき補正が行われると、注目画素１２０－４の上下に位置する画素のイベントが一致せず、斜め方向に位置する画素のイベントとも一致していないため、図３０のＣの下段に示したように、注目画素１２０－４のイベントは削除され、イベント無しに書き換えられ、出力される。
【0197】
図３０のＤの上段に示した補正前において、注目画素１２０－４の真上に位置する探索画素の画素１２０－２には、オンイベントが発生し、注目画素１２０－４の真下に位置する探索画素の画素１２０－６には、オフイベントが発生している。このような場合、補正ルール３に基づき補正が行われると、注目画素１２０－４の上下に位置する画素のイベントが一致せず、斜め方向に位置する画素のイベントとも一致していないため、図３０のＤの下段に示したように、注目画素１２０－４のイベントは削除され、イベント無しに書き換えられ、出力される。
【0198】
干渉強度が強の場合、補正ルール１乃至３のいずれかが適用されて、注目画素のイベントデータが補正される。補正ルール１乃至３は、組み合わせて用いられるように構成することもできる。
【0199】
上述した実施の形態において、非干渉行には、補正後の干渉行が含まれていてもよい。換言すれば、補正後の干渉行は、注目行の処理時に、非干渉行として扱われるようにしても良い。このような場合、干渉強度が中または弱であった干渉行であり、補正が終了している干渉行は、非干渉行として扱うが、干渉強度が強であった干渉行であり、補正が終了している干渉行は、非干渉行として扱わないようにしても良い。
【0200】
注目行から、所定の行数以上離れた位置に非干渉行があるような場合には、注目行に近い補正後の干渉行が、非干渉行として扱われて、上記した補正の処理などが実行されるようにしても良い。
【0201】
＜第２のイベントデータの補正処理＞
ステップＳ２０３において実行されるイベントデータの補正処理について説明を加える。図３１は、第２のイベントデータの補正処理について説明するためのフローチャートである。第２のイベントデータの補正処理は、干渉強度が連続値で出される場合の補正処理である。
ステップＳ２０３において実行されるイベントデータの補正処理について説明を加える。図３１は、第２のイベントデータの補正処理について説明するためのフローチャートである。第２のイベントデータの補正処理は、干渉強度が連続値で出される場合の補正処理である。
【0202】
ステップＳ３２１において、干渉補正部６１２は、イベントデータ取得部６１１から出力される注目行（処理対象とされた行）のイベントデータを取得する。ステップＳ３２２において、干渉補正部６１２は、干渉強度特定部６１３で特定された注目行の干渉強度を取得する。ここで取得される干渉強度は、連続値であり、例えば、０．８といった値である。
【0203】
ステップＳ３２３において、干渉強度が補正率に変換される。例えば、図３２に示したグラフに基づき、干渉強度が補正率に変換される。図３２に示したグラフにおいて、横軸は干渉強度を示し、縦軸は補正率を示す。横軸に示したｓ０とｓ１は、それぞれ制御パラメータを表す。図３２に示したグラフに基づき、干渉強度が補正率に変換される場合、干渉強度が０からｓ０の場合、補正率は“０”に変換され、干渉強度がｓ１以上の場合、補正率は“１”に変換される。干渉強度がｓ０からｓ１の場合、補正率は干渉強度の値に応じた一次関数で表される値に変換される。
【0204】
【0205】
ステップＳ３２５において、［0.0,1.0］の一様乱数が生成される。ステップＳ３２６において、生成された乱数と変換された補正率とが比較され、乱数の値は、補正率以下であるか否かが判定される。補正率に応じて処理するイベントデータ数を制御、例えば補正率が小さい場合には、補正するイベントデータ数を減らし、補正率が大きい場合には補正するイベントデータ数を増やすといった制御を行うために、このような判定が行われる。
【0206】
ステップＳ３２６において、乱数の値は、補正率以下であると判定された場合、ステップＳ３２７に処理は進められる。ステップＳ３２７においては、注目画素が補正される。
【0207】
ステップＳ３２６において、乱数の値は、補正率以下であると判定されるのは、第１のイベントデータ補正処理においては干渉強度が強または中と判定された場合に該当する。よって、ステップＳ３２７において実行される注目画素の補正は、ステップＳ３０６，Ｓ３０７（図２６）で実行される処理を適用することができる。
【0208】
一方、ステップＳ３２６において、乱数の値は、補正率以下ではないと判定された場合、ステップＳ３２８に処理は進められる。ステップＳ３２８においては、注目画素に対する補正処理は行われずに、注目画素のイベントデータが出力される。
【0209】
ステップＳ３２６において、乱数の値は、補正率以下ではないと判定されるのは、第１のイベントデータ補正処理においては干渉強度が弱と判定された場合に該当する。よって、ステップＳ３２８において実行される補正は、ステップＳ３０４（図２６）で実行される処理、すなわちこの場合、補正処理を行わないという処理を適用することができる。
【0210】
ステップＳ３２７またはステップＳ３２８における処理が終了されると、処理はステップＳ３２９に進められる。ステップＳ３２９において、１行分の画素を処理したか否かが判定される。ステップＳ３２８において、注目行内のうちまだ処理していない画素があると判定された場合、ステップＳ３２４に処理が戻され、注目行内の未処理の画素を処理対象としたステップＳ３２４以下の処理が繰り返される。
【0211】
【0212】
ステップＳ２０４において、注目行の補正後のイベントデータが後段の処理部に出力される。
【0213】
このように、干渉強度に応じてイベントデータの補正が行われる。干渉強度に応じた補正が行われることで、適切な補正を行うことができ、イベントデータの精度を高めることができる。
【0214】
＜補正部における入出力応答について＞
補正部６０１における入出力応答について説明を加える。補正部６０１に入力されるイベントデータを変化させ、補正部６０１から出力されるイベントデータを観察することで、本技術を適用した補正部６０１であるか、適用していない補正部６０１であるかを判別することができる。
補正部６０１における入出力応答について説明を加える。補正部６０１に入力されるイベントデータを変化させ、補正部６０１から出力されるイベントデータを観察することで、本技術を適用した補正部６０１であるか、適用していない補正部６０１であるかを判別することができる。
【0215】
干渉を受けていないイベントデータを用意し、この干渉を受けてないイベントデータに対して、干渉発生フラグを付与する。干渉発生フラグを付与した行に、誤イベントを付与する。この付与される誤イベントは、オンイベントであっても良いし、オフイベントであっても良い。
【0216】
誤イベントが付与されたイベントデータを、補正部６０１の入力とし、補正部６０１の出力を観察する。このとき、誤イベントの付与率を、０乃至１００％の間で変化させ、変化させた毎に出力を観察する。換言すれば、干渉強度を弱（無し）から強までの間で変化させ、変化させた毎に出力を観察する。
【0217】
上述したように、本技術を適用した補正部６０１により補正がなされる場合、誤イベントの付与率を０乃至１００％の間で変化させた場合、誤イベントの付与率に応じた補正がなされ、換言すれば、干渉強度に応じて補正が施されるため、出力されるイベントデータは、付与率毎に異なる。具体的には、誤イベントの付与率が低いほど、元のイベントデータが保持された出力となる。
【0218】
仮に補正部６０１が干渉強度に応じた補正を行うのではなく、一律に補正を行うような場合、誤イベントの付与率が変わっても、出力されるイベントデータに変化はなく、同じになる。
【0219】
本技術を適用した補正部６０１と、本技術を適用していない補正部とでは、このように、出力結果が異なる。本技術を適用していた補正部６０１によれば、適切な補正が行われることは、このような確認方法によっても確認することができる。
【0220】
＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【0221】
図３３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）２００１、ＲＯＭ（Read Only Memory）２００２、ＲＡＭ（Random Access Memory）２００３は、バス２００４により相互に接続されている。バス２００４には、さらに、入出力インタフェース２００５が接続されている。入出力インタフェース２００５には、入力部２００６、出力部２００７、記憶部２００８、通信部２００９、及びドライブ２０１０が接続されている。
【0222】
入力部２００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２００７は、ディスプレイ、スピーカなどよりなる。記憶部２００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２００９は、ネットワークインタフェースなどよりなる。ドライブ２０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２０１１を駆動する。
【0223】
以上のように構成されるコンピュータでは、ＣＰＵ２００１が、例えば、記憶部２００８に記憶されているプログラムを、入出力インタフェース２００５及びバス２００４を介して、ＲＡＭ２００３にロードして実行することにより、上述した一連の処理が行われる。
【0224】
コンピュータ（ＣＰＵ２００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0225】
コンピュータでは、プログラムは、リムーバブルメディア２０１１をドライブ２０１０に装着することにより、入出力インタフェース２００５を介して、記憶部２００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２００９で受信し、記憶部２００８にインストールすることができる。その他、プログラムは、ＲＯＭ２００２や記憶部２００８に、あらかじめインストールしておくことができる。
【0226】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0227】
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0228】
図３４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0229】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
【0230】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0231】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0232】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0233】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0234】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0235】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
【0236】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0237】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0238】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0239】
図３５は、撮像部１２０３１の設置位置の例を示す図である。
【0240】
図３５では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
【0241】
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0242】
なお、図３５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【0243】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0244】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0245】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0246】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【0247】
本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0248】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0249】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0250】
なお、本技術は以下のような構成も取ることができる。
（１）
入射光の輝度の同一方向の変化をイベントとして検出し、当該検出したイベントに基づくイベントデータを生成するイベントデータ生成部と、入射光の輝度に応じたデータである階調データを生成する階調データ生成部とを備える複数の画素が２次元行列状に配置される画素アレイ部と、
前記階調データの生成及び前記イベントの検出の期間の重複により発生する干渉の強度を特定する干渉強度特定部と、
前記干渉強度特定部により特定された前記干渉の強度に応じた前記イベントデータの補正を行う補正部と
を備える光検出装置。
（２）
前記画素アレイ部は、遮光された領域を有し、
前記干渉強度特定部は、前記遮光された領域に位置する前記イベントデータ生成部において検出されたイベント数をカウントし、カウントしたイベント数に応じて前記干渉の強度を特定する
前記（１）に記載の光検出装置。
（３）
前記干渉強度特定部は、
前記画素アレイ部の干渉の強度を特定する注目行におけるイベントをカウントした第１のイベント数を取得し、
前記注目行の上側に位置し、前記干渉がない非干渉行における第２のイベント数を取得し、
前記注目行の下側に位置し、前記干渉がない非干渉行における第３のイベント数を取得し、
前記第１のイベント数と、前記第２のイベント数と前記第３のイベント数のうちの大きい方のイベント数とを用いた所定の条件に該当するか否かを判定することで前記干渉の強度を特定する
前記（１）に記載の光検出装置。
（４）
前記階調データの生成と前記イベントの検出の期間の重複が予測される行である重複予測行を検出したことを表す干渉発生フラグを取得し、
前記非干渉行は、前記干渉発生フラグが立っていない行である
前記（３）に記載の光検出装置。
（５）
フレームを特定する情報と、前記画素アレイ部の干渉の強度を特定する注目行と、前記干渉の強度が関連付けられたテーブルを有し、
前記干渉強度特定部は、前記テーブルを参照し、前記注目行の前記干渉の強度を特定する
前記（１）に記載の光検出装置。
（６）
前記干渉強度特定部により、前記干渉の強度は弱いと特定された場合、前記補正部は、補正を行わない
前記（１）乃至（５）のいずれかに記載の光検出装置。
（７）
前記干渉強度特定部により、前記干渉の強度は強いと特定された場合、前記補正部は、補正対象とされている注目画素にはイベントは発生していないとのイベントデータに補正する
前記（１）乃至（６）のいずれかに記載の光検出装置。
（８）
前記干渉強度特定部により、前記干渉の強度は強いと特定された場合、前記補正部は、
補正対象とされている注目画素の上側に位置し、前記干渉がない非干渉行における前記注目画素の真上に位置する画素の第１のイベントと、前記注目画素の下側に位置し、前記干渉がない非干渉行における前記注目画素の真下に位置する画素の第２のイベントとを取得し、
前記第１のイベントと前記第２のイベントが一致している場合、前記注目画素のイベントを、前記第１のイベントが発生しているとのイベントデータに補正し、
前記第１のイベントと前記第２のイベントが一致していない場合、前記注目画素にイベントは発生していないとのイベントデータに補正する
前記（１）乃至（６）のいずれかに記載の光検出装置。
（９）
前記干渉強度特定部により、前記干渉の強度は強いと特定された場合、前記補正部は、
補正対象とされている注目画素の上側に位置し、前記干渉がない非干渉行における前記注目画素の真上または斜め上方向に位置する画素の第１のイベントと、前記注目画素の下側に位置し、前記干渉がない非干渉行における前記注目画素の真下または斜め下方向に位置する画素の第２のイベントとを取得し、
前記第１のイベントと前記第２のイベントが一致している場合、前記注目画素のイベントを、前記第１のイベントが発生しているとのイベントデータに補正し、
前記第１のイベントと前記第２のイベントが一致していない場合、前記注目画素にイベントは発生していないとのイベントデータに補正する
前記（１）乃至（６）のいずれかに記載の光検出装置。
（１０）
前記干渉強度特定部により、前記干渉の強度は中と特定された場合、前記補正部は、
補正対象とされている注目画素の上側に位置し、前記干渉がない非干渉行における前記注目画素の真上または斜め上方向に位置する画素と、前記注目画素の下側に位置し、前記干渉がない非干渉行における前記注目画素の真下または斜め下方向に位置する画素を、探索画素とし、
前記注目画素のイベントと、複数の前記探索画素のイベントの少なくとも１つの画素のイベントが、一致している場合、前記注目画素のイベントのイベントデータを維持し、
前記注目画素のイベントと一致するイベントが、複数の前記探索画素のいずれにおいても発生していない場合、前記注目画素にイベントは発生していないとのイベントデータに補正する
前記（１）乃至（９）のいずれかに記載の光検出装置。
（１１）
前記干渉強度特定部は、前記干渉の強度を連続値で出力し、
前記補正部は、
前記連続値を補正率に変換し、
乱数を生成し、
前記乱数が前記補正率以下である場合、処理対象とされている注目画素のイベントデータを補正し、
前記乱数が前記補正率以下ではない場合、処理対象とされている注目画素のイベントデータを維持する
前記（１）乃至（９）のいずれかに記載の光検出装置。
（１２）
前記補正部の入力と出力は、同じビット数のイベントデータであり、
入力された前記イベントデータを補正した場合、補正後のイベントデータを出力する
前記（１）乃至（１１）のいずれかに記載の光検出装置。
（１３）
前記補正部は、入力された前記イベントデータに、補正後のイベントデータを付加して出力する
前記（１）乃至（１１）のいずれかに記載の光検出装置。
（１４）
入射光の輝度の同一方向の変化をイベントとして検出し、当該検出したイベントに基づくイベントデータを生成するイベントデータ生成部と、入射光の輝度に応じたデータである階調データを生成する階調データ生成部とを備える複数の画素が２次元行列状に配置される画素アレイ部を備える光検出装置が、
前記階調データの生成及び前記イベントの検出の期間の重複により発生する干渉の強度を特定し、
特定された前記干渉の強度に応じた前記イベントデータの補正を行う
補正方法。
（１５）
入射光の輝度の同一方向の変化をイベントとして検出し、当該検出したイベントに基づくイベントデータを生成するイベントデータ生成部と、入射光の輝度に応じたデータである階調データを生成する階調データ生成部とを備える複数の画素が２次元行列状に配置される画素アレイ部を備える光検出装置を制御するコンピュータに、
前記階調データの生成及び前記イベントの検出の期間の重複により発生する干渉の強度を特定し、
特定された前記干渉の強度に応じた前記イベントデータの補正を行う
処理を実行させるためのプログラム。
（１）
入射光の輝度の同一方向の変化をイベントとして検出し、当該検出したイベントに基づくイベントデータを生成するイベントデータ生成部と、入射光の輝度に応じたデータである階調データを生成する階調データ生成部とを備える複数の画素が２次元行列状に配置される画素アレイ部と、
前記階調データの生成及び前記イベントの検出の期間の重複により発生する干渉の強度を特定する干渉強度特定部と、
前記干渉強度特定部により特定された前記干渉の強度に応じた前記イベントデータの補正を行う補正部と
を備える光検出装置。
（２）
前記画素アレイ部は、遮光された領域を有し、
前記干渉強度特定部は、前記遮光された領域に位置する前記イベントデータ生成部において検出されたイベント数をカウントし、カウントしたイベント数に応じて前記干渉の強度を特定する
前記（１）に記載の光検出装置。
（３）
前記干渉強度特定部は、
前記画素アレイ部の干渉の強度を特定する注目行におけるイベントをカウントした第１のイベント数を取得し、
前記注目行の上側に位置し、前記干渉がない非干渉行における第２のイベント数を取得し、
前記注目行の下側に位置し、前記干渉がない非干渉行における第３のイベント数を取得し、
前記第１のイベント数と、前記第２のイベント数と前記第３のイベント数のうちの大きい方のイベント数とを用いた所定の条件に該当するか否かを判定することで前記干渉の強度を特定する
前記（１）に記載の光検出装置。
（４）
前記階調データの生成と前記イベントの検出の期間の重複が予測される行である重複予測行を検出したことを表す干渉発生フラグを取得し、
前記非干渉行は、前記干渉発生フラグが立っていない行である
前記（３）に記載の光検出装置。
（５）
フレームを特定する情報と、前記画素アレイ部の干渉の強度を特定する注目行と、前記干渉の強度が関連付けられたテーブルを有し、
前記干渉強度特定部は、前記テーブルを参照し、前記注目行の前記干渉の強度を特定する
前記（１）に記載の光検出装置。
（６）
前記干渉強度特定部により、前記干渉の強度は弱いと特定された場合、前記補正部は、補正を行わない
前記（１）乃至（５）のいずれかに記載の光検出装置。
（７）
前記干渉強度特定部により、前記干渉の強度は強いと特定された場合、前記補正部は、補正対象とされている注目画素にはイベントは発生していないとのイベントデータに補正する
前記（１）乃至（６）のいずれかに記載の光検出装置。
（８）
前記干渉強度特定部により、前記干渉の強度は強いと特定された場合、前記補正部は、
補正対象とされている注目画素の上側に位置し、前記干渉がない非干渉行における前記注目画素の真上に位置する画素の第１のイベントと、前記注目画素の下側に位置し、前記干渉がない非干渉行における前記注目画素の真下に位置する画素の第２のイベントとを取得し、
前記第１のイベントと前記第２のイベントが一致している場合、前記注目画素のイベントを、前記第１のイベントが発生しているとのイベントデータに補正し、
前記第１のイベントと前記第２のイベントが一致していない場合、前記注目画素にイベントは発生していないとのイベントデータに補正する
前記（１）乃至（６）のいずれかに記載の光検出装置。
（９）
前記干渉強度特定部により、前記干渉の強度は強いと特定された場合、前記補正部は、
補正対象とされている注目画素の上側に位置し、前記干渉がない非干渉行における前記注目画素の真上または斜め上方向に位置する画素の第１のイベントと、前記注目画素の下側に位置し、前記干渉がない非干渉行における前記注目画素の真下または斜め下方向に位置する画素の第２のイベントとを取得し、
前記第１のイベントと前記第２のイベントが一致している場合、前記注目画素のイベントを、前記第１のイベントが発生しているとのイベントデータに補正し、
前記第１のイベントと前記第２のイベントが一致していない場合、前記注目画素にイベントは発生していないとのイベントデータに補正する
前記（１）乃至（６）のいずれかに記載の光検出装置。
（１０）
前記干渉強度特定部により、前記干渉の強度は中と特定された場合、前記補正部は、
補正対象とされている注目画素の上側に位置し、前記干渉がない非干渉行における前記注目画素の真上または斜め上方向に位置する画素と、前記注目画素の下側に位置し、前記干渉がない非干渉行における前記注目画素の真下または斜め下方向に位置する画素を、探索画素とし、
前記注目画素のイベントと、複数の前記探索画素のイベントの少なくとも１つの画素のイベントが、一致している場合、前記注目画素のイベントのイベントデータを維持し、
前記注目画素のイベントと一致するイベントが、複数の前記探索画素のいずれにおいても発生していない場合、前記注目画素にイベントは発生していないとのイベントデータに補正する
前記（１）乃至（９）のいずれかに記載の光検出装置。
（１１）
前記干渉強度特定部は、前記干渉の強度を連続値で出力し、
前記補正部は、
前記連続値を補正率に変換し、
乱数を生成し、
前記乱数が前記補正率以下である場合、処理対象とされている注目画素のイベントデータを補正し、
前記乱数が前記補正率以下ではない場合、処理対象とされている注目画素のイベントデータを維持する
前記（１）乃至（９）のいずれかに記載の光検出装置。
（１２）
前記補正部の入力と出力は、同じビット数のイベントデータであり、
入力された前記イベントデータを補正した場合、補正後のイベントデータを出力する
前記（１）乃至（１１）のいずれかに記載の光検出装置。
（１３）
前記補正部は、入力された前記イベントデータに、補正後のイベントデータを付加して出力する
前記（１）乃至（１１）のいずれかに記載の光検出装置。
（１４）
入射光の輝度の同一方向の変化をイベントとして検出し、当該検出したイベントに基づくイベントデータを生成するイベントデータ生成部と、入射光の輝度に応じたデータである階調データを生成する階調データ生成部とを備える複数の画素が２次元行列状に配置される画素アレイ部を備える光検出装置が、
前記階調データの生成及び前記イベントの検出の期間の重複により発生する干渉の強度を特定し、
特定された前記干渉の強度に応じた前記イベントデータの補正を行う
補正方法。
（１５）
入射光の輝度の同一方向の変化をイベントとして検出し、当該検出したイベントに基づくイベントデータを生成するイベントデータ生成部と、入射光の輝度に応じたデータである階調データを生成する階調データ生成部とを備える複数の画素が２次元行列状に配置される画素アレイ部を備える光検出装置を制御するコンピュータに、
前記階調データの生成及び前記イベントの検出の期間の重複により発生する干渉の強度を特定し、
特定された前記干渉の強度に応じた前記イベントデータの補正を行う
処理を実行させるためのプログラム。
【符号の説明】
【0251】
１ 光検出装置， １０ 画素アレイ部， １１ 信号線， １２ 信号線， １３ 画素， １４ 画素， １５ 画素， １６ 画素， １７ 画素， １８ 画素， ２０ アクセス制御回路， ２１ 信号線， ３０ イベント信号出力回路， ４０ 階調信号出力回路， ５０ タイミング制御部， ６０ イベント信号処理部， ７０ 階調信号処理部， ８０ 重複予測行検出部， ８１ 重複行予測部， ９０ タイムスタンプ生成部， １００ 画素， １１０ 階調信号生成部， １１１ ＭＯＳトランジスタ， １２０ イベント信号生成部， １２１ 信号線， １３０ 光電変換部， １４０ 電流電圧変換回路， １５０ 微分回路， １６０ 輝度変化検出部， １７０ 出力部， ２０１ 光電変換部， ２０２ 光電変換部， ２０３ 電荷保持部， ２０４ キャパシタ， ２０５ キャパシタ， ２３１ 定電流回路， ５００ 重複予測行， ５０１ シャッタ， ５０２ 露光， ５０３ 読出し， ５１０ フレーム， ５５１ 領域， ６０１ 補正部， ６０２ アプリケーションプロセッサ， ６１２ 干渉補正部， ６１３ 干渉強度特定部， ６２１ 干渉補正部， ６５１ ＨＯＰＢ領域， ６５２ 有効画素領域， ６７１ テーブル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】