(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023182876
(43)【公開日】2023-12-27
(54)【発明の名称】固体撮像素子、電子機器、及び撮像方法
(51)【国際特許分類】
H04N 25/50 20230101AFI20231220BHJP
H04N 25/703 20230101ALI20231220BHJP
【ＦＩ】
H04N5/351
H04N5/369 600
【審査請求】未請求
【請求項の数】22
【出願形態】ＯＬ
(21)【出願番号】P 2020191072
(22)【出願日】2020-11-17
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100105153
【弁理士】
【氏名又は名称】朝倉 悟
(72)【発明者】
【氏名】児玉 和俊
【テーマコード（参考）】
5C024
【Ｆターム（参考）】
5C024CY26
5C024GX02
5C024GX16
5C024HX29
5C024HX32
5C024HX50
(57)【要約】
【課題】本開示では、物体の運動状態によらず、物体に関する情報を得ることが可能な固体撮像素子、電子機器、及び撮像方法を提供する。
【解決手段】本開示によれば、固体撮像素子は、光電変換して光電変換信号を生成する複数の光電変換素子と、前記複数の光電変換素子の内の単一の光電変換素子が出力する光電変換信号の変化量が所定値を超えた場合に第１信号を生成し、前記複数の光電変換素子の内の２つ光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に第２信号を生成する、生成部と、を備える。
【選択図】図１６Ａ
【解決手段】本開示によれば、固体撮像素子は、光電変換して光電変換信号を生成する複数の光電変換素子と、前記複数の光電変換素子の内の単一の光電変換素子が出力する光電変換信号の変化量が所定値を超えた場合に第１信号を生成し、前記複数の光電変換素子の内の２つ光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に第２信号を生成する、生成部と、を備える。
【選択図】図１６Ａ
【特許請求の範囲】
【請求項1】
光電変換して光電変換信号を生成する複数の光電変換素子と、
前記複数の光電変換素子の内の単一の光電変換素子が出力する光電変換信号の変化量が所定値を超えた場合に第１信号を生成し、前記複数の光電変換素子の内の２つ光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に第２信号を生成する、生成部と、
を備える、固体撮像素子。
前記複数の光電変換素子の内の単一の光電変換素子が出力する光電変換信号の変化量が所定値を超えた場合に第１信号を生成し、前記複数の光電変換素子の内の２つ光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に第２信号を生成する、生成部と、
を備える、固体撮像素子。
【請求項2】
前記生成部は、２つの信号の差分値を生成する第１差分回路と、
２つ光電変換素子の内の一方の第１光電変換素子が出力する第１光電変換信号に基づく第１光電信号と、他方の第２光電変換素子が出力する第２光電変換信号に基づく第２光電信号とを切り換えて前記第１差分回路に出力する切替回路と、
を有し、
前記差分値に基づき、前記第１信号、及び前記第２信号の一方が生成される、請求項１に記載の固体撮像素子。
２つ光電変換素子の内の一方の第１光電変換素子が出力する第１光電変換信号に基づく第１光電信号と、他方の第２光電変換素子が出力する第２光電変換信号に基づく第２光電信号とを切り換えて前記第１差分回路に出力する切替回路と、
を有し、
前記差分値に基づき、前記第１信号、及び前記第２信号の一方が生成される、請求項１に記載の固体撮像素子。
【請求項3】
前記切替回路が、前記第１光電信号を前記第１差分回路に入力させた後に、前記第２光電信号を前記第１差分回路に入力させた場合に、前記第２信号が生成される、請求項２に記載の固体撮像素子。
【請求項4】
前記生成部は、前記第１光電変換信号又は前記第２光電変換信号を対数変換する第１対数変換回路を更に有し、
前記切替回路は、第１対数変換回路を介して前記第１光電信号又は前記第２光電信号を前記第１差分回路に出力する、請求項２に記載の固体撮像素子。
前記切替回路は、第１対数変換回路を介して前記第１光電信号又は前記第２光電信号を前記第１差分回路に出力する、請求項２に記載の固体撮像素子。
【請求項5】
前記生成部は、
前記第１光電変換信号を対数変換する第１対数変換回路と、
前記第１対数変換回路の出力する前記第１光電信号を保持する第１保持回路と、
前記第２光電変換信号を対数変換する第２対数変換回路と、
前記第２対数変換回路の出力する前記第２光電信号を保持する第２保持回路と、
を更に有し、
前記切替回路は、前記第１保持回路の出力する前記第１光電信号と、前記第２保持回路の出力する前記第２光電信号と、切り換えて前記第１差分回路に出力する、請求項２又は３に記載の固体撮像素子。
前記第１光電変換信号を対数変換する第１対数変換回路と、
前記第１対数変換回路の出力する前記第１光電信号を保持する第１保持回路と、
前記第２光電変換信号を対数変換する第２対数変換回路と、
前記第２対数変換回路の出力する前記第２光電信号を保持する第２保持回路と、
を更に有し、
前記切替回路は、前記第１保持回路の出力する前記第１光電信号と、前記第２保持回路の出力する前記第２光電信号と、切り換えて前記第１差分回路に出力する、請求項２又は３に記載の固体撮像素子。
【請求項6】
前記生成部は、
２つの信号の差分値を生成する第２差分回路を更に有し、
前記切替回路は、前記第１保持回路と前記第１差分回路との間に接続される第１スイッティング素子と、前記第１保持回路と前記第２差分回路との間に接続される第２スイッティング素子と、前記第２保持回路と前記第２差分回路との間に接続される第３スイッティング素子と、前記第２保持回路と前記第１差分回路との間に接続される第４スイッティング素子と、を有する、請求項５に記載の固体撮像素子。
２つの信号の差分値を生成する第２差分回路を更に有し、
前記切替回路は、前記第１保持回路と前記第１差分回路との間に接続される第１スイッティング素子と、前記第１保持回路と前記第２差分回路との間に接続される第２スイッティング素子と、前記第２保持回路と前記第２差分回路との間に接続される第３スイッティング素子と、前記第２保持回路と前記第１差分回路との間に接続される第４スイッティング素子と、を有する、請求項５に記載の固体撮像素子。
【請求項7】
前記生成部は、
前記第１差分回路の出力信号と所定の第１閾値とを比較し、前記第１信号、及び前記第２信号の一方を生成する第１比較回路と、
前記第２差分回路の出力信号と所定の第２閾値とを比較し、前記第１信号、及び前記第２信号の一方を生成する第２比較回路と、
を更に有する、請求項６に記載の固体撮像素子。
前記第１差分回路の出力信号と所定の第１閾値とを比較し、前記第１信号、及び前記第２信号の一方を生成する第１比較回路と、
前記第２差分回路の出力信号と所定の第２閾値とを比較し、前記第１信号、及び前記第２信号の一方を生成する第２比較回路と、
を更に有する、請求項６に記載の固体撮像素子。
【請求項8】
前記第１スイッティング素子、及び前記第２スイッティング素子を接続状態にし、前記第３スイッティング素子、及び前記第４スイッティング素子を非接続状態にし、前記第１閾値と前記第２閾値とを異ならせる、請求項７に記載の固体撮像素子。
【請求項9】
前記第１差分回路の出力信号と前記第２差分回路の出力信号とを選択する選択回路と、
選択回路が出力する信号と所定の閾値を比較し、前記第１信号、及び前記第２信号の一方を生成する比較回路を、
更に有する、請求項６に記載の固体撮像素子。
選択回路が出力する信号と所定の閾値を比較し、前記第１信号、及び前記第２信号の一方を生成する比較回路を、
更に有する、請求項６に記載の固体撮像素子。
【請求項10】
前記生成部は、２つの信号の差分値を生成する第１差分回路と、
３つ以上の光電変換素子のそれぞれが出力する光電変換信号を切り換えて前記第１差分回路に出力する切替回路と、
を有し、
前記差分値に基づき、前記第１信号、及び前記第２信号の一方が生成される、請求項１に記載の固体撮像素子。
３つ以上の光電変換素子のそれぞれが出力する光電変換信号を切り換えて前記第１差分回路に出力する切替回路と、
を有し、
前記差分値に基づき、前記第１信号、及び前記第２信号の一方が生成される、請求項１に記載の固体撮像素子。
【請求項11】
前記複数の光電変換素子の少なくとも一つが出力する光電変換信号に基づき、階調画像が構成される、請求項１に記載の固体撮像素子。
【請求項12】
複数の光電変換素子が２次元格子状に配置された受光部と、
前記複数の光電変換素子の中の対応する２つの光電変換素子の組合せのそれぞれに対して第１信号、及び第２信号の一方を生成する複数の生成部を有する検出部であって、前記２つの光電変換素子の内の単一の光電変換素子が出力する光電変換信号の変化量が所定値を超えた場合に前記第１信号を生成し、前記２つの光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に前記第２信号を生成する、検出部と、
前記複数の生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御回路と、
を備える、電子機器。
前記複数の光電変換素子の中の対応する２つの光電変換素子の組合せのそれぞれに対して第１信号、及び第２信号の一方を生成する複数の生成部を有する検出部であって、前記２つの光電変換素子の内の単一の光電変換素子が出力する光電変換信号の変化量が所定値を超えた場合に前記第１信号を生成し、前記２つの光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に前記第２信号を生成する、検出部と、
前記複数の生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御回路と、
を備える、電子機器。
【請求項13】
前記制御回路は、前記受光部の行毎に配置される複数の光電変換素子に対応する前記生成部に対して、前記第１信号、又は前記第２信号を前記行に対応させて順に出力させるフレーム読み出し制御を行う、請求項１２に記載の電子機器。
【請求項14】
単位時間あたりに前記第１信号を出力する前記生成部の数をカウントする解析部を更に備え、
前記制御回路は、前記カウント数に応じて、フレーム読み出し制御の速度を変更する、請求項１３に記載の電子機器。
前記制御回路は、前記カウント数に応じて、フレーム読み出し制御の速度を変更する、請求項１３に記載の電子機器。
【請求項15】
前記制御回路は、前記カウント数が所定値以下となった場合に、前記生成部に対して、前記第２信号を出力させる制御を行う、請求項１４に記載の電子機器。
【請求項16】
前記第１信号に基づく第１画像と、前記第２信号に基づく第２画像と、前記第１信号、及び前記第２信号に基づく第３画像のいずれかを少なくとも生成する信号処理部と、
前記第１信号に基づく第１画像と、前記第２信号に基づく第２画像と、記第１信号、及び前記第２信号に基づく第３画像のいずれかを用いて撮像対象を認識する解析部と、
を備える、請求項１５に記載の電子機器。
前記第１信号に基づく第１画像と、前記第２信号に基づく第２画像と、記第１信号、及び前記第２信号に基づく第３画像のいずれかを用いて撮像対象を認識する解析部と、
を備える、請求項１５に記載の電子機器。
【請求項17】
前記解析部は、時系列に生成された前記第２画像間の差分値を生成し、
前記制御回路は、前記差分値が所定値以上となった場合に、前記生成部に対して、前記第１信号を出力させる制御を行う、請求項１６に記載の電子機器。
前記制御回路は、前記差分値が所定値以上となった場合に、前記生成部に対して、前記第１信号を出力させる制御を行う、請求項１６に記載の電子機器。
【請求項18】
前記受光部は、複数の領域に分けられており、
前記制御回路は、前記複数の領域毎に対応する前記生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御を行う、請求項１７に記載の電子機器。
前記制御回路は、前記複数の領域毎に対応する前記生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御を行う、請求項１７に記載の電子機器。
【請求項19】
前記解析部は、前記差分値又は前記カウント数を前記複数の領域毎に生成し、
前記制御回路は、前記領域毎の前記差分値又は前記カウント数に応じて、前記領域毎に対応する前記生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御を行う、請求項１８に記載の電子機器。
前記制御回路は、前記領域毎の前記差分値又は前記カウント数に応じて、前記領域毎に対応する前記生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御を行う、請求項１８に記載の電子機器。
【請求項20】
前記複数の生成部のそれぞれは、前記２つの光電変換素子の組合せのそれぞれが出力する光電変換信号に基づく２つの信号の差分値を生成する差分回路と、
前記差分回路が出力する差分値と所定の閾値を比較する比較回路とを有し、
前記制御回路は、前記カウント数に応じて、閾値を変更する、請求項１９に記載の電子機器。
前記差分回路が出力する差分値と所定の閾値を比較する比較回路とを有し、
前記制御回路は、前記カウント数に応じて、閾値を変更する、請求項１９に記載の電子機器。
【請求項21】
入射光を集光して前記受光部に導く撮像レンズと、
前記検出部からのデータを記録する記録部と、
前記検出部を制御して画像を撮像させる制御部と、
を更に備える、請求項１２に記載の電子機器。
前記検出部からのデータを記録する記録部と、
前記検出部を制御して画像を撮像させる制御部と、
を更に備える、請求項１２に記載の電子機器。
【請求項22】
複数の光電変換素子の内の単一の光電変換素子が出力する光電変換信号の変化量が所定値を超えた場合に第１信号を生成する工程と、
前記複数の光電変換素子の内の２つ光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に第２信号を生成する工程と、
を備える、撮像方法。
前記複数の光電変換素子の内の２つ光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に第２信号を生成する工程と、
を備える、撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、固体撮像素子、電子機器、及び撮像方法に関する。
【背景技術】
【0002】
垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の固体撮像素子が、電子機器などにおいて用いられている。この一般的な同期型の固体撮像素子では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、画素アドレスごとに、その画素の光量が閾値を超えた旨をアドレスイベントとしてリアルタイムに検出する検出回路を画素毎に設けた非同期型の固体撮像素子が提案されている。このように、非同期型の画素毎にアドレスイベントを検出する固体撮像素子は、ＥＶＳ（Ｅｖｅｎｔ ｂａｓｅ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ）と呼ばれる。
【0003】
また、ＥＶＳ用画素の検出信号に基づくＥＶＳ画像には、運動している物体のエッジ情報が含まれ、認識処理に用いられる場合がある。ところが、物体の運動が静止状態に近づくと、ＥＶＳ画像内のエッジ情報が低減し、認識精度が低下する恐れがある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１２－２５７１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
そこで、本開示では、物体の運動状態によらず、物体に関する情報を得ることが可能な固体撮像素子、電子機器、及び撮像方法を提供するものである。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本開示によれば、光電変換して光電変換信号を生成する複数の光電変換素子と、
前記複数の光電変換素子の内の単一の光電変換素子が出力する光電変換信号の変化量が所定値を超えた場合に第１信号を生成し、前記複数の光電変換素子の内の２つ光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に第２信号を生成する、生成部と、
を備える、固体撮像素子が提供される。
前記複数の光電変換素子の内の単一の光電変換素子が出力する光電変換信号の変化量が所定値を超えた場合に第１信号を生成し、前記複数の光電変換素子の内の２つ光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に第２信号を生成する、生成部と、
を備える、固体撮像素子が提供される。
【0007】
前記生成部は、２つの信号の差分値を生成する第１差分回路と、
２つ光電変換素子の内の一方の第１光電変換素子が出力する第１光電変換信号に基づく第１光電信号と、他方の第２光電変換素子が出力する第２光電変換信号に基づく第２光電信号とを切り換えて前記第１差分回路に出力する切替回路と、
を有し、
前記差分値に基づき、前記第１信号、及び前記第２信号の一方が生成されてもよい。
２つ光電変換素子の内の一方の第１光電変換素子が出力する第１光電変換信号に基づく第１光電信号と、他方の第２光電変換素子が出力する第２光電変換信号に基づく第２光電信号とを切り換えて前記第１差分回路に出力する切替回路と、
を有し、
前記差分値に基づき、前記第１信号、及び前記第２信号の一方が生成されてもよい。
【0008】
前記切替回路が、前記第１光電信号を前記第１差分回路に入力させた後に、前記第２光電信号を前記第１差分回路に入力させた場合に、前記第２信号が生成されてもよい。
【0009】
前記生成部は、前記第１光電変換信号又は前記第２光電変換信号を対数変換する第１対数変換回路を更に有し、
前記切替回路は、第１対数変換回路を介して前記第１光電信号又は前記第２光電信号を前記第１差分回路に出力してもよい。
前記切替回路は、第１対数変換回路を介して前記第１光電信号又は前記第２光電信号を前記第１差分回路に出力してもよい。
【0010】
前記生成部は、
前記第１光電変換信号を対数変換する第１対数変換回路と、
前記第１対数変換回路の出力する前記第１光電信号を保持する第１保持回路と、
前記第２光電変換信号を対数変換する第２対数変換回路と、
前記第２対数変換回路の出力する前記第２光電信号を保持する第２保持回路と、
を更に有し、
前記切替回路は、前記第１保持回路の出力する前記第１光電信号と、前記第２保持回路の出力する前記第２光電信号と、切り換えて前記第１差分回路に出力してもよい。
前記第１光電変換信号を対数変換する第１対数変換回路と、
前記第１対数変換回路の出力する前記第１光電信号を保持する第１保持回路と、
前記第２光電変換信号を対数変換する第２対数変換回路と、
前記第２対数変換回路の出力する前記第２光電信号を保持する第２保持回路と、
を更に有し、
前記切替回路は、前記第１保持回路の出力する前記第１光電信号と、前記第２保持回路の出力する前記第２光電信号と、切り換えて前記第１差分回路に出力してもよい。
【0011】
前記生成部は、
２つの信号の差分値を生成する第２差分回路を更に有し、
前記切替回路は、前記第１保持回路と前記第１差分回路との間に接続される第１スイッティング素子と、前記第１保持回路と前記第２差分回路との間に接続される第２スイッティング素子と、前記第２保持回路と前記第２差分回路との間に接続される第３スイッティング素子と、前記第２保持回路と前記第１差分回路との間に接続される第４スイッティング素子と、を有してもよい。
２つの信号の差分値を生成する第２差分回路を更に有し、
前記切替回路は、前記第１保持回路と前記第１差分回路との間に接続される第１スイッティング素子と、前記第１保持回路と前記第２差分回路との間に接続される第２スイッティング素子と、前記第２保持回路と前記第２差分回路との間に接続される第３スイッティング素子と、前記第２保持回路と前記第１差分回路との間に接続される第４スイッティング素子と、を有してもよい。
【0012】
前記生成部は、
前記第１差分回路の出力信号と所定の第１閾値とを比較し、前記第１信号、及び前記第２信号の一方を生成する第１比較回路と、
前記第２差分回路の出力信号と所定の第２閾値とを比較し、前記第１信号、及び前記第２信号の一方を生成する第２比較回路と、
を更に有してもよい。
前記第１差分回路の出力信号と所定の第１閾値とを比較し、前記第１信号、及び前記第２信号の一方を生成する第１比較回路と、
前記第２差分回路の出力信号と所定の第２閾値とを比較し、前記第１信号、及び前記第２信号の一方を生成する第２比較回路と、
を更に有してもよい。
【0013】
前記第１スイッティング素子、及び前記第２スイッティング素子を接続状態にし、前記第３スイッティング素子、及び前記第４スイッティング素子を非接続状態にし、前記第１閾値と前記第２閾値とを異ならせてもよい。
【0014】
前記第１差分回路の出力信号と前記第２差分回路の出力信号とを選択する選択回路と、
選択回路が出力する信号と所定の閾値を比較し、前記第１信号、及び前記第２信号の一方を生成する比較回路を、
更に有してもよい。
選択回路が出力する信号と所定の閾値を比較し、前記第１信号、及び前記第２信号の一方を生成する比較回路を、
更に有してもよい。
【0015】
前記生成部は、２つの信号の差分値を生成する第１差分回路と、
３つ以上の光電変換素子のそれぞれが出力する光電変換信号を切り換えて前記第１差分回路に出力する切替回路と、
を有し、
前記差分値に基づき、前記第１信号、及び前記第２信号の一方が生成されてもよい。
３つ以上の光電変換素子のそれぞれが出力する光電変換信号を切り換えて前記第１差分回路に出力する切替回路と、
を有し、
前記差分値に基づき、前記第１信号、及び前記第２信号の一方が生成されてもよい。
【0016】
前記状態処理部は、前記状態解析部の推定結果に応じた、ユーザへの行動提案を前記表示部に表示させてもよい。
【0017】
前記複数の光電変換素子の少なくとも一つが出力する光電変換信号に基づき、階調画像が構成される、請求項１に記載の固体撮像素子。
【0018】
本開示によれば、複数の光電変換素子が２次元格子状に配置された受光部と、
前記複数の光電変換素子の中の対応する２つの光電変換素子の組合せのそれぞれに対して第１信号、及び第２信号の一方を生成する複数の生成部を有する検出部であって、前記２つの光電変換素子の内の単一の光電変換素子が出力する光電変換信号の変化量が所定値を超えた場合に前記第１信号を生成し、前記２つの光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に前記第２信号を生成する、検出部と、
前記複数の生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御回路と、
を備えてもよい。
前記複数の光電変換素子の中の対応する２つの光電変換素子の組合せのそれぞれに対して第１信号、及び第２信号の一方を生成する複数の生成部を有する検出部であって、前記２つの光電変換素子の内の単一の光電変換素子が出力する光電変換信号の変化量が所定値を超えた場合に前記第１信号を生成し、前記２つの光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に前記第２信号を生成する、検出部と、
前記複数の生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御回路と、
を備えてもよい。
【0019】
前記制御回路は、前記受光部の行毎に配置される複数の光電変換素子に対応する前記生成部に対して、前記第１信号、又は前記第２信号を前記行に対応させて順に出力させるフレーム読み出し制御を行ってもよい。
【0020】
単位時間あたりに前記第１信号を出力する前記生成部の数をカウントする解析部を更に備え、
前記制御回路は、前記カウント数に応じて、フレーム読み出し制御の速度を変更させてもよい。
前記制御回路は、前記カウント数に応じて、フレーム読み出し制御の速度を変更させてもよい。
【0021】
前記制御回路は、前記カウント数が所定値以下となった場合に、前記生成部に対して、前記第２信号を出力させる制御を行ってもよい。
【0022】
前記第１信号に基づく第１画像と、前記第２信号に基づく第２画像と、前記第１信号、及び前記第２信号に基づく第３画像のいずれかを少なくとも生成する信号処理部と、
前記第１信号に基づく第１画像と、前記第２信号に基づく第２画像と、記第１信号、及び前記第２信号に基づく第３画像のいずれかを用いて撮像対象を認識する解析部と、
を備えてもよい。
前記第１信号に基づく第１画像と、前記第２信号に基づく第２画像と、記第１信号、及び前記第２信号に基づく第３画像のいずれかを用いて撮像対象を認識する解析部と、
を備えてもよい。
【0023】
前記解析部は、時系列に生成された前記第２画像間の差分値を生成し、
前記制御回路は、前記差分値が所定値以上となった場合に、前記生成部に対して、前記第１信号を出力させる制御を行ってもよい。
前記制御回路は、前記差分値が所定値以上となった場合に、前記生成部に対して、前記第１信号を出力させる制御を行ってもよい。
【0024】
前記受光部は、複数の領域に分けられており、
前記制御回路は、前記複数の領域毎に対応する前記生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御を行ってもよい。
前記制御回路は、前記複数の領域毎に対応する前記生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御を行ってもよい。
【0025】
前記解析部は、前記差分値又は前記カウント数を前記複数の領域毎に生成し、
前記制御回路は、前記領域毎の前記差分値又は前記カウント数に応じて、前記領域毎に対応する前記生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御を行ってもよい。
前記制御回路は、前記領域毎の前記差分値又は前記カウント数に応じて、前記領域毎に対応する前記生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御を行ってもよい。
【0026】
前記複数の生成部のそれぞれは、前記２つの光電変換素子の組合せのそれぞれが出力する光電変換信号に基づく２つの信号の差分値を生成する差分回路と、
前記差分回路が出力する差分値と所定の閾値を比較する比較回路とを有し、
前記制御回路は、前記カウント数に応じて、閾値を変更してもよい。
前記差分回路が出力する差分値と所定の閾値を比較する比較回路とを有し、
前記制御回路は、前記カウント数に応じて、閾値を変更してもよい。
【0027】
入射光を集光して前記受光部に導く撮像レンズと、
前記検出部からのデータを記録する記録部と、
前記検出部を制御して画像を撮像させる制御部と、
を更に備えてもよい。
前記検出部からのデータを記録する記録部と、
前記検出部を制御して画像を撮像させる制御部と、
を更に備えてもよい。
【0028】
本開示によれば、複数の光電変換素子の内の単一の光電変換素子が出力する光電変換信号の変化量が所定値を超えた場合に第１信号を生成する工程と、
前記複数の光電変換素子の内の２つ光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に第２信号を生成する工程と、
を備える、撮像方法が提供される。
前記複数の光電変換素子の内の２つ光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に第２信号を生成する工程と、
を備える、撮像方法が提供される。
【図面の簡単な説明】
【0029】
【図1】本技術の実施の形態における電子機器一構成例を示すブロック図。
【図2】技術の実施の形態における固体撮像素子の積層構造の一例を示す図。
【図3】第１実施形態による電子機器の模式的な断面図。
【図5】固体撮像素子の構成例を示すブロック図。
【図6】画素アレイ部に行列状に配置される画素ブロックを模式的に示す図。
【図7A】画素ブロックの構成を模式的に示す図。
【図7B】画素ブロックの別の構成例を示す図。
【図7C】画素ブロック内の画素を全てＥＶＳ用画素で構成した例を示す図。
【図8】ＡＤ変換回路の構成例を示すブロック図。
【図9】ＥＶＳ用のＡＤ変換回路の構成例を示すブロック図。
【図10】階調用画素の構成例を示す図。
【図11】ＥＶＳ用画素及びＥＶＳ用ＡＦＥの概略の構成例を示すブロック図。
【図12】ＥＶＳ用ＡＦＥの構成例を示す図。
【図13】切替回路の構成例を示す図。
【図14】ＥＶＳ用ＡＦＥにおける対数変換回路の構成の一例を示す回路図
【図15】ＥＶＳ用ＡＦＥにおける差分回路及び比較回路の構成の一例を示す回路図。
【図16A】ＥＶＳ用ＡＦＥの構成例を、切替回路の構成例を含めて示した図。
【図16B】ＥＶＳ駆動時のアドレスオフイベント検出信号の生成例を示した図。
【図16C】ＥＶＳ駆動時のアドレスオンイベント検出信号の生成例を示した図。
【図17A】近傍画素差分駆動時のエッジオフイベント検出信号の生成例を示した図。
【図17B】近傍画素差分駆動時のエッジオンイベント検出信号Ｅの生成例を示した図。
【図18A】階調画像と、アドレスイベント検出信号に基づくＥＶＳ画像とを示す図。
【図18B】階調画像と、エッジイベント検出信号に基づくＥＶＳ差分画像を示す図。
【図19】第１実施形態の変形例１に係るＥＶＳ用ＡＦＥの構成例を示す図。
【図20】第１実施形態の変形例２に係るＥＶＳ用ＡＦＥの構成例を示す図。
【図21】第１実施形態の変形例３に係るＥＶＳ用ＡＦＥの構成例を示す図。
【図22】第１実施形態の変形例４に係るＥＶＳ用ＡＦＥの構成例を示す図。
【図23】第１実施形態の変形例５に係るＥＶＳ用ＡＦＥの構成例を示す図。
【図24】第１実施形態の変形例６に係るＥＶＳ用ＡＦＥの構成例を示す図。
【図25】第１実施形態の変形例７に係るＥＶＳ用ＡＦＥの構成例を示す図。
【図26】第１実施形態の変形例８に係る固体撮像素子の構成例を示すブロック図。
【図27】第１実施形態の変形例９に係る固体撮像素子の構成例を示すブロック図。
【図28】第１実施形態の変形例１０に係る固体撮像素子の構成例を示すブロック図。
【図29】解析部の構成例を示すブロック図。
【図30】撮像対象物の運動速度とアドレスイベント数との関係の一例を示す図。
【図31】フレームレート変更部による第２アクセス制御回路の駆動制御例を示す図。
【図32】第２実施形態に係る電子機器の処理例を示すフローチャート。
【図33】第３実施形態に係る解析部の構成例を示すブロック図。
【図34】第３実施形態に係る第２アクセス制御回路の駆動制御例を示す図。
【図35】第３実施形態に係る電子機器の処理例を示すフローチャート。
【図36】画素アレイ部の領域例を示す図。
【図37】撮影対象物の軌跡を示す図。
【図38】フレームＦ５における領域０毎のＥＶＳ用ＡＦＥの駆動方法を示す図。
【図39】フレームＦ６における領域０毎のＥＶＳ用ＡＦＥの駆動方法を示す図。
【図40】画素アレイ部に投影される光学像を模式的に示す図
【図41】第６実施形態に係る解析部の構成例を示すブロック図。
【図42】閾値変更部の閾値変更例を示す図。
【図43】領域毎に設定された、閾値を模式的に示す図。
【発明を実施するための形態】
【0030】
以下、図面を参照して、電子機器及び電子機器の制御方法の実施形態について説明する。以下では、電子機器の主要な構成部分を中心に説明するが、電子機器には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
【0031】
（第１実施形態）
［電子機器の構成例］
図１は、本技術の実施の形態における電子機器１００の一構成例を示すブロック図である。この電子機器１００は、撮像レンズ１１０、固体撮像素子２００、記録部１２０、制御部１３０、解析部１４０、通信部１５０、スピーカ部１６０、及び表示部１７０を備える。電子機器１００は、例えば、スマートフォンや携帯電話、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、監視カメラなどである。
［電子機器の構成例］
図１は、本技術の実施の形態における電子機器１００の一構成例を示すブロック図である。この電子機器１００は、撮像レンズ１１０、固体撮像素子２００、記録部１２０、制御部１３０、解析部１４０、通信部１５０、スピーカ部１６０、及び表示部１７０を備える。電子機器１００は、例えば、スマートフォンや携帯電話、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、監視カメラなどである。
【0032】
撮像レンズ１１０は、入射光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、例えばＥＶＳ用画素と階調用画素とを有する。ＥＶＳ用画素は、輝度の変化量の絶対値が閾値を超えた旨をアドレスイベントとして検出するために用いることが可能である。このアドレスイベントは、例えば、輝度の上昇量が上限閾値を超えた旨を示すアドレスオンイベントと、輝度の低下量が上限閾値未満の下限閾値を下回った旨を示すアドレスオフイベントとを含む。そして、固体撮像素子２００は、アドレスイベントの検出結果を示すアドレスイベント検出信号をＥＶＳ用の画素毎に生成する。それぞれのアドレスイベント検出信号は、アドレスオンイベントの有無を示すアドレスオンイベント検出信号ＶＣＨと、アドレスオフイベントの有無を示すアドレスオフイベント検出信号ＶＣＬとを含む。なお、固体撮像素子２００は、アドレスオンイベントおよびアドレスオフイベントの両方の有無を検出しているが、一方のみを検出することもできる。
【0033】
また、本実施形態に係るＥＶＳ用画素は、アドレスイベント検出信号の他に、近傍の２つのＥＶＳ用画素間の差分値の絶対値が閾値を超えた旨をエッジイベントとして検出するために用いることが可能である。ＥＶＳ用画素の近傍には、隣接するＥＶＳ用画素も含まれる。このエッジイベントは、例えば、差分値の上昇量が上限閾値を超えた旨を示すエッジオンイベントと、差分値の低下量が上限閾値未満の下限閾値を下回った旨を示すエッジオフイベントとを含む。そして、固体撮像素子２００は、エッジイベントの検出結果を示すエッジイベント検出信号をＥＶＳ用の画素毎に生成することが可能である。それぞれのエッジイベント検出信号は、エッジオンイベントの有無を示すエッジオンイベント検出信号ＥＶＣＨと、エッジオフイベントの有無を示すエッジオフイベント検出信号ＥＶＣＬとを含む。なお、固体撮像素子２００は、エッジオンイベントおよびエッジオフイベントの両方の有無を検出しているが、一方のみを検出することもできる。
【0034】
さらにまた、本実施形態に係るＥＶＳ用画素は、輝度信号を出力することも可能である。これにより、本実施形態に係る固体撮像素子２００では、ＥＶＳ用画素のアドレスイベント検出信号に基づくＥＶＳ画像と、ＥＶＳ用画素の２画素間のエッジイベント検出信号に基づくＥＶＳ差分画像と、ＥＶＳ用画素の輝度信号に基づくＥＶＳ輝度画像とを構成することが可能となる。
【0035】
一方で、階調用画素は階調用輝度信号を出力する。階調用画素が出力する階調用輝度信号に基づき、階調画像が構成される。本実実施形態では、階調用画素と、ＥＶＳ用画素とが共に駆動される第１モードと、ＥＶＳ用画素のみが駆動される第２モード、及び第３モードを有する。第２モードは、ＥＶＳ用画素のアドレスイベント検出信号に基づくＥＶＳ画像と、ＥＶＳ用画素のエッジイベント検出信号に基づくＥＶＳ差分画像と、ＥＶＳ用画素の輝度信号に基づくＥＶＳ輝度画像とが構成されるモードである。これに対して、第３モードはＥＶＳ画像と、ＥＶＳ差分画像とが構成されるモードである。階調用画素と、ＥＶＳ用画素とは独立に駆動できるので、階調用画素は、例えば６０ｆｐｓの撮像レートであるのに対し、第２モードは、２００ｆｐｓなどのレートで撮像可能である。更に第３モードは、ＥＶＳ用の画素から輝度信号を読み出さないので、更に高速のフレームレートで撮像可能である。
【0036】
電力消費は、第３モードが最も少なく、次に第２モードである。このため、第３モードで常にＥＶＳ用の画素を駆動し、ＥＶＳ画像、及びＥＶＳ差分画像に基づく、状態監視などが可能となる。
【0037】
固体撮像素子２００は、ＥＶＳ画像、ＥＶＳ差分画像、ＥＶＳ輝度画像、及び階調画像に対し、画像処理、などの所定の信号処理を実行し、その処理後のデータを記録部１２０に信号線２０９を介して出力する。
【0038】
記録部１２０は、固体撮像素子２００からのデータなどを記録するものである。制御部１３０は、電子機器１００全体を制御する。例えば、制御部１３０は、固体撮像素子２００を制御してＥＶＳ画像、ＥＶＳ差分画像、ＥＶＳ輝度画像、及び階調画像を撮像させるものである。
【0039】
解析部１４０は、ＥＶＳ画像、ＥＶＳ差分画像、ＥＶＳ輝度画像、及び階調画像の少なくともいずれかを用いて、所定の解析処理を行う。この解析処理には、物体認識などの認識処理が含まれる。
通信部１５０は、外部装置と無線通信を行う。これにより、外部のサーバからコンテンツなどを受信し、制御部１３０を介して記録部１２０に記録する。制御部１３０は、例えばこのコンテンツに基づく画像を表示部１７０に表示させる。
通信部１５０は、外部装置と無線通信を行う。これにより、外部のサーバからコンテンツなどを受信し、制御部１３０を介して記録部１２０に記録する。制御部１３０は、例えばこのコンテンツに基づく画像を表示部１７０に表示させる。
【0040】
スピーカ部１６０は、例えばスピーカを備え、音声情報を伝達可能である。なお、電子機器１００が監視カメラなどの場合は、通信部１５０及びスピーカ部１６０を有さない構成としてもよい。
【0041】
［固体撮像素子の構成例］
図２は、本技術の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、検出チップ２０２と、その検出チップ２０２に積層された受光チップ２０１とを備える。これらの基板は、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Ｃｕ－Ｃｕ接合やバンプにより接続することもできる。
図２は、本技術の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、検出チップ２０２と、その検出チップ２０２に積層された受光チップ２０１とを備える。これらの基板は、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Ｃｕ－Ｃｕ接合やバンプにより接続することもできる。
【0042】
ここで、図３及び図４を用いて、第１実施形態による電子機器１００の構成例を説明する。図３は、第１実施形態による電子機器１００の模式的な断面図である。図４は、図１の電子機器１００の模式的な外観図、左図は、表示部１７０側の外観図であり、右図は、Ａ－Ａ線方向の表示部１７０の断面図である。図４の例では、電子機器１００の外形サイズの近くまで表示画面１ａが広がって記載しているが、ベゼル１ｂには、不図示のフロントカメラ、深度センサが搭載される。図３、及び図４に示すように、電子機器１００は、例えば撮像レンズ１１０を有する電子機器１００の例であり、スマートフォンや携帯電話、タブレット、バーコードリーダ、ＰＣなど、表示機能と撮影機能を兼ね備えた任意の電子機器である。
【0043】
表示部１７０の表示面とは反対側に配置されるカメラモジュール３を備えている。すなわち、カメラモジュール３内に、撮像レンズ１１０及び固体撮像素子２００が配置される。このように、図１の電子機器１は、表示部１７０の表示面の裏側にカメラモジュール３を設けられる。したがって、カメラモジュール３は、表示部１７０を通して撮影を行うことになる。このように、電子機器１００の中心付近にカメラモジュール３を設置できるため、オクルージョンを低減させることが可能となる。更に、表示部１７０そのものの発光を利用して高感度化させることも可能となる。また、表示部１７０の表示面の裏側にカメラモジュール３を設けているので、撮像レンズ１１０に厚みを持たせる空間的な余裕ができる。これにより、撮像レンズ１１０に魚眼レンズなどを用いることが可能となり、広範囲の画像を取得可能となる。
【0044】
図４に示すように、表示部１７０は、偏光板４ｃ、４分の１波長板４ｂ、表示パネル４（４ａ）、タッチパネル５、円偏光板６、カバーガラス７（タッチパネルを含んでもよい）を順に積層した構造体である。また、円偏光板６は、後述するように偏光板６ａ、４分の１波長板６ｂを有する。
【0045】
偏光板４ｃ、及び４分の１波長板４ｂは、内部反射光がカメラモジュール３に入射するのを抑制する。
表示パネル４は、アレイ状に表示素子が配置される。表示パネル４は、例えば有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｅｖｉｃｅ）でもよいし、液晶表示部でもよいし、ＭｉｃｒｏＬＥＤでもよいし、その他の表示原理に基づく表示パネルでもよい。
表示パネル４は、アレイ状に表示素子が配置される。表示パネル４は、例えば有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｅｖｉｃｅ）でもよいし、液晶表示部でもよいし、ＭｉｃｒｏＬＥＤでもよいし、その他の表示原理に基づく表示パネルでもよい。
【0046】
ＯＬＥＤ部等の表示パネル４は、複数の層で構成されている。表示パネル４には、カラーフィルタ層等の透過率が低い部材が設けられることが多い。表示パネル４における透過率が低い部材には、カメラモジュール３の配置場所に合わせて、貫通孔を形成してもよい。貫通孔を通った被写体光がカメラモジュール３に入射されるようにすれば、カメラモジュール３で撮像される画像の画質を向上できる。
【0047】
円偏光板６は、ギラツキを低減したり、明るい環境下でも表示画面１ａの視認性を高めたり、するために設けられている。タッチパネル５には、タッチセンサが組み込まれている。タッチセンサには、静電容量型や抵抗膜型など、種々の方式があるが、いずれの方式を用いてもよい。また、タッチパネル５と表示パネル４を一体化してもよい。カバーガラス７は、表示パネル４等を保護するために設けられている。
【0048】
なお、図４では、表示画面１ａの略中央部の裏面側にカメラモジュール３を配置しているが、本実施形態では、表示画面１ａの裏面側であればよい。このように、本実施形態におけるカメラモジュール３は、表示画面１ａと重なる裏面側の任意の位置に配置される。
【0049】
図５は、固体撮像素子２００の構成例を示すブロック図である。図５に示すように、本開示に係る固体撮像素子２００は、ＥＶＳと呼ばれる非同期型の撮像と、階調画像用の同期型の撮像とが並行して可能な装置である。この固体撮像素子２００は、画素アレイ部３０と、第１アクセス制御回路２１１ａと、第２アクセス制御回路２１１ｂと、ＡＤ変換回路２１２ａと、ＡＤ変換回路２１２ｂと、第１信号処理部２１３と、第２信号処理部２１４と、タイミング制御回路２１５と、出力インターフェース２１６、２１７とを有する。
【0050】
ここで、図６及び図７Ａに基づき、画素アレイ部３０の構成を説明する。図６は、画素アレイ部３０に行列状に配置される画素ブロック３０ａを模式的に示す図である。図６に示すように、画素アレイ部３０には、複数の画素ブロック３０ａが行列状（アレイ状）に２次元配列される
【0051】
図７Ａに基づき、画素ブロック３０ａの構成を説明する。図７Ａは、画素ブロック３０ａの構成を模式的に示す図である。図７Ａに示すように、画素ブロック３０ａは、複数の階調用画素３０８と、複数のＥＶＳ用画素３０９と、ＥＶＳ用画素３０９のそれぞれに対応するＥＶＳ用ＡＦＥ（アナログ・フロント・エンド：Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）３１４とを有する。この画素ブロック３０ａには、複数の階調用画素３０８と複数のＥＶＳ用画素３０９とが行列状に配置される。この画素配列に対して、階調用画素３０８の画素列毎に、後述する垂直信号線ＶＳＬ１が配線される。また、垂直信号線ＶＳＬ１とは独立した垂直信号線ＶＳＬ２が、ＥＶＳ用画素３０９の画素列毎に配線される。複数の階調用画素３０８のそれぞれは、光電流に応じた電圧のアナログ信号を階調用輝度信号（第２輝度信号）として生成し、ＡＤ変換回路２１２ａ（図５参照）に出力する。なお、図７Ａでは、複数の階調用画素３０８と、複数のＥＶＳ用画素３０９と、ＥＶＳ用ＡＦＥ３１４とを、説明を簡単にするために、同一平面上に記載しているが、複数の階調用画素３０８と、複数のＥＶＳ用画素３０９とは、受光チップ２０１に構成され、複数のＥＶＳ用ＡＦＥ３１４は、検出チップ２０２に構成される。なお、本実施形態に係るＥＶＳ用ＡＦＥ３１４が生成部に対応する。
【0052】
ＥＶＳ用画素３０９は、第１モード及び第２モードでは、光電流に応じた光電変換信号をＥＶＳ用ＡＦＥ３１４に出力する。また、ＥＶＳ用画素３０９は、光電流に応じた光電変換信号をＥＶＳ用輝度信号（第１輝度信号）として生成し、アドレスイベント又はエッジイベントが生じた場合にＡＤ変換回路２１２ｂ（図５参照）に出力する。
【0053】
一方で、第３モードでは、ＥＶＳ用画素３０９は、ＥＶＳ用輝度信号をＡＤ変換回路２１２ｂ（図５参照）に出力せず、ＥＶＳ用ＡＦＥ３１４にのみＥＶＳ用輝度信号を出力する。
【0054】
図７Ｂは、画素ブロック３０ａの別の構成例を示す図である。図７Ａでは、画素ブロック３０ａ内の階調用画素３０８の数がＥＶＳ用画素３０９の数よりも多く構成されたのに対し、図７Ｂでは、画素ブロック３０ａ内の階調用画素３０８の数がＥＶＳ用画素３０９の数よりも少なく構成されている。なお、図７Ｂでは、ＥＶＳ用画素３０９のそれぞれに対応する複数のＥＶＳ用ＡＦＥ３１４の記載を省略しているが、ＥＶＳ用ＡＦＥ３１４は、検出チップ２０２に構成される。
【0055】
図７Ｃは、画素ブロック３０ａ内の画素を全てＥＶＳ用画素３０９で構成した例を示す図である。この場合、階調用画素３０８のみで構成される画素ブロックを画素ブロック３０ａ外に構成してもよい。なお、図７Ｃでは、ＥＶＳ用画素３０９のそれぞれに対応する複数のＥＶＳ用ＡＦＥ３１４の記載を省略しているが、ＥＶＳ用ＡＦＥ３１４は、検出チップ２０２に構成される。このように、撮影の目的に応じて、画素ブロック３０ａ内の階調用画素３０８の数とＥＶＳ用画素３０９の数との比率を変更してもよい。ＥＶＳ用画素３０９の数が増加するに従い、差分信号を生成するために用いる２画素間のピッチをより短くすることが可能である。
【0056】
ＥＶＳ用ＡＦＥ（アナログ・フロント・エンド：Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）３１４は、ＥＶＳ用画素３０９の出力に基づく信号からアドレスイベント検出信号Ｖ、又はエッジイベント検出信号Ｅを生成し、第２信号処理部２１４（図３参照）に出力する。より詳細には、ＥＶＳ用ＡＦＥ３１４は、ＥＶＳ用画素３０９における光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。そして、ＥＶＳ用ＡＦＥ３１４は、アドレスイベント検出信号Ｖを第２信号処理部２１４に出力する。例えば、ＥＶＳ用ＡＦＥ３１４は、アドレスイベント検出信号Ｖとして、例えば、アドレス情報（Ｘａ、Ｙａ）、タイムスタンプ情報Ｔ、及びアドレスイベント信号ＶＣの情報を含む信号（Ｘａ、Ｙａ、Ｔ、ＶＣ＝１、ｏｒ、－１））を、第２信号処理部２１４に出力する。アドレスイベント信号ＶＣ＝－１は、アドレスオフイベントを示し、アドレスイベント信号ＶＣ＝１は、アドレスオンイベントを示す。すなわち、アドレスイベント信号ＶＣ＝－１は、アドレスオフイベント検出信号ＶＣＬに対応し、アドレスイベント信号ＶＣ＝１は、アドレスオンイベント検出信号ＶＣＨに対応する。なお、本実施形態に係るアドレスイベント信号ＶＣが第１信号に対応する。
【0057】
また、このＥＶＳ用ＡＦＥ３１４は、ＥＶＳ用画素３０９の対応する２画素間における光電流の差分値が所定の閾値を超えたか否かにより、エッジイベントの有無を検出する。この対応する２画素は、近傍の画素である。そして、ＥＶＳ用ＡＦＥ３１４は、エッジイベント検出信号Ｅを第２信号処理部２１４に出力する。例えば、ＥＶＳ用ＡＦＥ３１４は、エッジイベント検出信号Ｅとして、対応する２画素のアドレス情報（Ｘａ、Ｙａ）、（Ｘｂ、Ｙｂ）、タイムスタンプ情報Ｔ、及びエッジイベント信号ＥＶＣの情報を含む信号（（Ｘａ、Ｙａ）、（Ｘｂ、Ｙｂ）、Ｔ、ＥＶＣ＝１、ｏｒ、－１））を、第２信号処理部２１４に出力する。エッジイベント信号ＥＶＣ＝－１は、エッジオフイベントを示し、エッジイベント信号ＥＶＣ＝１は、エッジオンイベントを示す。すなわち、エッジイベント信号ＥＶＣ＝－１は、エッジオフイベント検出信号ＥＶＣＬに対応し、エッジイベント信号ＥＶＣ＝１は、エッジオンイベント検出信号ＥＶＣＨに対応する。なお、階調用画素３０８、ＥＶＳ用画素３０９、及びＥＶＳ用ＡＦＥ３１４の詳細な構成は、後述する。また、本実施形態に係るエッジイベント信号ＥＶＣが第２信号に対応する。
【0058】
再び図５に戻り、第１アクセス制御回路２１１ａは、複数の階調用画素３０８を制御する。第１アクセス制御回路２１１ａは、複数の階調用画素３０８それぞれの蓄積電荷のリセット、光電変換電流の蓄積量に応じた階調用輝度信号の生成、階調用輝度信号の出力などを制御する。例えば、第１アクセス制御回路２１１ａは、複数の階調用画素３０８それぞれに蓄積された光電変換電流を、行毎に順に階調用輝度信号としてＡＤ変換回路２１２ａに出力させる。なお、階調用画素３０８の制御動作の詳細は後述する。
【0059】
第２アクセス制御回路２１１ｂは、複数のＥＶＳ用画素３０９と、複数のＥＶＳ用ＡＦＥ３１４と、を制御する。本実施形態に係る第２アクセス制御回路２１１ｂは、複数のＥＶＳ用ＡＦＥ３１４に対して行毎にアドレスイベント又はエッジイベントを順に検出させ、検出信号を第２信号処理部２１４に対して行毎に順に出力させる。本実施形態では、画素アレイ部３０の一端の行から他端の行までの複数のＥＶＳ用ＡＦＥ３１４に対する行毎の読みだしをフレーム読みだし制御と称する。この場合、一端の行から他端の行までの読みだしを一フレームとする。また、単位時間あたりに画素アレイ部３０から読み出されるフレーム数をフレームレートと称する。例えば２００ｆｐｓの場合、画素アレイ部３０の一端の行から他端の行までの読みだしが、１秒あたりに２００回行われる。なお、本実施形態に係る第２アクセス制御回路２１１ｂは制御回路に対応する。
【0060】
また、第２アクセス制御回路２１１ｂは、複数のＥＶＳ用ＡＦＥ３１４に対してスイッティング動作の制御を行う。これにより、第２アクセス制御回路２１１ｂは、複数のＥＶＳ用ＡＦＥ３１４毎に、アドレスイベント、又はエッジイベントの検出を切り変えることが可能である。また、第２アクセス制御回路２１１ｂは、複数のＥＶＳ用ＡＦＥ３１４毎に、上限閾値、及び下限閾値を変更して設定することが可能である。
【0061】
また、第１モード及び第２モードでは、第２アクセス制御回路２１１ｂは、アドレスイベント検出信号、又はエッジイベント検出信号を出力したＥＶＳ用ＡＦＥ３１４に対応するＥＶＳ用画素３０９からＥＶＳ用輝度信号をＡＤ変換回路２１２ｂに出力させる。すなわち、第２アクセス制御回路２１１ｂは、アドレスイベント又はエッジイベント検出信号が検出された複数のＥＶＳ用画素３０９の輝度信号をＡＤ変換回路２１２ｂに対して行毎に順に出力させる。
【0062】
図８に基づき、ＡＤ変換回路２１２ａの構成例を説明する。図８は、ＡＤ変換回路２１２ａの構成例を示すブロック図である。このＡＤ変換回路２１２ａは、画素ブロック３０ａ毎に配置される階調用画素３０８の列ごとにＡＤＣ２３０を備える。ＡＤＣ２３０は、垂直信号線ＶＳＬ１を介して供給されたアナログの階調用輝度信号ＳＩＧをデジタル信号に変換する。このデジタル信号は、階調用輝度信号ＳＩＧ１よりもビット数の多いデジタルの画素信号に変換される。例えば、階調用輝度信号ＳＩＧ１を２ビットとすると、画素信号は、３ビット以上（１６ビットなど）のデジタル信号に変換される。ＡＤＣ２３０は、生成したデジタル信号を第１信号処理部２１３に供給する。なお、画素アレイ部３０における複数の階調用画素３０８の領域を複数の領域に分け、ＡＤ変換回路２１２ａは、複数の領域毎に階調用輝度信号ＳＩＧ１を読み出してもよい。これにより、より高速に階調用輝度信号ＳＩＧ１を読み出すことが可能となる。
【0063】
図９に基づき、ＥＶＳ用のＡＤ変換回路２１２ｂの構成例を説明する。図９は、ＥＶＳ用のＡＤ変換回路２１２ｂの構成例を示すブロック図である。このＥＶＳ用のＡＤ変換回路２１２ｂは、、画素ブロック３０ａ毎に配置されるＥＶＳ用画素３０９の列ごとにＡＤＣ２３０ａを備える。
【0064】
ＡＤＣ２３０ａは、垂直信号線ＶＳＬ２を介して供給されたアナログのＥＶＳ用輝度信号ＳＩＧ２を対数変換回路３３１により対数変換し、更にデジタル信号に変換する。このデジタル信号は、ＥＶＳ用輝度信号ＳＩＧ２よりもビット数の多いデジタルの画素信号に変換される。例えば、ＥＶＳ用輝度信号ＳＩＧ２を２ビットとすると、画素信号は、３ビット以上（１６ビットなど）のデジタル信号に変換される。ＡＤＣ２３０は、生成したデジタル信号を第２信号処理部２１４に供給する。なお、対数変換回路３３１の詳細は、図１２を用いて後述する。すなわち、この対数変換回路３３１は、後述するＥＶＳ用ＡＦＥ３１４内の対数変換回路３３１と同等の回路である。
【0065】
再び図５に示すように、第１信号処理部２１３は、ＡＤ変換回路２１２ａからのデジタル信号に対し、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理などの所定の信号処理を実行するものである。この信号処理部２１２は、処理結果を示すデータと検出信号とを信号線２０９を介して記録部１２０に供給する。また、第１信号処理部２１３は、ＡＤ変換回路２１２ａからのデジタル信号を所定のデータ形式の画像データを生成する。
【0066】
タイミング制御回路２１５は、タイムスタンプ情報に基づき固体撮像素子２００の各構成のタイミングを制御する。例えば、タイミング制御回路２１２ｄは、第１アクセス制御回路２１１ａ、及び第２アクセス制御回路２１１ｂのタイミングを制御する。これにより、ＡＤ変換回路２１２ａに読み出される階調用画素３０８の輝度信号と、ＡＤ変換回路２１２ｂに読み出されるＥＶＳ用画素３０９のＥＶＳ用輝度信号とを同期させることも可能である。
【0067】
第２信号処理部２１４は、複数のＥＶＳ用ＡＦＥ３１４からの検出信号に対して所定の信号処理を実行する。第２信号処理部２１４は、例えば、アドレスイベント信号ＶＣに基づくＥＶＳ用画素値を二次元格子状に配列し、ＥＶＳ画像を生成する。同様に、第２信号処理部２１４は、例えば、エッジイベント信号ＥＶＣに基づくＥＶＳ差分画素値を二次元格子状に配列し、ＥＶＳ差分画像を生成する。
【0068】
また、複数のＥＶＳ用ＡＦＥ３１４毎にアドレスイベント信号ＶＣ及びエッジイベント信号ＥＶＣのいずれかが出力される場合には、ＥＶＳ用画素値又はＥＶＳ差分画素値を二次元格子状に配列し、ＥＶＳ混成画像を生成する。すなわち、ＥＶＳ混成画像における画素毎の画素値は、アドレスイベント信号ＶＣ又はエッジイベント信号ＥＶＣに基づく値である。
【0069】
図５に示すように、出力インターフェース２１６は、第１信号処理部２１３から供給される画像データなどを記録部１２０に出力する。同様に、出力インターフェース２１７は、第２信号処理部２１４から供給される画像データなどを記録部１２０に出力する。
【0070】
ここで、図１０に基づき、階調用画素３０８の詳細な構成例及び制御動作例を説明する。図１０は、階調用画素３０８の構成例を示す図である。図１０に示すように、階調用画素３０８は、光電変換素子３１１リセットトランジスタ３２１、増幅トランジスタ３２２、選択トランジスタ３２３および浮遊拡散層３２４、転送トランジスタ３３１０を有する。
【0071】
リセットトランジスタ３２１、増幅トランジスタ３２２、選択トランジスタ３２３および転送トランジスタ３３１０として、例えば、Ｎ型のＭＯＳ（Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジタが用いられる。また、光電変換素子３１１は、受光チップ２０１に配置される。光電変換素子３１１以外の素子の全ては、検出チップ２０２に配置される。
【0072】
光電変換素子３１１は、入射光を光電変換して電荷を生成する。
転送トランジスタ３３１０のゲート電極には、第１アクセス制御回路２１１ａ（図５参照）から選択信号ＴＲＧが供給される。転送トランジスタ３３１０は、選択信号ＴＲＧに応答して光電変換素子３１１で光電変換された電荷が浮遊拡散層３２４に供給する。
転送トランジスタ３３１０のゲート電極には、第１アクセス制御回路２１１ａ（図５参照）から選択信号ＴＲＧが供給される。転送トランジスタ３３１０は、選択信号ＴＲＧに応答して光電変換素子３１１で光電変換された電荷が浮遊拡散層３２４に供給する。
【0073】
光電変換素子３１１から供給される電荷は、浮遊拡散層３２４に蓄積される。浮遊拡散層３２４は、蓄積した電荷の量に応じた電圧値の電圧信号を生成する。
【0074】
リセットトランジスタ３２１は、電源電圧ＶＤＤの電源ラインと浮遊拡散層３２４との間に接続されている。リセットトランジスタ３２１のゲート電極には、第１アクセス制御回路２１１ａ（図５参照）からリセット信号ＲＳＴが供給される。リセットトランジスタ３２１は、リセット信号ＲＳＴに応答して、浮遊拡散層３２４の電荷量を初期化（リセット）する。
【0075】
増幅トランジスタ３２２は、電源電圧ＶＤＤの電源ラインと垂直信号線ＶＳＬ１との間に、選択トランジスタ３２３と直列に接続されている。増幅トランジスタ３２２は、浮遊拡散層３２４で電荷電圧変換された電圧信号を増幅する。
【0076】
選択トランジスタ３２３のゲート電極には、第１アクセス制御回路２１１ａから選択信号ＳＥＬが供給される。選択トランジスタ３２３は、選択信号ＳＥＬに応答して、増幅トランジスタ３２２によって増幅された電圧信号を画素信号ＳＩＧとして垂直信号線ＶＳＬ１を介してＡＤ変換回路２１２ａ（図５参照）へ出力する。
【0077】
（ＥＶＳ用画素及びＥＶＳ用ＡＦＥの回路構成例）
ここで、図１１乃至図１５に基づき、ＥＶＳ用画素３０９の詳細な構成例を説明する。図１１は、ＥＶＳ用画素３０９及びＥＶＳ用ＡＦＥ３１４の概略の構成例を示すブロック図である。図１１に示すように、ＥＶＳ用画素３０９は、受光素子（光電変換素子）３１１とスイッティング素子３１２とを有する。光電変換素子３１１で光電変換されたアナログの光電変換信号は、スイッティング素子３１２を介してＡＤ変換回路２１２ｂ（図９参照）に供給される。また、光電変換素子３１１で光電変換された光電変換信号は、ＥＶＳ用ＡＦＥ３１４に供給される。スイッティング素子３１２としては、例えば、Ｎ型のＭＯＳトランジスタが用いられる。スイッティング素子３１２は、モード１及びモード２の場合に、第２アクセス制御回路２１１ｂの切替信号により、行毎に順に接続状態、非接続状態が切り換えられる。より詳細には、アドレスイベント又はエッジイベントの生じたＥＶＳ用画素３０９のＥＶＳ輝度信号が第２アクセス制御回路２１１ｂの切替信号により、行毎に順に接続状態、非接続状態が切り換えられる。これにより、アドレスイベント又はエッジイベントの生じたＥＶＳ用画素３０９のＥＶＳ輝度信号のみが出力されるため、ＥＶＳ輝度画像がフレーム単位でより高速に構成される。一方で、第３モードの場合には、スイッティング素子３１２は常に非接続が維持される。
ここで、図１１乃至図１５に基づき、ＥＶＳ用画素３０９の詳細な構成例を説明する。図１１は、ＥＶＳ用画素３０９及びＥＶＳ用ＡＦＥ３１４の概略の構成例を示すブロック図である。図１１に示すように、ＥＶＳ用画素３０９は、受光素子（光電変換素子）３１１とスイッティング素子３１２とを有する。光電変換素子３１１で光電変換されたアナログの光電変換信号は、スイッティング素子３１２を介してＡＤ変換回路２１２ｂ（図９参照）に供給される。また、光電変換素子３１１で光電変換された光電変換信号は、ＥＶＳ用ＡＦＥ３１４に供給される。スイッティング素子３１２としては、例えば、Ｎ型のＭＯＳトランジスタが用いられる。スイッティング素子３１２は、モード１及びモード２の場合に、第２アクセス制御回路２１１ｂの切替信号により、行毎に順に接続状態、非接続状態が切り換えられる。より詳細には、アドレスイベント又はエッジイベントの生じたＥＶＳ用画素３０９のＥＶＳ輝度信号が第２アクセス制御回路２１１ｂの切替信号により、行毎に順に接続状態、非接続状態が切り換えられる。これにより、アドレスイベント又はエッジイベントの生じたＥＶＳ用画素３０９のＥＶＳ輝度信号のみが出力されるため、ＥＶＳ輝度画像がフレーム単位でより高速に構成される。一方で、第３モードの場合には、スイッティング素子３１２は常に非接続が維持される。
【0078】
図１２は、ＥＶＳ用ＡＦＥ３１４の構成例を示す図である。図１３は、切替回路３２８ａｂの構成例を示す図である。ここで、差分値を生成するために用いる２つのＥＶＳ用画素３０９が有する光電変換素子３１１を、光電変換素子３１１ａ、光電変換素子３１１ｂで示す。また、図１３では、光電変換素子３１１ａが光電変換した光電変換信号を出力する対数変換回路３３１を対数変換回路３３１ａで示し、光電変換素子３１１ｂが光電変換した光電変換信号を出力する対数変換回路３３１を対数変換回路３３１ｂで示す。図１２に示すように、複数のＥＶＳ用画素３０９のそれぞれは、切替回路３２８ａｂ、対数変換バッファ回路３３０、差分回路３３３、比較回路３３４、及び出力回路３３５を有する。対数変換バッファ回路３３０は、対数変換回路３３１とバッファ３３２とを有する。なお、本実施形態に係るバッファ３３２が保持回路に対応する。
【0079】
図１３に示すように、切替回路３２８ａｂは、対応するＥＶＳ用画素３０９ａ，ｂが有する光電変換素子３１１ａ，ｂと、対数変換回路３３１ａ，ｂとの間の接続を切り換える。すなわち、この切替回路３２８ａｂは、複数のスイッティング素子Φａａ，Φａｂ，Φｂｂ，Φｂａを有する。スイッティング素子Φａａは、光電変換素子３１１ａと対数変換回路３３１ａとの間に接続される。スイッティング素子Φａｂは、光電変換素子３１１ａと対数変換回路３３１ｂとの間に接続される。同様に、スイッティング素子Φｂｂは、光電変換素子３１１ｂと対数変換回路３３１ｂとの間に接続される。スイッティング素子Φｂａは、光電変換素子３１１ｂと対数変換回路３３１ａとの間に接続される。スイッティング素子Φａａ，Φａｂ，Φｂｂ，Φｂａの導通状態（オン）、非導通状態（オフ）は、第２アクセス制御回路２１１ｂの切替信号により制御される。スイッティング素子Φａａ，Φａｂ，Φｂｂ，Φｂａとしては、例えば、Ｎ型のＭＯＳトランジスタが用いられる。
【0080】
対数変換回路３３１は、ＥＶＳ用画素３０９ａ，ｂの光電変換素子３１１ａ，ｂからの光電変換信号を、その対数の電圧信号に変換する。対数変換回路３３１は、変換した電圧信号をバッファ３３２に供給する。バッファ３３２は、対数変換回路３３１から供給される電圧信号をバッファリングし、差分回路３３３に供給する。切替回路３２８ａｂを対数変換回路３３１の前に配置することにより、対数変換回路３３１のオフセットのばらつきの影響を低減可能となる。
【0081】
差分回路３３３には、第２アクセス制御回路２１１ｂから行駆動信号が供給される。差分回路３３３は、行駆動信号に従って、バッファ３３２から供給される電圧信号のレベルを低下させる。そして、差分回路３３３は、レベル低下後の電圧信号を比較回路３３４に供給する。比較回路３３４は、差分回路３３３から供給される電圧信号をデジタル信号に量子化してアドレスイベントＶＣ信号又はエッジイベント信号ＥＶＣとして出力回路３３５に出力する。
【0082】
出力回路３３５は、比較回路３３４から供給されるアドレスイベントＶＣ信号を含むアドレスイベント検出信号Ｖ又はエッジイベント信号ＥＶＣを含むエッジイベント検出信号Ｅを第２信号処理部２１４等に転送する。この出力回路３３５は、アドレスイベント又はエッジイベントが検出された際に、アドレスイベント検出信号Ｖ又はエッジイベント検出信号Ｅを第２信号処理部２１４及び第２アクセス制御回路２１１ｂに供給する。
【0083】
（対数変換回路の構成例）
図１４は、ＥＶＳ用ＡＦＥ３１４における対数変換回路３３１の構成の一例を示す回路図である。図１３に示すように、本例に係る対数変換回路３３１は、Ｎ型トランジスタ３３１１、Ｐ型トランジスタ３３１２、及び、Ｎ型トランジスタ３３１３を有する回路構成となっている。これらのトランジスタ３３１１～３３１３としては、例えば、ＭＯＳトランジスタが用いられる。
図１４は、ＥＶＳ用ＡＦＥ３１４における対数変換回路３３１の構成の一例を示す回路図である。図１３に示すように、本例に係る対数変換回路３３１は、Ｎ型トランジスタ３３１１、Ｐ型トランジスタ３３１２、及び、Ｎ型トランジスタ３３１３を有する回路構成となっている。これらのトランジスタ３３１１～３３１３としては、例えば、ＭＯＳトランジスタが用いられる。
【0084】
Ｎ型トランジスタ３３１１は、電源電圧ＶＤＤの電源ラインと信号入力線３３１４との間に接続されている。Ｐ型トランジスタ３３１２及びＮ型トランジスタ３３１３は、電源電圧ＶＤＤの電源ラインとグランドとの間に直列に接続されている。そして、Ｐ型トランジスタ３３１２及びＮ型トランジスタ３３１３の共通接続ノードＮ２には、Ｎ型トランジスタ３３１１のゲート電極と、図１２に示すバッファ３３２の入力端子とが接続されている。
【0085】
Ｐ型トランジスタ３３１２のゲート電極には、所定のバイアス電圧Ｖｂｉａｓが印加される。これにより、Ｐ型トランジスタ３３１２は、一定の電流をＮ型トランジスタ３３１３に供給する。Ｎ型トランジスタ３３１３のゲート電極には、信号入力線３３１４を通して、光電変換素子３１１ａ又は光電変換素子３１１ｂから光電流が入力される。
【0086】
Ｎ型トランジスタ３３１１及びＮ型トランジスタ３３１３のドレイン電極は電源側に接続されており、このような回路はソースフォロワと呼ばれる。これらのループ状に接続された２つのソースフォロワにより、受光部３１からの光電流は、その対数の電圧信号に変換される。
【0087】
（差分回路及び比較回路の構成例）
図１５は、ＥＶＳ用ＡＦＥ３１４における差分回路３３３及び比較回路３３４の構成の一例を示す回路図である。
図１５は、ＥＶＳ用ＡＦＥ３１４における差分回路３３３及び比較回路３３４の構成の一例を示す回路図である。
【0088】
本例に係る差分回路３３３は、容量素子３３３１、インバータ回路３３３２、容量素子３３３３、及び、スイッチ素子３３３４を有する構成となっている。
【0089】
容量素子３３３１の一端は、図１２に示すバッファ３３２の出力端子に接続され、その他端は、インバータ回路３３３２の入力端子に接続されている。容量素子３３３３は、インバータ回路３３３２に対して並列に接続されている。スイッチ素子３３３４は、容量素子３３３３の両端間に接続されている。スイッチ素子３３３４にはその開閉制御信号として、第２アクセス制御回路２１１ｂから行駆動信号が供給される。スイッチ素子３３３４は、行駆動信号に応じて、容量素子３３３３の両端を接続する経路を開閉する。インバータ回路３３３２は、容量素子３３３１を介して入力される電圧信号の極性を反転する。
【0090】
上記の構成の差分回路３３３において、スイッチ素子３３３４をオン（閉）状態とした際に、容量素子３３３１のバッファ３３２側の端子に電圧信号Ｖｉｎｉｔが入力され、その逆側の端子は仮想接地端子となる。この仮想接地端子の電位を、便宜上、ゼロとする。このとき、容量素子３３３１に蓄積されている電荷Ｑｉｎｉｔは、容量素子３３３１の容量値をＣ１とすると、次式（１）により表される。一方、容量素子３３３３の両端は、短絡されているため、その蓄積電荷はゼロとなる。
Ｑｉｎｉｔ＝Ｃ１×Ｖｉｎｉｔ ・・・（１）
Ｑｉｎｉｔ＝Ｃ１×Ｖｉｎｉｔ ・・・（１）
【0091】
次に、スイッチ素子３３３４がオフ（開）状態となり、容量素子３３３１のバッファ３３２側の端子の電圧が変化してＶａｆｔｅｒになった場合を考えると、容量素子３３３１に蓄積される電荷Ｑａｆｔｅｒは、次式（２）により表される。
Ｑａｆｔｅｒ＝Ｃ１×Ｖａｆｔｅｒ ・・・（２）
Ｑａｆｔｅｒ＝Ｃ１×Ｖａｆｔｅｒ ・・・（２）
【0092】
一方、容量素子３３３３に蓄積される電荷Ｑ２は、容量素子３３３３の容量値をＣ２とし、出力電圧をＶｏｕｔとすると、次式（３）により表される。
Ｑ２＝－Ｃ２×Ｖｏｕｔ ・・・（３）
Ｑ２＝－Ｃ２×Ｖｏｕｔ ・・・（３）
【0093】
このとき、容量素子３３３１及び容量素子３３３３の総電荷量は変化しないため、次の式（４）が成立する。
Ｑｉｎｉｔ＝Ｑａｆｔｅｒ＋Ｑ２ ・・・（４）
Ｑｉｎｉｔ＝Ｑａｆｔｅｒ＋Ｑ２ ・・・（４）
【0094】
式（４）に式（１）乃至式（３）を代入して変形すると、次式（５）が得られる。
Ｖｏｕｔ＝－（Ｃ１／Ｃ２）×（Ｖａｆｔｅｒ－Ｖｉｎｉｔ） ・・・（５）
Ｖｏｕｔ＝－（Ｃ１／Ｃ２）×（Ｖａｆｔｅｒ－Ｖｉｎｉｔ） ・・・（５）
【0095】
式（５）は、電圧信号の差分動作を表し、差分結果の利得はＣ１／Ｃ２となる。通常、利得を最大化することが望まれるため、Ｃ１を大きく、Ｃ２を小さく設計することが好ましい。一方、Ｃ２が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、Ｃ２の容量削減は、ノイズを許容することができる範囲に制限される。また、ＥＶＳ用画素３０９毎に差分回路３３３を含むＥＶＳ用ＡＦＥ３１４が搭載されるため、容量素子３３３１や容量素子３３３３には、面積上の制約がある。これらを考慮して、容量素子３３３１、３３３３の容量値Ｃ１、Ｃ２が決定される。
【0096】
図１５において、比較回路３３４は、コンパレータ３３４１を有する構成となっている。コンパレータ３３４１は、インバータ回路３３３２の出力信号、即ち、差分回路３３３からの電圧信号を非反転（＋）入力とし、所定の閾値電圧Ｖｔｈを反転（－）入力としている。そして、コンパレータ３３４１は、差分回路３３３からの電圧信号と所定の閾値電圧Ｖｔｈとを比較し、比較結果を示す信号をアドレスイベント信号ＶＣ又はエッジイベント信号ＥＶＣとして出力回路３３５に出力する。
【0097】
なお、比較回路３３４は、絶対値回路を有してもよく、差分回路３３３が出力する信号の絶対値と閾値電圧Ｖｔｈとを比較してもよい。この場合、出力回路３３５は、差分回路３３３の出力が例えばプラスであれば、アドレスオンイベント信号ＶＣＨ又はエッジオンイベント信号ＥＶＣＨとして出力する。一方で、出力回路３３５は、差分回路３３３の出力が例えばマイナスであれば、アドレスオフイベント信号ＶＣＬ又はエッジオフイベント信号ＥＶＣＬとして出力する。
【0098】
（ＥＶＳ駆動、及び近傍画素差分駆動）
ここで図１６Ａ乃至図１７Ｃを用いて、ＥＶＳ駆動、及び近傍画素差分駆動について説明する。
図１６Ａは、ＥＶＳ用ＡＦＥ３１４ａ、３１４ｂの構成例を、切替回路３２８ａｂの構成例を含めて示した図である。なお、近傍画素差分駆動は、２つのＥＶＳ用画素３０９ａ、３０９ｂ間の信号値の差分処理を行う駆動である。この２つのＥＶＳ用画素３０９ａ、３０９ｂには、上述のように、隣接する画素の他に、近傍の画素も含まれる。近傍の画素には、例えば４隣接内の画素、８隣接内の画素などが含まれる。
ここで図１６Ａ乃至図１７Ｃを用いて、ＥＶＳ駆動、及び近傍画素差分駆動について説明する。
図１６Ａは、ＥＶＳ用ＡＦＥ３１４ａ、３１４ｂの構成例を、切替回路３２８ａｂの構成例を含めて示した図である。なお、近傍画素差分駆動は、２つのＥＶＳ用画素３０９ａ、３０９ｂ間の信号値の差分処理を行う駆動である。この２つのＥＶＳ用画素３０９ａ、３０９ｂには、上述のように、隣接する画素の他に、近傍の画素も含まれる。近傍の画素には、例えば４隣接内の画素、８隣接内の画素などが含まれる。
【0099】
図１６Ｂは、ＥＶＳ駆動時のアドレスオフイベント検出信号ＶＣＬの生成例を示した図である。ここで、横軸は時間を示し、上からスイッティング素子Φａａの制御信号ＳΦａａ、スイッティング素子Φａｂの制御信号ＳΦａｂ，差分回路３３３ａの出力信号、比較回路３３４ａの出力信号を示す。フレーム時間Ｆ１、フレーム時間Ｆ２のそれぞれは、例えば全画素ブロック３０ａ（図６参照）を上から下の行まで順に読み出す時間に対応する。スイッティング素子Φａａは制御信号ＳΦａａがハイレベルで接続状態となり、ロウレベルで非接続状態となる。同様にスイッティング素子Φａｂは制御信号ＳΦａｂがハイレベルで接続状態となり、ロウレベルで非接続状態となる。
【0100】
これにより、図１６Ｂに示す様に、制御信号ＳΦａａがハイレベルの期間であるフレーム時間Ｆ１及びＦ２には差分回路３３３ａには、ＥＶＳ用画素３０９ａからの信号が供給される。差分回路３３３ａは、フレーム時間Ｆ１で対数変換バッファ回路３３０ａから読み出され、対数変換バッファ回路３３０ａに保持された保持信号ａと、フレーム時間Ｆ２で対数変換バッファ回路３３０ａから新たに読み出された入力信号ａとの差分を演算し、差分信号を出力する。差分信号の値は、マイナスでその絶対値は、閾値Ｖｔｈを超えている。これにより、比較回路３３４ａは、フレーム時間Ｆ１からフレーム時間Ｆ２に切り替わった際にイベント信号をハイレベルとして出力する。差分回路３３３ａの出力はマイナスであるので、出力回路３３５ａは、アドレスイベント検出信号Ｖとして、アドレス情報（Ｘａ、Ｙａ）、タイムスタンプ情報Ｔ、及びアドレスオフイベント信号ＶＣＬを含む信号（Ｘａ、Ｙａ、Ｔ、ＶＣ＝－１））を、第２信号処理部２１４に出力する。上述のように、アドレスイベント信号ＶＣ＝－１は、アドレスオフイベント信号ＶＣＬに対応し、アドレスイベント信号ＶＣ＝１は、アドレスオンイベント信号ＶＣＨに対応する。なお、差分信号の値が閾値Ｖｔｈを超え無い場合には、出力回路３３５ａは、信号を出力しないように構成される。
【0101】
図１６Ｃは、ＥＶＳ駆動時のアドレスオンイベント検出信号ＶＣＨの生成例を示した図である。図１６Ｂと同様に、横軸は時間を示し、上からスイッティング素子Φｂｂの制御信号ＳΦｂｂ、スイッティング素子Φｂａの制御信号ＳΦｂａ，差分回路３３３ｂの出力信号、比較回路３３４ｂの出力信号を示す。スイッティング素子Φｂｂは制御信号ＳΦｂｂがハイレベルで接続状態となり、ロウレベルで非接続状態となる。同様にスイッティング素子Φｂａは制御信号ＳΦｂａがハイレベルで接続状態となり、ロウレベルで非接続状態となる。
【0102】
これにより、図１６Ｃに示す様に、制御信号ＳΦｂｂがハイレベルの期間であるフレーム時間Ｆ１及びＦ２には差分回路３３３ｂには、ＥＶＳ用画素３０９ｂからの信号が供給される。差分回路３３３ｂは、フレーム時間Ｆ１で対数変換バッファ回路３３０ｂから読み出され、対数変換バッファ回路３３０ｂに保持された保持信号ｂと、フレーム時間Ｆ２で対数変換バッファ回路３３０ｂから新たに読み出された入力信号ｂとの差分を演算し、差分信号を出力する。差分信号の値は、プラスでその絶対値は、閾値Ｖｔｈを超えている。これにより、比較回路３３４ｂは、フレーム時間Ｆ１からフレーム時間Ｆ２に切り替わった際にイベント検出信号をハイレベルとして出力する。差分回路３３３ｂの出力は、プラスであるので、出力回路３３５ａは、アドレスイベント検出信号Ｖとして、アドレス情報（Ｘｂ、Ｙｂ）、タイムスタンプ情報Ｔ、及びアドレスオンイベント検出信号ＶＣＨを含む信号（Ｘｂ、Ｙｂ、Ｔ、ＶＣ＝１））を、第２信号処理部２１４に出力する。このように、ＥＶＳ駆動時には、アドレスイベント検出信号Ｖが第２信号処理部２１４に出力される。
【0103】
図１７Ａは、近傍画素差分駆動時のエッジオフイベント検出信号ＥＶＣＬの生成例を示した図である。図１６Ｂと同様に、横軸は時間を示し、上からスイッティング素子Φａａの制御信号ＳΦａａ、スイッティング素子Φａｂの制御信号ＳΦａｂ，差分回路３３３ａの出力信号、比較回路３３４ａの出力信号を示す。
【0104】
図１７Ａに示す様に、制御信号ＳΦｂａがハイレベル、且つ制御信号ＳΦａａがロウレベルの期間であるフレーム時間Ｆ３には差分回路３３３ａには、ＥＶＳ用画素３０９ｂからの信号が供給される。逆に、制御信号ＳΦｂａがロウレベル、且つ制御信号ＳΦａａがハイレベルの期間であるフレーム時間Ｆ４には差分回路３３３ａには、ＥＶＳ用画素３０９ａからの信号が供給される。
【0105】
これにより，差分回路３３３ａは、フレーム時間Ｆ３で対数変換バッファ回路３３０ｂから読み出され、対数変換バッファ回路３３０ｂに保持された保持信号ｂと、フレーム時間Ｆ４で対数変換バッファ回路３３０ａから新たに読み出された入力信号ａとの差分を演算し、差分信号を出力する。差分信号の値は、マイナスでその絶対値は、閾値Ｖｔｈを超えている。これにより、出力回路３３５ａは、エッジイベント検出信号Ｅとして、アドレス情報（Ｘａ、Ｙａ）、（Ｘｂ、Ｙｂ）、タイムスタンプ情報Ｔ、及びエッジオフイベント検出信号ＥＶＣＬを含む信号（（Ｘａ、Ｙａ）、（Ｘｂ、Ｙｂ）、Ｔ、ＥＶＣ＝－１））を第２信号処理部２１４に出力する。上述のように、エッジイベント信号ＥＶＣ＝－１は、エッジオフイベント信号ＥＶＣＬに対応し、エッジイベント検出信号ＥＶＣ＝１は、エッジオンイベント検出信号ＥＶＣＨに対応する。
【0106】
図１７Ｂは、近傍画素差分駆動時のエッジオンイベント検出信号ＥＶＣＨの生成例を示した図である。図１７Ａと同様に、横軸は時間を示し、上からスイッティング素子Φｂｂの制御信号ＳΦｂｂ、スイッティング素子Φａｂの制御信号ＳΦａｂ，差分回路３３３ｂの出力信号、比較回路３３４ｂの出力信号を示す。スイッティング素子Φｂｂは制御信号ＳΦｂｂがハイレベルで接続状態となり、ロウレベルで非接続状態となる。同様にスイッティング素子Φａｂは制御信号ＳΦａｂがハイレベルで接続状態となり、ロウレベルで非接続状態となる。
【0107】
これにより、図１７Ｂに示す様に、制御信号ＳΦａｂがハイレベル、且つ制御信号ＳΦｂｂがロウレベルの期間であるフレーム時間Ｆ３には差分回路３３３ｂには、ＥＶＳ用画素３０９ａからの信号が供給される。逆に、制御信号ＳΦａｂがロウレベル、且つ制御信号ＳΦｂｂがハイレベルの期間であるフレーム時間Ｆ４には差分回路３３３ｂには、ＥＶＳ用画素３０９ｂからの信号が供給される。
【0108】
差分回路３３３ｂは、フレーム時間Ｆ３で対数変換バッファ回路３３０ａから読み出され、対数変換バッファ回路３３０ａに保持された保持信号ａと、フレーム時間Ｆ４で対数変換バッファ回路３３０ｂから新たに読み出された入力信号ｂとの差分を演算し、差分信号を出力する。差分信号の値は、プラスでその絶対値は、閾値Ｖｔｈを超えている。これにより、比較回路３３４ｂは、フレーム時間Ｆ３からフレーム時間Ｆ４に切り替わった際にイベント検出信号をハイレベルとして出力する。差分回路３３３ｂの差分信号は、プラスであるので、出力回路３３５ｂは、エッジイベント検出信号Ｅとして、ＥＶＳ用画素３０９ａ、３０９ｂのアドレス情報（Ｘａ、Ｙａ）、（Ｘｂ、Ｙｂ）、タイムスタンプ情報Ｔ、及びエッジオフイベント検出信号ＥＶＣＨを含む信号（（Ｘａ、Ｙａ）、（Ｘｂ、Ｙｂ）、Ｔ、ＥＶＣ＝１））を、第２信号処理部２１４に出力する。このように、近傍画素差分駆動時には、信号入力が対応するＥＶＳ用画素間でフレーム時間Ｆ３，Ｆ４に応じて切り替わり、エッジイベント検出信号Ｅが第２信号処理部２１４に出力される。
【0109】
図１８Ａは、表示部１７０に表示される階調用画素３０８の出力に基づく階調画像と、アドレスイベント検出信号ＶＣに基づくＥＶＳ画像とを示す図である。図１８Ｂは、階調用画素３０８の出力に基づく階調画像と、エッジイベント検出信号ＥＶＣに基づくＥＶＳ差分画像を示す図である。図１８Ａに示すように、第１信号処理部２１３は、階調用画素３０８の出力に基づく階調信号を画素信号として二次元格子状に配列し、階調画像を生成する。また、第２信号処理部２１４はアドレスイベント信号ＶＣを画素信号として二次元格子状に配列し、ＥＶＳ画像を生成する。この場合、例えばアドレスイベント信号ＶＣの値に１０００を乗算し、１０００を加算する。これにより、例えば、ＥＶＳ画像の画素値は、アドレスオンイベントが発生している領域の画素値が２０００となり、アドレスオフイベントが発生している領域の画素値が０となり、アドレスイベントが発生していない領域の画素値は１０００となる。そして、表示部１７０は、例えば階調画像とＥＶＳ画像とを並べて表示する。本実施形態では、画素値を、２０００、１０００、０としたがこれに限定されない。例えば、１５０，１００，５０等の３値でもよい。
【0110】
第２信号処理部２１４は、アドレスイベント信号ＶＣの値の絶対値に基づき、ＥＶＳ画像を生成してもよい。この場合、例えばアドレスイベント信号ＶＣの絶対値に１０００を乗算し、０を加算する。これにより、例えば、ＥＶＳ画像の画素値は、アドレスイベントが発生している領域の画素値が１０００となり、アドレスイベントが発生していない領域の画素値が０となる。また、表示部１７０は、ＥＶＳ画像であることを示す表示形態をエリアＡ１８に表示する。同様に、表示部１７０は、階調画像であることを示す表示形態をエリアＡ２０に表示する。これにより、観察者は、表示画像の種類をより正確に判定可能となる。
【0111】
図１８Ｂに示すように、第２信号処理部２１４はエッジイベント信号ＥＶＣを画素信号として二次元格子状に配列し、ＥＶＳ差分画像を生成する。この場合、例えばエッジイベント信号ＥＶＣの値に１０００を乗算し、１０００を加算する。これにより、例えば、ＥＶＳ差分画像の値は、エッジオンイベントが発生している領域の画素値が２０００となり、エッジオフイベントが発生している領域の画素値が０となり、エッジイベントが発生していない領域の画素値が１０００となる。表示部１７０は、例えば階調画像とＥＶＳ差分画像とを並べて表示する。
【0112】
第２信号処理部２１４は、エッジイベント信号ＥＶＣの値の絶対値に基づき、ＥＶＳ差分画像を生成してもよい。この場合、例えばエッジイベント信号ＥＶＣの絶対値に１０００を乗算し、０を加算する。これにより、例えば、ＥＶＳ差分画像の画素値は、エッジイベントが発生している領域の画素値が１０００となり、エッジイベントが発生していない領域の画素値が０となる。また、表示部１７０は、ＥＶＳ差分画像であることを示す表示形態をエリアＡ１８に表示する。同様に、表示部１７０は、階調画像であることを示す表示形態をエリアＡ２０に表示する。これにより、観察者は、表示画像の種類をより正確に判定可能となる。
【0113】
以上説明したように、本実施形態によれば、ＥＶＳ用ＡＦＥ３１４は、光電変換素子３１１に基づく信号の時系列変化を同一のＥＶＳ用画素３０９ａの出力信号に基づき生成するか、近傍の対応する二つのＥＶＳ用画素３０９ａ，ｂの出力信号に基づき生成するかを切り換えることとした。これにより、第２信号処理部２１４はアドレスイベント信号ＶＣ、及びエッジイベント信号ＥＶＣのすくなくともいずれかを画素信号としてＥＶＳ画像、及びＥＶＳ差分画像のすくなくともいずれかを生成することが可能となる。このため、撮影対象物の動きがある場合には、ＥＶＳ画像として撮影対象物のエッジ情報を含む画像を生成でき、撮影対象物の動きが無い場合でもＥＶＳ差分画像として撮影対象物のエッジ情報を含む画像を生成できる。
【0114】
（第１実施形態の変形例１）
第１実施形態に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂは、ＥＶＳ用画素３０９ａ，ｂと対数変換バッファ回路３３０ａ，ｂとの間に切替回路３２８ａｂを構成していたが、第１実施形態の変形例１に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａは、対数変換バッファ回路３３０ａ，ｂと、差分回路３３３ａ，ｂと、間に切替回路３２８ａｂを構成する点で相違する。以下では、第１実施形態に係る電子機器１００と相違する点を説明する。
第１実施形態に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂは、ＥＶＳ用画素３０９ａ，ｂと対数変換バッファ回路３３０ａ，ｂとの間に切替回路３２８ａｂを構成していたが、第１実施形態の変形例１に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａは、対数変換バッファ回路３３０ａ，ｂと、差分回路３３３ａ，ｂと、間に切替回路３２８ａｂを構成する点で相違する。以下では、第１実施形態に係る電子機器１００と相違する点を説明する。
【0115】
図１９は、第１実施形態の変形例１に係るＥＶＳ用ＡＦＥ３１４ａ、３１４ｂの構成例を示す図である。図１９に示すように、切替回路３２８ａｂは、対数変換バッファ回路３３０ａ，ｂと、差分回路３３３ａ，ｂと、間に構成される。対数変換バッファ回路３３０ａ，ｂにより、電圧変換後に切替回路３２８ａｂにより信号を切り換えることが可能であり、ＥＶＳ用画素３０９ａとＥＶＳ用画素３０９ｂとの出力信号の検知を同時に行うことができる。
【0116】
例えば、スイッティング素子Φａａ、及びスイッティング素子Φａｂを接続状態にし、スイッティング素子Φｂａ、第４スイッティング素子スイッティング素子Φｂｂを非接続状態にし、差分回路３３３ａの閾値を第１閾値とし、差分回路３３３ｂの閾値を第１閾値と異なる第２閾値とすることが可能となる。これにより対応する２つの画素間で異なるエッジ情報を得ることができる。
【0117】
（第１実施形態の変形例２）
第１実施形態の変形例２に係る電子機器１００のＥＶＳ用ＡＦＥ３１４は、切替回路３２８ａｂのスイッティング素子を３つで構成する点で第１実施形態の変形例１に係る電子機器１００のＥＶＳ用ＡＦＥ３１４と相違する。以下では、第１実施形態の変形例１に係る電子機器１００と相違する点を説明する。
第１実施形態の変形例２に係る電子機器１００のＥＶＳ用ＡＦＥ３１４は、切替回路３２８ａｂのスイッティング素子を３つで構成する点で第１実施形態の変形例１に係る電子機器１００のＥＶＳ用ＡＦＥ３１４と相違する。以下では、第１実施形態の変形例１に係る電子機器１００と相違する点を説明する。
【0118】
図２０は、第１実施形態の変形例２に係るＥＶＳ用ＡＦＥ３１４ａ、３１４ｂの構成例を示す図である。図２０に示すように、切替回路３２８ａｂは、スイッティング素子Φａａ、Φａｂ、Φｂｂにより構成される。これにより切替回路３２８ａｂの面積をより小さくすることが可能となる。
【0119】
（第１実施形態の変形例３）
第１実施形態の変形例３に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂ、３１４ｃ、３１４ｄは、複数の切替回路３２８ａｂ、３２８ｃｄの切替タイミングを異ならせる点で第１実施形態の変形例１に係る電子機器１００のＥＶＳ用ＡＦＥ３１４と相違する。以下では、第１実施形態の変形例１に係る電子機器１００と相違する点を説明する。
第１実施形態の変形例３に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂ、３１４ｃ、３１４ｄは、複数の切替回路３２８ａｂ、３２８ｃｄの切替タイミングを異ならせる点で第１実施形態の変形例１に係る電子機器１００のＥＶＳ用ＡＦＥ３１４と相違する。以下では、第１実施形態の変形例１に係る電子機器１００と相違する点を説明する。
【0120】
図２１は、第１実施形態の変形例３に係るＥＶＳ用ＡＦＥ３１４の構成例を示す図である。図２１に示すように、複数の切替回路３２８ａｂ、３２８ｃｄの駆動を異ならせている。例えば、切替回路３２８ａｂは、ＥＶＳ駆動を行っており、切替回路３２８ｃｄは、近隣画素差分駆動を行っている。これにより画素ブロック３０ａ（図６参照）毎にＥＶＳ画像用の信号と、ＥＶＳ差分画像用の信号を生成することが可能となる。
【0121】
（第１実施形態の変形例４）
第１実施形態の変形例４に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂ、３１４ｃ、３１４ｄは、切替回路３２８ｑが４つのＥＶＳ用画素間の出力に基づく信号の差分をそれぞれ生成できるように構成される点で第１実施形態の変形例１に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂと相違する。以下では、第１実施形態の変形例１に係る電子機器１００と相違する点を説明する。
第１実施形態の変形例４に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂ、３１４ｃ、３１４ｄは、切替回路３２８ｑが４つのＥＶＳ用画素間の出力に基づく信号の差分をそれぞれ生成できるように構成される点で第１実施形態の変形例１に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂと相違する。以下では、第１実施形態の変形例１に係る電子機器１００と相違する点を説明する。
【0122】
図２２は、第１実施形態の変形例４に係るＥＶＳ用ＡＦＥ３１４ａ、３１４ｂ、３１４ｃ、３１４ｄの構成例を示す図である。図２２に示すように、切替回路３２８ｑは、４つのＥＶＳ用画素３０９間の出力に基づく信号の差分をそれぞれ生成できるように構成される。これにより例えば、４隣接のＥＶＳ用画素間のＥＶＳ差分画像をそれぞれ生成することが可能となる。
【0123】
（第１実施形態の変形例５）
第１実施形態の変形例５に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂは、差分回路３３３ａ，３３３ｂの出力をマルチプレクサ３３６により、比較回路３３４に出力を構成する点で第１実施形態の変形例１に係る電子機器１００と相違する。以下では、第１実施形態の変形例１に係る電子機器１００と相違する点を説明する。
第１実施形態の変形例５に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂは、差分回路３３３ａ，３３３ｂの出力をマルチプレクサ３３６により、比較回路３３４に出力を構成する点で第１実施形態の変形例１に係る電子機器１００と相違する。以下では、第１実施形態の変形例１に係る電子機器１００と相違する点を説明する。
【0124】
図２３は、第１実施形態の変形例５に係るＥＶＳ用ＡＦＥ３１４ａ、３１４ｂの構成例を示す図である。図２３に示すように、マルチプレクサ３３６を有する点で第１実施形態の変形例１に係るＥＶＳ用ＡＦＥ３１４ａ、３１４ｂと相違する。マルチプレクサ３３６は、第２アクセス制御回路２１１ｂの制御にしたがい、差分回路３３３ａ，３３３ｂの出力を選択する。これにより、ＥＶＳ用ＡＦＥ３１４ａ、３１４ｂは、比較回路３３４と出力回路３３５を共有することが可能となり、ＥＶＳ用ＡＦＥ３１４ａ、３１４ｂをより小型化できる。
【0125】
（第１実施形態の変形例６）
第１実施形態の変形例２に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂは、切替回路３２８ｄのスイッティング素子を２つで構成する点で第１実施形態の変形例１に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂと相違する。以下では、第１実施形態の変形例１に係る電子機器１００と相違する点を説明する。
第１実施形態の変形例２に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂは、切替回路３２８ｄのスイッティング素子を２つで構成する点で第１実施形態の変形例１に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂと相違する。以下では、第１実施形態の変形例１に係る電子機器１００と相違する点を説明する。
【0126】
図２４は、第１実施形態の変形例６に係るＥＶＳ用ＡＦＥ３１４の構成例を示す図である。図２４に示すように、切替回路３２８ａｂは、スイッティング素子Φａａ、Φｂａにより構成される。これにより切替回路３２８ａｂの面積をより小さくすることが可能となる。また、差分回路３３３、比較回路３３４、及び出力回路３３５を共有することが可能となり、ＥＶＳ用ＡＦＥ３１４ａ、３１４ｂをより小型化できる。
【0127】
（第１実施形態の変形例７）
第１実施形態の変形例７に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂ、３１４ｃ、３１４ｄは、切替回路３２８ｑが４つのＥＶＳ用画素間の出力に基づく信号の差分をそれぞれ生成できるように構成した点で第１実施形態に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂと相違する。以下では、第１実施形態に係る電子機器１００と相違する点を説明する。
第１実施形態の変形例７に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂ、３１４ｃ、３１４ｄは、切替回路３２８ｑが４つのＥＶＳ用画素間の出力に基づく信号の差分をそれぞれ生成できるように構成した点で第１実施形態に係る電子機器１００のＥＶＳ用ＡＦＥ３１４ａ、３１４ｂと相違する。以下では、第１実施形態に係る電子機器１００と相違する点を説明する。
【0128】
図２５は、第１実施形態の変形例７に係るＥＶＳ用ＡＦＥ３１４ａ、３１４ｂ、３１４ｃ、３１４ｄの構成例を示す図である。図２５に示すように、切替回路３２８ｑは、４つのＥＶＳ用画素間３０９と、４つの対数変換バッフア回路３３１と、の間に構成される。これにより例えば、４つの対数変換バッフア回路３０９間のオフセットのばらつきを低減した状態で、４隣接のＥＶＳ用画素３０９間のＥＶＳ差分画像をそれぞれ生成することが可能となる。
【0129】
（第１実施形態の変形例８）
第１実施形態の変形例８に係る第２実施形態の固体撮像素子２００は、アービタ回路２１８を用いてＥＶＳ用画素間３０９から輝度信号を読み出す点で第１実施形態に係る撮像装置１００と相違する。以下では、第１実施形態に係る撮像装置１００と相違する点に関して説明する。
第１実施形態の変形例８に係る第２実施形態の固体撮像素子２００は、アービタ回路２１８を用いてＥＶＳ用画素間３０９から輝度信号を読み出す点で第１実施形態に係る撮像装置１００と相違する。以下では、第１実施形態に係る撮像装置１００と相違する点に関して説明する。
【0130】
【0131】
図２６に示すように、第１実施形態の変形例８に係るＥＶＳ用ＡＦＥ３１４は、アドレスイベント又はエッジイベントが生じた際に、リクエストをアービタ回路２１８に出力する。
【0132】
アービタ回路２１８は、複数のＥＶＳ用ＥＦＥ３１４のそれぞれからのリクエストを調停し、調停結果に基づく応答をＥＶＳ用ＡＦＥ３１４に送信する。アービタ回路２１８からの応答を受け取ったＥＶＳ用ＡＦＥ３１４は、アドレスイベント検出信号Ｖ又はエッジイベント検出信号Ｅを第２信号処理部２１４に供給する。
【0133】
第１モード及び第２モードの場合、第２信号処理部２１４は、更に第２アクセス制御回路２１１ｂ及びタイミング制御回路２１５に、アドレスイベント又はエッジイベントが生じたＥＶＳ用ＡＦＥ３１４の位置を示す情報を含む信号を出力する。第２アクセス制御回路２１１ｂは、位置を示されたＥＶＳ用画素３０９のスイッティング素子３１２を制御し、ＥＶＳ用輝度信号をＡＤ変換回路２１２ｂに出力させる。
【0134】
以上説明したように、本実施形態によれば、アービタ回路２１８がアドレスイベント又はエッジイベントが生じたＥＶＳ用ＡＦＥ３１４のみからの情報を調停して出力させるので、より高速化することが可能である。
【0135】
（第１実施形態の変形例９）
第１実施形態の変形例９に係る固体撮像素子２００は、画素アレイ部に含まれる画素が全てＥＶＳ用画素３０９により構成され、ＡＤ変換回路２１２ａ、第１信号処理部２１３、及びタイミング制御回路２１５を有さない点で第１実施形態の変形例８に係る固体撮像素子２００と相違する。以下では、第１実施形態の変形例８に係る固体撮像素子２００と相違する点に関して説明する。
第１実施形態の変形例９に係る固体撮像素子２００は、画素アレイ部に含まれる画素が全てＥＶＳ用画素３０９により構成され、ＡＤ変換回路２１２ａ、第１信号処理部２１３、及びタイミング制御回路２１５を有さない点で第１実施形態の変形例８に係る固体撮像素子２００と相違する。以下では、第１実施形態の変形例８に係る固体撮像素子２００と相違する点に関して説明する。
【0136】
図２７は、第１実施形態の変形例９に係る固体撮像素子２００の構成例を示すブロック図である。図２７に示すように、本開示に係る固体撮像素子２００は、画素アレイ部に含まれる画素が全てＥＶＳ用画素３０９により構成される。このため、本開示に係る固体撮像素子２００は、画素アレイ部３０と、第２アクセス制御回路２１１ｂと、ＡＤ変換回路２１２ｂと、第２信号処理部２１４と、出力インターフェース２１７と、アービタ回路２１８とを有する。
【0137】
以上説明したように、本実施形態によれば、固体撮像素子２００が、画素アレイ部３０と、第２アクセス制御回路２１１ｂと、ＡＤ変換回路２１２ｂと、第２信号処理部２１４と、出力インターフェース２１７と、アービタ回路２１８とで構成されるため、より小型化可能である。
【0138】
（第１実施形態の変形例１０）
第１実施形態の変形例１０に係る固体撮像素子２００は、画素アレイ部に含まれる画素が全てＥＶＳ用画素３０９により構成され、ＡＤ変換回路２１２ａ、第１信号処理部２１３、及びタイミング制御回路２１５を有さない点で第１実施形態に係る固体撮像素子２００と相違する。以下では、第１実施形態に係る固体撮像素子２００と相違する点に関して説明する。
第１実施形態の変形例１０に係る固体撮像素子２００は、画素アレイ部に含まれる画素が全てＥＶＳ用画素３０９により構成され、ＡＤ変換回路２１２ａ、第１信号処理部２１３、及びタイミング制御回路２１５を有さない点で第１実施形態に係る固体撮像素子２００と相違する。以下では、第１実施形態に係る固体撮像素子２００と相違する点に関して説明する。
【0139】
図２８は、第１実施形態の変形例１０に係る固体撮像素子２００の構成例を示すブロック図である。図２８に示すように、本開示に係る固体撮像素子２００は、画素アレイ部に含まれる画素が全てＥＶＳ用画素３０９により構成される。また、ＥＶＳ用画素３０９からの信号の読み出しも行毎に順に行う。このため、本開示に係る固体撮像素子２００は、ＡＤ変換回路２１２ａ、第１信号処理部２１３、タイミング制御回路２１５、及びアービタ回路２１８を構成しない構成が可能となる。
【0140】
以上説明したように、本実施形態によれば、画素アレイ部に含まれる画素を全てＥＶＳ用画素３０９により構成し、ＥＶＳ用画素３０９からの信号の読み出しも行毎に順に行うこととした。これにより、ＡＤ変換回路２１２ａ、第１信号処理部２１３、タイミング制御回路２１５、及びアービタ回路２１８を有さない構成が可能となり、さらに固体撮像素子２００を小型化可能である。
【0141】
（第２実施形態）
第２実施形態に係る電子機器１００は、ＥＶＳ駆動から近傍画素差分検出駆動へ、撮像状態に応じて切替え可能な機能を更に搭載する点で、第１実施形態及び第１実施形態の変形例１乃至１０に係る電子機器１００と相違する。以下では、第１実施形態及び第１実施形態の変形例１乃至１０に係る電子機器１００と相違する点に関して説明する。
第２実施形態に係る電子機器１００は、ＥＶＳ駆動から近傍画素差分検出駆動へ、撮像状態に応じて切替え可能な機能を更に搭載する点で、第１実施形態及び第１実施形態の変形例１乃至１０に係る電子機器１００と相違する。以下では、第１実施形態及び第１実施形態の変形例１乃至１０に係る電子機器１００と相違する点に関して説明する。
【0142】
図２９は、解析部１４０の構成例を示すブロック図である。図２９に示すように、解析部１４０は、認識処理部１４００と、イベント数検知部１４０２と、フレームレート変更部１４０４とを有する。解析部１４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成される。例えば記録部１２０（図１参照）は、解析部１４０における処理を実行するための各種のプログラムも記憶している。これにより、解析部１４０は、例えば記録部１２０に記憶されるプログラムを実行することにより、各部を構成する。
【0143】
認識処理部１４００は、例えばＥＶＳ画像、ＥＶＳ差分画像、ＥＶＳ混成画像のエッジ情報を用いて、撮影対象物のカテゴリを認識する。認識処理部１４００における認識アルゴリズは、一般的なアルゴリズを用いることが可能である。
【0144】
イベント数検知部１４０２は、ＥＶＳ駆動時において、固体撮像素子２００内のＥＶＳ用ＡＦＥ３１４が出力するアドレスイベント検出信号の単位時間あたりの数を、アドレスイベント数としてカウントする。
図３０は、撮像対象物の運動速度とイベント数検知部１４０２が検知するアドレスイベント数との関係の一例を示す図である。縦軸は、単位時間あたりに全てのＥＶＳ用ＡＦＥ３１４に検出されたアドレスイベント数を示し、横軸は、撮影対象物の速度を示す。ラインＬ１６０は、撮像対象物の速度とアドレスイベント数の関係例を示す。ラインＬ１６０に示すように、アドレスイベント数は、撮影対象物が静止している場合に０となる。逆に、アドレスイベント数は、撮影対象物の撮影対象物の速度が増加するに従い０から増加する。
図３０は、撮像対象物の運動速度とイベント数検知部１４０２が検知するアドレスイベント数との関係の一例を示す図である。縦軸は、単位時間あたりに全てのＥＶＳ用ＡＦＥ３１４に検出されたアドレスイベント数を示し、横軸は、撮影対象物の速度を示す。ラインＬ１６０は、撮像対象物の速度とアドレスイベント数の関係例を示す。ラインＬ１６０に示すように、アドレスイベント数は、撮影対象物が静止している場合に０となる。逆に、アドレスイベント数は、撮影対象物の撮影対象物の速度が増加するに従い０から増加する。
【0145】
フレームレート変更部１４０４は、イベント数検知部１４０２が出力するアドレスイベント数に応じて、第２アクセス制御回路２１１ｂがフレーム読み出し制御をするＥＶＳ用ＡＦＥ３１４のフレームレートを変更する。すなわち、第２アクセス制御回路２１１ｂは、アドレスイベント数に応じて、単位時間あたりに画素アレイ部３０からアドレスイベントを読み出すフレームレートを変更する。さらに、フレームレート変更部１４０４は、アドレスイベント数が所定の閾値以下になった場合に、第２アクセス制御回路２１１ｂがＥＶＳ用ＡＦＥ３１４に対して行う駆動制御をＥＶＳ駆動から近傍画素差分駆動に変更する。また、、フレームレート変更部１４０４は、近傍画素差分駆動では、フレームレートを所定値とする。
【0146】
図３１は、フレームレート変更部１４０４による第２アクセス制御回路２１１ｂの駆動制御例を示す図である。縦軸は、アドレスイベント数を示し、横軸は、経過時間を示す。ラインＬ１６２は、撮像対象物のアドレスイベント数と経過時間との関係例を示す。ラインＬ１６２に示すように、ここでは、撮影対象物の運動速度が時間経過に従い低下する例を示している。フレームレート変更部１４０４は、閾値ｔｈ１６２に達すると、第２アクセス制御回路２１１ｂがＥＶＳ用ＡＦＥ３１４に対して行う駆動制御をＥＶＳ駆動からフレームレートを所定値として、近傍画素差分駆動に変更する。このように、アドレスイベント数に応じてフレームレートを変更することにより、ＥＶＳ画像、ＥＶＳ差分画像におけるエッジ情報の量が平準化される。これにより、認識処理部１４００は、同一の認識アルゴリズムによりＥＶＳ画像、ＥＶＳ差分画像、ＥＶＳ混成画像のいずれに対しても認識処理を行うことが可能となる。このように、認識処理部１４００は、ＥＶＳ画像、ＥＶＳ差分画像、ＥＶＳ混成画像のいずれに対しても、認識精度の低下が抑制される
【0147】
図３２は、第２実施形態に係る電子機器１００の処理例を示すフローチャートである。図３２に示すように、第２アクセス制御回路２１１ｂは、フレームレート変更部１４０４の出力信号に従いＥＶＳ用ＡＦＥ３１４をＥＶＳ駆動により駆動する（ステップＳ１００）。続けて、イベント数検知部１４０２は、ＥＶＳ駆動時において、固体撮像素子２００内のＥＶＳ用ＡＦＥ３１４が出力するアドレスイベント検出信号の単位時間あたりの数を、アドレスイベント数としてカウントする（ステップＳ１０２）。
【0148】
次に、フレームレート変更部１４０４は、イベント数検知部１４０２が出力するアドレスイベント数に応じて、第２アクセス制御回路２１１ｂが読みだし制御するフレームレートを変更する（ステップＳ１０４）。続けて、フレームレート変更部１４０４は、アドレスイベント数が所定の閾値ｔｈ１６２未満になったか否かを判定する（ステップＳ１０６）。所定の閾値ｔｈ１６２未満でないと判定する場合（ステップＳ１０６のＮ）、フレームレート変更部１４０４は、ＥＶＳ駆動を維持し、認識処理部１４００は、ＥＶＳ画像に対して認識処理を実行する（ステップＳ１０８）。
【0149】
一方で、フレームレート変更部１４０４が、アドレスイベント数所定の閾値ｔｈ未満であると判定する場合（ステップＳ１０６のＹ）、第２アクセス制御回路２１１ｂは、フレームレート変更部１４０４の出力信号に従いＥＶＳ用ＡＦＥ３１４を近傍画素差分駆動に変更する（ステップＳ１１０）。続けて、認識処理部１４００は、ＥＶＳ差分画像に対して認識処理を実行する（ステップＳ１１２）。フレームレート変更部１４０４は、近傍画素差分駆動を終了するか否かを判定し（ステップＳ１１４）、終了しない場合（ステップＳ１１４のＮ）、ステップＳ１１０の処理を繰り返す。一方で、終了すると判定する場合（ステップＳ１１４のＹ）、全体処理を終了する。
【0150】
以上説明したように、本実施形態によれば、フレームレート変更部１４０４が、イベント数検知部１４０２が出力するアドレスイベント数に応じて、第２アクセス制御回路２１１ｂのフレームレートを変更することとした。これにより、エッジ情報の量を平準化可能となり、撮像対象物の移動速度によらず、認識処理部１４００の認識率の低下を抑制できる。このため、認識処理部１４００により、停止を含むより広範囲の速度範囲の認識対象物を認識できる。
【0151】
（第３実施形態）
第３実施形態に係る電子機器１００は、近傍画素差分検出駆動からＥＶＳ駆動へ状態に応じて切替え可能な機能を更に搭載する点で、第２実施形態に係る電子機器１００と相違する。以下では、第２実施形態に係る電子機器１００と相違する点に関して説明する。
第３実施形態に係る電子機器１００は、近傍画素差分検出駆動からＥＶＳ駆動へ状態に応じて切替え可能な機能を更に搭載する点で、第２実施形態に係る電子機器１００と相違する。以下では、第２実施形態に係る電子機器１００と相違する点に関して説明する。
【0152】
【0153】
差分値演算部１４０６は、近傍画素差分駆動時において、時系列に生成されるＥＶＳ差分画像間の差分演算処理を行う。この差分値演算部１４０６は、記録部１２０（図１参照）に時系列に記録されるＥＶＳ差分画像間の差分演算処理を行い、演算結果をフレームレート変更部１４０４に供給する。差分値演算部１４０６が演算するＥＶＳ差分画像間の差分値は、例えば撮影対象物が完全に停止している場合には０であり、撮影対象物が運動を開始すると、増加する。
【0154】
フレームレート変更部１４０４は、差分値演算部１４０６が演算する差分値が所定の閾値以上になった場合に、第２アクセス制御回路２１１ｂの駆動制御を近傍画素差分駆動からＥＶＳ駆動に変更する。さらに、フレームレート変更部１４０４は、ＥＶＳ駆動に変更した後、イベント数検知部１４０２が出力するアドレスイベント数に応じて、第２アクセス制御回路２１１ｂが読みだし制御するフレームレートを変更する。
【0155】
図３４は、第３実施形態に係るフレームレート変更部１４０４による第２アクセス制御回路２１１ｂの駆動制御例を示す図である。縦軸は、ＥＶＳ差分画像間の差分値を示し、横軸は、経過時間を示す。ラインＬ１８０は、ＥＶＳ差分画像間の差分値と経過時間との関係例を示す。ここでは、ラインＬ１８０に示すように、差分値が時間経過に従い増加する例を示している。
【0156】
フレームレート変更部１４０４は、差分値演算部１４０６が演算する差分値が閾値ｔｈ１８０に達すると、第２アクセス制御回路２１１ｂによる駆動制御を近傍画素差分駆動からＥＶＳ駆動に変更する。このように、差分値演算部１４０６が演算する差分値に応じて近傍画素差分駆動からＥＶＳ駆動に変更することが可能となる。
【0157】
図３５は、第３実施形態に係る電子機器１００の処理例を示すフローチャートである。図３２に示すように、第２アクセス制御回路２１１ｂは、フレームレート変更部１４０４の出力信号に従いＥＶＳ用ＡＦＥ３１４を近傍画素差分駆動により駆動する（ステップＳ２００）。続けて、差分値演算部１４０６は、近傍画素差分駆動において、記録部１２０に時系列に記録されるＥＶＳ差分画像間の差分演算処理を実行する（ステップＳ２０２）。
【0158】
次に、フレームレート変更部１４０４は、差分値演算部１４０６が演算する差分値が所定の閾値ｔｈ１８０以上になったか否かを判定する（ステップＳ２０４）。所定の閾値未満であると判定する場合（ステップＳ２０４のＮ）、フレームレート変更部１４０４は、近傍画素差分駆動を維持し、ステップＳ２００からの処理を繰り返す。
【0159】
一方で、フレームレート変更部１４０４が、差分値演算部１４０６が演算する差分値が閾値ｔｈ１８０以上であると判定する場合（ステップＳ２０４のＹ）、第２アクセス制御回路２１１ｂは、フレームレート変更部１４０４の出力信号に従いＥＶＳ用ＡＦＥ３１４をＥＶＳ駆動に変更する（ステップＳ１１０）。
【0160】
以上説明したように、本実施形態によれば、フレームレート変更部１４０４が、差分値演算部１４０６が演算する差分値が所定の閾値ｔｈ１８０以上になると、ＥＶＳ用ＡＦＥ３１４の駆動を近傍画素差分駆動からＥＶＳ駆動に変更することとした。これにより、撮影対象物が運動を開始したタイミングに合わせて、近傍画素差分駆動からＥＶＳ駆動に変更することが可能となる。このため、ＥＶＳ差分画像及びＥＶＳ画像におけるエッジ情報の量を平準化可能となり、撮像対象物の移動速度によらず、認識処理部１４００の認識率の低下を抑制できる。
【0161】
（第４実施形態）
第４実施形態に係る電子機器１００は、第２アクセス制御回路２１１ｂが、画素アレイ部３０の領域毎にＥＶＳ用ＡＦＥ３１４の駆動方法を変更する点で、第３実施形態に係る電子機器１００と相違する。以下では、第３実施形態に係る電子機器１００と相違する点に関して説明する。
第４実施形態に係る電子機器１００は、第２アクセス制御回路２１１ｂが、画素アレイ部３０の領域毎にＥＶＳ用ＡＦＥ３１４の駆動方法を変更する点で、第３実施形態に係る電子機器１００と相違する。以下では、第３実施形態に係る電子機器１００と相違する点に関して説明する。
【0162】
図３６は、画素アレイ部３０の領域例を示す図である。図３６に示すように、第４実施形態に係る電子機器１００では、画素アレイ部３０の領域を複数の領域Ａ３００に分け、領域Ａ３００毎にＥＶＳ用ＡＦＥ３１４の駆動方法を変更することが可能である。図３６では、中心領域Ｇ１６に含まれる領域Ａ３００に対しては、近傍画素差分駆動が実行され、周辺領域Ｆ１６に対しては、ＥＶＳ駆動が実行される。
【0163】
より具体的には、第２アクセス制御回路２１１ｂ（図５参照）は、複数の領域Ａ３００毎にＥＶＳ駆動、及び近傍画素差分駆動のいずれかを実行する。この場合、第２信号処理部２１４（図５参照）は、ＥＶＳ混成画像を生成する。例えば第２アクセス制御回路２１１ｂ（図５参照）は、ユーザによる設定モードに応じて領域Ａ３００毎の駆動方法を設定する。
【0164】
図３７は、撮影対象物の軌跡を示す図である。例えばゼッシャー認識など、撮影対象である手などを撮影する場合の軌跡例である。このようなゼッシャー認識では、周辺領域Ｆ１６では、撮影対象は運動しているが、中心領域Ｇ１６では停止する動作が行われる場合がある。この場合、周辺領域Ｆ１６では、ＥＶＳ駆動が実行されるので運動中の撮影対象のエッジ情報を取得可能となり、中心領域Ｇ１６では、近傍画素差分駆動が実行されるので、静止中の撮影対象のエッジ情報を取得可能となる。
【0165】
以上説明したように、本実施形態によれば、画素アレイ部３０の領域を複数の領域Ａ３００に分け、領域Ａ３００毎にＥＶＳ用ＡＦＥ３１４の駆動方法を変更することした。これにより、領域Ａ３００毎に運動中の撮影対象と、静止中の撮影対象のエッジ情報を取得可能となる。このため、領域Ａ３００毎に運動又は静止する撮影対象のエッジ情報を、駆動方法を切り換えずとも取得できる。
（第５実施形態）
第５実施形態に係る電子機器１００は、フレームレート変更部１４０４が第２アクセス制御回路２１１を介して、画素アレイ部３０の領域毎におけるＥＶＳ用ＡＦＥ３１４の駆動を変更する点で、第４実施形態に係る電子機器１００と相違する。以下では、第４実施形態に係る電子機器１００と相違する点に関して説明する。
（第５実施形態）
第５実施形態に係る電子機器１００は、フレームレート変更部１４０４が第２アクセス制御回路２１１を介して、画素アレイ部３０の領域毎におけるＥＶＳ用ＡＦＥ３１４の駆動を変更する点で、第４実施形態に係る電子機器１００と相違する。以下では、第４実施形態に係る電子機器１００と相違する点に関して説明する。
【0166】
【0167】
図３８、及び図３９に示すように、第５実施形態に係る電子機器１００では、画素アレイ部３０の領域を複数の領域Ａ３００に分け、領域Ａ３００毎にＥＶＳ用ＡＦＥ３１４の駆動方法を時系列にフレーム毎に変更することが可能である。
【0168】
より具体的には、イベント数検知部１４０２（図３３参照）は、ＥＶＳ駆動が実行される領域Ａ３００毎のアドレスイベント数を検知する。また、差分値演算部１４０６（図３３参照）は、近傍画素差分駆動が実行される領域Ａ３００毎の差分値を演算する。そして、フレームレート変更部１４０４は、領域Ａ３００毎のアドレスイベント数、及び差分値のいずれかを用いて、領域Ａ３００毎の駆動方法を第２アクセス制御回路２１１ｂ（図５参照）に変更させる。
【0169】
図４０は、画素アレイ部３０に投影される光学像を模式的に示す図である。電子機器１００が監視カメラとして実施されている例である。図４０の左端の人物は歩行中であり、他の人物は停止中である。
このような場合、フレームレート変更部１４０４は、左端の人物を囲む点線の枠Ｒ４００内に対応する領域Ａ３００内の駆動をＥＶＳ駆動とし、他の領域Ａ３００内の駆動を近傍画素差分駆動とする。
このような場合、フレームレート変更部１４０４は、左端の人物を囲む点線の枠Ｒ４００内に対応する領域Ａ３００内の駆動をＥＶＳ駆動とし、他の領域Ａ３００内の駆動を近傍画素差分駆動とする。
【0170】
以上説明したように、本実施形態によれば、画素アレイ部３０の領域を複数の領域Ａ３００に分け、領域Ａ３００毎のアドレスイベント数、及び差分値に応じてＥＶＳ用ＡＦＥ３１４の駆動方法を変更することした。これにより、複数の撮影対象が時間経過にしたがい独立に動いたり、停止したりする場合にも、撮影対象のエッジ情報を取得可能となる。このため、独立に動いたり、停止したりする複数の撮像対象物の認識処理部１４００による認識を行うことが可能となる。
【0171】
（第６実施形態）
第６実施形態に係る電子機器１００は、撮像状況に応じて比較回路３３４の閾値を変更する機能を更に有する点で、第５実施形態に係る電子機器１００と相違する。以下では、第５実施形態に係る電子機器１００と相違する点に関して説明する。
第６実施形態に係る電子機器１００は、撮像状況に応じて比較回路３３４の閾値を変更する機能を更に有する点で、第５実施形態に係る電子機器１００と相違する。以下では、第５実施形態に係る電子機器１００と相違する点に関して説明する。
【0172】
【0173】
【0174】
閾値変更部１４０８は、図４２に示すように、領域Ａ３００毎の駆動状態とイベント数検知部１４０２の検知するアドレスイベント数に基づき、領域Ａ３００毎における比較回路３３４の閾値を変更する。例えば、領域Ａ３００内のＥＶＳ用ＡＦＥ３１４が近傍画素差分駆動をしている場合には、所定の閾値ｔｈ４２ａを設定する。一方で、領域Ａ３００内のＥＶＳ用ＡＦＥ３１４がＥＶＳ駆動をしている場合には、アドレスイベント数に基づく閾値ｔｈ４２ｂを設定する。
【0175】
図４３は、領域Ａ３００毎（図３９参照）に設定された、閾値を模式的に示す図である。このように、領域Ａ３００毎の閾値ｔｈ４２ａ、ｔｈ４２ｂを撮影状況に応じて設定することが可能である。これにより、アドレスイベント数が多い領域では、閾値ｔｈ４２ｂが大きくなるので、アドレスイベント数が減少逐次的に減少する。これにより、領域Ａ３００毎のアドレスイベント数が所定数になだらかに収束する状態となる。このため、このため、ＥＶＳ差分画像及びＥＶＳ画像におけるエッジ情報の量を平準化可能となり、撮像対象物の移動速度によらず、認識処理部１４００の認識率の低下を抑制できる。
【0176】
以上説明したように、本実施形態によれば、画素アレイ部３０の領域を複数の領域Ａ３００に分け、領域Ａ３００毎の駆動方法、及びアドレスイベント数に応じて、領域Ａ３００毎における比較回路３３４の閾値ｔｈ４２ａ、ｔｈ４２ｂを変更することした。これにより、複数の撮影対象が時間経過にしたがい独立に動いたり、停止したりする場合にも、撮影対象のエッジ情報を取得可能となる。このため、ＥＶＳ差分画像及びＥＶＳ画像におけるエッジ情報の量を平準化可能となり、撮像対象物の移動速度によらず、認識処理部１４００の認識率の低下を抑制できる。
る。
る。
【0177】
なお、本技術は以下のような構成を取ることができる。
【0178】
（１）光電変換して光電変換信号を生成する複数の光電変換素子と、
前記複数の光電変換素子の内の単一の光電変換素子が出力する光電変換信号の変化量が所定値を超えた場合に第１信号を生成し、前記複数の光電変換素子の内の２つ光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に第２信号を生成する、生成部と、
を備える、固体撮像素子。
前記複数の光電変換素子の内の単一の光電変換素子が出力する光電変換信号の変化量が所定値を超えた場合に第１信号を生成し、前記複数の光電変換素子の内の２つ光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に第２信号を生成する、生成部と、
を備える、固体撮像素子。
【0179】
（２）前記生成部は、２つの信号の差分値を生成する第１差分回路と、
２つ光電変換素子の内の一方の第１光電変換素子が出力する第１光電変換信号に基づく第１光電信号と、他方の第２光電変換素子が出力する第２光電変換信号に基づく第２光電信号とを切り換えて前記第１差分回路に出力する切替回路と、
を有し、
前記差分値に基づき、前記第１信号、及び前記第２信号の一方が生成される、（１）に記載の固体撮像素子。
２つ光電変換素子の内の一方の第１光電変換素子が出力する第１光電変換信号に基づく第１光電信号と、他方の第２光電変換素子が出力する第２光電変換信号に基づく第２光電信号とを切り換えて前記第１差分回路に出力する切替回路と、
を有し、
前記差分値に基づき、前記第１信号、及び前記第２信号の一方が生成される、（１）に記載の固体撮像素子。
【0180】
（３）前記切替回路が、前記第１光電信号を前記第１差分回路に入力させた後に、前記第２光電信号を前記第１差分回路に入力させた場合に、前記第２信号が生成される、（２）に記載の固体撮像素子。
【0181】
（４）前記生成部は、前記第１光電変換信号又は前記第２光電変換信号を対数変換する第１対数変換回路を更に有し、
前記切替回路は、第１対数変換回路を介して前記第１光電信号又は前記第２光電信号を前記第１差分回路に出力する、（２）又は（３）に記載の固体撮像素子。
前記切替回路は、第１対数変換回路を介して前記第１光電信号又は前記第２光電信号を前記第１差分回路に出力する、（２）又は（３）に記載の固体撮像素子。
【0182】
（５）前記生成部は、
前記第１光電変換信号を対数変換する第１対数変換回路と、
前記第１対数変換回路の出力する前記第１光電信号を保持する第１保持回路と、
前記第２光電変換信号を対数変換する第２対数変換回路と、
前記第２対数変換回路の出力する前記第２光電信号を保持する第２保持回路と、
を更に有し、
前記切替回路は、前記第１保持回路の出力する前記第１光電信号と、前記第２保持回路の出力する前記第２光電信号と、切り換えて前記第１差分回路に出力する、（２）又は（３）に記載の固体撮像素子。
前記第１光電変換信号を対数変換する第１対数変換回路と、
前記第１対数変換回路の出力する前記第１光電信号を保持する第１保持回路と、
前記第２光電変換信号を対数変換する第２対数変換回路と、
前記第２対数変換回路の出力する前記第２光電信号を保持する第２保持回路と、
を更に有し、
前記切替回路は、前記第１保持回路の出力する前記第１光電信号と、前記第２保持回路の出力する前記第２光電信号と、切り換えて前記第１差分回路に出力する、（２）又は（３）に記載の固体撮像素子。
【0183】
（６）前記生成部は、
２つの信号の差分値を生成する第２差分回路を更に有し、
前記切替回路は、前記第１保持回路と前記第１差分回路との間に接続される第１スイッティング素子と、前記第１保持回路と前記第２差分回路との間に接続される第２スイッティング素子と、前記第２保持回路と前記第２差分回路との間に接続される第３スイッティング素子と、前記第２保持回路と前記第１差分回路との間に接続される第４スイッティング素子と、を有する、（５）に記載の固体撮像素子。
２つの信号の差分値を生成する第２差分回路を更に有し、
前記切替回路は、前記第１保持回路と前記第１差分回路との間に接続される第１スイッティング素子と、前記第１保持回路と前記第２差分回路との間に接続される第２スイッティング素子と、前記第２保持回路と前記第２差分回路との間に接続される第３スイッティング素子と、前記第２保持回路と前記第１差分回路との間に接続される第４スイッティング素子と、を有する、（５）に記載の固体撮像素子。
【0184】
（７）前記生成部は、
前記第１差分回路の出力信号と所定の第１閾値とを比較し、前記第１信号、及び前記第２信号の一方を生成する第１比較回路と、
前記第２差分回路の出力信号と所定の第２閾値とを比較し、前記第１信号、及び前記第２信号の一方を生成する第２比較回路と、
を更に有する、（６）に記載の固体撮像素子。
前記第１差分回路の出力信号と所定の第１閾値とを比較し、前記第１信号、及び前記第２信号の一方を生成する第１比較回路と、
前記第２差分回路の出力信号と所定の第２閾値とを比較し、前記第１信号、及び前記第２信号の一方を生成する第２比較回路と、
を更に有する、（６）に記載の固体撮像素子。
【0185】
（８）前記第１スイッティング素子、及び前記第２スイッティング素子を接続状態にし、前記第３スイッティング素子、及び前記第４スイッティング素子を非接続状態にし、前記第１閾値と前記第２閾値とを異ならせる、（７）に記載の固体撮像素子。
【0186】
（９）前記第１差分回路の出力信号と前記第２差分回路の出力信号とを選択する選択回路と、
選択回路が出力する信号と所定の閾値を比較し、前記第１信号、及び前記第２信号の一方を生成する比較回路を、
更に有する、（６）に記載の固体撮像素子。
選択回路が出力する信号と所定の閾値を比較し、前記第１信号、及び前記第２信号の一方を生成する比較回路を、
更に有する、（６）に記載の固体撮像素子。
【0187】
（１０）前記生成部は、２つの信号の差分値を生成する第１差分回路と、
３つ以上の光電変換素子のそれぞれが出力する光電変換信号を切り換えて前記第１差分回路に出力する切替回路と、
を有し、
前記差分値に基づき、前記第１信号、及び前記第２信号の一方が生成される、（１）に記載の固体撮像素子。
３つ以上の光電変換素子のそれぞれが出力する光電変換信号を切り換えて前記第１差分回路に出力する切替回路と、
を有し、
前記差分値に基づき、前記第１信号、及び前記第２信号の一方が生成される、（１）に記載の固体撮像素子。
【0188】
（１１） 前記複数の光電変換素子の少なくとも一つが出力する光電変換信号に基づき、階調画像が構成される、（１）に記載の固体撮像素子。
【0189】
（１２） 複数の光電変換素子が２次元格子状に配置された受光部（受光チップ）と、
前記複数の光電変換素子の中の対応する２つの光電変換素子の組合せのそれぞれに対して第１信号、及び第２信号の一方を生成する複数の生成部を有する検出部（検出チップ）であって、前記２つの光電変換素子の内の単一の光電変換素子が出力する光電変換信号の変化量が所定値を超えた場合に前記第１信号を生成し、前記２つの光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に前記第２信号を生成する、検出部と、
前記複数の生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御回路と、
を備える、電子機器。
前記複数の光電変換素子の中の対応する２つの光電変換素子の組合せのそれぞれに対して第１信号、及び第２信号の一方を生成する複数の生成部を有する検出部（検出チップ）であって、前記２つの光電変換素子の内の単一の光電変換素子が出力する光電変換信号の変化量が所定値を超えた場合に前記第１信号を生成し、前記２つの光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に前記第２信号を生成する、検出部と、
前記複数の生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御回路と、
を備える、電子機器。
【0190】
（１３）前記制御回路は、前記受光部の行毎に配置される複数の光電変換素子に対応する前記生成部に対して、前記第１信号、又は前記第２信号を前記行に対応させて順に出力させるフレーム読み出し制御を行う、（１２）に記載の電子機器。
【0191】
（１４）単位時間あたりに前記第１信号を出力する前記生成部の数をカウントする解析部を更に備え、
前記制御回路は、前記カウント数に応じて、フレーム読み出し制御の速度を変更する、（１３）に記載の電子機器。
前記制御回路は、前記カウント数に応じて、フレーム読み出し制御の速度を変更する、（１３）に記載の電子機器。
【0192】
（１５）前記制御回路は、前記カウント数が所定値以下となった場合に、前記生成部に対して、前記第２信号を出力させる制御を行う、（１４）に記載の電子機器。
【0193】
（１６）前記第１信号に基づく第１画像と、前記第２信号に基づく第２画像と、前記第１信号、及び前記第２信号に基づく第３画像のいずれかを少なくとも生成する信号処理部と、
前記第１信号に基づく第１画像と、前記第２信号に基づく第２画像と、記第１信号、及び前記第２信号に基づく第３画像のいずれかを用いて撮像対象を認識する解析部と、
を備える、（１５）に記載の電子機器。
前記第１信号に基づく第１画像と、前記第２信号に基づく第２画像と、記第１信号、及び前記第２信号に基づく第３画像のいずれかを用いて撮像対象を認識する解析部と、
を備える、（１５）に記載の電子機器。
【0194】
（１７）前記解析部は、時系列に生成された前記第２画像間の差分値を生成し、
前記制御回路は、前記差分値が所定値以上となった場合に、前記生成部に対して、前記第１信号を出力させる制御を行う、（１６）に記載の電子機器。
前記制御回路は、前記差分値が所定値以上となった場合に、前記生成部に対して、前記第１信号を出力させる制御を行う、（１６）に記載の電子機器。
【0195】
（１８）前記受光部は、複数の領域に分けられており、
前記制御回路は、前記複数の領域毎に対応する前記生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御を行う、（１７）に記載の電子機器。
前記制御回路は、前記複数の領域毎に対応する前記生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御を行う、（１７）に記載の電子機器。
【0196】
（１９）前記解析部は、前記差分値又は前記カウント数を前記複数の領域毎に生成し、
前記制御回路は、前記領域毎の前記差分値又は前記カウント数に応じて、前記領域毎に対応する前記生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御を行う、（１８）に記載の電子機器。
前記制御回路は、前記領域毎の前記差分値又は前記カウント数に応じて、前記領域毎に対応する前記生成部に対して、前記第１信号、及び前記第２信号のいずれかを生成させる制御を行う、（１８）に記載の電子機器。
【0197】
（２０）前記複数の生成部のそれぞれは、前記２つの光電変換素子の組合せのそれぞれが出力する光電変換信号に基づく２つの信号の差分値を生成する差分回路と、
前記差分回路が出力する差分値と所定の閾値を比較する比較回路とを有し、
前記制御回路は、前記カウント数に応じて、閾値を変更する、（１９）に記載の電子機器。
前記差分回路が出力する差分値と所定の閾値を比較する比較回路とを有し、
前記制御回路は、前記カウント数に応じて、閾値を変更する、（１９）に記載の電子機器。
【0198】
（２１）入射光を集光して前記受光部に導く撮像レンズと、
前記検出部からのデータを記録する記録部と、
前記検出部を制御して画像を撮像させる制御部と、
を更に備える、（１２）に記載の電子機器。
前記検出部からのデータを記録する記録部と、
前記検出部を制御して画像を撮像させる制御部と、
を更に備える、（１２）に記載の電子機器。
【0199】
（２２）複数の光電変換素子の内の単一の光電変換素子が出力する光電変換信号の変化量が所定値を超えた場合に第１信号を生成する工程と、
前記複数の光電変換素子の内の２つ光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に第２信号を生成する工程と、
を備える、撮像方法。
前記複数の光電変換素子の内の２つ光電変換素子がそれぞれ出力する光電変換信号の差分値が所定値を超えた場合に第２信号を生成する工程と、
を備える、撮像方法。
【0200】
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【0201】
１００：電子機器、１１０：撮像レンズ、１２０：記録部、１３０：制御部、１４０：解析部、２００：固体撮像素子、２０１：受光チップ（受光部）、２０２、検出チップ（検出部）、２１１ｂ：第２アクセス制御回路（制御回路）、２１４：第２信号処理部（信号処理部）、３１１：光電変換素子、３１４：ＥＶＳ用ＡＦＥ（生成部）、３２８ａｂ：切替回路、３３１：対数変換回路、３３２：バッファ（保持回路）、３３３：差分回路、３３４：比較回路。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図16C】
【図17A】
【図17B】
【図18A】
【図18B】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
