(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022102604
(43)【公開日】2022-07-07
(54)【発明の名称】イメージセンサ及び画像認識システム
(51)【国際特許分類】
H04N 5/3745 20110101AFI20220630BHJP
【ＦＩ】
H04N5/3745
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2020217433
(22)【出願日】2020-12-25
(71)【出願人】
【識別番号】593006630
【氏名又は名称】学校法人立命館
(74)【代理人】
【識別番号】100111567
【弁理士】
【氏名又は名称】坂本 寛
(72)【発明者】
【氏名】大倉 俊介
【テーマコード（参考）】
5C024
【Ｆターム（参考）】
5C024CY26
5C024CY42
5C024GX03
5C024GX16
5C024GX18
5C024GY39
5C024GY41
5C024HX23
5C024HX29
(57)【要約】
【課題】イメージセンサ内で行われる演算において、消費電力の増大を抑制する。
【解決手段】開示のイメージセンサは、画像認識のための特徴量を出力するイメージセンサであって、複数の画素回路と、前記複数の画素回路を制御する第１モード制御を実行するよう構成されたコントローラと、を備え、前記複数の画素回路それぞれは、光電変換素子と、前記光電変換素子から電荷の転送を受ける電荷蓄積部と、を備えており、前記電荷蓄積部に蓄積された電荷量に応じた画素信号を出力するよう構成され、前記第１モード制御は、前記特徴量を求める演算のために、前記光電変換素子と前記電荷蓄積部との間における前記電荷の転送を制御することを含む。
【選択図】図３
【解決手段】開示のイメージセンサは、画像認識のための特徴量を出力するイメージセンサであって、複数の画素回路と、前記複数の画素回路を制御する第１モード制御を実行するよう構成されたコントローラと、を備え、前記複数の画素回路それぞれは、光電変換素子と、前記光電変換素子から電荷の転送を受ける電荷蓄積部と、を備えており、前記電荷蓄積部に蓄積された電荷量に応じた画素信号を出力するよう構成され、前記第１モード制御は、前記特徴量を求める演算のために、前記光電変換素子と前記電荷蓄積部との間における前記電荷の転送を制御することを含む。
【選択図】図３
【特許請求の範囲】
【請求項1】
画像認識のための特徴量を出力するイメージセンサであって、
複数の画素回路と、
前記複数の画素回路を制御する第１モード制御を実行するよう構成されたコントローラと、
を備え、
前記複数の画素回路それぞれは、
光電変換素子と、
前記光電変換素子から電荷の転送を受ける電荷蓄積部と、
を備えており、前記電荷蓄積部に蓄積された電荷量に応じた画素信号を出力するよう構成され、
前記第１モード制御は、前記特徴量を求める演算のために、前記光電変換素子と前記電荷蓄積部との間における前記電荷の転送を制御することを含む
イメージセンサ。
複数の画素回路と、
前記複数の画素回路を制御する第１モード制御を実行するよう構成されたコントローラと、
を備え、
前記複数の画素回路それぞれは、
光電変換素子と、
前記光電変換素子から電荷の転送を受ける電荷蓄積部と、
を備えており、前記電荷蓄積部に蓄積された電荷量に応じた画素信号を出力するよう構成され、
前記第１モード制御は、前記特徴量を求める演算のために、前記光電変換素子と前記電荷蓄積部との間における前記電荷の転送を制御することを含む
イメージセンサ。
【請求項2】
前記第１モード制御において前記電荷の転送を制御することは、ｎ個（ｎは１以上の自然数）以上の光電変換素子において生じた電荷を、ｍ個（ｍは２以上の自然数）以上の前記電荷蓄積部に分配することを含む
請求項１に記載のイメージセンサ。
請求項１に記載のイメージセンサ。
【請求項3】
前記複数の画素回路は、第１画素回路と、第２画素回路と、を有し、
前記第１画素回路は、第１光電変換素子と、前記第１光電変換素子から第１電荷の転送を受ける第１電荷蓄積部と、を備え、
前記第２画素回路は、第２光電変換素子と、前記第２光電変換素子から第２電荷の転送を受ける第２電荷蓄積部と、を備え、
前記第１モード制御において前記電荷の転送を制御することは、前記特徴量を求める演算のために、前記第１光電変換素子及び前記第２光電変換素子を含む複数の光電変換素子と、前記第１電荷蓄積部及び前記第２電荷蓄積部を含む複数の電荷蓄積部と、の間における前記第１電荷及び前記第２電荷の転送を制御することを含む
請求項１又は請求項２に記載のイメージセンサ。
前記第１画素回路は、第１光電変換素子と、前記第１光電変換素子から第１電荷の転送を受ける第１電荷蓄積部と、を備え、
前記第２画素回路は、第２光電変換素子と、前記第２光電変換素子から第２電荷の転送を受ける第２電荷蓄積部と、を備え、
前記第１モード制御において前記電荷の転送を制御することは、前記特徴量を求める演算のために、前記第１光電変換素子及び前記第２光電変換素子を含む複数の光電変換素子と、前記第１電荷蓄積部及び前記第２電荷蓄積部を含む複数の電荷蓄積部と、の間における前記第１電荷及び前記第２電荷の転送を制御することを含む
請求項１又は請求項２に記載のイメージセンサ。
【請求項4】
前記第１モード制御において前記電荷の転送を制御することは、前記第２電荷を含む電荷を、前記第１電荷蓄積部及び前記第２電荷蓄積部を含む複数の電荷蓄積部に分配することを含む
請求項３に記載のイメージセンサ。
請求項３に記載のイメージセンサ。
【請求項5】
前記第１モード制御において前記電荷の転送を制御することは、前記第２電荷を含む電荷を、前記第１電荷蓄積部及び前記第２電荷蓄積部を含む複数の電荷蓄積部に分配し、
前記複数の電荷蓄積部のいずれか一つの電荷蓄積部の電荷をリセットし、
リセットされた前記電荷蓄積部に前記第１電荷を転送すること
を含む請求項３に記載のイメージセンサ。
前記複数の電荷蓄積部のいずれか一つの電荷蓄積部の電荷をリセットし、
リセットされた前記電荷蓄積部に前記第１電荷を転送すること
を含む請求項３に記載のイメージセンサ。
【請求項6】
前記第１モード制御は、前記第１電荷に応じた第１電圧と、前記複数の電荷蓄積部のうちのいずれか一つの電荷蓄積部に蓄積された電荷に応じた第２電圧と、の差に応じた出力信号を得ることを含む
請求項３から請求項５のいずれか１項に記載のイメージセンサ。
請求項３から請求項５のいずれか１項に記載のイメージセンサ。
【請求項7】
前記コントローラは、前記第１モード制御とは異なる第２モード制御を更に実行するよう構成され、
前記第２モード制御は、前記光電変換素子において生じた電荷量に応じた画素信号が出力されるように、前記光電変換素子と前記電荷蓄積部との間における前記電荷の転送を制御することを含む
請求項１から請求項６のいずれか１項に記載のイメージセンサ。
前記第２モード制御は、前記光電変換素子において生じた電荷量に応じた画素信号が出力されるように、前記光電変換素子と前記電荷蓄積部との間における前記電荷の転送を制御することを含む
請求項１から請求項６のいずれか１項に記載のイメージセンサ。
【請求項8】
前記コントローラは、切替信号が与えられると、前記第１モード制御から前記第２モード制御に切り替えるよう構成されている
請求項７に記載のイメージセンサ。
請求項７に記載のイメージセンサ。
【請求項9】
前記電荷蓄積部の電荷量に応じた電圧をソース電圧として生じさせるトランジスタを含むソースフォロア回路を備え、
前記ソースフォロア回路は、前記トランジスタのソースに接続されたスイッチング回路を有する
請求項１から請求項８のいずれか１項に記載のイメージセンサ。
前記ソースフォロア回路は、前記トランジスタのソースに接続されたスイッチング回路を有する
請求項１から請求項８のいずれか１項に記載のイメージセンサ。
【請求項10】
前記画素信号をデジタル信号に変換するアナログデジタルコンバータを備え、
前記アナログデジタルコンバータは、前記画素信号と参照信号との差分を出力するアンプと、前記差分が与えられるラッチ型比較器と、を備え、
前記アナログデジタルコンバータは、
前記第２モード制御においては、前記アンプを用いて前記差分を出力し、前記差分を前記ラッチ型比較器に与えるよう動作し、
前記第１モード制御においては、前記アンプを用いずに前記画素信号と前記参照信号を前記ラッチ型比較器に与えるよう動作する
よう構成されている
請求項７又は請求項８に記載のイメージセンサ。
前記アナログデジタルコンバータは、前記画素信号と参照信号との差分を出力するアンプと、前記差分が与えられるラッチ型比較器と、を備え、
前記アナログデジタルコンバータは、
前記第２モード制御においては、前記アンプを用いて前記差分を出力し、前記差分を前記ラッチ型比較器に与えるよう動作し、
前記第１モード制御においては、前記アンプを用いずに前記画素信号と前記参照信号を前記ラッチ型比較器に与えるよう動作する
よう構成されている
請求項７又は請求項８に記載のイメージセンサ。
【請求項11】
請求項１から請求項１０のいずれか１項に記載のイメージセンサと、
前記イメージセンサから出力された特徴量に基づいて画像認識をする画像認識器と、を備える画像認識システム。
前記イメージセンサから出力された特徴量に基づいて画像認識をする画像認識器と、を備える画像認識システム。
【請求項12】
請求項８から請求項１０のいずれか１項に記載のイメージセンサと、
前記イメージセンサから出力された特徴量に基づいて画像認識をすることでイベントを検知する画像認識器と、
を備え、
前記イメージセンサが備える前記コントローラは、前記イベントが検知されると、前記第１モード制御から前記第２モード制御に切り替えられるよう構成されている
画像認識システム。
前記イメージセンサから出力された特徴量に基づいて画像認識をすることでイベントを検知する画像認識器と、
を備え、
前記イメージセンサが備える前記コントローラは、前記イベントが検知されると、前記第１モード制御から前記第２モード制御に切り替えられるよう構成されている
画像認識システム。
【請求項13】
複数の画素回路と、
前記複数の画素回路を制御する第１モード制御を実行するよう構成されたコントローラと、
を備え、
前記複数の画素回路それぞれは、
光電変換素子と、
前記光電変換素子から電荷の転送を受ける電荷蓄積部と、
を備え、前記電荷蓄積部に蓄積された電荷量に応じた画素信号を出力するよう構成され、
前記第１モード制御は、ｎ個（ｎは１以上の自然数）以上の光電変換素子において光電変換によって生じた電荷を、ｍ個（ｍは２以上の自然数）以上の前記電荷蓄積部に分配することを含む
イメージセンサ。
前記複数の画素回路を制御する第１モード制御を実行するよう構成されたコントローラと、
を備え、
前記複数の画素回路それぞれは、
光電変換素子と、
前記光電変換素子から電荷の転送を受ける電荷蓄積部と、
を備え、前記電荷蓄積部に蓄積された電荷量に応じた画素信号を出力するよう構成され、
前記第１モード制御は、ｎ個（ｎは１以上の自然数）以上の光電変換素子において光電変換によって生じた電荷を、ｍ個（ｍは２以上の自然数）以上の前記電荷蓄積部に分配することを含む
イメージセンサ。
【請求項14】
複数の画素回路と、
前記複数の画素回路を制御する第１モード制御を実行するよう構成されたコントローラと、
を備え、
前記複数の画素回路は、第１画素回路と、第２画素回路と、を有し、
前記第１画素回路は、第１光電変換素子と、前記第１光電変換素子から第１電荷の転送を受ける第１電荷蓄積部と、を備え、
前記第２画素回路は、第２光電変換素子と、前記第２光電変換素子から第２電荷の転送を受ける第２電荷蓄積部と、を備え、
前記第１モード制御は、前記第１光電変換素子及び前記第２光電変換素子を含む複数の光電変換素子と、前記第１電荷蓄積部及び前記第２電荷蓄積部を含む複数の電荷蓄積部と、の間における前記第１電荷及び前記第２電荷の転送を制御することを含む
イメージセンサ。
前記複数の画素回路を制御する第１モード制御を実行するよう構成されたコントローラと、
を備え、
前記複数の画素回路は、第１画素回路と、第２画素回路と、を有し、
前記第１画素回路は、第１光電変換素子と、前記第１光電変換素子から第１電荷の転送を受ける第１電荷蓄積部と、を備え、
前記第２画素回路は、第２光電変換素子と、前記第２光電変換素子から第２電荷の転送を受ける第２電荷蓄積部と、を備え、
前記第１モード制御は、前記第１光電変換素子及び前記第２光電変換素子を含む複数の光電変換素子と、前記第１電荷蓄積部及び前記第２電荷蓄積部を含む複数の電荷蓄積部と、の間における前記第１電荷及び前記第２電荷の転送を制御することを含む
イメージセンサ。
【請求項15】
前記第１モード制御は、前記第１電荷に応じた第１電圧と、前記第２電荷を含む電荷が分配された前記複数の電荷蓄積部のうちのいずれか一つの電荷蓄積部に蓄積された電荷に応じた第２電圧と、の差に応じた出力電圧を得ることを含む
請求項１４に記載のイメージセンサ。
請求項１４に記載のイメージセンサ。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、イメージセンサ及び画像認識システムに関する。
【背景技術】
【0002】
画像認識では、画像の特徴量抽出がなされる。画像認識には、例えば、機械学習モデルを用いる方式がある。機械学習モデルを用いた画像認識の場合、一例として、入力画像としての高解像度画像の特徴量が抽出され、特徴量に基づいて画像のクラス分けがなされる。
【0003】
非特許文献１は、チップ内部で特徴量演算（畳み込み演算）を行うイメージセンサを開示している。イメージセンサは、複数の画素を備える。各画素は、光電変換素子であるフォトダイオード及び読み出し回路を備える。各画素の読み出し回路は、受光強度に応じた電気信号である画素信号を出力する。非特許文献１に開示されたイメージセンサは、畳み込み演算を行うための光電変換素子の蓄積及び乗算のために、特殊な製造プロセス（ＩＧＺＯ）を必要とする。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１６－２１９８５７号公報
【非特許文献】
【0005】
【非特許文献1】Seiichi Yoneda et al., ”Image Sensor Capable of Analog Convolution for Real-time Image Recognition System Using Crystalline Oxide Semiconductor FET”, International Image Sensor Workshop(IISW), 2019, pp.322-325.
【発明の概要】
【0006】
画像認識の対象となる画像は、データ量が多い。このため、画像認識器において画像の特徴量抽出をする場合、画像認識器における演算負荷が大きくなる。したがって、画像認識器における特徴量抽出のための計算負荷の軽減が望まれる。
【0007】
ここで、非特許文献１のように、イメージセンサ内で特徴量演算が行われる場合、画像認識器における特徴量演算の不要化又は演算負荷軽減が期待される。
【0008】
しかし、非特許文献１において、特徴量演算は、イメージセンサ内部で行われるものの、読み出し回路から出力された画素信号を用いて、オペアンプを用いた演算回路によって行われる。オペアンプを用いた演算回路で特徴量演算が実行される際に、画素信号の大きさに対応した電流が、イメージセンサ内で流れる。このため、イメージセンサの消費電力が大きくなる。
【0009】
イメージセンサにおいて特徴量演算などの演算をする場合であっても、消費電力の増大を抑制することが望まれる。ここで、画像に対する演算は、特徴量の演算に限られず、他の演算も考えられる。したがって、特徴量演算に限られず、イメージセンサ内で行われる演算において、消費電力の増大を抑制することが望まれる。
【0010】
かかる課題は、光電変換によって生じた電荷（光電変換電荷）を用いて演算をすることで解決される。実施形態においては、イメージセンサの画素回路内において、演算のために、光電変換電荷の転送が制御される。更なる詳細は、後述の実施形態として説明される。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
＜１．イメージセンサ及び画像認識システムの概要＞
【0013】
（１）実施形態に係るイメージセンサは、画像認識のための特徴量を出力する。実施形態に係るイメージセンサは、複数の画素回路と、前記複数の画素回路を制御する第１モード制御を実行するよう構成されたコントローラと、を備える。前記複数の画素回路それぞれは、光電変換素子と、前記光電変換素子から電荷の転送を受ける電荷蓄積部と、を備えており、前記電荷蓄積部に蓄積された電荷量に応じた画素信号を出力するよう構成されている。前記第１モード制御は、前記特徴量を求める演算のために、前記光電変換素子と前記電荷蓄積部との間における前記電荷の転送を制御することを含む。実施形態に係るイメージセンサによれば、電荷の転送を制御することで、画素回路において演算が行われる。つまり、画素回路は演算回路としても機能する。
【0014】
（２）前記第１モード制御において前記電荷の転送を制御することは、ｎ個（ｎは１以上の自然数）以上の光電変換素子において生じた電荷を、ｍ個（ｍは２以上の自然数）以上の前記電荷蓄積部に分配することを含むのが好ましい。この場合、ｎ個の光電変換素子において生じた電荷をｍで除する演算が行われる。
【0015】
（３）前記複数の画素回路は、第１画素回路と、第２画素回路と、を有するのが好ましい。前記第１画素回路は、第１光電変換素子と、前記第１光電変換素子から第１電荷の転送を受ける第１電荷蓄積部と、を備えるのが好ましい。前記第２画素回路は、第２光電変換素子と、前記第２光電変換素子から第２電荷の転送を受ける第２電荷蓄積部と、を備えるのが好ましい。前記第１モード制御において前記電荷の転送を制御することは、前記特徴量を求める演算のために、前記第１光電変換素子及び前記第２光電変換素子を含む複数の光電変換素子と、前記第１電荷蓄積部及び前記第２電荷蓄積部を含む複数の電荷蓄積部と、の間における前記第１電荷及び前記第２電荷の転送を制御することを含むのが好ましい。
【0016】
（４）前記第１モード制御において前記電荷の転送を制御することは、前記第２電荷を含む電荷を、前記第１電荷蓄積部及び前記第２電荷蓄積部を含む複数の電荷蓄積部に分配することを含むのが好ましい。この場合、前記第２電荷を含む電荷に対する除算が画素回路において実行される。
【0017】
（５）前記第１モード制御において前記電荷の転送を制御することは、前記第２電荷を含む電荷を、前記第１電荷蓄積部及び前記第２電荷蓄積部を含む複数の電荷蓄積部に分配し、前記複数の電荷蓄積部のいずれか一つの電荷蓄積部の電荷をリセットし、リセットされた前記電荷蓄積部に前記第１電荷を転送することを含むのが好ましい。
【0018】
（６）前記第１モード制御は、前記第１電荷に応じた第１電圧と、前記複数の電荷蓄積部のうちのいずれか一つの電荷蓄積部に蓄積された電荷に応じた第２電圧と、の差に応じた出力信号を得ることを含むのが好ましい。
【0019】
（７）前記コントローラは、前記第１モード制御とは異なる第２モード制御を更に実行するよう構成され、前記第２モード制御は、前記光電変換素子において生じた電荷量に応じた画素信号が出力されるように、前記光電変換素子と前記電荷蓄積部との間における前記電荷の転送を制御することを含むのが好ましい。第２モード制御では、特徴量ではなく、一般的な画像が得られる。
【0020】
（８）前記コントローラは、切替信号が与えられると、前記第１モード制御から前記第２モード制御に切り替えるよう構成されているのが好ましい。
【0021】
（９）イメージセンサは、前記電荷蓄積部の電荷量に応じた電圧をソース電圧として生じさせるトランジスタを含むソースフォロア回路を備えるのが好ましい。前記ソースフォロア回路は、前記トランジスタのソースに接続されたスイッチング回路を有するのが好ましい。この場合、ソースフォロア回路における消費電力を低減できる。
【0022】
（１０）イメージセンサは、前記画素信号をデジタル信号に変換するアナログデジタルコンバータを備えるのが好ましい。前記アナログデジタルコンバータは、前記画素信号と参照信号との差分を出力するアンプと、前記差分が与えられるラッチ型比較器と、を備えるのが好ましい。前記アナログデジタルコンバータは、前記第２モード制御においては、前記アンプを用いて前記差分を出力し、前記差分を前記ラッチ型比較器に与えるよう動作するのが好ましい。前記アナログデジタルコンバータは、前記第１モード制御においては、前記アンプを用いずに前記画素信号と前記参照信号を前記ラッチ型比較器に与えるよう動作するのが好ましい。
【0023】
（１１）実施形態に係る画像認識システムは、前記（１）から前記（１０）のいずれか１項に記載のイメージセンサと、前記イメージセンサから出力された特徴量に基づいて画像認識をする画像認識器と、を備えるのが好ましい。
【0024】
（１２）実施形態に係る画像認識システムは、前記（８）から前記（１０）のいずれか１項に記載のイメージセンサと、前記イメージセンサから出力された特徴量に基づいて画像認識をすることでイベントを検知する画像認識器と、を備えるのが好ましい。前記イメージセンサが備える前記コントローラは、前記イベントが検知されると、前記第１モード制御から前記第２モード制御に切り替えられるよう構成されているのが好ましい。
【0025】
（１３）実施形態に係るイメージセンサは、複数の画素回路と、前記複数の画素回路を制御する第１モード制御を実行するよう構成されたコントローラと、を備えるのが好ましい。前記複数の画素回路それぞれは、光電変換素子と、前記光電変換素子から電荷の転送を受ける電荷蓄積部と、を備え、前記電荷蓄積部に蓄積された電荷量に応じた画素信号を出力するよう構成されているのが好ましい。前記第１モード制御は、ｎ個（ｎは１以上の自然数）以上の光電変換素子において光電変換によって生じた電荷を、ｍ個（ｍは２以上の自然数）以上の前記電荷蓄積部に分配することを含むのが好ましい。
【0026】
（１４）実施形態に係るイメージセンサは、複数の画素回路と、前記複数の画素回路を制御する第１モード制御を実行するよう構成されたコントローラと、を備えるのが好ましい。前記複数の画素回路は、第１画素回路と、第２画素回路と、を有するのが好ましい。前記第１画素回路は、第１光電変換素子と、前記第１光電変換素子から第１電荷の転送を受ける第１電荷蓄積部と、を備えるのが好ましい。前記第２画素回路は、第２光電変換素子と、前記第２光電変換素子から第２電荷の転送を受ける第２電荷蓄積部と、を備えるのが好ましい。前記第１モード制御は、前記第１光電変換素子及び前記第２光電変換素子を含む複数の光電変換素子と、前記第１電荷蓄積部及び前記第２電荷蓄積部を含む複数の電荷蓄積部と、の間における前記第１電荷及び前記第２電荷の転送を制御することを含むのが好ましい。
【0027】
（１５）前記第１モード制御は、前記第１電荷に応じた第１電圧と、前記第２電荷を含む電荷が分配された前記複数の電荷蓄積部のうちのいずれか一つの電荷蓄積部に蓄積された電荷に応じた第２電圧と、の差に応じた出力電圧を得ることを含むのが好ましい。
【0028】
＜２．イメージセンサ及び画像認識システムの概要の例＞
【0029】
図１は、実施形態に係るイメージセンサ１００を備えるシステム１０を示している。システム１０は、一例として、画像認識システム１０であり、画像認識器２００を備える。システム１０は、イメージセンサ１００が利用される他のシステムであってもよい。システム１０において、イメージセンサ１００の後段に設けられる装置は、画像認識器２００以外の装置であってもよい。画像認識器２００以外の装置は、例えば、画像処理装置である。
【0030】
Ｔｒｉｌｌｉｏｎ Ｓｅｎｓｏｒ社会では、低消費電力化が求められる。ここで、実施形態に係るイメージセンサ１００は、後述のように消費電力が少なく、また、イメージセンサ１００の後段に設けられた画像認識器２００（人工知能；ＡＩ）の消費電力も低減できる。したがって、システム１０全体の低消費電力化が可能であり、Ｔｒｉｌｌｉｏｎ Ｓｅｎｓｏｒ社会に好適である。
【0031】
実施形態に係るイメージセンサ１００は、イベント検知に用いられる。検知されるイベントは、例えば、監視対象の異常、又は変化である。監視対象は、建物・橋などの構造物、人・動物などの生物、又は、自動車・オートバイ・自転車・電車などの乗物である。監視対象は、特に限定されない。イベントの種類も特に限定されない。
【0032】
実施形態に係るイメージセンサ１００は、イベント検知のため、通常動作１２１（第１モード制御１２１）時においては、データ量の小さい特徴量画像（第１画像）を低消費電力で出力する。特徴量画像は、画像認識器２００に与えられる。
【0033】
画像認識器２００は、例えば、画像認識用の機械学習モデル２１０を用いて行われる。機械学習モデル２１０は、入力画像から画像認識結果（画像のクラス分け結果）を出力する。通常動作１２１時においては、画像認識器２００は、イメージセンサ１００から出力された特徴量画像を入力画像として、画像認識をする。画像認識器２００は、一例として、画像認識結果に基づいて、イベントを検知するイベント検出器２２０を備える。イベント検出器２２０は、イベントの発生を検知すると、通常動作１２１からイベント動作１２２への切替信号（第１切替信号）を出力する。第１切替信号は、イメージセンサ１００に与えられる。
【0034】
イメージセンサ１００は、第１切替信号が与えられると、イベント動作１２２（第２モード制御１２２）に切り替わる。イメージセンサ１００は、イベント動作１２２（第２モード制御１２２）時においては、データ量の大きい高解像度画像（第２画像）を出力する。ここでの高解像度画像は、特徴量画像ではない通常の画像を意味する。高解像度画像は、各画素が、イメージセンサ１００が有する光電変換素子ＰＤにおいて生じた電荷量に応じた画素値を持つ。これに対して、特徴量画像は、各画素が、光電変換素子ＰＤにおいて生じた電荷を利用した特徴量演算が行われた結果としての画素値を持つ。電荷を利用した演算については後述する。
【0035】
前述のように、イベント動作１２２（第２モード制御１２２）時においては、イメージセンサ１００は高解像度画像を出力する。高解像度画像は、例えば、発生したイベント（監視対象の異常、又は変化）の記録のため、記憶装置に保存される。高解像度画像は、画像認識器２００に与えられてもよい。
【0036】
イベント動作１２２時においては、画像認識器２００は、イメージセンサ１００から出力された高解像度画像を入力画像として、画像認識をする。イベント検出器２２０は、画像認識結果に基づいて、イベントが継続しているか、若しくは終了したかを検知できる。イベント検出器２２０は、イベントの非発生を検知すると、イベント動作１２２から通常動作１２１への切替信号（第２切替信号）を出力する。第２切替信号は、イメージセンサ１００に与えられる。イメージセンサ１００は、第２切替信号が与えられると、通常動作１２１（第１モード制御１２１）に復帰する。
【0037】
ここで、一般的な機械学習モデルを用いた画像認識では、高解像度画像が入力画像として与えられ、その高解像度画像の特徴量が抽出され、その特徴量に基づいて分類（クラス分け）がなされる。つまり、機械学習モデルは、特徴量抽出部と分類部とを備える。特徴量抽出部は高解像度画像から特徴量を抽出する。分類部は、特徴量に基づいて画像を分類する。機械学習モデルに入力画像として与えられる高解像度画像は、データ量が多いため、機械学習モデルにおける特徴量抽出部における演算負荷は大きく、消費電力も大きい。
【0038】
しかし、実施形態に係るイメージセンサ１００は、通常動作１２１（第１モード制御１２１）時においては、特徴量画像を出力するため、機械学習モデル２１０には特徴量画像が入力画像として与えられる。したがって、機械学習モデル２１０は、特徴量抽出演算を行う必要がなく、入力画像として与えられた特徴量画像からクラス分けの演算をすればよい。したがって、通常動作１２１時においては、機械学習モデル２１０における特徴量抽出演算を省略又は軽減でき、画像認識器２００における低消費電力化が図られる。
【0039】
実施形態に係るイメージセンサ１００は、一例として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。イメージセンサ１００は、撮像部としての画素部１１０及びコントローラ１２０を備える。イメージセンサ１００は、さらに、読み出し回路１３０、垂直走査回路１４０、及び水平走査回路１５０を備える。読み出し回路１３０は、画素部１１０からの画素信号の読み出しをする。垂直走査回路１４０及び水平走査回路１５０は、画素部１１０に含まれる画素回路１１１（画素）のうち、画素信号が読みされる対象画素回路（対象画素）を選択するための信号を画素部１１０に与える。
【0040】
コントローラ１２０は、垂直走査回路１４０及び水平走査回路１５０を介して画素部１１０の動作を制御する。すなわち、「コントローラ」は、前述のコントローラ１２０だけでなく、垂直走査回路１４０及び水平走査回路１５０をも含む概念であってもよい。
【0041】
実施形態のコントローラ１２０は、画素部１１０を制御することで、第１モード制御１２１においては、特徴量画像をイメージセンサ１００から出力させる。また、コントローラ１２０は、第２モード制御１２２においては、高解像度画像をイメージセンサ１００から出力させる。コントローラ１２０は、外部から切替信号を受信して、コントローラ１２０による制御を、第１モード制御１２１から第２モード制御１２２に切り替えたり、第２モード制御１２２から第１モード制御１２１に切り替えたりすることができる。すなわち、コントローラ１２０は、切替信号に基づき、コントローラ１２０のモードを、第１モード制御１２１と第２モード制御１２２との間で切り替える切替器１２５を備える。
【0042】
図２に示すように、画素部１１０は、２次元アレイ状に配置された複数の画素回路１１１，１１１Ａ，１１１Ｂ，１１１Ｃを備える。なお、画素回路は、単に、画素とも呼ばれる。
【0043】
図３は、画素部１１０に含まれる画素回路の一例を示す。図３においては、Ｊ－１行目の１つの画素回路１１１Ｂ、Ｊ行目の１つの画素回路１１１Ａ、及びＪ＋１行目の一つの画素回路１１１Ｃが示されている。画素部１１０に含まれる複数の画素回路１１１，１１１Ａ，１１１Ｂ，１１１Ｃは、共通の構造を有している。なお、図３では、画素回路１１１Ｂ及び画素回路１１１Ｃは、便宜的に、画素回路１１１Ａに比べて簡略化されて描かれているが、実際には、画素回路１１１Ａと同様の構造を有する。
【0044】
以下では、画素回路の構造について、Ｊ行目の画素回路１１１Ａを例にして説明する。画素回路１１１Ａは、光電変換素子ＰＤを備える。光電変換素子ＰＤは、例えば、フォトダイオードである。光電変換素子ＰＤは、光量に応じた量の電荷を蓄積する。電荷は、例えば、電子である。光電変換によって発生した電荷を、光電変換電荷という。また、光電変換によって発生した電子を光電変換電子という。
【0045】
画素回路１１１Ａは、光電変換素子ＰＤに接続された転送ゲートＴＧを備える。転送ゲートＴＧは、光電変換素子ＰＤに蓄積された電荷を転送する。転送ゲートＴＧは、例えば、トランジスタ（転送トランジスタ）によって構成されている。トランジスタは、例えば、ＭＯＳＦＥＴである。なお、以下に説明される他のトランジスタも、同様に、ＭＯＳＦＥＴでよい。ＭＯＳＦＥＴは、ゲート－ソース間にＨｉｇｈ信号が与えられると、ドレイン－ソース間が導通状態になり、ゲート－ソース間にＬｏｗ信号が印加されると、ドレイン－ソース間が非導通状態になる。以下では、ゲート－ソース間にＨｉｇｈ信号を印加することを、「オン」といい、Ｌｏｗ信号を印加することを「オフ」という。
【0046】
転送ゲートＴＧは、オンされると導通状態になり、光電変換素子ＰＤに蓄積された電荷を、後述の電荷蓄積部へ転送する。転送ゲートＴＧは、オフされると非導通状態になり、光電変換素子ＰＤに蓄積された電荷の転送が阻止される。
【0047】
画素回路１１１Ａは、光電変換素子ＰＤから、転送ゲートＴＧを介して、電荷の転送を受ける電荷蓄積部を備える。実施形態において、電荷蓄積部は、少なくとも、転送ゲートＴＧに接続された第１キャパシタであるフローティングディフュージョンＦＤ１（浮遊拡散層）を有する。フローティングディフュージョンＦＤ１は第１容量ＣＦＤ［Ｆ］を有する。フローティングディフュージョンＦＤ１は、光電変換素子ＰＤからの電荷の転送を受けられるように転送ゲートＴＧに接続されている。
【0048】
実施形態において、電荷蓄積部は、フローティングディフュージョンＦＤ１に接続された第２キャパシタである第２スイッチングゲートＳＧ２を更に有する。第２スイッチングゲートＳＧ２は、例えば、トランジスタ（第２スイッチングトランジスタ）によって構成されている。第２スイッチングゲートＳＧ２は、オンされると、第２キャパシタとして働き、転送されてきた電荷（電子）を蓄積することができる。第２スイッチングゲートＳＧ２は、フローティングディフュージョンＦＤ１とともに、光電変換素子ＰＤからの電荷の転送を受けられるように転送ゲートＴＧに接続されている。
【0049】
第２キャパシタとして働く第２スイッチングゲートＳＧ２は、第２容量［Ｆ］を有する。第２容量は、例えば、０．５ＣＦＤである。第２スイッチングゲートＳＧ２がオンされたときの電荷蓄積部の容量は、第１容量＋第２容量であり、一例として、ＣＦＤ＋０．５ＣＦ＝１．５ＣＦＤ［Ｆ］である。第２スイッチングゲートＳＧ２がオンされているときに、電荷が転送されてくると、電荷は、フローティングディフュージョンＦＤ１と第２スイッチングゲートＳＧ２とに分配して蓄積される。
【0050】
第２スイッチングゲートＳＧ２は、オフされていると、電荷（電子）を蓄積しない。したがって、第２スイッチングゲートＳＧ２がオフされているときの電荷蓄積部の容量は、第１容量と同じ、ＣＦＤ［Ｆ］である。
【0051】
このように、実施形態に係る電荷蓄積部の容量は可変である。すなわち、実施形態に係る電荷蓄積部は、可変キャパシタである。電荷蓄積部の容量を変化させることで、光電変換素子ＰＤから転送される電荷量が同じでも、フローティングディフュージョンＦＤ１における電圧ＶＦＤを変化させることができる。すなわち、電荷が蓄積される電荷蓄積部の容量を大きくすると、フローティングディフュージョンＦＤ１に現れる電圧ＶＦＤを低くでき、容量を小さくすると、フローティングディフュージョンＦＤ１に現れる電圧ＶＦＤを高くできる。
【0052】
画素回路１１１Ａは、電荷蓄積部に接続されたリセットゲートＲＳＴを備える。実施形態において、電荷蓄積部は、フローティングディフュージョンＦＤ１及び第２スイッチングゲートＳＧ２に接続されている。リセットゲートＲＳＴは、電荷蓄積部に蓄積された電荷を排出する。リセットゲートＲＳＴは、フローティングディフュージョンＦＤ１と電源（電圧：ＶＤＤ）の間に接続されている。
【0053】
リセットゲートＲＳＴは、オンされると、導通状態になり、電荷蓄積部であるフローティングディフュージョンＦＤ１又は第２スイッチングゲートＳＧ２に蓄積された電荷を電源へ排出する。このような電荷の排出をリセットという。リセットにより、電荷蓄積部の電位は、電源電圧ＶＤＤになる。リセットゲートＲＳＴは、オフされると、非導通状態になり、電荷の排出が阻止される。
【0054】
画素回路１１１Ａは、後述の定電流源ＣＳとともにソースフォロア回路４０を構成するトランジスタ２０を備える。トランジスタ２０は、増幅トランジスタ又はソースフォロアトランジスタとも呼ばれる。トランジスタ２０は、ゲート端子がフローティングディフュージョンＦＤ１（電荷蓄積部）に接続され、ドレイン端子が電源（電圧：ＶＤＤ）に接続されている。トランジスタ２０は、電荷蓄積部に蓄積された電荷量（及び電荷蓄積部の容量）に応じた電圧ｖｘ（画素信号）を、ソース端子に生じさせる。トランジスタ２０のソース端子に生じる電圧ｖｘ（画素信号）は、電源電圧ＶＤＤから、フローティングディフュージョンＦＤ１における電圧ＶＦＤ及びトランジスタのドレイン－ソース間電圧ＶＧＳ分、低下した電圧（ＶＤＤ－ＶＦＤ－ＶＧＳ）である。
【0055】
画素回路１１１Ａは、選択ゲートＳＥＬを備える。選択ゲートＳＥＬは、例えば、トランジスタ（選択トランジスタ）によって構成されている。選択ゲートＳＥＬは、オンされると、導通状態になり、トランジスタ２０のソース端子と画素信号の読み出しのための信号線１３５とを接続する。選択ゲートＳＥＬは、複数の画素回路１１１Ａ，１１１Ｂ，１１１Ｃ，１１１のうち、電荷蓄積部における電圧の読み出しの対象となる対象画素回路（対象画素）の選択のための素子である。対象画素回路が備える電荷蓄積部における電圧が、読み出し回路１３０によって読み出される。選択ゲートＳＥＬは、オフされると、非導通状態となり、トランジスタ２０と信号線１３５との間を非接続にする。
【0056】
画素回路１１１Ａは、第１スイッチングゲートＳＧを備える。第１スイッチングゲートＳＧは、例えば、トランジスタ（第１スイッチングトランジスタ）によって構成されている。第１スイッチングゲートＳＧは、オンされると、導通状態になり、画素回路１１１Ａの電荷蓄積部と、他の画素回路１１１Ｃの電荷蓄積部と、を接続する。第１スイッチングゲートＳＧは、オフされると、非導通状態になり、画素回路１１１Ａの電荷蓄積部と、他の画素回路１１１Ｃの電荷蓄積部と、を非接続にする。
【0057】
すなわち、第１スイッチングゲートＳＧは、その第１スイッチングゲートＳＧが設けられている画素回路１１１Ａに設けられた電荷蓄積部と、画素回路１１１Ａに隣接する他の画素回路１１１Ｃに設けられた電荷蓄積部と、の接続／非接続とを切り替えるための素子である。
【0058】
画素回路１１１Ａの第１スイッチングゲートＳＧが導通状態になると、画素回路１１１Ａの電荷蓄積部（フローティングディフュージョンＦＤ１）と、画素回路１１１Ｃの電荷蓄積部（フローティングディフュージョンＦＤ３）と、が接続される。
【0059】
また、画素回路１１１Ｂの第１スイッチングゲートＳＧが導通状態になると、画素回路１１１Ｂの電荷蓄積部（フローティングディフュージョンＦＤ２）と、画素回路１１１Ａの電荷蓄積部（フローティングディフュージョンＦＤ１）と、が接続される。
【0060】
画素回路１１１Ａの第１スイッチングゲートＳＧ及び画素回路１１１Ｂの第１スイッチングゲートＳＧの両方が導通状態になると、画素回路１１１Ｂの電荷蓄積部（フローティングディフュージョンＦＤ２）と、画素回路１１１Ａの電荷蓄積部（フローティングディフュージョンＦＤ１）と、画素回路１１１Ｃの電荷蓄積部（フローティングディフュージョンＦＤ３）と、が接続される。
【0061】
読み出し回路１３０は、前述のトランジスタ２０とともにソースフォロア回路４０を構成する定電流源ＣＳを備える。定電流源ＣＳは、信号線１３５に接続されている。読み出し回路１３０は、定電流源ＣＳに対して並列に、信号線１３５の中途に介在して設けられたキャパシタＣＣＤＳを備える。キャパシタＣＣＤＳは、後述の相関二重サンプリングに用いられる。
【0062】
読み出し回路１３０は、クリップゲートＣＬＰを備える。クリップゲートＣＬＰは、例えば、トランジスタ（クリップトランジスタ）によって構成されている。クリップゲートＣＬＰは、オンされると、導通状態になり、信号線１３５とグランドＧＮＤとを接続する。クリップゲートＣＬＰは、オフされると、非導通状態になり、信号線１３５とグランドＧＮＤとを非接続にする。クリップゲートＣＬＰの動作については後述する。
【0063】
なお、前述の各ゲートは、コントローラ１２０によって、駆動制御される。各ゲートの制御については後述する。
【0064】
図４は、実施形態に係る画素回路１１１Ａ，１１１Ｂ，１１１Ｃによって実現される特徴量演算のための畳み込み演算のためのフィルタＫ及びそのフィルタＫを用いた畳み込み演算を示している。注目画素（対象画素）における画素値をＩ（１）とし、Ｉ（１）に対して垂直方向に隣接する画素の画素値Ｉ（２），Ｉ（３）とした場合、注目画素（対象画素）における特徴量Ｉ’（１）は、水平ストライプフィルタＫを用いて、図４に示すように演算される。ここで、フィルタＫ＝（－０．５，１，－０．５）である。一般的には、画像認識器２００などで、このような特徴量抽出演算が行われるが、本実施形態では、イメージセンサ１００内部で、このような特徴量演算が行われる。
【0065】
図５及び図６は、コントローラ１２０が第１モード制御１２１時において、特徴量演算のために、コントローラ１２０が画素部１１０を制御する手順を示している。ここでは、図４に示す水平ストライプフィルタＫに対応して３画素分の演算を行うため、Ｊ－１行目の画素回路１１１Ｂ、Ｊ行目の画素回路１１１Ａ、及びＪ－１行目の画素回路１１１Ｃの計３つの画素回路の駆動方法について説明する。図５及び図６に示す駆動方法によって、図４に示すフィルタＫの畳み込み演算に相当する演算が、イメージセンサ１００内で実行される。
【0066】
まず、コントローラ１２０は、Ｊ行目の画素回路１１１Ａの選択ゲートＳＥＬ（Ｊ）及びクリップゲートＣＬＰをオンする（ステップＳ１１）。ここでは、Ｊ行目の画素回路１１１Ａが対象画素回路である。
【0067】
続いて、コントローラ１２０は、Ｊ－１行目の画素回路１１１ＢのリセットゲートＲＳＴ（Ｊ－１）、Ｊ行目の画素回路１１１ＡのリセットゲートＲＳＴ（Ｊ），Ｊ＋１行目の画素回路１１１ＣのリセットゲートＲＳＴ（Ｊ＋１）を全てオンする（ステップＳ１２）。これにより、Ｊ－１行目、Ｊ行目、Ｊ＋１行目それぞれのフローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３がリセットされる。フローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３の電位は、電源電圧ＶＤＤになる。
【0068】
その後、コントローラ１２０は、Ｊ行目の画素回路１１１Ａの第１スイッチングゲートＳＧ（Ｊ）及びＪ－１行目の画素回路の第１スイッチングゲートＳＧ（Ｊ－１）をオンするとともに、Ｊ－１行目の画素回路１１１Ｂの転送ゲートＴＧ（Ｊ－１）及びＪ＋１行目の画素回路１１１Ｃの転送ゲートＴＧ（Ｊ＋１）をオンする（ステップＳ１３）。
【0069】
Ｊ行目の画素回路１１１Ａの第１スイッチングゲートＳＧ（Ｊ）及びＪ－１行目の画素回路の第１スイッチングゲートＳＧ（Ｊ－１）がオンされることで、３つのフローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３が接続される。これにより、３つのフローティングディフュージョンＦＤが、協働して電荷を蓄積できる。
【0070】
また、Ｊ－１行目の画素回路１１１Ｂの転送ゲートＴＧ（Ｊ－１）及びＪ＋１行目の画素回路１１１Ｃの転送ゲートＴＧ（Ｊ＋１）がオンされることで、Ｊ－１行目の画素回路１１１Ｂの光電変換素子ＰＤの第２電荷Ｑ（Ｊ－１）及びＪ＋１行目の光電変換素子ＰＤの第３電荷Ｑ（Ｊ＋１）が転送される。
【0071】
図７に示すように、第２電荷Ｑ（Ｊ－１）及び第３電荷Ｑ（Ｊ＋１）は、互いに接続された３つのフローティングディフュージョンＦＤ１、ＦＤ２，ＦＤ３へ分配されるよう転送される。第２電荷Ｑ（Ｊ－１）及び第３電荷Ｑ（Ｊ＋１）の和｛Ｑ（Ｊ－１）＋Ｑ（Ｊ＋１）｝は、３つのフローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３へ均等に分配される。
【0072】
なお、ステップＳ１３の時点において、第２スイッチングゲートＳＧ２（Ｊ）は、オフされているため、各画素回路１１１Ａ，１１１Ｂ，１１１Ｃの電荷蓄積部の容量は、フローティングディフュージョンＦＤの第１容量＝ＣＦＤである。
【0073】
ここでは、電荷を、３つのフローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３（第１電荷蓄積部ＦＤ１、第２電荷蓄積部ＦＤ２、第３電荷蓄積部ＦＤ３）に分配したことで、各フローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３には、それぞれ、｛Ｑ（Ｊ－１）＋Ｑ（Ｊ＋１）｝／３の電荷が蓄積されている。つまり、フローティングディフュージョンＦＤ１には、｛Ｑ（Ｊ－１）＋Ｑ（Ｊ＋１）｝／３の電荷が蓄積される（図７参照）。
【0074】
電荷を３か所に分配して蓄積することで、｛Ｑ（Ｊ－１）＋Ｑ（Ｊ＋１）｝を「３」で除した値に相当する電荷量の蓄積が実現される。つまり、分配数（ここでは、３）に応じた除算が実現される。このように、複数のフローティングディフュージョンＦＤ（電荷蓄積部）へ電荷が分配されるよう、電荷の転送が制御されることで、電荷｛Ｑ（Ｊ－１）＋Ｑ（Ｊ＋１）｝の除算が実現される。
【0075】
ここでは、２個（ｎ＝２）の光電変換素子ＰＤにおいて生じた電荷を、３個（ｍ＝３）の電荷蓄積部に分配したが、これに限られるものではない。除算を実現する場合、ｎは、１以上の自然数であればよく、ｍは２以上の自然数であればよい。例えば、１個（ｎ＝１）の光電変換素子ＰＤにおいて生じた電荷を、ｍ個の電荷蓄積部に分配してもよい。また、３個（ｍ＝３）以上の光電変換素子において生じた電荷を、ｍ個の電荷蓄積部に分配してもよい。ｍは、ｎより大きいのが好ましい。
【0076】
ステップＳ１３の時点で、クリップゲートＣＬＰ（及び画素回路１１１Ａの選択ゲートＳＥＬ（Ｊ））はオンされているため、フローティングディフュージョンＦＤ１の電圧ＶＦＤ＝｛Ｑ（Ｊ－１）＋Ｑ（Ｊ＋１）｝／３ＣＦＤに応じた電位差が、キャパシタＣＣＤＳの両端において生じる。ここで生じるキャパシタＣＣＤＳの両端電位差は、ＶＤＤ－｛Ｑ（Ｊ－１）＋Ｑ（Ｊ＋１）｝／３ＣＦＤ－ＶＧＳである。
【0077】
そして、コントローラ１２０は、クリップゲートＣＬＰをオフする（ステップＳ１４）。クリップゲートＣＬＰがオフされることで、キャパシタＣＣＤＳの両端電位差が保持される。すなわち、キャパシタＣＣＤＳに、前述の除算結果｛Ｑ（Ｊ－１）＋Ｑ（Ｊ＋１）｝／３に応じた信号が保持される。
【0078】
続いて、コントローラ１２０は、Ｊ行目の画素回路１１１ＡのリセットゲートＲＳＴ（Ｊ）をオンする（ステップＳ１５）。これにより、画素回路１１１ＡのフローティングディフュージョンＦＤがリセットされる。また、ステップＳ１５に先立って、第２スイッチングゲートＳＧ２（Ｊ）がオンされている。第２スイッチングゲートＳＧ２（Ｊ）がオンされることで、第２キャパシタとしての第２スイッチングゲートＳＧ２（Ｊ）も、画素回路１１１Ａの電荷蓄積部を構成する。つまり、ステップＳ１５（及び次のステップＳ１６）の時点において、画素回路１１１Ａの電荷蓄積部の容量は、第１容量＋第２容量＝ＣＦＤ＋０．５ＣＦ＝１．５ＣＦＤ［Ｆ］である。なお、ステップＳ１５では、第２スイッチングゲートＳＧ２（Ｊ）もリセットされる。
【0079】
そして、コントローラ１２０は、Ｊ行目の画素回路１１１Ａの転送ゲートＴＧ（Ｊ）をオンする（ステップＳ１６）。転送ゲートＴＧがオンされることで、画素回路１１１Ａの光電変換素子ＰＤに蓄積された第１電荷Ｑ（Ｊ）が、画素回路１１１Ａの電荷蓄積部へ転送される。第１電荷Ｑ（Ｊ）は、電荷蓄積部を構成するフローティングディフュージョンＦＤ１及び第２スイッチングゲートＳＧ２へ、電荷が分配されるよう転送される（図８参照）。
【0080】
なお、ステップＳ１６の時点では、画素回路１１１Ａの第１スイッチングゲートＳＧ（Ｊ）及び画素回路１１１Ｂの第１スイッチングゲートＳＧ（Ｊ－１）は、オフされているため、第１電荷Ｑ（Ｊ）は、画素回路１１１Ａの電荷蓄積部にだけ転送される。
【0081】
ステップＳ１６の時点において、画素回路１１１Ａの電荷蓄積部の容量は、１．５ＣＦＤ［Ｆ］であるため、第１電荷Ｑ（Ｊ）が電荷蓄積部に蓄積されると、フローティングディフュージョンＦＤ１の電圧ＶＦＤは、ＶＦＤ＝Ｑ（Ｊ）／１．５ＣＦＤになる。
【0082】
したがって、画素信号ｖｘ＝ＶＤＤ－Ｑ（Ｊ）／１．５ＣＦＤ－ＶＧＳとなる（図８参照）。読み出し回路１３０の出力信号ｖｏｕｔは、キャパシタＣＣＤＳの両端電位差（第２電圧）と、画素信号ｖｘ（第１電圧）と、の差分となるため、出力信号ｖｏｕｔ＝２｛Ｑ（Ｊ）－０．５Ｑ（Ｊ－１）－０．５Ｑ（Ｊ＋１）｝／３ＣＦＤが得られる（図８参照）。すなわち、出力信号ｖｏｕｔは、第１電荷量Ｑ（Ｊ）に応じた第１電圧と、３つ電荷蓄積部のうち画素回路１１１Ａの電荷蓄積部に蓄積された電荷量｛Ｑ（Ｊ－１）＋Ｑ（Ｊ＋１）｝／３に応じた第２電圧と、の差に応じた信号である。
【0083】
実施形態においては、一例として、出力信号ｖｏｕｔとして、｛Ｑ（Ｊ）－０．５Ｑ（Ｊ－１）－０．５Ｑ（Ｊ＋１）｝に応じた信号が得られる。｛Ｑ（Ｊ）－０．５Ｑ（Ｊ－１）－０．５Ｑ（Ｊ＋１）｝は、第１電荷Ｑ（Ｊ）に１を乗じたものと、Ｑ（Ｊ－１）に－０．５を乗じたものと、Ｑ（Ｊ＋１）に－０．５を乗じたものと、の和である。したがって、｛Ｑ（Ｊ）－０．５Ｑ（Ｊ－１）－０．５Ｑ（Ｊ＋１）｝は、Ｑ（Ｊ），Ｑ（Ｊ－１），Ｑ（Ｊ＋１）に図４に示すフィルタＫを乗じた結果（特徴量）と等価である。したがって、電荷の転送の制御の結果として得られる出力信号ｖｏｕｔとして、特徴量が得られる。なお、出力信号ｖｏｕｔも画素信号である。
【0084】
以上のように、実施形態に係る特徴量演算は、電荷の転送の制御によって実現される。電荷の転送の制御は、画素回路１１１等に含まれるゲートのスイッチングで足りるため、非特許文献１のようにオペアンプを用いた演算に比べて、消費電力が小さい。実施形態に係るイメージセンサ１００は、標準的なＣＭＯＳイメージセンサ製造プロセスで製造でき、非特許文献１のように特殊な製造プロセス（ＩＧＺＯ）を必要としないため、製造コストが低い。
【0085】
以上の説明では、垂直方向の３つの画素（画素回路１１１Ａ，１１１Ｂ，１１１Ｃ）に対する演算を例示的に説明したが、演算対象となる画素の数は、３つに限定されるものではなく、例えば、５つ又はそれ以上であってもよい。
【0086】
また、演算対象となる複数の画素は、垂直方向の複数の画素に限られず、水平方向の複数の画素であってもよい。水平方向の複数の画素が演算対象となる場合、垂直ストライプフィルタの演算が可能である。さらに、演算対象となる複数の画素は、垂直方向及び水平方向の２次元範囲に含まれる複数の画素であってもよく、この場合、ラプラシアンフィルタの演算が可能である。
【0087】
垂直ストライプフィルタの演算をするためには、前述のステップＳ１３において、水平方向に複数の画素回路１１１（のフローティングディフュージョン）が接続される必要がある。また、ラプラシアンフィルタの演算をするためには、前述のステップＳ１３において、垂直方向及び水平方向に複数の画素回路１１１（のフローティングディフュージョン）が接続される必要がある。
【0088】
図９は、垂直方向及び水平方向における接続のための画素回路１１１の構成を示している。図９では、図３に示す第１スイッチングゲートＳＧが、垂直方向第１スイッチングゲートＳＧＶとして表されている。垂直方向第１スイッチングゲートＳＧＶは、垂直方向に隣接する他の画素回路１１１の電荷蓄積部との接続を担う。また、図９では、図３に示す画素回路１１１Ａに、水平方向第１スイッチングゲートＳＧＨが追加されている。水平方向第１スイッチングゲートＳＧＨは、水平方向に隣接する他の画素回路１１１の電荷蓄積部との接続を担う。図９において、その他の構成は、図３と同様である。
【0089】
水平方向第１スイッチングゲートＳＧＨは、例えば、トランジスタによって構成されている。水平方向第１スイッチングゲートＳＧＨは、オンされると、導通状態になり、水平方向第１スイッチングゲートＳＧＨが設けられている画素回路１１１の電荷蓄積部と、水平方向にある他の画素回路１１１の電荷蓄積部と、を接続する。水平方向第１スイッチングゲートＳＧＨは、オフされると、非導通状態になり、水平方向第１スイッチングゲートＳＧＨが設けられている画素回路１１１の電荷蓄積部と、水平方向にある他の画素回路１１１の電荷蓄積部と、を非接続にする。
【0090】
垂直方向第１スイッチングゲートＳＧＶをオンにした場合、垂直方向の複数の画素回路１１１が接続され、水平ストライプフィルタの演算が可能である。水平方向第１スイッチングゲートＳＧＨをオンにした場合、水平方向の複数の画素回路１１１が接続され、垂直ストライプフィルタの演算が可能である。垂直方向第１スイッチングゲートＳＧＶ及び水平方向第１スイッチングゲートＳＧＨをオンにした場合、垂直方向及び水平方向の複数の画素回路１１１が接続され、ラプラシアンフィルタの演算が可能である。
【0091】
図１０は、特徴量画像の求め方の例を示している。前述の説明では、１つの対象画素の特徴量＝２｛Ｑ（Ｊ）－０．５Ｑ（Ｊ－１）－０．５Ｑ（Ｊ＋１）｝／３ＣＦＤの求め方を説明した。特徴量画像は、前述の特徴量が全画素について求められたものである。
【0092】
実施形態においては、図１０に示すように、１つの特徴量画像の取得は、第１フレーム、第２フレーム、及び第３フレームの計３つのフレームで行われる。一例として、図１０に示すように、第１フレームでは、２行目、５行目、８行目・・・の画素回路１１１から読み出しをするべく、選択ゲートＳＥＬ（２），ＳＥＬ（５），ＳＥＬ（８）・・・がオンされる。第２フレームでは、３行目、６行目、９行目・・・の画素回路１１１から読み出しをするべく、選択ゲートＳＥＬ（３），ＳＥＬ（６），ＳＥＬ（９）がオンされる。第３フレームでは、４行目、７行目、１０行目・・・の画素回路１１１から読み出しをするべく、選択ゲートＳＥＬ（４），ＳＥＬ（７），ＳＥＬ（１０）・・・がオンされる。３つのフレームにおいて読み出しをすることで、１つの特徴量画像が得られる。
【0093】
異なるフレーム（異なる時間）において、光電変換素子ＰＤに蓄積された電荷は、異なるため、動体ブレが発生するおそれがある。ただし、イメージセンサ１００を十分に高速動作させることで、動体ブレを十分に軽減できる。例えば、３０フレーム／秒でイメージセンサ１００を動作させれば、３３ミリ秒で水平ストライプフィルタの畳み込み演算が可能である。また、３×３のラプラシアンｆｉｌｔｅｒの場合は、９０フレーム／秒でイメージセンサ１００を動作させれば、３３ミリ秒で畳み込み演算が可能である。また、特徴量の抽出時には、後述のように低分解能信号を読み出すことで、高速動作が可能である。また、低消費電力で動作が可能である。
【0094】
図１１及び図１２は、コントローラ１２０が第２モード制御１２２時において、高解像度画像を得るために、コントローラ１２０が画素部１１０を制御する手順を示している。第２モード制御１２２では、相関二重サンプリング方により画素信号が読み出される。
【0095】
まず、コントローラ１２０は、対象画素回路であるＪ行目の画素回路１１１Ａの選択ゲートＳＥＬ（Ｊ）及びクリップゲートＣＬＰをオンする（ステップＳ２１）。
【0096】
続いて、コントローラ１２０は、Ｊ行目の画素回路１１１ＡのリセットゲートＲＳＴ（Ｊ）をオンする（ステップＳ２２）。これにより、Ｊ行目のフローティングディフュージョンＦＤ１がリセットされる。このときの画素回路１１１Ａの画素信号の電圧ｖｘを、リセット電圧ＶＲＳＴという。
【0097】
そして、コントローラ１２０は、クリップゲートＣＬＰをオフする（ステップＳ２３）。これにより、キャパシタＣＣＤＳの両端電位差としてリセット電圧ＶＲＳＴが保持される。
【0098】
コントローラ１２０は、Ｊ行目の画素回路１１１Ａの転送ゲートＴＧ（Ｊ）をオンする（ステップＳ２４）。転送ゲートＴＧがオンされることで、画素回路１１１Ａの光電変換素子ＰＤに蓄積された第１電荷Ｑ（Ｊ）が、画素回路１１１Ａの電荷蓄積部（フローティングディフュージョンＦＤ１）へ転送される。画素回路１１１Ａの画素信号の電圧ｖｘは、フローティングディフュージョンＦＤ１に蓄積された電荷に応じた信号電圧ＶＳＩＧになる。読み出し回路１３０の出力信号ｖｏｕｔは、キャパシタＣＣＤＳの両端電位差と、画素信号ｖｘと、の差分となるため、出力信号ｖｏｕｔ＝として、ＶＳＩＧとＶＲＳＴとの差分信号が得られる。ＶＳＩＧとＶＲＳＴとの差分信号は、光電変換素子ＰＤにおいて生じた電荷量に応じた大きさを持つ。ＶＳＩＧとＶＲＳＴとの差分信号は、高解像度画像を構成する１画素の値を示す。
【0099】
さて、図１３は、図３に示すソースフォロア回路４０に含まれる定電流源ＣＳの構成を示している。図１３に示す定電流源ＣＳは、直流電源３１（定電圧源）とトランジスタ３２とを備える。トランジスタ３２は、トランジスタ２０のソースに、選択ゲートＳＥＬを介して、接続されている。定電流源ＣＳを含むソースフォロア回路４０を用いた相関二重サンプリングによって、高解像度画像のための画素信号ｖｘを読み出す場合、ｖｘは、図１４に示すような波形になる。前述のようにＶＳＩＧとＶＲＳＴとの差分信号が画素値になる。
【0100】
図１３のような定電流源ＣＳを用いて画素信号ｖｘを読み出すと高分解能出力が得られるため、イベント動作１２２（第２モード制御）時における高解像度画像の取得には有利である。しかし、定電流源ＣＳを用いているために、ソースフォロア回路４０に直流電流が流れ、消費電力が大きくなる。
【0101】
そこで、図１５に示すように、トランジスタ３２のゲートに、定電圧ではなく、クロックＣＬＫ（パルス信号）を与える。したがって、トランジスタ３２は、トランジスタ２０のソースに接続されたスイッチング回路５０を構成する。トランジスタ３２にクロックＣＬＫが与えられることにより、トランジスタ３２が定電流源ＣＳとして機能する場合に比べて、消費電力を小さくできる。図１５に示すソースフォロア回路４０をプリチャージ（pre-charge）型と呼ぶ。
【0102】
図１６は、プリチャージ型ソースフォロア回路４０の動作のためのタイミングチャートを示している。まず、コントローラ１２０は、画素回路１１１の選択ゲートＳＥＬをオフにした状態で、リセットゲートＲＳＴをオンする。これにより、フローティングディフュージョンＦＤがリセットされる。
【0103】
そして、コントローラ１２０は、クロックＣＬＫをＨｉｇｈにし、トランジスタ３２をオンにする（ステップＳ３２）。これにより、トランジスタ３２が導通状態になり、ｖｘがグランド電位になる。
【0104】
続いて、コントローラ１２０は、クロックＣＬＫをＬｏｗにするとともに、選択ゲートＳＥＬをオンにする（ステップＳ３２）。これにより、ｖｘがグランドから切り離され、トランジスタ２０に接続されるため、ｖｘの電位が、グランド電位から徐々に上昇する。ｖｘは、フローティングディフュージョンＦＤの電圧ＶＦＤに応じた電圧Ｖ１まで上昇する。電圧Ｖ１は、例えば、リセット電圧ＶＲＳＴ又は前述の電圧｛ＶＤＤ－｛Ｑ（Ｊ－１）＋Ｑ（Ｊ＋１）｝／３ＣＦＤ－ＶＧＳ｝である（ステップＳ１３参照）。
【0105】
さらに、コントローラ１２０は、選択ゲートＳＥＬをオフし、転送ゲートＴＧをオンするとともにクロックをＨｉｇｈにする（ステップＳ３３）。これにより、光電変換素子ＰＤに蓄積された電荷が、電荷蓄積部（フローティングディフュージョンＦＤ）へ転送される。また、クロックＣＬＫがＨｉｇｈにされることで、ｖｘがグランド電位になる。
【0106】
コントローラ１２０は、クロックＣＬＫをＬｏｗにするとともに、選択ゲートＳＥＬをオンにする（ステップＳ３４）。これにより、ｖｘの電位が、グランド電位から徐々に上昇する。ｖｘは、フローティングディフュージョンＦＤの電圧ＶＦＤに応じた電圧Ｖ２まで上昇する。ｖｘは、フローティングディフュージョンＦＤに蓄積された電荷に応じた電圧Ｖ２まで上昇する。電圧Ｖ２は、例えば、信号電圧ＶＳＩＧ又は前述の電圧｛ＶＤＤ－Ｑ（Ｊ）／１．５ＣＦＤ－ＶＧＳ｝である。
【0107】
ソースフォロア回路４０が、図１５に示すように構成されていることで、スイッチング動作で読み出しを行えるため、定電流源ＣＳを用いたソースフォロア回路４０に比べて消費電力を低減できる。
【0108】
なお、図１５に示す回路の場合、定電流源ＣＳを用いないため、整定誤差が大きくなる。すなわち、Ｖ１，Ｖ２の誤差が大きくなる。ただし、特徴量は、高分解能出力を必要としないため、誤差の発生はさほど問題にならない。
【0109】
コントローラ１２０は、通常動作１２１（第１モード制御１２１）のときは、トランジスタ３２のゲートにクロックＣＬＫを与えて、低消費電力で特徴量を読み出すことができる。また、コントローラ１２０は、イベント動作１２２（第２モード制御１２２）のときは、トランジスタ３２のゲートに定電圧を与えて、トランジスタ３２を定電流源ＣＳとして動作させて、高解像度画像のための画素値を高精度で読み出すことができる。
【0110】
図１７及び図１９は、読み出し回路１３０に含まれるアナログデジタルアナログコンバータ６０（ＡＤＣ６０）を示している。なお、図１７及び図１９に示されるｖｙは、図３のｖｏｕｔに相当する。ＡＤＣ６０は、画素信号ｖｙ（図３の出力信号ｖｏｕｔ）を、デジタル信号に変換する。
【0111】
ＡＤＣ６０は、アンプ６１（プリアンプ６１）と比較器６２とを備える。アンプ６１は、画素信号ｖｙと参照信号ＶＤＡＣとの差分を増幅して出力するオペアンプである。参照信号ＶＤＡＣは、デジタルアナログコンバータ６３（ＤＡＣ６３）から出力される。画素信号ｖｙは、例えば、アンプ６１の反転入力（－）に与えられ、参照信号ＶＤＡＣは、アンプ６１の非反転入力（＋）に与えられる。アンプ６１の非反転入力とアンプ６１の出力とは、スイッチング素子ＡＺ（トランジスタ）を介して接続されている。アンプ６１の出力は、２入力の比較器６２の一方の入力として与えられる。比較器６２の他方の入力は、スイッチング素子ＣＴＲ（トランジスタ）を介して、ＤＡＣ６３に接続されている。比較器６２は、ラッチ型比較器であり、比較結果を保持できる。
【0112】
ＡＤＣ６０は、高解像度画像を出力する際には、アンプ６１とラッチ型比較器６２とを用いて画素信号ｖｙと参照信号ＶＤＡＣとを比較することで、画素信号ｖｙをデジタル信号に変換する。
【0113】
すなわち、高解像度画像を出力するイベント動作１２２（第２モード制御１２２）においては、図１７及び図１８に示すように、コントローラ１２０は、まず、クリップゲートＣＬＰをオフし、スイッチング素子ＡＺをオンする（ステップＳ４１）。これにより、ｖｘが読み出され、ｖｙがｖｘに応じた電位まで状況する。
【0114】
続いて、コントローラ１２０は、スイッチング素子ＡＺをオフする（ステップＳ４２）。これにより、アンプ６１が比較器として動作する。つまり、アンプ６１は、画素信号ｖｙと参照信号ＶＤＡＣとの差分を出力する。差分は、ラッチ型比較器６２の一方の入力に与えられ、ラッチ型比較器６２によって保持される。差分が小さくなるように、参照信号ＶＤＡＣの大きさを調整する二分探索が行われることで、画素信号ｖｙがデジタル信号に変換される。高解像度画像を出力する場合、アンプ６１が動作するため、アンプ６１による電力消費が大きくなる。
【0115】
なお、以上の場合において、スイッチング素子ＣＴＲは、グランド側に切り替えられている。したがって、ラッチ型比較器６２の他方の入力にはグランド電位が与えられる。
【0116】
一方、特徴量画像は高分解能出力を必要としないため、特徴量画像を出力する通常動作１２１（第１モード制御１２１）においては、アンプ６１がオフされており、ＡＤＣ６０は、図１９及び図２０に示すように動作する。
【0117】
すなわち、特徴量画像を出力する通常動作１２１（第１モード制御１２１）においては、コントローラ１２０は、まず、クリップゲートＣＬＰをオンする（ステップＳ５１）。このとき、スイッチング素子ＡＺはオンされている。これにより、ｖｘが読み出され、ｖｙがｖｘに応じた電位まで上昇する。
【0118】
続いて、コントローラ１２０は、クリップゲートＣＬＰをオフする（ステップＳ５１）。これにより、画素信号ｖｙが保持される。
【0119】
このとき、スイッチング素子ＡＺがオンされているため、画素信号ｖｙは、スイッチング素子ＡＺを介して、ラッチ型比較器６２の一方の入力に与えられる。このとき、スイッチング素子ＣＴＲは、ＤＡＣ６３に接続されているため、ラッチ型比較器６２の他方の入力には、ＤＡＣ６３から出力された参照信号ＶＤＡＣが与えられる。
【0120】
したがって、通常動作１２１（第１モード制御１２１）においては、ラッチ型比較器６２が、画素信号ｖｙと参照信号ＶＤＡＣとの差分を出力する。差分が小さくなるように、参照信号ＶＤＡＣの大きさを調整する二分探索が行われることで、画素信号ｖｙがデジタル信号に変換される。通常動作１２１（第１モード制御１２１）においては、アンプ６１が用いられないため、アンプ６１への電力供給を停止できる。したがって、消費電力が少なくなる。
【0121】
＜３．付記＞
【0122】
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
【符号の説明】
【0123】
１０ ：画像認識システム
２０ ：トランジスタ
３１ ：直流電源
３２ ：トランジスタ
４０ ：ソースフォロア回路
５０ ：スイッチング回路
６０ ：アナログデジタルアナログコンバータ
６１ ：アンプ
６２ ：ラッチ型比較器
６３ ：デジタルアナログコンバータ
１００ ：イメージセンサ
１１０ ：画素部
１１１ ：画素回路
１１１Ａ ：画素回路
１１１Ｂ ：画素回路
１１１Ｃ ：画素回路
１２０ ：コントローラ
１２１ ：第１モード制御
１２２ ：第２モード制御
１２５ ：切替器
１３０ ：読み出し回路
１３５ ：信号線
１４０ ：垂直走査回路
１５０ ：水平走査回路
２００ ：画像認識器
２１０ ：機械学習モデル
２２０ ：イベント検出器
ＡＺ ：スイッチング素子
ＣＦＤ ：第１容量
ＣＬＫ ：クロック
ＣＬＰ ：クリップゲート
ＣＳ ：定電流源
ＣＴＲ ：スイッチング素子
ＦＤ ：フローティングディフュージョン
ＦＤ１ ：フローティングディフュージョン
ＦＤ２ ：フローティングディフュージョン
ＦＤ３ ：第３電荷蓄積部
ＧＮＤ ：グランド
Ｋ ：水平ストライプフィルタ
ＰＤ ：光電変換素子
Ｑ（Ｊ） ：第１電荷
Ｑ（Ｊ－１）：第２電荷
Ｑ（Ｊ＋１）：第３電荷
ＲＳＴ ：リセットゲート
ＳＥＬ ：選択ゲート
ＳＧ ：第１スイッチングゲート
ＳＧ２ ：第２スイッチングゲート
ＳＧＨ ：水平方向第１スイッチングゲート
ＳＧＶ ：垂直方向第１スイッチングゲート
ＴＧ ：転送ゲート
Ｖ１ ：電圧
Ｖ２ ：電圧
ＶＤＤ ：電源電圧
ＶＦＤ ：電圧
ＶＲＳＴ ：リセット電圧
ＶＳＩＧ ：信号電圧
ｖｏｕｔ ：出力信号（画素信号）
ｖｘ ：画素信号
ｖｙ ：画素信号
２０ ：トランジスタ
３１ ：直流電源
３２ ：トランジスタ
４０ ：ソースフォロア回路
５０ ：スイッチング回路
６０ ：アナログデジタルアナログコンバータ
６１ ：アンプ
６２ ：ラッチ型比較器
６３ ：デジタルアナログコンバータ
１００ ：イメージセンサ
１１０ ：画素部
１１１ ：画素回路
１１１Ａ ：画素回路
１１１Ｂ ：画素回路
１１１Ｃ ：画素回路
１２０ ：コントローラ
１２１ ：第１モード制御
１２２ ：第２モード制御
１２５ ：切替器
１３０ ：読み出し回路
１３５ ：信号線
１４０ ：垂直走査回路
１５０ ：水平走査回路
２００ ：画像認識器
２１０ ：機械学習モデル
２２０ ：イベント検出器
ＡＺ ：スイッチング素子
ＣＦＤ ：第１容量
ＣＬＫ ：クロック
ＣＬＰ ：クリップゲート
ＣＳ ：定電流源
ＣＴＲ ：スイッチング素子
ＦＤ ：フローティングディフュージョン
ＦＤ１ ：フローティングディフュージョン
ＦＤ２ ：フローティングディフュージョン
ＦＤ３ ：第３電荷蓄積部
ＧＮＤ ：グランド
Ｋ ：水平ストライプフィルタ
ＰＤ ：光電変換素子
Ｑ（Ｊ） ：第１電荷
Ｑ（Ｊ－１）：第２電荷
Ｑ（Ｊ＋１）：第３電荷
ＲＳＴ ：リセットゲート
ＳＥＬ ：選択ゲート
ＳＧ ：第１スイッチングゲート
ＳＧ２ ：第２スイッチングゲート
ＳＧＨ ：水平方向第１スイッチングゲート
ＳＧＶ ：垂直方向第１スイッチングゲート
ＴＧ ：転送ゲート
Ｖ１ ：電圧
Ｖ２ ：電圧
ＶＤＤ ：電源電圧
ＶＦＤ ：電圧
ＶＲＳＴ ：リセット電圧
ＶＳＩＧ ：信号電圧
ｖｏｕｔ ：出力信号（画素信号）
ｖｘ ：画素信号
ｖｙ ：画素信号
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】