(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024158002
(43)【公開日】2024-11-08
(54)【発明の名称】重みづけ加算回路及び固体撮像装置
(51)【国際特許分類】
H04N 25/78 20230101AFI20241031BHJP
【ＦＩ】
H04N25/78
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023072751
(22)【出願日】2023-04-26
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(72)【発明者】
【氏名】半澤 克彦
【テーマコード（参考）】
5C024
【Ｆターム（参考）】
5C024CY16
5C024CY18
5C024GX03
5C024GX16
5C024GY31
5C024HX13
5C024HX23
5C024HX28
5C024HX35
5C024HX50
5C024HX57
(57)【要約】
【課題】読出し線の配線数の増加を抑制しつつ、重みづけ加算数を増加することができる重みづけ加算回路及び固体撮像装置を提供する。
【解決手段】本開示の重みづけ加算回路は、固体撮像装置の垂直信号線に読み出された複数の信号の入力を受け付ける読出し配線と、前記垂直信号線及び前記読み出し配線を接続し、または切り離す第１のスイッチと、前記複数の信号をサンプルホールドする複数の容量と、前記読出し配線及び前記容量を接続し、または切り離す複数の第２スイッチとを備える。
【選択図】図３
【解決手段】本開示の重みづけ加算回路は、固体撮像装置の垂直信号線に読み出された複数の信号の入力を受け付ける読出し配線と、前記垂直信号線及び前記読み出し配線を接続し、または切り離す第１のスイッチと、前記複数の信号をサンプルホールドする複数の容量と、前記読出し配線及び前記容量を接続し、または切り離す複数の第２スイッチとを備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
固体撮像装置の垂直信号線に読み出された複数の信号の入力を受け付ける読出し配線と、
前記垂直信号線及び前記読み出し配線を接続し、または切り離す第１のスイッチと、
前記複数の信号をサンプルホールドする複数の容量と、
前記読出し配線及び前記容量を接続し、または切り離す複数の第２スイッチとを備える、
重みづけ加算回路。
前記垂直信号線及び前記読み出し配線を接続し、または切り離す第１のスイッチと、
前記複数の信号をサンプルホールドする複数の容量と、
前記読出し配線及び前記容量を接続し、または切り離す複数の第２スイッチとを備える、
重みづけ加算回路。
【請求項2】
前記固体撮像装置は、
前記複数の信号を保持する機構を有するセルアレイと、
前記セルアレイから前記複数の信号を読み出す前記垂直信号線と、
前記重みづけ加算回路で重みづけ加算された信号のＡＤ変換を行うＡＤ変換部とを備え、
前記重みづけ加算回路は、前記セルアレイと、前記垂直信号線と、前記ＡＤ変換部とに接続される、
請求項１に記載の重みづけ加算回路。
前記複数の信号を保持する機構を有するセルアレイと、
前記セルアレイから前記複数の信号を読み出す前記垂直信号線と、
前記重みづけ加算回路で重みづけ加算された信号のＡＤ変換を行うＡＤ変換部とを備え、
前記重みづけ加算回路は、前記セルアレイと、前記垂直信号線と、前記ＡＤ変換部とに接続される、
請求項１に記載の重みづけ加算回路。
【請求項3】
前記重みづけ加算回路は、
前記垂直信号線に順次読み出された前記複数の信号を順次サンプルホールドし、
前記複数の信号のサンプルホールドの完了後に、重みづけ加算を行う、
請求項１に記載の重みづけ加算回路。
前記垂直信号線に順次読み出された前記複数の信号を順次サンプルホールドし、
前記複数の信号のサンプルホールドの完了後に、重みづけ加算を行う、
請求項１に記載の重みづけ加算回路。
【請求項4】
前記セルアレイに含まれる複数のセルは、フォトダイオードを含む画素、またはメモリアレイに含まれるメモリである、請求項２に記載の重みづけ加算回路。
【請求項5】
前記重みづけ加算回路は、前記複数の容量における前記読出し配線側の端子とは逆側の端子に、端子電圧の値を切り替え可能とする第４のスイッチをさらに含む、請求項２に記載の重みづけ加算回路。
【請求項6】
前記ＡＤ変換部は、前記重みづけ加算回路が前記第４のスイッチの切り替えに基づいて生成したＤＡＣ信号と、前記重みづけ加算された信号との逐次比較動作を実施する、請求項５に記載の重みづけ加算回路。
【請求項7】
複数の信号を保持する機構を有するセルアレイと、
前記セルアレイから前記複数の信号を読み出す垂直信号線と、
前記垂直信号線に読み出された前記複数の信号をサンプルホールドし、重みづけ加算を行う重みづけ加算回路と、
前記重みづけ加算回路で重みづけ加算された信号のＡＤ変換を行うＡＤ変換部とを備え、
前記重みづけ加算回路は、
前記垂直信号線に読み出された前記複数の信号の入力を受け付ける読出し配線と、
前記垂直信号線及び前記読み出し配線を接続し、または切り離す第１のスイッチと、
前記複数の信号をサンプルホールドする複数の容量と、
前記読出し配線及び前記容量を接続し、または切り離す複数の第２スイッチとを含む、
固体撮像装置。
前記セルアレイから前記複数の信号を読み出す垂直信号線と、
前記垂直信号線に読み出された前記複数の信号をサンプルホールドし、重みづけ加算を行う重みづけ加算回路と、
前記重みづけ加算回路で重みづけ加算された信号のＡＤ変換を行うＡＤ変換部とを備え、
前記重みづけ加算回路は、
前記垂直信号線に読み出された前記複数の信号の入力を受け付ける読出し配線と、
前記垂直信号線及び前記読み出し配線を接続し、または切り離す第１のスイッチと、
前記複数の信号をサンプルホールドする複数の容量と、
前記読出し配線及び前記容量を接続し、または切り離す複数の第２スイッチとを含む、
固体撮像装置。
【請求項8】
前記重みづけ加算回路は、
前記垂直信号線に順次読み出された前記複数の信号を順次サンプルホールドし、
前記複数の信号のサンプルホールドの完了後に、重みづけ加算を行う、
請求項７に記載の固体撮像装置。
前記垂直信号線に順次読み出された前記複数の信号を順次サンプルホールドし、
前記複数の信号のサンプルホールドの完了後に、重みづけ加算を行う、
請求項７に記載の固体撮像装置。
【請求項9】
前記セルアレイに含まれる複数のセルは、フォトダイオードを含む画素、またはメモリアレイに含まれるメモリである、請求項７に記載の固体撮像装置。
【請求項10】
前記複数の容量は、互いに静電容量が異なる第１の容量と第２の容量を含む、請求項７に記載の固体撮像装置。
【請求項11】
前記垂直信号線と、前記重みづけ加算回路との間には、前記複数の信号の入力の遅延時間を設けるバッファ回路が接続される、請求項７に記載の固体撮像装置。
【請求項12】
前記重みづけ加算回路は、
前記第１の容量及び前記第２の容量がサンプルホールドする際の静電容量の差を調整する、１または複数のダミー容量と、
前記読出し配線及び前記ダミー容量を接続し、または切り離す１または複数の第３のスイッチとをさらに含む、
請求項１０に記載の固体撮像装置。
前記第１の容量及び前記第２の容量がサンプルホールドする際の静電容量の差を調整する、１または複数のダミー容量と、
前記読出し配線及び前記ダミー容量を接続し、または切り離す１または複数の第３のスイッチとをさらに含む、
請求項１０に記載の固体撮像装置。
【請求項13】
前記重みづけ加算回路は、前記第１の容量と、前記第２の容量との静電容量の差に基づいて、１または複数の前記ダミー容量に電荷を蓄える、請求項１２に記載の固体撮像装置。
【請求項14】
複数の信号を保持する機構を有するセルアレイと、
前記セルアレイから前記複数の信号を読み出す垂直信号線と、
前記垂直信号線に読み出された前記複数の信号をサンプルホールドし、正の値の重みづけ加算を行う第１の重みづけ加算回路と、
前記垂直信号線に読み出された前記複数の信号をサンプルホールドし、負の値の重みづけ加算を行う第２の重みづけ加算回路と、
前記第１の重みづけ加算回路で重みづけ加算された信号及び前記第２の重みづけ加算回路で重みづけ加算された信号のＡＤ変換を行うＡＤ変換部とを備え、
前記第１及び第２の重みづけ加算回路の各々は、
前記垂直信号線に読み出された前記複数の信号の入力を受け付ける読出し配線と、
前記垂直信号線及び前記読み出し配線を接続し、または切り離す第１のスイッチと、
前記複数の信号をサンプルホールドする複数の容量と、
前記読出し配線及び前記容量を接続し、または切り離す複数の第２スイッチとを含む、
固体撮像装置。
前記セルアレイから前記複数の信号を読み出す垂直信号線と、
前記垂直信号線に読み出された前記複数の信号をサンプルホールドし、正の値の重みづけ加算を行う第１の重みづけ加算回路と、
前記垂直信号線に読み出された前記複数の信号をサンプルホールドし、負の値の重みづけ加算を行う第２の重みづけ加算回路と、
前記第１の重みづけ加算回路で重みづけ加算された信号及び前記第２の重みづけ加算回路で重みづけ加算された信号のＡＤ変換を行うＡＤ変換部とを備え、
前記第１及び第２の重みづけ加算回路の各々は、
前記垂直信号線に読み出された前記複数の信号の入力を受け付ける読出し配線と、
前記垂直信号線及び前記読み出し配線を接続し、または切り離す第１のスイッチと、
前記複数の信号をサンプルホールドする複数の容量と、
前記読出し配線及び前記容量を接続し、または切り離す複数の第２スイッチとを含む、
固体撮像装置。
【請求項15】
前記セルアレイに含まれる複数のセルは、フォトダイオードを含む画素、またはメモリアレイに含まれるメモリである、請求項１４に記載の固体撮像装置。
【請求項16】
前記第１及び第２の重みづけ加算回路の各々は、
前記垂直信号線に順次読み出された前記複数の信号を順次サンプルホールドし、
前記複数の信号のサンプルホールドの完了後に、正の値の重みづけ加算及び負の値の重みづけ加算を行う、
請求項１４に記載の固体撮像装置。
前記垂直信号線に順次読み出された前記複数の信号を順次サンプルホールドし、
前記複数の信号のサンプルホールドの完了後に、正の値の重みづけ加算及び負の値の重みづけ加算を行う、
請求項１４に記載の固体撮像装置。
【請求項17】
前記セルアレイに含まれる複数のセルは、
前記複数の信号を前記第１の重みづけ加算回路に切り替えて入力する第１の選択トランジスタと、
前記複数の信号を前記第２の重みづけ加算回路に切り替えて入力する第２の選択トランジスタとを含む、
請求項１４に記載の固体撮像装置。
前記複数の信号を前記第１の重みづけ加算回路に切り替えて入力する第１の選択トランジスタと、
前記複数の信号を前記第２の重みづけ加算回路に切り替えて入力する第２の選択トランジスタとを含む、
請求項１４に記載の固体撮像装置。
【請求項18】
前記重みづけ加算回路は、前記複数の容量における前記読出し配線側の端子とは逆側の端子に、端子電圧の値を切り替え可能とする第４のスイッチをさらに含む、請求項８に記載の固体撮像装置。
【請求項19】
前記ＡＤ変換部は、前記重みづけ加算回路が前記第４のスイッチの切り替えに基づいて生成したＤＡＣ信号と、前記重みづけ加算された信号との逐次比較を実施する、請求項１８に記載の固体撮像装置。
【請求項20】
前記第１及び第２の重みづけ加算回路の各々は、前記複数の容量における前記読出し配線側の端子とは逆側の端子に、端子電圧の値を切り替え可能とする第４のスイッチをさらに含む、請求項１４に記載の固体撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、重みづけ加算回路及び固体撮像装置に関する。
【背景技術】
【0002】
ディープニューラルネットワーク（Deep Neural Network（ＤＮＮとも呼ぶ））は、認識性能を向上させるための技術として用いられているが、この技術で用いられる重みづけ加算は、演算回数が多く消費電力が大きい。
【0003】
一方、重みづけ加算について、デジタル回路で行う従来方式から、ＡＤ（Analog to Digital）変換を行う前に、演算を完了させることで消費電力を低減する技術が提案されており、例えば、イメージセンサでは、画素アレイから出力された信号に重みづけ加算を行うことで、畳み込み演算を行う技術が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２０―１１３８０９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述した技術では、画素アレイから、複数の読出し線を通じて信号を読み出す。また、各読出し線に対応する容量を通して、加算を行うことで重みづけ加算を行うことができる。しかし、同時に加算する信号数及び読出し線の配線数は、１対１であり、加算数を増やすと、その分、信号数も増加してしまう。
【0006】
そこで、本開示はこれらの問題に鑑み、読出し線の配線数の増加を抑制しつつ、重みづけ加算数を増加することができる重みづけ加算回路及び固体撮像装置を提供する。
【課題を解決するための手段】
【0007】
本開示の第１の側面の重みづけ加算回路は、固体撮像装置の垂直信号線に読み出された複数の信号の入力を受け付ける読出し配線と、前記垂直信号線及び前記読み出し配線を接続し、または切り離す第１のスイッチと、前記複数の信号をサンプルホールドする複数の容量と、前記読出し配線及び前記容量を接続し、または切り離す複数の第２スイッチとを備える。これにより、重みづけ加算回路は、読出し配線を各容量で共有することにより、配線数の増加を抑制することができる。重みづけ加算回路は、加算する信号の数が増加しても、順次信号をサンプルホールドし、重みづけ加算を実施するため、重みづけ加算数と配線数とのトレードオフとを解消することができる。
【0008】
また、この第１の側面において、前記固体撮像装置は、前記複数の信号を保持する機構を有するセルアレイと、前記セルアレイから前記複数の信号を読み出す前記垂直信号線と、前記重みづけ加算回路で重みづけ加算された信号のＡＤ変換を行うＡＤ変換部とを備え、前記重みづけ加算回路は、前記セルアレイと、前記垂直信号線と、前記ＡＤ変換部とに接続される。これにより、重みづけ加算回路は、読出し配線を各容量で共有することにより、配線数の増加を抑制することができる。重みづけ加算回路は、加算する信号の数が増加しても、順次信号をサンプルホールドし、重みづけ加算を実施するため、重みづけ加算数と配線数とのトレードオフとを解消することができる。
【0009】
また、この第１の側面において、前記重みづけ加算回路は、前記垂直信号線に順次読み出された前記複数の信号を順次サンプルホールドし、前記複数の信号のサンプルホールドの完了後に、重みづけ加算を行う。これにより、重みづけ加算回路は、読出し配線を各容量で共有することにより、配線数の増加を抑制することができる。重みづけ加算回路は、加算する信号の数が増加しても、順次信号をサンプルホールドし、重みづけ加算を実施するため、重みづけ加算数と配線数とのトレードオフとを解消することができる。
【0010】
また、この第１の側面において、前記セルアレイに含まれる複数のセルは、フォトダイオードを含む画素、またはメモリアレイに含まれるメモリである。これにより、重みづけ加算回路は、画素アレイ部だけでなく、メモリアレイ等のセルアレイに接続して重みづけ加算を行うことができる。
【0011】
また、この第１の側面において、前記重みづけ加算回路は、前記複数の容量における前記読出し配線側の端子とは逆側の端子に、端子電圧の値を切り替え可能とする第４のスイッチをさらに含む。これにより、重みづけ加算回路は、別途、容量を付加することなく、逐次比較型ＡＤ変換器の機能を実現することができる。
【0012】
また、この第１の側面において、前記ＡＤ変換部は、前記重みづけ加算回路が前記第４のスイッチの切り替えに基づいて生成したＤＡＣ信号と、前記重みづけ加算された信号との逐次比較動作を実施する。これにより、重みづけ加算回路は、別途、容量を付加することなく、逐次比較型ＡＤ変換器の機能を実現することができる。
【0013】
本開示の第２の側面の固体撮像装置は、複数の信号を保持する機構を有するセルアレイと、前記セルアレイから前記複数の信号を読み出す垂直信号線と、前記垂直信号線に読み出された前記複数の信号をサンプルホールドし、重みづけ加算を行う重みづけ加算回路と、前記重みづけ加算回路で重みづけ加算された信号のＡＤ変換を行うＡＤ変換部とを備え、前記重みづけ加算回路は、前記垂直信号線に読み出された前記複数の信号の入力を受け付ける読出し配線と、前記垂直信号線及び前記読み出し配線を接続し、または切り離す第１のスイッチと、前記複数の信号をサンプルホールドする複数の容量と、前記読出し配線及び前記容量を接続し、または切り離す複数の第２スイッチとを含む。これにより、重みづけ加算回路は、読出し配線を各容量で共有することにより、配線数の増加を抑制することができる。重みづけ加算回路は、加算する信号の数が増加しても、順次信号をサンプルホールドし、重みづけ加算を実施するため、重みづけ加算数と配線数とのトレードオフとを解消することができる。
【0014】
また、この第２の側面において、前記重みづけ加算回路は、前記垂直信号線に順次読み出された前記複数の信号を順次サンプルホールドし、前記複数の信号のサンプルホールドの完了後に、重みづけ加算を行う。これにより、重みづけ加算回路は、読出し配線を各容量で共有することにより、配線数の増加を抑制することができる。重みづけ加算回路は、加算する信号の数が増加しても、順次信号をサンプルホールドし、重みづけ加算を実施するため、重みづけ加算数と配線数とのトレードオフとを解消することができる。
【0015】
また、この第２の側面において、前記セルアレイに含まれる複数のセルは、フォトダイオードを含む画素、またはメモリアレイに含まれるメモリである。これにより、重みづけ加算回路は、画素アレイ部だけでなく、メモリアレイ等のセルアレイに接続して重みづけ加算を行うことができる。
【0016】
また、この第２の側面において、前記複数の容量は、互いに静電容量が異なる第１の容量と第２の容量を含む。これにより、重みづけ加算回路は、この静電容量の大きさによって、入力された信号の重みづけを変更することができる。
【0017】
また、この第２の側面において、前記垂直信号線と、前記重みづけ加算回路との間には、前記複数の信号の入力の遅延時間を設けるバッファ回路が接続される。これにより、重みづけ加算回路は、バッファ回路によって重みづけ加算回路への信号の入力の際に遅延時間を設けることができ、容量の静電容量の大きさの違いによる電荷の蓄積時間のずれを抑制することができる。
【0018】
また、この第２の側面において、前記重みづけ加算回路は、前記第１の容量及び前記第２の容量がサンプルホールドする際の静電容量の差を調整する、１または複数のダミー容量と、前記読出し配線及び前記ダミー容量を接続し、または切り離す１または複数の第３のスイッチとをさらに含む。これにより、重みづけ加算回路は、サンプルホールドを行う際に、疑似的にすべての容量を一定になるように調整することができ、容量の静電容量大きさの違いによる電荷の蓄積時間のずれを抑制することができる。
【0019】
また、この第２の側面において、前記重みづけ加算回路は、前記第１の容量と、前記第２の容量との静電容量の差に基づいて、１または複数の前記ダミー容量に電荷を蓄える。これにより、重みづけ加算回路は、サンプルホールドを行う際に、疑似的にすべての容量を一定になるように調整することができ、容量の静電容量大きさの違いによる電荷の蓄積時間のずれを抑制することができる。
【0020】
本開示の第３の側面の固体撮像装置は、複数の信号を保持する機構を有するセルアレイと、前記セルアレイから前記複数の信号を読み出す垂直信号線と、前記垂直信号線に読み出された前記複数の信号をサンプルホールドし、正の値の重みづけ加算を行う第１の重みづけ加算回路と、前記垂直信号線に読み出された前記複数の信号をサンプルホールドし、負の値の重みづけ加算を行う第２の重みづけ加算回路と、前記第１の重みづけ加算回路で重みづけ加算された信号及び前記第２の重みづけ加算回路で重みづけ加算された信号のＡＤ変換を行うＡＤ変換部とを備え、前記第１及び第２の重みづけ加算回路の各々は、前記垂直信号線に読み出された前記複数の信号の入力を受け付ける読出し配線と、前記垂直信号線及び前記読み出し配線を接続し、または切り離す第１のスイッチと、前記複数の信号をサンプルホールドする複数の容量と、前記読出し配線及び前記容量を接続し、または切り離す複数の第２スイッチとを含む。これにより、重みづけ加算回路は、正の値の重みづけ加算に加えて、負の値の重みづけ加算を実施することができる。
【0021】
また、この第３の側面において、前記セルアレイに含まれる複数のセルは、フォトダイオードを含む画素、またはメモリアレイに含まれるメモリである。これにより、重みづけ加算回路は、画素アレイ部だけでなく、メモリアレイ等のセルアレイに接続して重みづけ加算を行うことができる。
【0022】
また、この第３の側面において、前記第１及び第２の重みづけ加算回路の各々は、前記垂直信号線に順次読み出された前記複数の信号を順次サンプルホールドし、前記複数の信号のサンプルホールドの完了後に、正の値の重みづけ加算及び負の値の重みづけ加算を行う。これにより、重みづけ加算回路は、正の値の重みづけ加算に加えて、負の値の重みづけ加算を実施することができる。
【0023】
また、この第３の側面において、前記セルアレイに含まれる複数のセルは、前記複数の信号を前記第１の重みづけ加算回路に切り替えて入力する第１の選択トランジスタと、前記複数の信号を前記第２の重みづけ加算回路に切り替えて入力する第２の選択トランジスタとを含む。これにより、セルは、これらのトランジスタを切り替えることにより、第１の重みづけ加算回路または第２の重みづけ加算回路に信号を入力することができる。これにより、重みづけ加算回路は、正の値の重みづけ加算に加えて、負の値の重みづけ加算を実施することができる。また、重みづけ加算回路は、第１の選択トランジスタ及び第２の選択トランジスタの開閉に基づいて、第１の重みづけ加算回路が正の値の信号を入力すると同時に、第２の重みづけ加算回路は、負の値の信号を入力することができる。
【0024】
また、この第２の側面において、前記重みづけ加算回路は、前記複数の容量における前記読出し配線側の端子とは逆側の端子に、端子電圧の値を切り替え可能とする第４のスイッチをさらに含む。これにより、重みづけ加算回路は、別途、容量を付加することなく、逐次比較型ＡＤ変換器の機能を実現することができる。
【0025】
また、この第２の側面において、前記ＡＤ変換部は、前記重みづけ加算回路が前記第４のスイッチの切り替えに基づいて生成したＤＡＣ信号と、前記重みづけ加算された信号との逐次比較を実施する。これにより、重みづけ加算回路は、別途、容量を付加することなく、逐次比較型ＡＤ変換器の機能を実現することができる。
【0026】
また、この第３の側面において、前記第１及び第２の重みづけ加算回路の各々は、前記複数の容量における前記読出し配線側の端子とは逆側の端子に、端子電圧の値を切り替え可能とする第４のスイッチをさらに含む。これにより、重みづけ加算回路は、別途、容量を付加することなく、逐次比較型ＡＤ変換器の機能を実現することができる。
【図面の簡単な説明】
【0027】
【図1】第１実施形態における固体撮像装置の概略構成を示すブロック図である。
【図2】第１実施形態における画素アレイ部に配列される画素の回路構成例を示す図である。
【図3】第１実施形態における重みづけ加算回路の回路構成例を示す図である。
【図4】第１実施形態における重みづけ加算回路のタイミングチャートの例である。
【図5】第１実施形態における重みづけ加算回路等のタイミングチャートの別の例である。
【図6】第１実施形態における画素の変形例を示す図である。
【図7】第１実施形態における画素アレイの変形例である。
【図8】第２実施形態における重みづけ加算回路の回路図である。
【図9】第３実施形態における重みづけ加算回路の回路図である。
【図10】第３実施形態における重みづけ加算回路のタイミングチャートである。
【図11】第４実施形態における重みづけ加算回路等の回路図である。
【図12】第４実施形態における重みづけ加算回路等のタイミングチャートである。
【図13】第５実施形態における重みづけ加算回路等の回路図である。
【図14】第６実施形態における重みづけ加算回路等の回路図である。
【図15】第６実施形態における重みづけ加算回路等の変形例の回路図である。
【図16】車両制御システムの構成例を示すブロック図である。
【図17】センシング領域の例を示す図である。
【発明を実施するための形態】
【0028】
以下、本開示の実施形態を、図面を参照して説明する。
【0029】
（第１実施形態）
図１は、第１実施形態における固体撮像装置の概略構成を示すブロック図である。
図１は、第１実施形態における固体撮像装置の概略構成を示すブロック図である。
【0030】
図１の固体撮像装置１０は、画素が行列状に複数配列された画素アレイ部２０と、その周辺の周辺回路部とを有して構成される。周辺回路部には、垂直駆動部１２、ＡＤ変換部１３、水平駆動部１４、制御部１５、信号処理回路１６、データ記憶部１７、及び、入出力部１８等が含まれる。
【0031】
画素アレイ部２０内に２次元配置されている各画素は、光電変換部としてのフォトダイオード及び複数の画素トランジスタ等によって構成される。複数の画素トランジスタは、例えば、転送トランジスタ、増幅トランジスタ、選択トランジスタ、リセットトランジスタ等のＭＯＳトランジスタである。画素アレイ部２０の各画素には、例えば、Ｒｅｄ、ＧｒｅｅｎまたはＢｌｕｅのカラーフィルタがベイヤ配列で配置されており、各画素は、Ｒｅｄ、ＧｒｅｅｎまたはＢｌｕｅのいずれかの画素信号（以下、単に信号とも呼ぶ）を出力する。
【0032】
垂直駆動部１２は、例えばシフトレジスタによって構成され、画素駆動配線（不図示）を介して画素アレイ部２０の各画素に駆動パルスを供給することにより、行単位で画素を駆動する。すなわち、垂直駆動部１２は、画素アレイ部２０の各画素を行単位で順次垂直方向に選択走査し、各画素のフォトダイオードにおいて入射光量に応じて生成された信号電荷に基づく画素信号を、列単位に共通に設けられた垂直信号線を通して重みづけ加算回路１９に供給する。
【0033】
重みづけ加算回路１９は、例えば、垂直信号線を共有する画素ごとに設置される。垂直信号線は、画素アレイ部２０の各画素から、所定の重みづけ加算単位分の複数の画素信号を読み出し、順次、重みづけ加算回路１９に供給する。重みづけ加算回路１９は、垂直信号線から入力を受け付けた信号に対して重みづけ加算を行う。この重みづけ加算単位は、垂直信号線を共有する画素の中から選択される。重みづけ加算回路１９の詳細は後述する。
【0034】
ＡＤ変換部（ＡＤＣ）１３は、重みづけ加算回路１９から出力された信号に対して、画素固有の固定パターンノイズを除去するためのＣＤＳ(Correlated Double Sampling：相関２重サンプリング)処理や、ＡＤ変換を行う。
【0035】
水平駆動部１４は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、ＡＤ変換部１３に保持されている所定の一行の各画素のＡＤ変換後の（デジタルの）画素信号を信号処理回路１６に順次出力させる。
【0036】
制御部１５は、外部から入力されるクロック信号と、動作モード等を指令するデータを受け取り、固体撮像装置１０全体の動作を制御する。例えば、制御部１５は、入力されたクロック信号に基づいて、垂直同期信号や水平同期信号等を生成し、垂直駆動部１２、ＡＤ変換部１３、及び、水平駆動部１４等に供給する。
【0037】
信号処理回路１６は、ＡＤ変換部１３から供給される画素信号に対して、黒レベル調整処理、列ばらつき補正処理、デモザイク処理等の各種のデジタル信号処理を必要に応じて実行し、入出力部１８に供給する。信号処理回路１６は、動作モードによっては、画素信号のバッファリングだけを行って出力する場合もある。データ記憶部１７は、信号処理回路１６が行う信号処理に必要となるパラメータ等のデータを記憶する。また、データ記憶部１７は、例えば、デモザイク処理等の処理において画像信号を記憶するためのフレームメモリも備える。信号処理回路１６は、入出力部１８を介して外部の画像処理装置から入力されたパラメータ等をデータ記憶部１７に記憶させたり、外部の画像処理装置からの指示に基づいて、信号処理を適宜選択し、実行することができる。
【0038】
入出力部１８は、信号処理回路１６から順次入力される画像信号を、外部の画像処理装置、例えば、後段のＩＳＰ(Image Signal Processor)等に出力する。また、入出力部１８は、外部の画像処理装置から入力される信号やパラメータを、信号処理回路１６や制御部１５へ供給する。
【0039】
固体撮像装置１０は、以上のように構成されており、例えば、ＣＤＳ処理とＡＤ変換処理を画素列ごとに行うカラムＡＤ方式と呼ばれるＣＭＯＳイメージセンサである。
【0040】
図２は、第１実施形態における画素アレイ部に配列される画素の回路構成例を示す図である。
【0041】
図２の画素１００は、フォトダイオードＰＤ、転送トランジスタＴＲＧ、フローティングディフュージョンＦＤ、リセットトランジスタＲＳＴ、増幅トランジスタＡＭＰ、及び、選択トランジスタＳＥＬを備える。
【0042】
フォトダイオードＰＤは、入射されてきた光を受光して光電変換し、得られた電荷を蓄積する。また、フォトダイオードＰＤに蓄積された電荷は、転送トランジスタＴＲＧのゲートに供給される駆動信号がＨｉとなって転送トランジスタＴＲＧがオンされると、転送トランジスタＴＲを介してフローティングディフュージョンＦＤに転送される。
【0043】
フローティングディフュージョンＦＤは、転送トランジスタＴＲから転送された電荷を一時的に保持する。また、フローティングディフュージョンＦＤには、増幅トランジスタＡＭＰ及び選択トランジスタＳＥＬを介して垂直信号線ＶＳＬが接続されている。垂直信号線ＶＳＬは、同じ列の重みづけ加算回路１９に接続されている。
【0044】
リセットトランジスタＲＳＴは、リセット信号によりオンされたとき、フローティングディフュージョンＦＤに保持されている電荷が定電圧源ＶＤＤに排出されることで、フローティングディフュージョンＦＤの電位をリセットする。
【0045】
増幅トランジスタＡＭＰは、フローティングディフュージョンＦＤの電位に応じた画素信号を出力する。すなわち、増幅トランジスタＡＭＰは、定電流源としての負荷ＭＯＳ（不図示）とソースフォロワ回路を構成し、フローティングディフュージョンＦＤに保持されている電荷に応じたレベルを示す画素信号が、増幅トランジスタＡＭＰから選択トランジスタＳＥＬを介して重みづけ加算回路１９に出力される。
【0046】
選択トランジスタＳＥＬは、選択信により画素１００が選択されたときオンされ、画素１００の画素信号を、垂直信号線ＶＳＬを介して重みづけ加算回路１９に出力する。
【0047】
なお、図２の画素回路は、ローリングシャッタ方式の画素回路であるが、転送トランジスタＴＲＧとフローティングディフュージョンＦＤとの間に、転送トランジスタＴＲＧで転送された電荷を蓄える電荷保持部（メモリ部）と、その電荷保持部の電荷をフローティングディフュージョンＦＤへ転送する転送トランジスタをさらに設け、グローバルシャッタ方式の駆動を可能としてもよい。
【0048】
図３は、第１実施形態における重みづけ加算回路の回路構成例を示す図である。
【0049】
図３の重みづけ加算回路１９は、読出し配線１３０、第１のスイッチ１３１、複数の容量１３２、複数の第２のスイッチ１３３を備える。また、重みづけ加算回路１９は、読出し配線１３０を介して、入力側は垂直信号線ＶＳＬを介して複数の画素１００と接続され、出力側はＡＤ変換部１３に接続される。つまり、重みづけ加算回路１９は、垂直信号線ＶＳＬを介して、複数の画素１００から、順次信号の入力を受け付け、重みづけ加算を行った後、ＡＤ変換器にこれらの信号を入力する。
【0050】
図３では、複数の容量１３２は、それぞれ異なる静電容量を有している。重みづけ加算回路１９は、このように、容量１３２について、互いに静電容量の異なる第１の容量及び第２の容量を有していてもよい。重みづけ加算回路１９は、この静電容量の大きさによって、入力された信号の重みづけを変更することができる。図３の例では、重みづけ加算回路１９は、４つの容量１３２及び４つの第２のスイッチ１３３を備えており、それぞれの容量１３２の静電容量の大きさをＣ３、Ｃ２、Ｃ１及びＣ０（Ｃ３＞Ｃ２＞Ｃ１＞Ｃ０）としている。また、重みづけ加算回路１９は、同一の垂直信号線ＶＳＬに接続される画素１００について、容量１３２の数の単位で重みづけ加算を行う。例えば、同一の垂直信号線ＶＳＬに１２個の画素１００が接続されており、重みづけ加算回路１９が４つの容量１３２を備えている場合、これら１２個の画素１００は、３回に分けて重みづけ加算される。
【0051】
第１のスイッチ１３１は、垂直信号線ＶＳＬ及び読出し配線１３０を接続し、または切り離す。また、第１のスイッチ１３１がオン状態の時、垂直信号線ＶＳＬと、読出し配線１３０とを接続し、画素１００から出力された信号の入力を受け付ける。
【0052】
第２のスイッチ１３３は、読出し配線１３０及び容量１３２を接続し、または切り離す。重みづけ加算回路１９が入力を受け付けた信号は、各第２のスイッチ１３３をオン状態となった際に、読出し配線１３０と、対応する容量１３２とを接続し、容量１３２に電荷を蓄える。このように、重みづけ加算回路１９が、垂直信号線ＶＳＬから信号の入力を受け付け、対応する容量１３２で信号電荷を蓄えることをサンプルホールドと呼ぶ。重みづけ加算回路１９は、各信号について、容量１３２の静電容量の大きさに基づいて重みづけを行うことができる。
【0053】
重みづけ加算回路１９は、各容量１３２でサンプルホールドが完了した後、各第２のスイッチ１３３をオン状態として、読出し配線１３０でサンプルホールドされた全ての信号の加算を行う。このように、サンプルホールドされた全ての信号について、加算することを重みづけ加算と呼ぶ。
【0054】
重みづけ加算が行われた重みづけ加算信号は、ＡＤ変換部１３に出力される。ＡＤ変換部１３は、重みづけ加算信号の入力を受け付け、ＡＤ変換処理を行う。また、ＡＤ変換部１３は、ＣＤＳ処理を行った後、重みづけ加算信号のＡＤ変換処理を行ってもよい。
【0055】
図４は、第１実施形態における重みづけ加算回路のタイミングチャートの例である。
【0056】
図４では、重みづけ加算回路１９は、４つの画素から順次、信号の入力を受け付け、重みづけ加算を行う例を示している。
【0057】
図４のタイミングチャートは、画素アレイ部２０から垂直信号線ＶＳＬを介して読み出された複数の信号（信号電圧Ｖ０～Ｖ３）について、静電容量の大きさをＣ０、Ｃ１、Ｃ２及びＣ３（Ｃ０＜Ｃ１＜Ｃ２＜Ｃ３）とする各容量１３２で、順次サンプルホールドする例を示している。また、図４のタイミングチャートは、各容量１３２がサンプルホールドした後、読出し配線１３０で重みづけ加算を行う例を示している。
【0058】
この例では、静電容量の大きさをＣ０、Ｃ１、Ｃ２及びＣ３とする容量１３２に接続される各第２のスイッチ１３３について、それぞれＳＷ０、ＳＷ１、ＳＷ２及びＳＷ３と表す。
【0059】
本実施形態における重みづけ加算回路１９は、第２のスイッチ１３３について、ＳＷ０～ＳＷ３の順番でオンとし、サンプルホールドする例を示しているが、例えば、第２のスイッチ１３３は、ＳＷ３～ＳＷ０の順番でオンとしてもよく、また他の順番でオンとしてもよい。また、説明のため、図４のタイミングチャートでは第１のスイッチ１３１をＳＨと表記する。また、読出し配線１３０をＰＮと表記する。
【0060】
まず、重みづけ加算回路１９は、第１のスイッチ１３１をオンとし、垂直信号線ＶＳＬと、読出し配線１３０とを接続し、画素アレイ部２０から信号の入力を受け付ける。この時、ＳＨの電圧はＨｉとなり、重みづけ加算の開始まで電圧状態が保たれる。
【0061】
次に、重みづけ加算回路１９は、第２のスイッチ１３３のうち、ＳＷ０をオンとし、読出し配線１３０と、容量１３２のうち、Ｃ０とを接続する。Ｃ０は、信号電圧Ｖ０の信号の入力を受け付けてサンプルホールドする。この時ＳＷ０の電圧状態はＨｉとなり、Ｃ０に電荷が蓄えられるまで電圧状態が保たれる。また、Ｃ０に蓄えられる電荷Ｑ０は、式（１）として表される。
Ｑ０＝Ｖ０×Ｃ０ （１）
Ｑ０＝Ｖ０×Ｃ０ （１）
【0062】
次に、重みづけ加算回路１９は、第２のスイッチ１３３のうち、ＳＷ１をオンとし、読出し配線１３０と、容量１３２のうち、Ｃ１とを接続する。Ｃ１は、信号電圧Ｖ１の信号の入力を受け付けてサンプルホールドする。この時ＳＷ１の電圧状態はＨｉとなり、Ｃ１に電荷が蓄えられるまで電圧状態が保たれる。また、Ｃ１に蓄えられる電荷Ｑ１は、式（２）として表される。
Ｑ１＝Ｖ１×Ｃ１ （２）
Ｑ１＝Ｖ１×Ｃ１ （２）
【0063】
次に、重みづけ加算回路１９は、第２のスイッチ１３３のうち、ＳＷ２をオンとし、読出し配線１３０と、容量１３２のうち、Ｃ２とを接続する。Ｃ２は、信号電圧Ｖ２の信号の入力を受け付けてサンプルホールドする。この時ＳＷ２の電圧状態はＨｉとなり、Ｃ２に電荷が蓄えられるまで電圧状態が保たれる。また、Ｃ２に蓄えられる電荷Ｑ２は、式（３）として表される。
Ｑ２＝Ｖ２×Ｃ２ （３）
Ｑ２＝Ｖ２×Ｃ２ （３）
【0064】
次に、重みづけ加算回路１９は、第２のスイッチ１３３のうち、ＳＷ３をオンとし、読出し配線１３０と、容量１３２のうち、Ｃ３とを接続する。Ｃ３は、信号電圧Ｖ３の信号の入力を受け付けてサンプルホールドする。この時ＳＷ３の電圧状態はＨｉとなり、Ｃ３に電荷が蓄えられるまで電圧状態が保たれる。また、Ｃ３に蓄えられる電荷Ｑ３は、式（４）として表される。
Ｑ３＝Ｖ３×Ｃ３ （４）
Ｑ３＝Ｖ３×Ｃ３ （４）
【0065】
各容量１３２でサンプルホールドが完了した後、重みづけ加算回路１９は、第２のスイッチ１３３をすべてオンとし、読出し配線１３０で加算を行う。この時の読出し配線１３０の信号電圧Ｖは、式（５）として表される。
Ｖ＝（Ｑ０＋Ｑ１＋Ｑ２＋Ｑ３）／（Ｃ０＋Ｃ１＋Ｃ２＋Ｃ３） （５）
Ｖ＝（Ｑ０＋Ｑ１＋Ｑ２＋Ｑ３）／（Ｃ０＋Ｃ１＋Ｃ２＋Ｃ３） （５）
【0066】
上述のように、重みづけ加算された信号は、ＡＤ変換部１３に入力される。また、Ｃ３～Ｃ０の容量比率を２のべき乗とし、各信号を加算することで、ビットシリアル演算を行うことができる。このように、容量１３２の値は、フレキシブルに設計することができる。
【0067】
この例では、重みづけ加算回路１９は、ＳＷ０、ＳＷ１、ＳＷ２及びＳＷ３の順番でオンとする例を説明したが、この順番は限定されず、任意の順番でオンとしてもよい。
【0068】
図５は、第１実施形態における重みづけ加算回路等のタイミングチャートの別の例である。
【0069】
図５の回路は、図４の例と同様に、４つの画素１００から順次信号の入力を受け付けてサンプルホールドし、重みづけ加算を行う例を示している。また、図５の回路は、垂直信号線ＶＳＬには、ダイナミックソースフォロワ用の電圧源１４０及びソースフォロワ用の電流源１４１が接続される。電圧源１４０の電源電圧値は、０Ｖを含む任意の電圧値でよい。また、図５の回路は、垂直信号線ＶＳＬには、電圧源１４０及び電流源１４１のうち、いずれか一方のみが接続されていてもよい。
【0070】
また、この例では、ＡＤ変換部１３は、重みづけ加算にあたり、ＣＤＳ動作を行う例を示している。ＣＤＳ動作は、画素１００から２回にわたって信号を読み出し、それらの差分を求める。このＣＤＳ動作においては、フローティングディフュージョンＦＤを初期化した際の信号がＰ相レベルとして読み出され、フォトダイオードＰＤからフローティングディフュージョンＦＤへ電荷を転送した際の信号がＤ相レベルとして読み出される。これらのＰ相レベル及びＤ相レベルの差分を求めることにより、固定パターンノイズが除去される。
【0071】
図５のタイミングチャートを用いて具体的すると、まず、Ｐ相レベルの読出しとして、リセットトランジスタＲＳＴ０によって、フローティングディフュージョンＦＤを初期化し、選択トランジスタＳＥＬ０をオンとして、リセットレベル信号を重みづけ加算回路１９に送信する。重みづけ加算回路１９では、対応する容量であるＣ０でリセットレベル信号をサンプルホールドする。重みづけ加算回路１９は、この動作をＣ０～Ｃ３まで繰り返したのち、重みづけを行った後、読出し配線１３０で加算を行う。また、加算された信号は、リセット信号としてＡＤ変換部１３に入力され、ＡＤ変換が行われる。
【0072】
次に、Ｄ相レベルの読出しとして、転送トランジスタＴＲＧ３をオンとして、さらに、選択トランジスタＳＥＬをオンとすることで、フォトダイオードＰＤに蓄積された電荷を重みづけ加算回路１９に送信する。重みづけ加算回路１９は、対応する容量であるＣ０でサンプルホールドする。重みづけ加算回路１９は、この動作をＣ０～Ｃ３まで繰り返して信号をサンプルホールドが完了した後、読出し配線１３０で重みづけ加算する。また、重みづけ加算された信号は、データ信号としてＡＤ変換部１３に入力され、ＡＤ変換が行われる。
【0073】
ＡＤ変換部１３は、データ信号と、リセット信号との差分を求めることで、固定パターンのノイズを除去する。
【0074】
図６は、第１実施形態における画素の変形例を示す図である。
【0075】
図６Ａは、フォトダイオードＰＤ、第１の転送トランジスタＴＲＧ’、第２の転送トランジスタＴＲＧ’’及びメモリＭＥＭを含む構成を１つの単位とした、いわゆる画素共有の回路構成の例を示している。図６Ａは、これら２つの単位がフローティングディフュージョンＦＤ、リセットトランジスタＲＳＴ及び増幅トランジスタＡＭＰを共有する。
【0076】
フォトダイオードＰＤ側に接続される第１の転送トランジスタＴＲＧ’は、フォトダイオードＰＤに蓄えられた電荷をメモリＭＥＭに転送する。また、フローティングディフュージョンＦＤ側に接続される第２の転送トランジスタＴＲＧ’’は、メモリＭＥＭに蓄えられた電荷をフローティングディフュージョンＦＤに転送する。
【0077】
図６Ａの回路構成は、図２の画素１００と比較して、フローティングディフュージョンＦＤに電荷を転送する第２の転送トランジスタＴＲＧ’’に加え、メモリＭＥＭ及びメモリＭＥＭに電荷を転送する第１の転送トランジスタＴＲＧ’を含んでいる点が異なっている。また、図６Ａの回路構成は、フォトダイオードＰＤ等を２つ含む点が異なっている。
【0078】
この回路構成において、フォトダイオードＰＤ、第１の転送トランジスタＴＲＧ’、第２の転送トランジスタＴＲＧ’’及びメモリＭＥＭが共有するフローティングディフュージョンＦＤ等の回路の共有数は、２つに限定されない。任意の数のフォトダイオードＰＤ等がフローティングディフュージョンＦＤ等の回路を共有することができる。
【0079】
図６Ｂは、有機光電変換膜あるいは無機光電変換膜（以下、単に光電変換膜４２と称する）、透明電極４３、下部電極４４及び転送トランジスタＴＲＧを含む構成を１つの単位とする画素共有の回路構成の例を示している。図６Ｂは、これら３つの単位がフローティングディフュージョンＦＤ、リセットトランジスタＲＳＴ及び増幅トランジスタＡＭＰを共有する。なお、図５Ｂの回路構成において、ＶＣは、透明電極４３に接続する電源電圧であり、ＶＲは、リセットトランジスタトランジスタＲＳＴに接続される電源電圧である。
【0080】
図６Ｂの回路構成は、図２の画素１００と比較して、図２のフォトダイオードＰＤが、光電変換膜４２、透明電極４３及び下部電極４４を含む３つ構成に変わった点と、選択トランジスタＳＥＬが除かれた点が異なっている。
【0081】
この回路構成において、光電変換膜４２、透明電極４３及び下部電極４４が共有するフローティングディフュージョンＦＤ等の回路の共有数は、３つに限定されない。任意の数の光電変換膜４２等がフローティングディフュージョンＦＤ等の回路を共有することができる。
【0082】
上述の例に限定されず、画素１００はフォトダイオードＰＤ、または光電変換膜４２を含むその他の構成をであってもよい。また、画素１００は、フォトダイオードＰＤ、または光電変換膜４２で生成される電荷を一時的に蓄えるメモリＭＥＭを含んでいてもよい。
【0083】
図７は、第１実施形態における画素アレイの変形例である。
【0084】
図７は、６つのトランジスタＭ１～Ｍ６を含む、ＳＲＡＭ（Static Random Access Memory）構造を有するコンピューティングインメモリ（Computation in memory：ＣｉＭ）の例を示している。ＳＲＡＭ構造は、例えば、信号を保持する２つのトランジスタにより構成され、それぞれ交差接続される２組のインバータと、それぞれのインバータに読出し及び書き込みを行う２つのトランジスタとを備える。図７の例では、ＳＲＡＭ構造は、トランジスタＭ１及びトランジスタＭ３により構成されるインバータと、トランジスタＭ２及びトランジスタＭ４により構成されるインバータとを備え、またそれぞれのインバータは交差接続される。また、それぞれのインバータには、書き込み及び読出しを行うトランジスタＭ５と、トランジスタＭ６とが接続される。また、この例では、コンピューティングインメモリは、トランジスタＭ２のソース及びトランジスタＭ４のドレインにトランジスタＭ７が接続されている。また、この例では、コンピューティングインメモリは、トランジスタＭ１のソース及びトランジスタＭ３のドレインにトランジスタＭ８が接続されている。
【0085】
例えば、ディープニューラルネットワークにおいて、信号の積和演算を行うにあたり、上述したような信号を保持する機構として、メモリが用いられることがある。また、メモリは、トランジスタやキャパシタといった信号を保持するための素子により構成される。重みづけ回路１９の入力側には、図７で例示したＳＲＡＭ構造の他、抵抗変化型メモリとも呼ばれるＲｅＲＡＭ（Resistive Random Access Memory）、強誘電体メモリとも呼ばれるＦｅＲＡＭ（Ferroelectric Random Access Memory）または磁気抵抗メモリとも呼ばれるＭＲＡＭ（Magnetoresistive Random Access Memory）等のメモリのアレイ構造を含む回路が接続されていてもよい。メモリがアレイ状に配置された構造のことをメモリアレイと呼ぶ。このメモリアレイは、２次元構造ではなく、１次元構造であってもよい。また、重みづけ加算回路１９の入力側には、容量ラダー回路が接続されていてもよい。
【0086】
上述したフォトダイオードＰＤを含む画素１００やメモリアレイに含まれるメモリといった信号を保持する機構のことをセルと呼ぶ。上述した画素アレイ部２０やメモリアレイといったセルのアレイ構造のことをセルアレイと呼ぶ。
【0087】
また、セルアレイ及び重みづけ加算回路１９は、異なる基板に実装されてもよい。例えば、セルアレイは、第１の基板に実装され、重みづけ加算回路１９及びＡＤ変換部１３は第２の基板に実装されてもよい。さらにこれらの構成に加えて、第３基板にＤＲＡＭが実装されてもよい。これらの基板は、例えば、ＴＳＶ、Ｃｕ－Ｃｕ接続またはマイクロバンプによって接続される。
【0088】
本実施形態によれば、重みづけ加算回路１９は、読出し配線１３０を各容量１３２で共有することにより、配線数の増加を抑制することができる。重みづけ加算回路１９は、加算する信号の数が増加しても、順次信号をサンプルホールドし、重みづけ加算を実施するため、重みづけ加算数と配線数とのトレードオフとを解消することができる。
【0089】
また、本実施形態によれば、重みづけ加算回路１９は、セルアレイからの信号を共通の垂直信号線ＶＳＬを介して、信号を入力する。本実施形態では、垂直信号線ＶＳＬの数と、重みづけ加算回路１９の数の比は１対１となる。これにより、回路垂直信号線ＶＳＬの数を減らすことができる。
【0090】
また、本実施形態によれば、ＡＤ変換部１３は、重みづけ加算回路１９から、リセット信号と、データ信号とを分けて入力を受け付けることにより、重みづけ加算とともに、ＣＤＳ動作も実現することができる。
【0091】
また、本実施形態によれば、重みづけ加算回路１９は、画素アレイ部２０だけでなく、メモリアレイ等のセルアレイに接続して重みづけ加算を行うことができる。これにより、重みづけ加算回路１９は、画素１００以外の信号を保持する機構において重みづけ加算を実現することができる。
【0092】
また、本実施形態によれば、重みづけ加算回路１９は、入力側に画素共有の回路構成を有するセルアレイを接続することにより、セルアレイ内での重みづけに加えて、重みづけ加算回路１９でさらに、重みづけを実現することができる。これにより、セルアレイ内での重みづけが十分でない場合に、重みづけ加算回路１９で重みづけを補うことができる。
（第２実施形態）
（第２実施形態）
【0093】
図８は、第２実施形態における重みづけ加算回路の回路図である。
【0094】
重みづけ加算回路１９において、サンプルホールドするための容量１３２の静電容量の大きさがそれぞれ異なる場合、容量１３２に電荷の蓄積が完了するまでの時間が変わってしまう場合がある。例えば、静電両々が小さい容量１３２の場合、電荷の蓄積が完了するまでの時間は短く、静電容量が大きい容量１３２の場合、電荷の蓄積が完了するまでの時間は長い。本実施形態では、電荷の蓄積が完了するまでの時間のことをセトリング時間とも呼ぶ。特に、本実施形態で用いられるチャージシェアに加え、その他の容量負荷読み出し(ダイナミックソースフォロワ、電流加算等)の場合、容量値の変動は抑える方がより好ましい。
【0095】
本実施形態における重みづけ加算回路１９は、垂直信号線ＶＳＬと、重みづけ加算回路１９の間にバッファ回路１４２を備え、容量１３２の大きさに応じて、重みづけ加算回路１９に入力する信号について、入力の遅延時間を設ける。バッファ回路１４２は、例えば、ソースフォロワ回路やユニティゲインバッファ回路を用いることが考えられる。
【0096】
例えば、容量１３２の小さいＣ０にサンプルホールドする場合、バッファ回路１４２は、重みづけ加算回路１９への信号の入力に遅延時間を設ける。また、容量の大きいＣ３にサンプルホールドする場合、バッファ回路１４２は、重みづけ加算回路１９への入力に遅延を設けない。
【0097】
本実施形態では、第１実施形態と同様に、重みづけ加算回路１９の入力側には、画素アレイ部２０だけでなく、メモリアレイ等のセルアレイを接続してもよい。
【0098】
本実施形態によれば、重みづけ加算回路１９は、バッファ回路１４２によって重みづけ加算回路１９への信号の入力の際に遅延時間を設けることができ、容量１３２の静電容量の大きさの違いによる電荷の蓄積時間のずれを抑制することができる。
【0099】
また、本実施形態によれば、重みづけ加算回路１９は、画素アレイ部２０だけでなく、メモリアレイ等のセルアレイに接続して重みづけ加算を行うことができる。これにより、重みづけ加算回路１９は、信号を保持する機構からの入力について、容量１３２の静電容量の大きさの違いによる電荷の蓄積時間のずれを抑制することができる。
【0100】
（第３実施形態）
図９は、第３実施形態における重みづけ加算回路の回路図である。
図９は、第３実施形態における重みづけ加算回路の回路図である。
【0101】
本実施形態における重みづけ加算回路１９は、上述した容量１３２に加え、ダミー容量１３４及び第３のスイッチ１３５を備える。第３のスイッチ１３５は、読出し配線１３０及びダミー容量１３４を接続し、または切り離す。
【0102】
重み付け加算回路１９は、第１の容量及び第２の容量の静電容量の差に基づいて、ダミー容量１３４に電荷を蓄える。重みづけ加算回路１９は、それぞれ静電容量が異なる容量１３２にサンプルホールドする際に、入力側から見た静電容量の合計値が一定となるように、ダミー容量１３４を読出し配線１３０に接続し、静電容量の差を調整する。例えば、重み付け加算回路１９は、静電容量が大きい第１の容量にサンプルホールドする際は、ダミー容量１３２に電荷を蓄えないが、静電容量が小さい第２の容量にサンプルホールドする際には、ダミー容量１３４にも電荷を蓄積する。また、ダミー容量１３４に蓄えられた電荷は、加算は行わずリセットされる。
【0103】
図９の例では、重みづけ加算回路１９は、４つの容量１３２に加え、３つのダミー容量１３４を備える。また、それぞれのダミー容量１３４は、第３のスイッチ１３５を介して読出し配線１３０と接続されている。また、４つの容量１３２について、静電容量をそれぞれ入力側からＣ３、Ｃ２、Ｃ１及びＣ０とする。また３つのダミー容量１３４について、静電容量をそれぞれ入力側からからＤＣ２、ＤＣ１及びＤＣ０とする。
【0104】
また、各容量１３２及びダミー容量１３４には、式（６）が成り立つものとして説明する。
Ｃ３＝Ｃ２＋ＤＣ１＋ＤＣ０
＝Ｃ１＋ＤＣ２＋ＤＣ０
＝Ｃ０＋ＤＣ２＋ＤＣ１ （７）
Ｃ３＝Ｃ２＋ＤＣ１＋ＤＣ０
＝Ｃ１＋ＤＣ２＋ＤＣ０
＝Ｃ０＋ＤＣ２＋ＤＣ１ （７）
【0105】
式（７）は一例であり、容量１３２と併せて接続するダミー容量１３４の容量の値及び数は、Ｃ３～Ｃ０の容量の値に依存する。この組み合わせは設計パラメータとなる。また、重みづけ加算回路１９において、容量１３２の数と、ダミー容量１３４の数とは必ず一致する必要はなく、各ダミー容量１３４の容量の値は同じ値としてもよく、異なる値としてもよい。
【0106】
ダミー容量１３４は、常にフローティングとなる場合もあるため、例えば、第３のスイッチ１３５と、ダミー容量１３４との間にＧＮＤあるいはＶＤＤ等、所定の電圧に固定するためのＳＷを設けてもよい。以下では、説明の単純化のため、これらの構成はないものとして説明する。
【0107】
図１０は、第３実施形態における重みづけ加算回路のタイミングチャートである。
【0108】
図１０のタイミングチャートは、画素アレイ部２０から垂直信号線ＶＳＬを介して読み出された複数の信号（信号電圧Ｖ０～Ｖ３）について、静電容量の大きさをＣ０、Ｃ１、Ｃ２及びＣ３（Ｃ０＜Ｃ１＜Ｃ２＜Ｃ３）とする各容量１３２でサンプルホールドする例を示している。また、図１０のタイミングチャートは、各容量１３２がサンプルホールドした後、読出し配線１３０で重みづけ加算を行う例を示している。
【0109】
また、図１０のタイミングチャートでは、重みづけ加算回路１９は、容量１３２にサンプルホールドする際に、各容量１３２が同一となるように、第３のスイッチ１３５を開閉し、静電容量の大きさをＤＣ０、ＤＣ１及びＤＣ２（ＤＣ０＜ＤＣ１＜ＤＣ２）とする各ダミー容量１３４にも電荷を蓄積する。
【0110】
この例では、静電容量の大きさをＣ０、Ｃ１、Ｃ２及びＣ３とする各容量１３２に接続される各第２のスイッチ１３３について、それぞれＳＷ０、ＳＷ１、ＳＷ２及びＳＷ３と表す。また、静電容量の大きさをＤＣ０、ＤＣ１及びＤＣ２とする各ダミー容量１３４に接続される各第３のスイッチ１３５をそれぞれ、ＤＳＷ０、ＤＳＷ１及びＤＳＷ２と表す。各容量１３２及び各ダミー容量１３４における容量の関係式は、式（７）として表す。
【0111】
本実施形態における重みづけ加算回路１９は、第２のスイッチ１３３について、ＳＷ０～ＳＷ３の順番でオンとし、サンプルホールドする例を示しているが、例えば、第２のスイッチ１３３は、ＳＷ３～ＳＷ０の順番でオンとしてもよく、また他の順番でオンとしてもよい。
【0112】
まず、重みづけ加算回路１９は、第１のスイッチ１３１をオンとし、垂直信号線ＶＳＬと、読出し配線１３０とを接続し、画素アレイ部２０から信号の入力を受け付ける。この時、ＳＨの電圧はＨｉとなり、重みづけ加算が完了するまで電圧状態が保たれる。
【0113】
次に、重みづけ加算回路１９は、第２のスイッチ１３３のうち、ＳＷ０をオンとし、読出し配線１３０と、容量１３２のうち、Ｃ０とを接続する。Ｃ０は、信号電圧Ｖ０の信号の入力を受け付けてサンプルホールドする。この時、ＳＷ０の電圧状態はＨｉとなり、Ｃ０に電荷が蓄えられるまで電圧状態が保たれる。また、重みづけ加算回路１９は、第３のスイッチ１３５のうち、ＤＳＷ１及びＤＳＷ２をオンとし、読出し配線１３０と、ダミー容量１３４のうち、ＤＣ１及びＤＣ２を接続する。また、Ｃ０に蓄えられる電荷Ｑ０は、式（１）として表される。
【0114】
次に、重みづけ加算回路１９は、第２のスイッチ１３３のうち、ＳＷ１をオンとし、読出し配線１３０と、容量１３２のうち、Ｃ１とを接続する。Ｃ１は、信号電圧Ｖ１の信号の入力を受け付けてサンプルホールドする。この時ＳＷ１の電圧状態はＨｉとなり、Ｃ１に電荷が蓄えられるまで電圧状態が保たれる。また、重みづけ加算回路１９は、第３のスイッチ１３５のうち、ＤＳＷ０及びＤＳＷ２をオンとし、読出し配線１３０と、ダミー容量１３４のうち、ＤＣ０及びＤＣ２を接続する。また、Ｃ１に蓄えられる電荷Ｑ１は、式（２）として表される。
【0115】
次に、重みづけ加算回路１９は、第２のスイッチ１３３のうち、ＳＷ２をオンとし、読出し配線１３０と、容量１３２のうち、Ｃ２とを接続する。Ｃ２は、信号電圧Ｖ２の信号の入力を受け付けてサンプルホールドする。この時ＳＷ２の電圧状態はＨｉとなり、Ｃ２に電荷が蓄えられるまで電圧状態が保たれる。また、重みづけ加算回路１９は、第３のスイッチ１３５のうち、ＤＳＷ０及びＤＳＷ１をオンとし、読出し配線１３０と、ダミー容量１３４のうち、ＤＣ０及びＤＣ１を接続する。また、Ｃ２に蓄えられる電荷Ｑ２は、式（３）として表される。
【0116】
次に、重みづけ加算回路１９は、第２のスイッチ１３３のうち、ＳＷ３をオンとし、読出し配線１３０と、容量１３２のうち、Ｃ３とを接続する。Ｃ３は、信号電圧Ｖ３の信号の入力を受け付けてサンプルホールドする。この時ＳＷ３の電圧状態はＨｉとなり、Ｃ３に電荷が蓄えられるまで電圧状態が保たれる。また、Ｃ３に蓄えられる電荷Ｑ３は、式（４）として表される。なお、Ｃ３に電荷を蓄える際の読出し配線１３０の電圧はＶ３となる。
【0117】
各容量１３２でサンプルホールドが完了した後、重みづけ加算回路１９は、第２のスイッチ１３３をすべてオンとし、読出し配線１３０で加算を行う。この時の読出し配線１３０の信号電圧Ｖは、式（５）として表される。なお、ダミー容量１３４に蓄えられた電荷は、ＡＤ変換されずに、リセットされる。
【0118】
上述のように、重みづけ加算された信号は、ＡＤ変換部１３に入力される。また、Ｃ３～Ｃ０の容量比率を２のべき乗とし、各信号を加算することで、ビットシリアル演算を行うことができる。
【0119】
この例では、重みづけ加算回路１９は、ＳＷ０、ＳＷ１、ＳＷ２及びＳＷ３の順番でオンとする例を説明したが、この順番は限定されず、任意の順番でオンとしてもよい。
【0120】
本実施形態では、第１実施形態と同様に、重みづけ加算回路１９の入力側には、画素アレイ部２０だけでなく、メモリアレイ等のセルアレイを接続してもよい。
【0121】
本実施形態によれば、重みづけ加算回路１９は、容量１３２に加え、ダミー容量１３４を備える。また、重みづけ加算回路１９は、各容量１３２にサンプルホールドする際に、第３のスイッチ１３５をオンとして、ダミー容量１３４にも併せて電荷を蓄える。これにより、重みづけ加算回路１９は、サンプルホールドを行う際に、疑似的にすべての容量１３２を一定になるように調整することができ、容量１３２の静電容量の大きさの違いによる電荷の蓄積時間のずれを抑制することができる。
【0122】
また、本実施形態によれば、重みづけ加算回路１９は、画素アレイ部２０だけでなく、メモリアレイ等のセルアレイに接続して重みづけ加算を行うことができる。これにより、重みづけ加算回路１９は、信号を保持する機構からの入力について、容量１３２の大きさの違いによる電荷の蓄積時間のずれを抑制することができる。
【0123】
（第４実施形態）
図１１は、第４実施形態における重みづけ加算回路等の回路図である。
図１１は、第４実施形態における重みづけ加算回路等の回路図である。
【0124】
第１～３実施形態では、重みづけ加算回路１９が正の値の重みづけ加算を行う例について説明した。例えば、畳み込み演算を実施する場合、重みづけ加算回路１９は、負の値の重みづけ加算を実施する場合がある。
【0125】
本実施形態では、重みづけ加算回路１９は、正の値の重みづけ加算を実施する第１の重みづけ加算回路１９’と、負の値の重みづけ加算を実施する第２の重みづけ加算回路１９’’とを含む。この構成では、第１の重みづけ加算回路１９’及び第２の重みづけ加算回路１９’’は、各々の第１のスイッチ１３１を切り替えることで、垂直信号線ＶＳＬから信号を入力し、正の値及び負の値について重みづけ加算を行う。この例では、第１の重みづけ加算回路１９’の第１のスイッチ１３１をＳＨと表し、第２の重みづけ加算回路１９’’の第１のスイッチ１３１をｎＳＨと表す。これらの重みづけ加算回路１９’及び１９’’の構成は、図３と同様である。
【0126】
つまり、ＳＨをオンとして、ｎＳＨをオフとすることで、第１の重みづけ加算回路１９’は、正の値の重みづけ加算を実施することができ、また、ＳＨをオフとして、ｎＳＨをオンとすることで、第２の重みづけ加算回路１９’’は、負の値の重みづけ加算を実施することができる。
【0127】
重みづけ加算回路１９は、正の値の重みづけ加算結果及び負の値の重みづけ加算結果を、それぞれＡＤ変換部１３に個別に入力し、ＡＤ変換した後に、引き算回路（不図示）等でこれらの値の差分をとることで正の値及び負の値の演算を実行してもよい。また、重みづけ加算回路１９が、引き算回路等によって、第１の重みづけ加算回路１９’と、第２の重みづけ加算回路１９’’との差分をとった後に、ＡＤ変換部１３は、差分信号をＡＤ変換してもよい。
【0128】
また、重みづけ加算回路１９は、サンプルホールドしない回路については、重みづけ加算の前に、初期電圧にリセットしてもよい。また、重みづけ加算回路１９は、重みづけ加算の際に、すべての容量１３２に係る第２のスイッチ１３３をオンとしてもよく、また、サンプルホールドを実行した容量１３２に係る第２のスイッチ１３３のみをオンとしてもよい。第２のスイッチ１３３のオン状態とオフ状態によって、重みづけの係数が変化するだけであるため、第２のスイッチ１３３の開閉状態は、任意の設計としてもよい。
【0129】
図１２は、第４実施形態における重みづけ加算回路等のタイミングチャートである。
【0130】
図１２の回路は、４つの画素１００から順次信号の入力を受け付けてサンプルホールド、重みづけ加算を行う例を示している。また、この例では、４つの画素１００のうち、２つの画素１００は、正の値の重みづけ加算を実施するために、第１の重みづけ加算回路１９’に信号を入力する。また、残りの２つの画素１００は、負の値の重みづけ加算を実施するために、第２の重みづけ加算回路１９’’に信号を入力する。
【0131】
図５と同様にこの例では、ＡＤ変換部１３は、重みづけ加算を行う前にＣＤＳ動作を行う例を示している。また、この例では、Ｃ２、Ｃ３、ｎＣ０及びｎＣ１にはサンプルホールドを行わない例を示している。
【0132】
図１２のタイミングチャートを用いて具体的すると、画素１００は、まず、Ｐ相レベルの読出しとして、リセットトランジスタＲＳＴ０によって、フローティングディフュージョンＦＤを初期化し、選択トランジスタＳＥＬ０をオンとして、リセットレベル信号を重みづけ加算回路１９に送信する。重みづけ加算回路１９は、対応する容量１３２であるＣ０でリセットレベル信号をサンプルホールドする。重みづけ加算回路１９は、この動作をＣ０、Ｃ１、ｎＣ２及びｎＣ３で繰り返したのち、重みづけを行った後、読出し配線１３０で加算を行う。また、加算された信号は、リセット信号としてＡＤ変換部１３に入力され、ＡＤ変換が行われる。
【0133】
次に、画素１００は、Ｄ相レベルの読出しとして、転送トランジスタＴＲＧ３をオンとして、さらに、選択トランジスタＳＥＬをオンとすることで、フォトダイオードＰＤに蓄積された電荷を重みづけ加算回路１９に送信する。重みづけ加算回路１９は、対応する容量１３２であるＣ０でサンプルホールドする。重みづけ加算回路１９は、この動作をＣ０、Ｃ１、ｎＣ２及びｎＣ３で繰り返して信号をサンプルホールドした後、読出し配線１３０で重みづけ加算する。この例では、Ｃ０及びＣ１については、正の加算が行われ、また、ｎＣ２及びｎＣ３については、負の加算が行われる。正の値の重みづけ加算結果及び負の値の重みづけ加算結果は、データ信号としてＡＤ変換部１３に入力され、ＡＤ変換される。この例では、ＡＤ変換された後に、引き算回路でこれらの値の差分をとることで正の値の演算及び負の値の演算を実施する。また、引き算回路では、このデータ信号の差分信号と、リセット信号との差分を求めることで、固定パターンのノイズが除去される。
【0134】
本実施形態では、重みづけ加算回路１９は、画素アレイ部２０だけでなく、メモリアレイ等のセルアレイに接続して重みづけ加算を行ってもよい。
【0135】
本実施形態によれば、重みづけ加算回路１９は、第１の重みづけ加算回路１９’に加えて、第２の重みづけ加算回路１９’’を含む。これにより、重みづけ加算回路１９は、正の値の重みづけ加算に加えて、負の値の重みづけ加算を実施することができる。
【0136】
また、本実施形態によれば、ＡＤ変換部１３は、第１の重みづけ加算回路１９’及び第２の重みづけ加算回路１９’’から、リセット信号と、データ信号とを分けて入力を受け付けることにより、重みづけ加算とともに、ＣＤＳ動作も実現することができる。
【0137】
また、本実施形態によれば、重みづけ加算回路１９は、画素アレイ部２０だけでなく、メモリアレイ等のセルアレイに接続して重みづけ加算を行うことができる。これにより、画素１００だけでなく、信号を保持する機構における重みづけ加算を実現することができる。
【0138】
また、本実施形態によれば、第１の重みづけ加算回路１９’及び第２の重みづけ加算回路１９’’は、セルアレイからの信号を共通の垂直信号線ＶＳＬを介して、信号を入力する。本実施形態では、垂直信号線ＶＳＬの数と、重みづけ加算回路１９の数の比は１対２となる。これにより、回路垂直信号線ＶＳＬの数を減らすことができる。
【0139】
（第５実施形態）
図１３は、第５実施形態における重みづけ加算回路等の回路図である。
図１３は、第５実施形態における重みづけ加算回路等の回路図である。
【0140】
本実施形態では、各々の画素１００は、第１の垂直信号線ＶＳＬ’を介して、第１の重みづけ加算回路１９’に信号を入力する第１の選択トランジスタＳＥＬ’を含む。また、各々の画素１００は、第２の垂直信号線ｎＶＳＬを介して、第２の重みづけ加算回路１９’’に信号を入力する第２の選択トランジスタｎＳＥＬを含む。
【0141】
本実施形態では、説明のため、画素１００が、第１の選択トランジスタＳＥＬ’と、第２の選択トランジスタｎＳＥＬを含む例を取り上げる。しかし、この例に限らず、上述したメモリ等のセルが第１の選択トランジスタＳＥＬ’と、第２の選択トランジスタｎＳＥＬを含んでいる構成であればよい。
【0142】
画素１００は、正の値の重みづけ加算を実施する場合、第１の選択トランジスタＳＥＬ’をオンとし、また、第２の選択トランジスタｎＳＥＬをオフとして、第１の重みづけ加算回路１９’に信号を入力する。また、画素１００は、負の値の重みづけ加算を実施する場合、第２の選択トランジスタｎＳＥＬをオンとし、また、第１の選択トランジスタＳＥＬ’をオフとして、第２の重みづけ加算回路１９’’に信号を入力する。このように、画素１００は、第１の選択トランジスタＳＥＬ’及び第２の選択トランジスタｎＳＥＬを切り替えて、第１の重みづけ加算回路１９’または第２の重みづけ加算回路１９’’に信号を入力する。
【0143】
第１の重みづけ加算回路１９’は、第１の選択トランジスタＳＥＬ’がオンである画素１００から順次、信号の入力を受け付けてサンプルホールドする。また、すべての信号についてサンプルホールドが完了後、正の値の重みづけ加算を実施する。
【0144】
第２の重みづけ加算回路１９’’は、第２の選択トランジスタｎＳＥＬがオンである画素１００から順次、信号の入力を受け付けてサンプルホールドする。また、すべての信号についてサンプルホールドが完了後、負の値の重みづけ加算を実施する。
【0145】
重みづけ加算回路１９は、正の値の重みづけ加算結果及び負の値の重みづけ加算結果を、それぞれＡＤ変換部１３に個別に入力し、ＡＤ変換した後に、引き算回路（不図示）等でこれらの値の差分をとることで正の値の演算及び負の値の演算を実行してもよい。また、重みづけ加算回路１９に引き算回路等を含めて、第１の重みづけ加算回路１９’と、第２の重みづけ加算回路１９’’との差分をとった後に、ＡＤ変換部１３は、差分信号をＡＤ変換してもよい。
【0146】
本実施形態によれば、セルは、第１の選択トランジスタＳＥＬ’及び第２の選択トランジスタｎＳＥＬを備える。セルは、これらのトランジスタを切り替えることにより、第１の重みづけ加算回路１９’または第２の重みづけ加算回路１９’’に信号を入力することができる。これにより、重みづけ加算回路１９は、正の値の重みづけ加算に加えて、負の値の重みづけ加算を実施することができる。
【0147】
また、本実施形態における重みづけ加算回路１９は、第１の選択トランジスタＳＥＬ’及び第２の選択トランジスタｎＳＥＬの開閉に基づいて、第１の重みづけ加算回路１９’が正の値の信号を入力すると同時に、第２の重みづけ加算回路１９’’は、負の値の信号を入力することができる。
【0148】
また、本実施形態によれば、第１の重みづけ加算回路１９’及び第２の重みづけ加算回路１９’’は、セルアレイからの信号をそれぞれ、第１の垂直信号線ＶＳＬ’及び第２の垂直信号線ｎＶＳＬを介して、信号を入力する。本実施形態では、垂直信号線の数と、重みづけ加算回路１９の数の比は１対１となる。これにより、回路垂直信号線ＶＳＬの数を減らすことができる。
【0149】
（第６実施形態）
図１４は、第６実施形態における重みづけ加算回路等の回路図である。
図１４は、第６実施形態における重みづけ加算回路等の回路図である。
【0150】
本実施形態における重みづけ加算回路は、各容量１３２について、読出し配線１３０側の端子とは逆側の端子に接続され、端子電圧を複数の値に切り替え可能とする第４のスイッチ１３６を含む。
【0151】
図１４Ａは、各容量１３２について、第４のスイッチ１３６が、読出し配線１３０とは逆側の端子電圧を２つの値に設定可能な構成を示している。例えば、２つの値は、ＧＮＤあるいはＶＤＤといった値に設定することが考えらる。
【0152】
また、図１４Ａは、ＡＤ変換部１３に含まれるコンパレータ３３を図示している。コンパレータ３３の一方の入力は、データ信号が入力され、もう一方の入力は、基準電圧Ｒｅｆが入力される。
【0153】
図１４Ｂは、第４のスイッチ１３６が、各容量１３２について、読出し配線１３０とは逆側の端子電圧を３つの値に設定可能な構成を示している。この例では、３つの値をＲｅｆ１、Ｒｅｆ２及びＲｅｆ３として表している。
【0154】
重みづけ加算回路１９は、各容量１３２で信号をサンプルホールドし、その後重みづけ加算するまでの間、第４のスイッチ１３６を所定の値に固定する。図４Ａでは、例えば、第４のスイッチ１３６は、ＧＮＤ電圧に電圧値を固定することが考えられる。また、重みづけ加算回路１９は、重みづけ加算後、ＡＤ変換部１３にデータ信号を入力する。また、重みづけ加算回路１９は、ＡＤ変換の際に、第４のスイッチ１３６を逐次切り替えてＤＡＣ信号を生成し、ＡＤ変換部１３に入力する。ＡＤ変換部１３は、データ信号と、ＤＡＣ信号との逐次比較動作を実施することにより、逐次比較型（ＳＡＲ（Successive Approximation Register）型とも呼ぶ）ＡＤの変換を実現することができる。
【0155】
図１５は、第６実施形態における重みづけ加算回路等の変形例の回路図である。
【0156】
図１５に示す重みづけ加算回路１９は、正の値の重みづけ加算を実施する第１の重みづけ加算回路１９’と、負の値の重みづけ加算を実施する第２の重みづけ加算回路１９’’とを含む。また、第１の重みづけ加算回路１９’及び第２の重みづけ加算回路１９’’は、それぞれ各容量１３２について、読出し配線１３０とは逆側の端子電圧を複数の値に切り替え可能とする第４のスイッチ１３６を含む。図１５は、各容量１３２について、第４のスイッチ１３６が、読出し配線１３０とは逆側の端子電圧を２つの値に設定可能な構成を示している
【0157】
本変形例における第１の重みづけ加算回路１９’及び第２の重みづけ加算回路１９’’は、各容量１３２に信号をサンプルホールドし、その後重みづけ加算するまでの間、第４のスイッチ１３６を所定の値に固定する。例えば、第４のスイッチ１３６は、ＧＮＤ電圧に電圧値を固定することが考えられる。また、第１の重みづけ加算回路１９’及び第２の重みづけ加算回路１９’’は、ＡＤ変換部１３にデータ信号を入力する。また、第１の重みづけ加算回路１９’及び第２の重みづけ加算回路１９’’は、ＡＤ変換にあたり、第４のスイッチ１３６を逐次切り替えて、ＡＤ変換部１３にＤＡＣ信号を入力する。ＡＤ変換部１３は、正の値の重みづけ加算結果及び負の値の重みづけ加算結果においても、データ信号と、ＤＡＣ信号とを逐次比較することにより、逐次比較型ＡＤの変換を実現することができる。
【0158】
本実施形態によれば、重みづけ加算回路１９は、各容量１３２について、読出し配線１３０とは逆側の端子電圧を複数の値に切り替え可能とする第４のスイッチ１３６を含む。これにより、重みづけ加算回路１９は、別途、容量１３２を付加することなく、逐次比較型ＡＤ変換器の機能を実現することができる。
【0159】
＜＜車両制御システムの構成例＞＞
図１６は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。
図１６は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。
【0160】
車両制御システム１１は、車両１に設けられ、車両１の走行支援及び自動運転に関わる処理を行う。
【0161】
車両制御システム１１は、車両制御ＥＣＵ（Electronic Control Unit）２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ＤＭＳ（Driver Monitoring System）３０、ＨＭＩ（Human Machine Interface）３１、及び、車両制御部３２を備える。
【0162】
車両制御ＥＣＵ２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ドライバモニタリングシステム（ＤＭＳ）３０、ヒューマンマシーンインタフェース（ＨＭＩ）３１、及び、車両制御部３２は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったデジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク４１は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してＣＡＮが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば近距離無線通信（ＮＦＣ（Near Field Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
【0163】
なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、車両制御ＥＣＵ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単に車両制御ＥＣＵ２１と通信部２２とが通信を行うと記載する。
【0164】
車両制御ＥＣＵ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）といった各種のプロセッサにより構成される。車両制御ＥＣＵ２１は、車両制御システム１１全体又は一部の機能の制御を行う。
【0165】
通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部２２は、複数の通信方式を用いて通信を行うことができる。
【0166】
通信部２２が実行可能な車外との通信について、概略的に説明する。通信部２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated Short Range Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部２２が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でデジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
【0167】
また例えば、通信部２２は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、ＭＴＣ（Machine Type Communication）端末である。さらに、通信部２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Vehicle to Vehicle）通信、路側器等との間の路車間（Vehicle to Infrastructure）通信、家との間（Vehicle to Home）の通信、及び、歩行者が所持する端末等との間の歩車間（Vehicle to Pedestrian）通信等の、自車と他との通信をいう。
【0168】
通信部２２は、例えば、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる（Over The Air)。通信部２２は、さらに、地図情報、交通情報、車両１の周囲の情報等を外部から受信することができる。また例えば、通信部２２は、車両１に関する情報や、車両１の周囲の情報等を外部に送信することができる。通信部２２が外部に送信する車両１に関する情報としては、例えば、車両１の状態を示すデータ、認識部７３による認識結果等がある。さらに例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
【0169】
例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Vehicle Information and Communication System）（登録商標））により送信される電磁波を受信する。
【0170】
通信部２２が実行可能な車内との通信について、概略的に説明する。通信部２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Wireless USB）といった、無線通信により所定以上の通信速度でデジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部２２は、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、ＭＨＬ（Mobile High-definition Link）といった、有線通信により所定以上の通信速度でデジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
【0171】
ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
【0172】
地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
【0173】
高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から車両１に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、ＡＤＡＳ（Advanced Driver Assistance System）やＡＤ（Autonomous Driving）に適合させた地図である。
【0174】
ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ５１、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
【0175】
位置情報取得部２４は、ＧＮＳＳ（Global Navigation Satellite System）衛星からＧＮＳＳ信号を受信し、車両１の位置情報を取得する。取得した位置情報は、走行支援・自動運転制御部２９に供給される。なお、位置情報取得部２４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
【0176】
外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
【0177】
例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）５３、及び、超音波センサ５４を備える。これに限らず、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。
【0178】
なお、カメラ５１の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ５１に適用することができる。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
【0179】
また、例えば、外部認識センサ２５は、車両１に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
【0180】
さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
【0181】
車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
【0182】
例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち１種類以上のセンサを備えることができる。車内センサ２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
【0183】
車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
【0184】
例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ（Inertial Measurement Unit））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。
【0185】
記憶部２８は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部２８は、例えばＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)及びＲＡＭ(Random Access Memory)として用いられ、記憶媒体としては、ＨＤＤ（Hard Disc Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部２８は、車両制御システム１１の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部２８は、ＥＤＲ（Event Data Recorder）やＤＳＳＡＤ（Data Storage System for Automated Driving）を備え、事故等のイベントの前後の車両１の情報や車内センサ２６によって取得された情報を記憶する。
【0186】
走行支援・自動運転制御部２９は、車両１の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部２９は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。
【0187】
分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。
【0188】
自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。
【0189】
ローカルマップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy Grid Map）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。
【0190】
なお、自己位置推定部７１は、位置情報取得部２４により取得される位置情報、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
【0191】
センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
【0192】
認識部７３は、車両１の外部の状況の検出を行う検出処理、及び、車両１の外部の状況の認識を行う認識処理を実行する。
【0193】
例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。
【0194】
具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
【0195】
例えば、認識部７３は、レーダ５２又はＬｉＤＡＲ５３等によるセンサデータに基づくポイントクラウドを点群の塊ごとに分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。
【0196】
例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。
【0197】
例えば、認識部７３は、カメラ５１から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部７３は、セマンティックセグメンテーション等の認識処理を行うことにより、車両１の周囲の物体の種類を認識してもよい。
【0198】
例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置推定部７１による自己位置の推定結果、及び、認識部７３による車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行うことができる。認識部７３は、この処理により、信号機の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。
【0199】
例えば、認識部７３は、車両１の周囲の環境の認識処理を行うことができる。認識部７３が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
【0200】
行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
【0201】
なお、経路計画（Global path planning）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成（Local path planning）を行う処理も含まれる。
【0202】
経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度と目標角速度を計算することができる。
【0203】
動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
【0204】
例えば、動作制御部６３は、後述する車両制御部３２に含まれる、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部６３は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
【0205】
ＤＭＳ３０は、車内センサ２６からのセンサデータ、及び、後述するＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
【0206】
なお、ＤＭＳ３０が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
【0207】
ＨＭＩ３１は、各種のデータや指示等の入力と、各種のデータの運転者等への提示を行う。
【0208】
ＨＭＩ３１によるデータの入力について、概略的に説明する。ＨＭＩ３１は、人がデータを入力するための入力デバイスを備える。ＨＭＩ３１は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。ＨＭＩ３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、ＨＭＩ３１は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ３１は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
【0209】
ＨＭＩ３１によるデータの提示について、概略的に説明する。ＨＭＩ３１は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、ＨＭＩ３１は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。ＨＭＩ３１は、視覚情報として、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成及び出力する。また、ＨＭＩ３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、ＨＭＩ３１は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成及び出力する。
【0210】
ＨＭＩ３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ３１は、車両１に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera Monitoring System）、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
【0211】
ＨＭＩ３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
【0212】
ＨＭＩ３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両１の搭乗者が接触する部分に設けられる。
【0213】
車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。
【0214】
ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うステアリングＥＣＵ、ステアリングシステムの駆動を行うアクチュエータ等を備える。
【0215】
ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Antilock Brake System）、回生ブレーキ機構等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うブレーキＥＣＵ、ブレーキシステムの駆動を行うアクチュエータ等を備える。
【0216】
駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行う駆動ＥＣＵ、駆動システムの駆動を行うアクチュエータ等を備える。
【0217】
ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うボディ系ＥＣＵ、ボディ系システムの駆動を行うアクチュエータ等を備える。
【0218】
ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うライトＥＣＵ、ライトの駆動を行うアクチュエータ等を備える。
【0219】
ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うホーンＥＣＵ、カーホーンの駆動を行うアクチュエータ等を備える。
【0220】
図１７は、図１６の外部認識センサ２５のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４等によるセンシング領域の例を示す図である。なお、図１７において、車両１を上面から見た様子が模式的に示され、左端側が車両１の前端（フロント）側であり、右端側が車両１の後端（リア）側となっている。
【0221】
センシング領域１０１Ｆ及びセンシング領域１０１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１０１Ｆは、複数の超音波センサ５４によって車両１の前端周辺をカバーしている。センシング領域１０１Ｂは、複数の超音波センサ５４によって車両１の後端周辺をカバーしている。
【0222】
センシング領域１０１Ｆ及びセンシング領域１０１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられる。
【0223】
センシング領域１０２Ｆ乃至センシング領域１０２Ｂは、短距離又は中距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０２Ｆは、車両１の前方において、センシング領域１０１Ｆより遠い位置までカバーしている。センシング領域１０２Ｂは、車両１の後方において、センシング領域１０１Ｂより遠い位置までカバーしている。センシング領域１０２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域１０２Ｒは、車両１の右側面の後方の周辺をカバーしている。
【0224】
センシング領域１０２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域１０２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられる。センシング領域１０２Ｌ及びセンシング領域１０２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出等に用いられる。
【0225】
センシング領域１０３Ｆ乃至センシング領域１０３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域１０３Ｆは、車両１の前方において、センシング領域１０２Ｆより遠い位置までカバーしている。センシング領域１０３Ｂは、車両１の後方において、センシング領域１０２Ｂより遠い位置までカバーしている。センシング領域１０３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域１０３Ｒは、車両１の右側面の周辺をカバーしている。
【0226】
センシング領域１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域１０３Ｂにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域１０３Ｌ及びセンシング領域１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
【0227】
センシング領域１０４は、ＬｉＤＡＲ５３のセンシング領域の例を示している。センシング領域１０４は、車両１の前方において、センシング領域１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０４は、センシング領域１０３Ｆより左右方向の範囲が狭くなっている。
【0228】
センシング領域１０４におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
【0229】
センシング領域１０５は、長距離用のレーダ５２のセンシング領域の例を示している。
センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。
センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。
【0230】
センシング領域１０５におけるセンシング結果は、例えば、ＡＣＣ（Adaptive Cruise Control）、緊急ブレーキ、衝突回避等に用いられる。
【0231】
なお、外部認識センサ２５が含むカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の各センサのセンシング領域は、図１７以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５３が車両１の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでもよいし、複数であってもよい。
【0232】
以上、実施の形態及びその変形例、適用例ならびに応用例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
【0233】
また、例えば、本開示は以下のような構成を取ることができる。
【0234】
（１）
固体撮像装置の垂直信号線に読み出された複数の信号の入力を受け付ける読出し配線と、
前記垂直信号線及び前記読み出し配線を接続し、または切り離す第１のスイッチと、
前記複数の信号をサンプルホールドする複数の容量と、
前記読出し配線及び前記容量を接続し、または切り離す複数の第２スイッチとを備える、
重みづけ加算回路。
固体撮像装置の垂直信号線に読み出された複数の信号の入力を受け付ける読出し配線と、
前記垂直信号線及び前記読み出し配線を接続し、または切り離す第１のスイッチと、
前記複数の信号をサンプルホールドする複数の容量と、
前記読出し配線及び前記容量を接続し、または切り離す複数の第２スイッチとを備える、
重みづけ加算回路。
【0235】
（２）
前記固体撮像装置は、
前記複数の信号を保持する機構を有するセルアレイと、
前記セルアレイから前記複数の信号を読み出す前記垂直信号線と、
前記重みづけ加算回路で重みづけ加算された信号のＡＤ変換を行うＡＤ変換部とを備え、
前記重みづけ加算回路は、前記セルアレイと、前記垂直信号線と、前記ＡＤ変換部とに接続される、
（１）に記載の重みづけ加算回路。
前記固体撮像装置は、
前記複数の信号を保持する機構を有するセルアレイと、
前記セルアレイから前記複数の信号を読み出す前記垂直信号線と、
前記重みづけ加算回路で重みづけ加算された信号のＡＤ変換を行うＡＤ変換部とを備え、
前記重みづけ加算回路は、前記セルアレイと、前記垂直信号線と、前記ＡＤ変換部とに接続される、
（１）に記載の重みづけ加算回路。
【0236】
（３）
前記重みづけ加算回路は、
前記垂直信号線に順次読み出された前記複数の信号を順次サンプルホールドし、
前記複数の信号のサンプルホールドの完了後に、重みづけ加算を行う、
（１）に記載の重みづけ加算回路。
前記重みづけ加算回路は、
前記垂直信号線に順次読み出された前記複数の信号を順次サンプルホールドし、
前記複数の信号のサンプルホールドの完了後に、重みづけ加算を行う、
（１）に記載の重みづけ加算回路。
【0237】
（４）
前記セルアレイに含まれる複数のセルは、フォトダイオードを含む画素、またはメモリアレイに含まれるメモリである、（２）に記載の重みづけ加算回路。
前記セルアレイに含まれる複数のセルは、フォトダイオードを含む画素、またはメモリアレイに含まれるメモリである、（２）に記載の重みづけ加算回路。
【0238】
（５）
前記重みづけ加算回路は、前記複数の容量における前記読出し配線側の端子とは逆側の端子に、端子電圧の値を切り替え可能とする第４のスイッチをさらに含む、（２）に記載の重みづけ加算回路。
前記重みづけ加算回路は、前記複数の容量における前記読出し配線側の端子とは逆側の端子に、端子電圧の値を切り替え可能とする第４のスイッチをさらに含む、（２）に記載の重みづけ加算回路。
【0239】
（６）
前記ＡＤ変換部は、前記重みづけ加算回路が前記第４のスイッチの切り替えに基づいて生成したＤＡＣ信号と、前記重みづけ加算された信号との逐次比較動作を実施する、（５）に記載の重みづけ加算回路。
前記ＡＤ変換部は、前記重みづけ加算回路が前記第４のスイッチの切り替えに基づいて生成したＤＡＣ信号と、前記重みづけ加算された信号との逐次比較動作を実施する、（５）に記載の重みづけ加算回路。
【0240】
（７）
複数の信号を保持する機構を有するセルアレイと、
前記セルアレイから前記複数の信号を読み出す垂直信号線と、
前記垂直信号線に読み出された前記複数の信号をサンプルホールドし、重みづけ加算を行う重みづけ加算回路と、
前記重みづけ加算回路で重みづけ加算された信号のＡＤ変換を行うＡＤ変換部とを備え、
前記重みづけ加算回路は、
前記垂直信号線に読み出された前記複数の信号の入力を受け付ける読出し配線と、
前記垂直信号線及び前記読み出し配線を接続し、または切り離す第１のスイッチと、
前記複数の信号をサンプルホールドする複数の容量と、
前記読出し配線及び前記容量を接続し、または切り離す複数の第２スイッチとを含む、
固体撮像装置。
複数の信号を保持する機構を有するセルアレイと、
前記セルアレイから前記複数の信号を読み出す垂直信号線と、
前記垂直信号線に読み出された前記複数の信号をサンプルホールドし、重みづけ加算を行う重みづけ加算回路と、
前記重みづけ加算回路で重みづけ加算された信号のＡＤ変換を行うＡＤ変換部とを備え、
前記重みづけ加算回路は、
前記垂直信号線に読み出された前記複数の信号の入力を受け付ける読出し配線と、
前記垂直信号線及び前記読み出し配線を接続し、または切り離す第１のスイッチと、
前記複数の信号をサンプルホールドする複数の容量と、
前記読出し配線及び前記容量を接続し、または切り離す複数の第２スイッチとを含む、
固体撮像装置。
【0241】
（８）
前記重みづけ加算回路は、
前記垂直信号線に順次読み出された前記複数の信号を順次サンプルホールドし、
前記複数の信号のサンプルホールドの完了後に、重みづけ加算を行う、
（７）に記載の固体撮像装置。
前記重みづけ加算回路は、
前記垂直信号線に順次読み出された前記複数の信号を順次サンプルホールドし、
前記複数の信号のサンプルホールドの完了後に、重みづけ加算を行う、
（７）に記載の固体撮像装置。
【0242】
（９）
前記セルアレイに含まれる複数のセルは、フォトダイオードを含む画素、またはメモリアレイに含まれるメモリである、（７）に記載の固体撮像装置。
前記セルアレイに含まれる複数のセルは、フォトダイオードを含む画素、またはメモリアレイに含まれるメモリである、（７）に記載の固体撮像装置。
【0243】
（１０）
前記複数の容量は、互いに静電容量が異なる第１の容量と第２の容量を含む、（７）に記載の固体撮像装置。
前記複数の容量は、互いに静電容量が異なる第１の容量と第２の容量を含む、（７）に記載の固体撮像装置。
【0244】
（１１）
前記垂直信号線と、前記重みづけ加算回路との間には、前記複数の信号の入力の遅延時間を設けるバッファ回路が接続される、（７）に記載の固体撮像装置。
前記垂直信号線と、前記重みづけ加算回路との間には、前記複数の信号の入力の遅延時間を設けるバッファ回路が接続される、（７）に記載の固体撮像装置。
【0245】
（１２）
前記重みづけ加算回路は、
前記第１の容量及び前記第２の容量がサンプルホールドする際の静電容量の差を調整する、１または複数のダミー容量と、
前記読出し配線及び前記ダミー容量を接続し、または切り離す１または複数の第３のスイッチとをさらに含む、
（１０）に記載の固体撮像装置。
前記重みづけ加算回路は、
前記第１の容量及び前記第２の容量がサンプルホールドする際の静電容量の差を調整する、１または複数のダミー容量と、
前記読出し配線及び前記ダミー容量を接続し、または切り離す１または複数の第３のスイッチとをさらに含む、
（１０）に記載の固体撮像装置。
【0246】
（１３）
前記重みづけ加算回路は、前記第１の容量と、前記第２の容量との静電容量の差に基づいて、１または複数の前記ダミー容量に電荷を蓄える、（１２）に記載の固体撮像装置。
前記重みづけ加算回路は、前記第１の容量と、前記第２の容量との静電容量の差に基づいて、１または複数の前記ダミー容量に電荷を蓄える、（１２）に記載の固体撮像装置。
【0247】
（１４）
複数の信号を保持する機構を有するセルアレイと、
前記セルアレイから前記複数の信号を読み出す垂直信号線と、
前記垂直信号線に読み出された前記複数の信号をサンプルホールドし、正の値の重みづけ加算を行う第１の重みづけ加算回路と、
前記垂直信号線に読み出された前記複数の信号をサンプルホールドし、負の値の重みづけ加算を行う第２の重みづけ加算回路と、
前記第１の重みづけ加算回路で重みづけ加算された信号及び前記第２の重みづけ加算回路で重みづけ加算された信号のＡＤ変換を行うＡＤ変換部とを備え、
前記第１及び第２の重みづけ加算回路の各々は、
前記垂直信号線に読み出された前記複数の信号の入力を受け付ける読出し配線と、
前記垂直信号線及び前記読み出し配線を接続し、または切り離す第１のスイッチと、
前記複数の信号をサンプルホールドする複数の容量と、
前記読出し配線及び前記容量を接続し、または切り離す複数の第２スイッチとを含む、
固体撮像装置。
複数の信号を保持する機構を有するセルアレイと、
前記セルアレイから前記複数の信号を読み出す垂直信号線と、
前記垂直信号線に読み出された前記複数の信号をサンプルホールドし、正の値の重みづけ加算を行う第１の重みづけ加算回路と、
前記垂直信号線に読み出された前記複数の信号をサンプルホールドし、負の値の重みづけ加算を行う第２の重みづけ加算回路と、
前記第１の重みづけ加算回路で重みづけ加算された信号及び前記第２の重みづけ加算回路で重みづけ加算された信号のＡＤ変換を行うＡＤ変換部とを備え、
前記第１及び第２の重みづけ加算回路の各々は、
前記垂直信号線に読み出された前記複数の信号の入力を受け付ける読出し配線と、
前記垂直信号線及び前記読み出し配線を接続し、または切り離す第１のスイッチと、
前記複数の信号をサンプルホールドする複数の容量と、
前記読出し配線及び前記容量を接続し、または切り離す複数の第２スイッチとを含む、
固体撮像装置。
【0248】
（１５）
前記セルアレイに含まれる複数のセルは、フォトダイオードを含む画素、またはメモリアレイに含まれるメモリである、（１４）に記載の固体撮像装置。
前記セルアレイに含まれる複数のセルは、フォトダイオードを含む画素、またはメモリアレイに含まれるメモリである、（１４）に記載の固体撮像装置。
【0249】
（１６）
前記第１及び第２の重みづけ加算回路の各々は、
前記垂直信号線に順次読み出された前記複数の信号を順次サンプルホールドし、
前記複数の信号のサンプルホールドの完了後に、正の値の重みづけ加算及び負の値の重みづけ加算を行う、
（１４）に記載の固体撮像装置。
前記第１及び第２の重みづけ加算回路の各々は、
前記垂直信号線に順次読み出された前記複数の信号を順次サンプルホールドし、
前記複数の信号のサンプルホールドの完了後に、正の値の重みづけ加算及び負の値の重みづけ加算を行う、
（１４）に記載の固体撮像装置。
【0250】
（１７）
前記セルアレイに含まれる複数のセルは、
前記複数の信号を前記第１の重みづけ加算回路に切り替えて入力する第１の選択トランジスタと、
前記複数の信号を前記第２の重みづけ加算回路に切り替えて入力する第２の選択トランジスタとを含む、
（１４）に記載の固体撮像装置。
前記セルアレイに含まれる複数のセルは、
前記複数の信号を前記第１の重みづけ加算回路に切り替えて入力する第１の選択トランジスタと、
前記複数の信号を前記第２の重みづけ加算回路に切り替えて入力する第２の選択トランジスタとを含む、
（１４）に記載の固体撮像装置。
【0251】
（１８）
前記重みづけ加算回路は、前記複数の容量における前記読出し配線側の端子とは逆側の端子に、端子電圧の値を切り替え可能とする第４のスイッチをさらに含む、（８）に記載の固体撮像装置。
前記重みづけ加算回路は、前記複数の容量における前記読出し配線側の端子とは逆側の端子に、端子電圧の値を切り替え可能とする第４のスイッチをさらに含む、（８）に記載の固体撮像装置。
【0252】
（１９）
前記ＡＤ変換部は、前記重みづけ加算回路が前記第４のスイッチの切り替えに基づいて生成したＤＡＣ信号と、前記重みづけ加算された信号との逐次比較を実施する、（１８）に記載の固体撮像装置。
前記ＡＤ変換部は、前記重みづけ加算回路が前記第４のスイッチの切り替えに基づいて生成したＤＡＣ信号と、前記重みづけ加算された信号との逐次比較を実施する、（１８）に記載の固体撮像装置。
【0253】
（２０）
前記第１及び第２の重みづけ加算回路の各々は、前記複数の容量における前記読出し配線側の端子とは逆側の端子に、端子電圧の値を切り替え可能とする第４のスイッチをさらに含む、（１４）に記載の固体撮像装置。
前記第１及び第２の重みづけ加算回路の各々は、前記複数の容量における前記読出し配線側の端子とは逆側の端子に、端子電圧の値を切り替え可能とする第４のスイッチをさらに含む、（１４）に記載の固体撮像装置。
【符号の説明】
【0254】
１：車両、１０：固体撮像装置、１１：車両制御システム、１２：垂直駆動部、
１３：ＡＤ変換部、１４：水平駆動部、１５：制御部、１６：信号処理回路、
１７：データ記憶部、１８：入出力部、１９：重みづけ加算回路、
１９’：重みづけ加算回路、１９’’：重みづけ加算回路、２０：画素アレイ部、
２１：車両制御ＥＣＵ、２２：通信部、２３：地図情報蓄積部、
２４：位置情報取得部、２５：外部認識センサ、２６：車内センサ、
２７：車両センサ、２８：記憶部、２９：走行支援・自動運転制御部、
３０：ＤＭＳ、３１：ＨＭＩ、３２：車両制御部、３３：コンパレータ、
４１：通信ネットワーク、４２：光電変換膜、４３：透明電極、４４：下部電極、
５１：カメラ、５２：レーダ、５３：ＬｉＤＡＲ、５４：超音波センサ、
６１：分析部、６２：行動計画部、６３：動作制御部、７１：自己位置推定部、
７２：センサフュージョン部、７３：認識部、８１：ステアリング制御部、
８２：ブレーキ制御部、８３：駆動制御部、８４：ボディ系制御部、
８５：ライト制御部、８６：ホーン制御部、１００：画素、１３０：読出し配線、
１３１：第１のスイッチ、１３２：容量、１３３：第２のスイッチ、
１３４：ダミー容量、１３５：第３のスイッチ、１３６：第４のスイッチ
１４０：電圧源、１４１：電流源、１４２：バッファ回路
１３：ＡＤ変換部、１４：水平駆動部、１５：制御部、１６：信号処理回路、
１７：データ記憶部、１８：入出力部、１９：重みづけ加算回路、
１９’：重みづけ加算回路、１９’’：重みづけ加算回路、２０：画素アレイ部、
２１：車両制御ＥＣＵ、２２：通信部、２３：地図情報蓄積部、
２４：位置情報取得部、２５：外部認識センサ、２６：車内センサ、
２７：車両センサ、２８：記憶部、２９：走行支援・自動運転制御部、
３０：ＤＭＳ、３１：ＨＭＩ、３２：車両制御部、３３：コンパレータ、
４１：通信ネットワーク、４２：光電変換膜、４３：透明電極、４４：下部電極、
５１：カメラ、５２：レーダ、５３：ＬｉＤＡＲ、５４：超音波センサ、
６１：分析部、６２：行動計画部、６３：動作制御部、７１：自己位置推定部、
７２：センサフュージョン部、７３：認識部、８１：ステアリング制御部、
８２：ブレーキ制御部、８３：駆動制御部、８４：ボディ系制御部、
８５：ライト制御部、８６：ホーン制御部、１００：画素、１３０：読出し配線、
１３１：第１のスイッチ、１３２：容量、１３３：第２のスイッチ、
１３４：ダミー容量、１３５：第３のスイッチ、１３６：第４のスイッチ
１４０：電圧源、１４１：電流源、１４２：バッファ回路
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】