特許 6238229 視差センサ及び相関信号の生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6238229

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】視差センサ及び相関信号の生成方法

(51)【国際特許分類】

   G01C 3/06 20060101AFI20171120BHJP

【ＦＩ】

   G01C3/06 110V

   G01C3/06 140

【請求項の数】4

【全頁数】22

(21)【出願番号】特願2014-994(P2014-994)

(22)【出願日】2014年1月7日

(65)【公開番号】特開2015-129669(P2015-129669A)

(43)【公開日】2015年7月16日

【審査請求日】2016年11月22日

(73)【特許権者】

【識別番号】504174135

【氏名又は名称】国立大学法人九州工業大学

(74)【代理人】

【識別番号】100090697

【弁理士】

【氏名又は名称】中前 富士男

(74)【代理人】

【識別番号】100176142

【弁理士】

【氏名又は名称】清井 洋平

(74)【代理人】

【識別番号】100127155

【弁理士】

【氏名又は名称】来田 義弘

(74)【代理人】

【識別番号】100159581

【弁理士】

【氏名又は名称】藤本 勝誠

(72)【発明者】

【氏名】有馬 裕

【審査官】 中村 説志

(56)【参考文献】

【文献】 特開２０１１−２０３１９２（ＪＰ，Ａ）

【文献】 特開２０１０−１９７２２７（ＪＰ，Ａ）

【文献】 特開２００９−２３６６６１（ＪＰ，Ａ）

【文献】 特開２００５−２６５４５７（ＪＰ，Ａ）

【文献】 特開２０１２−９９２９（ＪＰ，Ａ）

【文献】 特開２０１０−９３４１１（ＪＰ，Ａ）

【文献】 特開２００１−２７２２２５（ＪＰ，Ａ）

【文献】 特開２００１−１６９１８８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／００５８５８１（ＵＳ，Ａ１）

【文献】 Masatomo Kawano, et al.，"A Three-Dimensional Binocular Range Sensor LSI with a 106 dB Wide Dynamic Range Pixel"，TENCON 2010 -2010 IEEE Region 10 Conference- ，２０１０年１１月１９日，p.2469-2473，ISBN: 978-1-4244-6890-4, DOI: 10.1109/TENCON.2010.5685919

【文献】 Masatomo Kawano, et al.，"Three-Dimensional Binocular Range Sensor LSI with Enhanced Correlation Signal"，Japanese Journal of Applied Physics，２０１０年 ４月２０日，Vol.49, No.4S，04DE05-1 - 04DE05-6

【文献】 Norihito Kawaguchi, et al.，"Three-Dimensional Binocular Range Sensor Large Scale Integration with a 410 μs/Frame Output Time High-Speed Data Output Method"，Japanese Journal of Applied Physics，２０１０年 ４月２０日，Vol.49, No.4S，04DE06-1 - 04DE06-4

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ３／００ − ３／３２

Ｇ０１Ｂ１１／００ −１１／３０

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｈ０４Ｎ ５／３０ − ５／３７８

(57)【特許請求の範囲】

【請求項1】

距離を計測する対象となる被写体を撮像した画像を基に、複数の第１のアナログ電圧信号を出力する第１の撮像素子と、
前記第１の撮像素子とは異なる角度から前記被写体を撮像した画像を基に、複数の第２のアナログ電圧信号を出力する第２の撮像素子と、
並列に配され、前記複数の第１のアナログ電圧信号を、電圧値に比例するパルス幅を有した複数の第１のパルス幅画素信号にそれぞれ変換する複数の第１のアナログ／パルス幅変調回路と、
並列に配され、前記複数の第２のアナログ電圧信号を、電圧値に比例するパルス幅を有した複数の第２のパルス幅画素信号にそれぞれ変換する複数の第２のアナログ／パルス幅変調回路と、
前記複数の第１、第２のアナログ／パルス幅変調回路に、前記第１、第２のアナログ電圧信号の変換を同時に行わせる同期制御回路と、
隣り合う前記第１のアナログ／パルス幅変調回路からそれぞれ出力される２つの前記第１のパルス幅画素信号の差異を第１の比較パルス信号として、それぞれ出力する複数の第１のパルス信号比較回路と、
隣り合う前記第２のアナログ／パルス幅変調回路からそれぞれ出力される２つの前記第２のパルス幅画素信号の差異を第２の比較パルス信号として、それぞれ出力する複数の第２のパルス信号比較回路と、
第１、第２の制御パルス信号をそれぞれ出力する第１、第２の信号発信回路と、
前記各第１の比較パルス信号と前記第１の制御パルス信号の排他論理和の値、もしくは、該排他論理和の否定値を、第１の差分パルス信号としてそれぞれ出力する複数の第１の論理回路と、
前記各第２の比較パルス信号と前記第２の制御パルス信号の排他論理和の値、もしくは、該排他論理和の否定値を、第２の差分パルス信号としてそれぞれ出力する複数の第２の論理回路と、
前記複数の第１の差分パルス信号それぞれと前記複数の第２の差分パルス信号それぞれの各組み合わせに対し、前記第１、第２の差分パルス信号の相関の大きさに比例もしくは対応する相関アナログ信号を出力する相関検知回路マトリックスとを備え、
前記第１、第２の制御パルス信号の各値は、一方が０で、他方が１であることを特徴とする視差センサ。

【請求項2】

請求項１記載の視差センサにおいて、前記相関検知回路マトリックスは、コンデンサと、前記第１、第２の差分パルス信号の論理積の真理値の変化に合わせて、前記コンデンサを、充放電しない状態から、充放電する状態に切り替える電流スイッチ回路部と、前記コンデンサと前記電流スイッチ回路部を接続する連結部に配され、特定の大きさの電流が流れている状態で前記コンデンサに充放電させる電流制御用トランジスタとを備えた複数の相関検知回路を有することを特徴とする視差センサ。

【請求項3】

請求項２記載の視差センサにおいて、前記電流スイッチ回路部は、前記第１、第２の論理回路にそれぞれ接続された第１、第２のトランジスタを備え、該第１、第２のトランジスタ及び前記電流制御用トランジスタは、同型であることを特徴とする視差センサ。

【請求項4】

第１の撮像素子で距離を計測する対象となる被写体を撮像し、複数の第１のアナログ電圧信号を出力すると同時に、第２の撮像素子で前記第１の撮像素子とは異なる角度から前記被写体を撮像し、複数の第２のアナログ電圧信号を出力する工程と、
前記複数の第１のアナログ電圧信号を、電圧値に比例するパルス幅を有した複数の第１のパルス幅画素信号に、並列に配された複数の第１のアナログ／パルス幅変調回路によって、それぞれ同時に変換する処理、及び、前記複数の第２のアナログ電圧信号を、電圧値に比例するパルス幅を有した複数の第２のパルス幅画素信号に、並列に配された複数の第２のアナログ／パルス幅変調回路によって、それぞれ同時に変換する処理を同時に行う工程と、
隣り合う前記第１のアナログ／パルス幅変調回路からそれぞれ出力される２つの前記第１のパルス幅画素信号の差異を第１の比較パルス信号として出力する処理を、前記複数の第１のアナログ／パルス幅変調回路全てに対して行い、隣り合う前記第２のアナログ／パルス幅変調回路からそれぞれ出力される２つの前記第２のパルス幅画素信号の差異を第２の比較パルス信号として出力する処理を、前記複数の第２のアナログ／パルス幅変調回路全てに対して行う工程と、
前記各第１の比較パルス信号と第１の制御パルス信号の排他論理和の値、もしくは、該排他論理和の否定値を、第１の差分パルス信号として出力し、前記各第２の比較パルス信号と第２の制御パルス信号の排他論理和の値、もしくは、該排他論理和の否定値を、第２の差分パルス信号として出力する工程と、
前記複数の第１の差分パルス信号それぞれと前記複数の第２の差分パルス信号それぞれの各組み合わせに対し、前記第１、第２の差分パルス信号の相関の大きさに比例もしくは対応する相関アナログ信号を出力する工程とを有し、
前記第１、第２の制御パルス信号の各値は、一方が０で、他方が１であることを特徴とする相関信号の生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ステレオ画像中の被写体の位置を特定する視差センサ、及び、その位置を特定する相関信号の生成方法に関する。

【背景技術】

【0002】

三次元距離センサとして、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）レンジセンサや、ミリ波レーダ、ステレオ視カメラシステム等が実用化されている。
ＴＯＦレンジセンサで採用されているＴＯＦ方式は、特殊なＬＳＩに加えて強力な発光器とその変調装置を要することから、ＴＯＦレンジセンサは、小型化や低コスト化、低消費電力化が困難という課題がある。そして、屋内に設置されるゲーム機器の三次元インターフェース等に採用されているパターン照射（三角測量）方式は、照射光に対する反射光量が距離の二乗に反比例して急激に減衰することから、広範囲な距離検知に不向きであり、更に、照射光以外の光の影響や、光を照射される対象物の反射率のばらつき等、検出精度の劣化を生じさせる要因を取り除くことは原理的に難しい。従って、ＴＯＦ方式やパターン照射方式の採用は、照射光を安定して検知可能な狭い範囲での用途に限定される。

【0003】

また、屋外での使用を想定した車載用のレーダは、指向性の高い電波（ミリ波）やレーザー光等をビーム照射してから、その反射信号を受信するまでの時間長で距離を計測するアクティブ測距方式の距離センサとして、自動車の前方衝突防止用等に実用化されている。
しかしながら、その視野角は狭く分解能が低いという特性があり、更に、雨粒等が反射雑音となることから天候に左右されるという課題がある。

【0004】

一方、ステレオ視カメラシステムで採用されているステレオ視方式は、照射光を必要としないパッシブ測距方式であり、対環境性能に優れるため、屋外や広範囲の三次元距離検知に適している。このステレオ視カメラシステムは、実際に、車載用の三次元距離センサとして実用化されている。
そして、このステレオ視方式を用いた視差センサの具体例が、特許文献１、２に記載されている。

【0005】

特許文献１、２の視差センサは、左右の眼にそれぞれ対応する第１、第２の撮像素子によって、距離を計測する対象となる被写体をそれぞれ別の角度位置から撮像し、第１の撮像素子が撮像した画像中の被写体の位置と、第２の撮像素子が撮像した画像中の被写体の位置とを特定する。
以下、ステレオ視方式を基に距離を検出する原理を説明する。
間隔を空けて配置された第１、第２の撮像素子がそれぞれ撮像した２つの画像を比較すると、同じ被写体がその２つの画像中で異なった位置に表示される。その２つの画像中における被写体の位置の差が大きいほど、第１、第２の撮像素子とその被写体の距離が近いといえる。

【0006】

そして、各画像中の被写体の座標は、一方の画像の各画素と他方の画像の各画素の相関を求めることで特定可能である。
例えば、図１１に示すように、第１、第２の撮像素子（図１１では、第１、第２の撮像素子をそれぞれ、左眼及び右眼と記している）によって、３つの被写体Ａ、Ｂ、Ｃを撮像すると、一方の画像の各画素と他方の画像の各画素を比較する相関マトリックス上の３つの位置において、大きな相関が現れる。これは、その大きな相関が現れた３つの位置に、被写体Ａ、Ｂ、Ｃがそれぞれあることを意味している。

【0007】

従って、相関マトリックス上の各位置を、斜交座標に変換するテーブルを用いることで、視差センサから被写体Ａ、Ｂ、Ｃそれぞれまでの距離が求められることになる。
なお、相関マトリックス上の座標と斜交座標の関係は、第１、第２の撮像素子の位置関係と、第１、第２の撮像素子それぞれの撮像方向の関係とにより決定されるため、相関マトリックス上の各位置を斜交座標に変換するためのテーブルは、予め作成可能である。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２００５−２６５４５７号公報

【特許文献2】特開２００９−２３６６６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、特許文献１、２に記載の視差センサは、各相関検知回路において、２つの電流スイッチ回路が合計８つのＭＯＳＦＥＴ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｆｉｅｌｄ Ｅｆｆｅｃｔ Ｔｒａｎｓｉｓｔｏｒ）を備え、しかも、相関検知回路の数は、片方の撮像素子の１行にある画素の数の２乗にあたるので、高集積化の観点で課題があった。
本発明は、かかる事情に鑑みてなされるもので、高集積化が可能な視差センサ及び相関信号の生成方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

前記目的に沿う第１の発明に係る視差センサは、距離を計測する対象となる被写体を撮像した画像を基に、複数の第１のアナログ電圧信号を出力する第１の撮像素子と、
前記第１の撮像素子とは異なる角度から前記被写体を撮像した画像を基に、複数の第２のアナログ電圧信号を出力する第２の撮像素子と、
並列に配され、前記複数の第１のアナログ電圧信号を、電圧値に比例するパルス幅を有した複数の第１のパルス幅画素信号にそれぞれ変換する複数の第１のアナログ／パルス幅変調回路と、
並列に配され、前記複数の第２のアナログ電圧信号を、電圧値に比例するパルス幅を有した複数の第２のパルス幅画素信号にそれぞれ変換する複数の第２のアナログ／パルス幅変調回路と、
前記複数の第１、第２のアナログ／パルス幅変調回路に、前記第１、第２のアナログ電圧信号の変換を同時に行わせる同期制御回路と、
隣り合う前記第１のアナログ／パルス幅変調回路からそれぞれ出力される２つの前記第１のパルス幅画素信号の差異を第１の比較パルス信号として、それぞれ出力する複数の第１のパルス信号比較回路と、
隣り合う前記第２のアナログ／パルス幅変調回路からそれぞれ出力される２つの前記第２のパルス幅画素信号の差異を第２の比較パルス信号として、それぞれ出力する複数の第２のパルス信号比較回路と、
第１、第２の制御パルス信号をそれぞれ出力する第１、第２の信号発信回路と、
前記各第１の比較パルス信号と前記第１の制御パルス信号の排他論理和の値、もしくは、該排他論理和の否定値を、第１の差分パルス信号としてそれぞれ出力する複数の第１の論理回路と、
前記各第２の比較パルス信号と前記第２の制御パルス信号の排他論理和の値、もしくは、該排他論理和の否定値を、第２の差分パルス信号としてそれぞれ出力する複数の第２の論理回路と、
前記複数の第１の差分パルス信号それぞれと前記複数の第２の差分パルス信号それぞれの各組み合わせに対し、前記第１、第２の差分パルス信号の相関の大きさに比例もしくは対応する相関アナログ信号を出力する相関検知回路マトリックスとを備え、
前記第１、第２の制御パルス信号の各値は、一方が０で、他方が１である。

【0011】

第１の発明に係る視差センサにおいて、前記相関検知回路マトリックスは、コンデンサと、前記第１、第２の差分パルス信号の論理積の真理値の変化に合わせて、前記コンデンサを、充放電しない状態から、充放電する状態に切り替える電流スイッチ回路部と、前記コンデンサと前記電流スイッチ回路部を接続する連結部に配され、特定の大きさの電流が流れている状態で前記コンデンサに充放電させる電流制御用トランジスタとを備えた複数の相関検知回路を有するのが好ましい。

【0012】

第１の発明に係る視差センサにおいて、前記電流スイッチ回路部は、前記第１、第２の論理回路にそれぞれ接続された第１、第２のトランジスタを備え、該第１、第２のトランジスタ及び前記電流制御用トランジスタは、同型であるのが好ましい。

【0013】

前記目的に沿う第２の発明に係る相関信号の生成方法は、第１の撮像素子で距離を計測する対象となる被写体を撮像し、複数の第１のアナログ電圧信号を出力すると同時に、第２の撮像素子で前記第１の撮像素子とは異なる角度から前記被写体を撮像し、複数の第２のアナログ電圧信号を出力する工程と、
前記複数の第１のアナログ電圧信号を、電圧値に比例するパルス幅を有した複数の第１のパルス幅画素信号に、並列に配された複数の第１のアナログ／パルス幅変調回路によって、それぞれ同時に変換する処理、及び、前記複数の第２のアナログ電圧信号を、電圧値に比例するパルス幅を有した複数の第２のパルス幅画素信号に、並列に配された複数の第２のアナログ／パルス幅変調回路によって、それぞれ同時に変換する処理を同時に行う工程と、
隣り合う前記第１のアナログ／パルス幅変調回路からそれぞれ出力される２つの前記第１のパルス幅画素信号の差異を第１の比較パルス信号として出力する処理を、前記複数の第１のアナログ／パルス幅変調回路全てに対して行い、隣り合う前記第２のアナログ／パルス幅変調回路からそれぞれ出力される２つの前記第２のパルス幅画素信号の差異を第２の比較パルス信号として出力する処理を、前記複数の第２のアナログ／パルス幅変調回路全てに対して行う工程と、
前記各第１の比較パルス信号と第１の制御パルス信号の排他論理和の値、もしくは、該排他論理和の否定値を、第１の差分パルス信号として出力し、前記各第２の比較パルス信号と第２の制御パルス信号の排他論理和の値、もしくは、該排他論理和の否定値を、第２の差分パルス信号として出力する工程と、
前記複数の第１の差分パルス信号それぞれと前記複数の第２の差分パルス信号それぞれの各組み合わせに対し、前記第１、第２の差分パルス信号の相関の大きさに比例もしくは対応する相関アナログ信号を出力する工程とを有し、
前記第１、第２の制御パルス信号の各値は、一方が０で、他方が１である。

【発明の効果】

【0014】

第１の発明に係る視差センサ、及び、第２の発明に係る相関信号の生成方法は、第１の比較パルス信号と第１の制御パルス信号の排他論理和の値、もしくは、その否定値を、第１の差分パルス信号として出力し、第２の比較パルス信号と第２の制御パルス信号の排他論理和の値、もしくは、その否定値を、第２の差分パルス信号として出力し、複数の第１の差分パルス信号それぞれと複数の第２の差分パルス信号それぞれの各組み合わせに対し、第１、第２の差分パルス信号の相関の大きさに比例もしくは対応する相関アナログ信号を出力し、しかも、第１、第２の制御パルス信号は、一方の値が０で、一方の値が１であるので、第１、第２の差分パルス信号を基に相関アナログ信号を出力する回路に必要となるコンポーネントの数が増加するのを抑制でき、高集積化が可能となる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施の形態に係る視差センサの説明図である。

【図2】同視差センサの回路図である。

【図3】（Ａ）は第１のアナログ／パルス幅変調回路の構成を示す説明図、（Ｂ）は第１のアナログ／パルス幅変調回路の動作を示す説明図である。

【図4】（Ａ）は第１のパルス信号比較回路の構成を示す説明図、（Ｂ）は第１のパルス信号比較回路の動作を示す説明図である。

【図5】相関検知回路の構成とその接続を示す回路図である。

【図6】不一致降下モードＭ１における相関検知回路の動作を示す説明図である。

【図7】不一致降下モードＭ２における相関検知回路の動作を示す説明図である。

【図8】視差センサ全体の動作を示す説明図である。

【図9】視差センサ全体の動作を示す説明図である。

【図10】比較例に係る相関検知回路の回路図である。

【図11】ステレオ視方式を基に距離を検出する原理を示す説明図である。

【発明を実施するための形態】

【0016】

続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図１、図２に示すように、本発明の一実施の形態に係る視差センサ１０は、距離を計測する対象となる被写体を撮像し、複数の第１のアナログ電圧信号を出力する第１の撮像素子（第１の画像素子）１１と、第１の撮像素子１１とは異なる角度から被写体を撮像し、複数の第２のアナログ電圧信号を出力する第２の撮像素子（第２の画像素子）１２と、並列に配され、複数の第１のアナログ電圧信号を、複数の第１のパルス幅画素信号にそれぞれ変換する複数の第１のアナログ／パルス幅変調回路１３と、並列に配され、複数の第２のアナログ電圧信号を、複数の第２のパルス幅画素信号にそれぞれ変換する複数の第２のアナログ／パルス幅変調回路１４と、隣り合う第１のアナログ／パルス幅変調回路１３からそれぞれ出力される２つの第１のパルス幅画素信号の差異を第１の比較パルス信号として、それぞれ出力する複数の第１のパルス信号比較回路１５と、隣り合う第２のアナログ／パルス幅変調回路１４からそれぞれ出力される２つの第２のパルス幅画素信号の差異を第２の比較パルス信号として、それぞれ出力する複数の第２のパルス信号比較回路１６とを備えて、第１、第２の撮像素子１１、１２の各画像中の被写体の位置を特定する。以下、これらについて詳細に説明する。

【0017】

第１、第２の撮像素子１１、１２は、図１、図２に示すように、左右方向の異なる位置に配され、それぞれ左眼及び右眼の役割を担うイメージセンサである。第１、第２の撮像素子１１、１２は、従来のイメージャーと同様の回路構成を有し、ｍ行×ｎ列（ｍ≧３、ｎ≧３）の画素１７の行列（以下、画素行列とも言う）をそれぞれ備えている。
第１、第２の撮像素子１１、１２には、共通のシーケンサ１８が接続され、第１、第２の撮像素子１１、１２の各画素行列は、シーケンサ１８によって、それぞれ、同じ行にあるｎ個（複数）の画素１７が選択される。

【0018】

第１の撮像素子１１において、シーケンサ１８により選択されたｎ個の画素１７からｎ個の第１のアナログ電圧信号がそれぞれ同時に出力され、第２の撮像素子１２においても、第１の撮像素子１１からｎ個の第１のアナログ電圧信号が出力されるタイミングで、シーケンサ１８により選択されたｎ個の画素１７から、合計、ｎ個の第２のアナログ電圧信号が出力される。

【0019】

第１の撮像素子１１には、ｎ個の第１のアナログ電圧信号を、ｎ個の第１のパルス幅画素信号（パルス信号の一例）にそれぞれ変換する第１のアナログ／パルス幅変調回路アレイ１９が接続されている。第２の撮像素子１２にも、ｎ個の第２のアナログ電圧信号を、ｎ個の第２のパルス幅画素信号（パルス信号の一例）にそれぞれ変換する第２のアナログ／パルス幅変調回路アレイ２０が接続されている。

【0020】

第１のアナログ／パルス幅変調回路アレイ１９は、第１の撮像素子１１の画素１７のｎ個の列にそれぞれ連結されたｎ個の第１のアナログ／パルス幅変調回路１３を備えている。各第１のアナログ／パルス幅変調回路１３は、連結された第１の撮像素子１１の画素１７から出力される第１のアナログ電圧信号を、その電圧値に比例するパルス幅を有した第１のパルス幅画素信号に変換して出力する。なお、第１のパルス幅画素信号を出力するとは、信号値が１であることを意味し、反対に、第１のパルス幅画素信号を出力しないとは、信号値が０であることを意味し、これは、本実施の形態における他のパルス信号についても同じことがいえる。

【0021】

第２のアナログ／パルス幅変調回路アレイ２０も、第２の撮像素子１２の画素１７のｎ個の列にそれぞれ連結されたｎ個の第２のアナログ／パルス幅変調回路１４を備え、各第２のアナログ／パルス幅変調回路１４は、連結された第２の撮像素子１２の画素１７から出力される第２のアナログ電圧信号を、その電圧値に比例するパルス幅を有した第２のパルス幅画素信号に変換して出力する。

【0022】

ｎ個の第１のアナログ／パルス幅変調回路１３、及び、ｎ個の第２のアナログ／パルス幅変調回路１４には、図２、図３（Ａ）に示すように、ランプ信号を生成する同期制御回路２０ａが接続されている。同期制御回路２０ａは、ｎ個の第１のアナログ／パルス幅変調回路１３、及び、ｎ個の第２のアナログ／パルス幅変調回路１４それぞれに対してランプ信号を間欠的に出力する。各第１のアナログ／パルス幅変調回路１３、及び、各第２のアナログ／パルス幅変調回路１４は、ランプ信号が入力されたタイミングで同時に（実質的に同時に）、それぞれ、第１のアナログ電圧信号の第１のパルス幅画素信号への変換、及び、第２のアナログ電圧信号の第２のパルス幅画素信号への変換を行う。
なお、各第１のアナログ／パルス幅変調回路１３（各第２のアナログ／パルス幅変調回路１４についても同じ）は、ＭＯＳＦＥＴを備えた周知のコンパレータによって構成することができる。

【0023】

ランプ信号は、図３（Ｂ）に示すように、時間軸を横軸にとったグラフにおいて、最も高い値が所定時間保たれた後に、一定の割り合いで値が低下するというパターンを繰り返す。図３（Ｂ）で「Ｖｒｅｆ」と記された波形が、ランプ信号を示している。
各第１のアナログ／パルス幅変調回路１３は、第１の撮像素子１１から与えられる第１のアナログ電圧信号の電圧値が、ランプ信号の値を上回っている間、第１のパルス幅画素信号を出力し、第１のアナログ電圧信号の電圧値が、ランプ信号の値以下の間、第１のパルス幅画素信号の出力を行わない。従って、第１のアナログ電圧信号の電圧値が大きいほど、第１のアナログ／パルス幅変調回路１３から出力される第１のパルス幅画素信号のパルス幅は広くなる。

【0024】

各第２のアナログ／パルス幅変調回路１４も、各第１のアナログ／パルス幅変調回路１３と同様に、第２のアナログ電圧信号の電圧値がランプ信号の値を上回っている間にのみ、第２のパルス幅画像信号の出力を行う。第２のパルス幅画像信号のパルス幅も、第２のアナログ電圧信号の電圧値が大きいほど、パルス幅が広くなる。
第１のパルス幅画像信号を出力中の第１のアナログ／パルス幅変調回路１３、及び、第２のパルス幅画像信号を出力中の第２のアナログ／パルス幅変調回路１４は、最も小さくなったランプ信号の値が最も大きくなるタイミングで、第１、第２のパルス幅画像信号の出力をそれぞれ終える。

【0025】

第１、第２のアナログ／パルス幅変調回路アレイ１９、２０には、図１、図２に示すように、それぞれ第１、第２のパルス信号比較回路アレイ２１、２２が接続されている。
第１のパルス信号比較回路アレイ２１は、図２に示すように、ｎ−１個（複数）の並列に配置された第１のパルス信号比較回路１５を備え、各第１のパルス信号比較回路１５には、隣り合う２つの第１のアナログ／パルス幅変調回路１３が接続されている。
各第１のパルス信号比較回路１５は、図４（Ａ）に示すように、２つの入力端子と、４つのインバータ２３、２４、２５、２６と、２つのＮＡＮＤゲート２７、２８と、２つの出力端子を備えている。以下、一側からｉ番目の第１のパルス信号比較回路１５が備える２つの入力端子をそれぞれ、入力端子ＩＮｉ、及び、入力端子ＩＮｉ＋１とし、その第１のパルス信号比較回路１５が備える出力端子をそれぞれ、出力端子ＯＵＴｉ＋、及び、出力端子ＯＵＴｉ−とする。なお、１≦ｉ≦ｎ−１である。

【0026】

一側からｉ番目の第１のアナログ／パルス幅変調回路１３と一側からｉ＋１番目の第１のアナログ／パルス幅変調回路１３（即ち、隣り合って配置された第１のアナログ／パルス幅変調回路１３）は、一側からｉ番目の第１のパルス信号比較回路１５の入力端子ＩＮｉ及び入力端子ＩＮｉ＋１にそれぞれ接続されている。その入力端子ＩＮｉ及び入力端子ＩＮｉ＋１には、一側からｉ番目の第１のアナログ／パルス幅変調回路１３から出力された第１のパルス幅画素信号、及び、一側からｉ＋１番目の第１のアナログ／パルス幅変調回路１３から出力された第１のパルス幅画素信号がそれぞれ入力する。

【0027】

一側からｉ番目の第１のパルス信号比較回路１５は、入力端子ＩＮｉ及び入力端子ＩＮｉ＋１にそれぞれ入力した第１のパルス幅画素信号を基に、式１から、出力端子ＯＵＴｉ＋に対応する第１の比較パルス信号（パルス信号の一例）を算出して出力し、式２から、出力端子ＯＵＴｉ−に対応する第１の比較パルス信号を算出して出力する。

【0028】

ＯＵＴｉ＋＝（ＩＮｉ）∧（／ＩＮｉ＋１） ・・・・・（式１）
ＯＵＴｉ−＝（ＩＮｉ＋１）∧（／ＩＮｉ） ・・・・・（式２）
なお、（／ＩＮｉ＋１）及び（／ＩＮｉ）は、それぞれＩＮｉ＋１及びＩＮｉの反転信号、∧は論理積を意味する。

【0029】

従って、入力端子ＩＮｉに第１のパルス幅画素信号が入力し、入力端子ＩＮｉ＋１に第１のパルス幅画素信号が入力していないとき、図４（Ｂ）に示すように、出力端子ＯＵＴｉ＋から第１の比較パルス信号が出力され、出力端子ＯＵＴｉ−から第１の比較パルス信号は出力されない。
一方、入力端子ＩＮｉへの第１のパルス幅画素信号の入力が無く、入力端子ＩＮｉ＋１に第１のパルス幅画素信号が入力しているとき、出力端子ＯＵＴｉ＋からは第１の比較パルス信号が出力されず、出力端子ＯＵＴｉ−から第１の比較パルス信号が出力される。

【0030】

そして、入力端子ＩＮｉ及び入力端子ＩＮｉ＋１それぞれへの信号入力の状態がそれ以外であれば、出力端子ＯＵＴｉ＋又は出力端子ＯＵＴｉ−から第１の比較パルス信号は出力されない。
その結果、入力端子ＩＮｉ及び入力端子ＩＮｉ＋１それぞれへの信号入力の状態に相関があるほど、出力端子ＯＵＴｉ＋及び出力端子ＯＵＴｉ−からそれぞれ出力される第１の比較パルス信号のパルス幅は狭くなる。

【0031】

第２のパルス信号比較回路アレイ２２が、ｎ−１個（複数）の並列に配された第２のパルス信号比較回路１６を備えている点は第１のパルス信号比較回路アレイ２１と同じであり、一側からｉ番目の第２のパルス信号比較回路１６が、入力端子ＩＮｉ、入力端子ＩＮｉ＋１、４つのインバータ、２つのＮＡＮＤゲート、及び、出力端子ＯＵＴｉ＋、出力端子ＯＵＴｉ−を備えている点と、一側からｉ番目の第２のパルス信号比較回路１６が、式１、式２を基に、出力端子ＯＵＴｉ＋及び出力端子ＯＵＴｉ−それぞれからの第２の比較パルス信号の出力制御を行う点は、第１のパルス信号比較回路１５と共通するため、これらについての詳しい説明は省略する。

【0032】

また、第１、第２のパルス信号比較回路アレイ２１、２２には、図１、図２に示すように、第１のパルス信号比較回路アレイ２１から出力された複数の第１の比較パルス信号、及び、第２のパルス信号比較回路アレイ２２から出力された複数の第２の比較パルス信号を基に、複数の相関アナログ信号を出力する相関検知回路マトリックス（相関検知回路アレイ）３０が接続されている。
相関検知回路マトリックス３０は、（ｎ−１）×（ｎ−１）個（複数）の相関検知回路３１を備え、その（ｎ−１）×（ｎ−１）個の相関検知回路３１は、菱形状に並べられている。

【0033】

菱形の相関検知回路マトリックス３０は、その外縁をなす４つの直線部のうち、左上側の直線部３０ａが第１のパルス信号比較回路アレイ２１に接続され、右上側の直線部３０ｂが第２のパルス信号比較回路アレイ２２に接続されている。
左上側の直線部３０ａに平行に配された相関検知回路３１の列は、ｎ−１列あり、１列あたりｎ−１個の相関検知回路３１が並べられている。そして、右上側の直線部３０ｂに平行に配された相関検知回路３１の行は、ｎ−１行あって、１行あたりｎ−１個の相関検知回路３１が配列されている。

【0034】

以下、直線部３０ｂの左上端から右下端に向かってｊ番目に位置する相関検知回路３１の列を「ｊ番目の列」、直線部３０ａの左下端から右上端に向かってｉ番目に位置する相関検知回路３１の行を「ｉ番目の行」ともいう。
一側からｉ番目の第１のパルス信号比較回路１５の出力端子ＯＵＴｉ＋及び出力端子ＯＵＴｉ−は、図５に示すように、それぞれＸＮＯＲ回路３２、３３を介して、ｉ番目の行にある各相関検知回路３１に接続されている。図５では、一側からｉ番目の第１のパルス信号比較回路１５の出力端子ＯＵＴｉ＋及び出力端子ＯＵＴｉ−を、それぞれ「ＯＵＴｉ＋（Ｌ）」及び「ＯＵＴｉ−（Ｌ）」と記している。以下、「ＯＵＴｉ＋（Ｌ）」、「ＯＵＴｉ−（Ｌ）」と記載したときは、ｉ番目の第１のパルス信号比較回路１５の出力端子ＯＵＴｉ＋、及び、出力端子ＯＵＴｉ−をそれぞれ意味する。

【0035】

一側からｊ番目の第２のパルス信号比較回路１６（以下、単に「ｊ番目の第２のパルス信号比較回路１６」ともいう）の出力端子ＯＵＴｊ＋及び出力端子ＯＵＴｊ−は、それぞれＸＮＯＲ回路３４、３５を介して、ｊ番目の列にある各相関検知回路３１に接続されている。
なお、図５では、ｊ番目の第２のパルス信号比較回路１６の出力端子ＯＵＴｊ＋及び出力端子ＯＵＴｊ−を、それぞれ「ＯＵＴｊ＋（Ｒ）」及び「ＯＵＴｊ−（Ｒ）」と記載している。以下、「ＯＵＴｊ＋（Ｒ）」、「ＯＵＴｊ−（Ｒ）」と記載したときは、ｊ番目の第２のパルス信号比較回路１６の出力端子ＯＵＴｊ＋、及び、出力端子ＯＵＴｊ−をそれぞれ意味する。

【0036】

ＯＵＴｉ＋（Ｌ）が一方の入力端子に接続されたＸＮＯＲ回路３２（第１の論理回路の一例）には、他方の入力端子に、第１の制御パルス信号（パルス信号の一例）を出力する第１の信号発信回路３６が接続されている。第１の信号発信回路３６は、一方の入力端子にＯＵＴｉ−（Ｌ）が接続されたＸＮＯＲ回路３３（第１の論理回路の一例）の他方の入力端子にも接続されている。

【0037】

ＯＵＴｊ＋（Ｒ）が一方の入力端子に接続されたＸＮＯＲ回路３４（第２の論理回路の一例）には、他方の入力端子に、第２の制御パルス信号（パルス信号の一例）を出力する第２の信号発信回路３７が接続されている。第２の信号発信回路３７は、一方の入力端子にＯＵＴｊ−（Ｒ）が接続されたＸＮＯＲ回路３５（第２の論理回路の一例）の他方の入力端子にも接続されている。
なお、図１、図２においては、ＸＮＯＲ回路３２〜３５、及び、第１、第２の信号発信回路３６、３７が省略されている。

【0038】

ＸＮＯＲ回路３２（ＸＮＯＲ回路３３ついても同じ）は、（ｎ−１）個あって、それぞれが相関検知回路３１の各行に接続され、ＸＮＯＲ回路３４（ＸＮＯＲ回路３５についても同じ）は、（ｎ−１）個あって、それぞれが相関検知回路３１の各列に接続されている。
一方、本実施の形態では、視差センサ１０全体で、第１、第２の信号発信回路３６、３７は１つずつあって、第１の信号発信回路３６は、（ｎ−１）個のＸＮＯＲ回路３２及び（ｎ−１）個のＸＮＯＲ回路３３に接続され、第２の信号発信回路３７は（ｎ−１）個のＸＮＯＲ回路３４及び（ｎ−１）個のＸＮＯＲ回路３５に接続されている。

【0039】

また、各相関検知回路３１は、電荷を蓄積するコンデンサ３８と、コンデンサ３８の充放電状態を切り替える２つの電流スイッチ回路部３９、４０と、バイアス電圧Ｖｂが与えられて電流量を制御する電流制御用トランジスタの一例であるトランジスタ４１（本実施の形態ではＭＯＳＦＥＴ）と、コンデンサ３８の電圧値に比例もしくは対応する大きさの電流を流す出力回路部４２とを備えている。

【0040】

電流スイッチ回路部３９は、ＸＮＯＲ回路３２、３４にそれぞれ接続され、直列に配された２つのトランジスタ４３、４４を備え、トランジスタ４３、４４には、ＸＮＯＲ回路３２から出力される第１の差分パルス信号（パルス信号の一例）、及び、ＸＮＯＲ回路３４から出力される第２の差分パルス信号（パルス信号の一例）がそれぞれ与えられる。
電流スイッチ回路部３９は、ＸＮＯＲ回路３２、３４からそれぞれ出力される第１、第２の差分パルス信号の論理積の真理値が１であるとき、導通状態となって、コンデンサ３８に蓄積されている電荷を一定の電流値で放電させ、その論理積の真理値が０であるとき、非導通状態となる。

【0041】

電流スイッチ回路部４０も、ＸＮＯＲ回路３３、３５にそれぞれ接続され、直列に配された２つのトランジスタ４５、４６を備え、トランジスタ４５、４６には、ＸＮＯＲ回路３３から出力される第１の差分パルス信号、及び、ＸＮＯＲ回路３５から出力される第２の差分パルス信号がそれぞれ与えられる。なお、トランジスタ４３、４５は第１のトランジスタの一例であり、トランジスタ４４、４６は第２のトランジスタの一例である。
電流スイッチ回路部４０も、電流スイッチ回路部３９と同様に、ＸＮＯＲ回路３３、３５からそれぞれ出力される第１、第２の差分パルス信号の論理積の真理値が１であるとき、導通状態となって、コンデンサ３８に放電させ、その論理積の真理値が０であるとき、非導通状態となる。

【0042】

従って、コンデンサ３８は、電流スイッチ回路部３９、４０の少なくとも一方が導通状態の際に放電し、電流スイッチ回路部３９、４０がいずれも非導通状態の際は、放電しない。
本実施の形態では、トランジスタ４１、４３〜４６は全て、同型（具体的には、ｎ型）のＭＯＳＦＥＴである。

【0043】

トランジスタ４１は、コンデンサ３８と電流スイッチ回路部３９、４０とを接続する連結部に配され、バイアス電圧Ｖｂがゲートに与えられることによって、定電流源として機能して、コンデンサ３８からの電荷の放電量を特定（一定）の大きさに保つ。即ち、トランジスタ４１は、特定の大きさの電流が流れている状態でコンデンサ３８に放電させることができる。
また、コンデンサ３８には、電源４７に連結されたリセットスイッチ４８、及び、読出スイッチ４９に連結された出力回路部４２が接続されている。

【0044】

リセットスイッチ４８は、ｐ型のＭＯＳＦＥＴであり、インバータ４８ａを介してリセット信号発信回路４８ｂに接続されている。リセットスイッチ４８は、リセット信号発信回路４８ｂが信号を発信しているときに、リセット信号が入力されて、電源４７からコンデンサ３８に電荷を供給し、コンデンサ３８の電圧（両端電圧）を電源４７の電圧Ｖｄにする。なお、リセット信号発信回路４８ｂが信号を発信していないとき、リセットスイッチ４８へのリセット信号の入力はない。

【0045】

出力回路部４２は、ＭＯＳＦＥＴを備え、そのＭＯＳＦＥＴのゲートにコンデンサ３８の電圧が入力されることによって、その電圧値に比例もしくは対応した大きさの電流信号（相関アナログ信号の一例）を出力することができる。
読出スイッチ４９は、読み出し信号が与えられることによって、出力回路部４２に電流信号を出力させないオフ状態から、出力回路部４２に電流信号を出力させるオン状態に切り替わる。
そして、相関検知回路３１には、出力回路部４２から出力された電流信号をその電流値に比例もしくは対応した大きさの電圧値の電圧信号に変換して出力する電流電圧変換回路５１が接続されている。

【0046】

以下、相関検知回路３１の動作について説明する。
まず、リセット信号がリセットスイッチ４８に入力され、図６に示すように、コンデンサ３８の電圧（図６では、「Ｖｃ」と記す）が、Ｖｄに上昇する。そして、第１の信号発信回路３６が第１の制御パルス信号を出力し、第２の信号発信回路３７が第２の制御パルス信号を出力していない状態（以下、この状態を、「不一致降下モードＭ１の状態」ともいう）で、第１のパルス信号比較回路１５は、出力端子ＯＵＴ＋から第１の比較パルス信号（図６では、「ＯＵＴ＋（Ｌ）」と記す）を出力し、第２のパルス信号比較回路１６は、出力端子ＯＵＴ＋から第２の比較パルス信号（図６では、「ＯＵＴ＋（Ｒ）」と記す）を出力する。

【0047】

なお、図６においては、第１の信号発信回路３６による第１の制御パルス信号の出力の様子が「Ｐｏ（Ｌ）」として記され、第２の信号発信回路３７による第２の制御パルス信号の出力の様子が「Ｐｏ（Ｒ）」として記されている。
第１の比較パルス信号が出力されているときに、トランジスタ４３に対し、ＸＮＯＲ回路３２から第１の差分パルス信号（図６では、「Ｌ＋」と記す）が入力し、第２の比較パルス信号が出力されていないときに、トランジスタ４４に対し、ＸＮＯＲ回路３４から第２の差分パルス信号（図６では、「Ｒ＋」と記す）が入力する。

【0048】

電流スイッチ回路部３９は、トランジスタ４３への第１の差分パルス信号の入力とトランジスタ４４への第２の差分パルス信号の入力とが共になされている（第１、第２の差分パルス信号がいずれも１である）時間帯で、導通状態となって、コンデンサ３８の電圧を低下させ、それ以外の時間帯で、コンデンサ３８の電圧を増減させない非導通状態となる。
トランジスタ４３、４４に第１、第２の差分パルス信号がそれぞれ入力されるのは、第１のパルス信号比較回路１５の出力端子ＯＵＴ＋から第１の比較パルス信号が出力され（第１の比較パルス信号の値が１であり）、第２のパルス信号比較回路１６の出力端子ＯＵＴ＋から第２の比較パルス信号が出力されていない（第２の比較パルス信号の値が０である）ときである。このため、第１のパルス信号比較回路１５の出力端子ＯＵＴ＋から第１の比較パルス信号が出力され、第２のパルス信号比較回路１６の出力端子ＯＵＴ＋から第２の比較パルス信号が出力されていない状態の時間が長いほど、コンデンサ３８の電圧は低くなる。

【0049】

そして、不一致降下モードＭ１の状態では、第１のパルス信号比較回路１５の出力端子ＯＵＴ−から第１の比較パルス信号（図６では、「ＯＵＴ−（Ｌ）」と記す）が出力されているときに、トランジスタ４５に対してＸＮＯＲ回路３３から第１の差分パルス信号（図６では、「Ｌ−」と記す）が与えられ、第２のパルス信号比較回路１６の出力端子ＯＵＴ−から第２の比較パルス信号（図６では、「ＯＵＴ−（Ｒ）」と記す）が出力されていないときに、トランジスタ４６に対してＸＮＯＲ回路３５から第２の差分パルス信号（図６では、「Ｒ−」と記す）が入力される。

【0050】

電流スイッチ回路部４０が、トランジスタ４５への第１の差分パルス信号の入力とトランジスタ４６への第２の差分パルス信号の入力とが共になされている（第１、第２の差分パルス信号がいずれも１である）時間帯でのみ、コンデンサ３８の電圧を低下させるのは、電流スイッチ回路部３９と同じである。
そして、トランジスタ４５、４６にそれぞれ第１、第２の差分パルス信号が入力されるのは、第１のパルス信号比較回路１５の出力端子ＯＵＴ−から第１の比較パルス信号が出力され、第２のパルス信号比較回路１６の出力端子ＯＵＴ−から第２の比較パルス信号が出力していない時間帯であるので、第１のパルス信号比較回路１５の出力端子ＯＵＴ−から第１の比較パルス信号が出力され、第２のパルス信号比較回路１６の出力端子ＯＵＴ−から第２の比較パルス信号が出力されていない時間帯が長いほど、コンデンサ３８の電圧は低くなる。

【0051】

ランプ信号が最も高い値になると、第１、第２のパルス信号比較回路１５、１６は出力端子から比較パルス信号を出力しないことから、ランプ信号が最も高い値となっている間、コンデンサ３８の電圧は増減しないことになる。

【0052】

また、第１の信号発信回路３６が第１の制御パルス信号を出力せず、第２の信号発信回路３７が第２の制御パルス信号を出力している状態（以下、「不一致降下モードＭ２の状態」ともいう）においては、図７に示すように、第１のパルス信号比較回路１５の出力端子ＯＵＴ＋から第１の比較パルス信号が出力されず、第２のパルス信号比較回路１６の出力端子ＯＵＴ＋から第２の比較パルス信号が出力されている時間帯、あるいは、第１のパルス信号比較回路１５の出力端子ＯＵＴ−から第１の比較パルス信号が出力されず、第２のパルス信号比較回路１６の出力端子ＯＵＴ−から第２の比較パルス信号が出力されている時間帯に、コンデンサ３８の電圧は低下する。

【0053】

以上より、不一致降下モードＭ１では、第１の比較パルス信号が出力され、第２の比較パルス信号が出力されていない時間が長いほど、コンデンサ３８の電圧が低くなり、不一致降下モードＭ２の状態では、第１の比較パルス信号が出力されず、第２の比較パルス信号が出力されている時間が長いほど、コンデンサ３８の電圧が低くなる。
従って、不一致降下モードＭ１の状態と不一致降下モードＭ２の状態とをそれぞれ経ることによって、第１のパルス信号比較回路１５の信号出力と第２のパルス信号比較回路１６の信号出力の相関レベルが低い（即ち、第１、第２のパルス信号比較回路１５、１６のいずれか一方のみが信号を出力している状態が長い）ほど、コンデンサ３８の電圧が低下する仕組みを設けることができる。

【0054】

また、相関検知回路マトリックス３０には、図２に示すように、各相関検知回路３１による電流電圧変換回路５１からの電圧信号の出力のタイミングを制御するシーケンサ５３が接続されている。シーケンサ５３は、相関検知回路３１に電圧信号を出力させるための読み出し信号を発信する複数のシフトレジスタ５４を備えている。
複数のシフトレジスタ５４は、左右方向に並べられ、それそれ、外部から信号が入力されたタイミングで読み出し信号を出力する。複数のシフトレジスタ５４には、左から順に、所定の時間間隔で、外部から信号が入力される。

【0055】

複数のシフトレジスタ５４の一から出力された読み出し信号は、左右方向において同じ位置にある各相関検知回路３１の読出スイッチ４９に送られる。読出スイッチ４９は、読み出し信号が入力されたタイミングで、出力回路部４２に、電流電圧変換回路５１への電流出力を行わせる。
本実施の形態では、複数の電流電圧変換回路５１が、図２に示すように、縦方向に並べられ、各電流電圧変換回路５１は、縦方向の同じ位置において左右方向に並んだ相関検知回路３１それぞれから電流出力を受信することができる。

【0056】

このため、左右方向の一の位置で、縦に並んだ複数の相関検知回路３１それぞれから同じタイミング（実質的に同じタイミング）で出力された複数の電流信号は、それぞれ別個の電流電圧変換回路５１に送られる。
なお、視差センサ１０は、電流電圧変換回路５１から出力される電圧信号を基にして、第１の撮像素子１１の各画素１７と第２の撮像素子１２の各画素１７の相関レベルを求め、第１、第２の撮像素子１１、１２における被写体の各位置を特定する図示しない演算回路を備えている。

【0057】

次に、視差センサ１０全体の動作について説明する。
第１の撮像素子１１の特定の行にあるｎ個の画素１７から、第１のアナログ電圧信号がそれぞれ出力され、これと同じ行にある第２の撮像素子１２のｎ個の画素１７から、第２のアナログ電圧信号がそれぞれ出力されている状態で、図８に示すように、相関検知回路３１にリセット信号が与えられ、コンデンサ３８の電圧はＶｄに上昇する。
図８においては、第１の撮像素子１１の一側からｉ番目、ｉ＋１番目の各画素１７から出力される第１のアナログ電圧信号をそれぞれ、「画素出力（Ｌ）ｉ」及び「画素出力（Ｌ）ｉ＋１」と記し、第２の撮像素子１２の一側からｊ番目、ｊ＋１番目の各画素１７からそれぞれ出力される第２のアナログ電圧信号を、「画素出力（Ｒ）ｊ」及び「画素出力（Ｒ）ｊ＋１」と記している。そして、一側からｉ番目の第１のパルス信号比較回路１５に対応し、かつ、一側からｊ番目の第２のパルス信号比較回路１６に対応する相関検知回路３１が有するコンデンサ３８の電圧が、図８では、「Ｖｃ（ｉ、ｊ）」と記されている。

【0058】

同期制御回路２０ａは、コンデンサ３８の電圧がＶｄに上昇した時点で最大値であったランプ信号（図８において、「Ｒａｍｐ」と記されている）の値を、時間の経過と共に一定の割り合いで低下させ、最小値にした後、再び最大値に上昇させる。ランプ信号の値が最大値から最小値に低下するまでの間、不一致降下モードＭ１の状態が継続され、次にランプ信号の値が最大値から最小値に低下するまでの間、不一致降下モードＭ２の状態が継続される。
なお、図８において、Ｐｏ（Ｌ）がオンで、Ｐｏ（Ｒ）がオフの時間帯が、不一致降下モードＭ１の時間帯を示し、逆に、Ｐｏ（Ｌ）がオフで、Ｐｏ（Ｒ）がオンの時間帯が、不一致降下モードＭ２の時間帯を示している。

【0059】

まず、不一致降下モードＭ１の状態において、各第１のアナログ／パルス幅変調回路１３は、対応する第１の撮像素子１１の画素１７から与えられる第１のアナログ電圧信号を第１のパルス幅画素信号に変換する。そして、各第１のパルス信号比較回路１５は、接続されている２つの第１のアナログ／パルス幅変調回路１３からそれぞれ出力される第１のパルス幅画素信号を基に、出力端子ＯＵＴ＋及び出力端子ＯＵＴ−からそれぞれ第１の比較パルス信号の出力を行う。図８では、一側からｉ番目の第１のパルス信号比較回路１５の出力端子ＯＵＴ＋及び出力端子ＯＵＴ−からの各信号出力の様子が、「ＯＵＴｉ＋（Ｌ）」及び「ＯＵＴｉ−（Ｌ）」にそれぞれ記されている。

【0060】

不一致降下モードＭ１の状態において、各第２のアナログ／パルス幅変調回路１４、及び、各第２のパルス信号比較回路１６も、それぞれ、第１のアナログ／パルス幅変調回路１３、及び、第１のパルス信号比較回路１５と同様に信号出力の制御を行う。なお、図８では、一側からｊ番目の第２のパルス信号比較回路１６の出力端子ＯＵＴ＋及び出力端子ＯＵＴ−からの各信号出力の様子が、「ＯＵＴｊ＋（Ｒ）」及び「ＯＵＴｊ−（Ｒ）」にそれぞれ記されている。

【0061】

そして、不一致降下モードＭ１の状態が終了した後の不一致降下モードＭ２の状態においても、不一致降下モードＭ１の状態と同様に、各第１、第２のアナログ／パルス幅変調回路１３、１４、及び、各第１、第２のパルス信号比較回路１５、１６において、それぞれ信号出力の制御が行われる。
また、不一致降下モードＭ１の状態、及び、不一致降下モードＭ２の状態を経て低下した、各相関検知回路３１のコンデンサ３８の電圧値は、不一致降下モードＭ２でランプ信号の値が最小値に低下した時点で確定する。
本実施の形態では、各相関検知回路３１のコンデンサ３８の電圧値を確定するまでの期間を、相関処理期間といい、相関処理期間においては、第１、第２の信号発信回路３６、３７はいずれか一方のみが信号出力を行う（即ち、第１、第２の制御パルス信号の各値は、一方が０で、他方が１である）。

【0062】

相関処理期間が終了後、コンデンサ３８の電圧値を基に、第１の撮像素子１１の画素１７と第２の撮像素子１２の画素１７の相関レベルを検出する読み出し期間に移行する。
読み出し期間では、複数のシフトレジスタ５４に対して、左のシフトレジスタ５４から右に向かって順番に、１クロックの時間間隔で信号が与えられる。なお、図８では、シフトレジスタ５４に与えられる信号の様子が「ＣＬＫ」として記されている。
各相関検知回路３１は、シフトレジスタ５４から読み出し信号を与えられたタイミングで、接続された各電流電圧変換回路５１に電流信号を送信し、電流電圧変換回路５１は、受信した電流信号を電圧信号に変換して、演算回路に出力する。

【0063】

以上説明した視差センサ１０全体の動作は、第１、第２の撮像素子１１、１２の画素１７の一の行について相関レベルを算出するものであり、これを、画素１７の全ての行を対象に、順次、行うことで、第１、第２の撮像素子１１、１２の画素の各行について、各相関検知回路３１から電流信号が出力される。
その結果、相関検知回路マトリックス３０は、複数の第１の差分パルス信号それぞれと複数の第２の差分パルス信号それぞれの各組み合わせに対し、第１、第２の差分パルス信号の相関の大きさに比例もしくは対応するパルス幅の電流信号（相関アナログ信号）を出力することができる。

【0064】

また、第１、第２の撮像素子１１、１２の画素１７の複数の行ごとに、相関処理期間と読み出し期間とを交互に設けてもよいが、図９に示すように、第１、第２の撮像素子１１、１２の画素１７の全ての行それぞれに対して、連続して相関処理期間を設け、その後に、読み出し期間を設けて電圧信号を出力し、相関レベルを算出するようにしてもよい（以下、この処理の方法を「相関積分処理」という）。
相関積分処理を採用する場合、一の相関処理期間が終了した時点で得られる相関結果に、次の相関処理期間で得られる相関結果が加えられ、最後の相関処理期間が終了した時点で、最終的な相関結果が得られる（即ち、各相関検知回路３１のコンデンサ３８の電圧が確定し、出力される）。

【0065】

ここで、相関検知回路３１は、図５に示すように、定電流源として機能するトランジスタ４１が電流スイッチ回路部３９、４０に接続され、電流スイッチ回路部３９、４０が備えるＭＯＳＦＥＴの数は、それぞれ２つである。このため、相関検知回路３１は、第１、第２の撮像素子１１、１２の各画素１７の相関とは関係なくコンデンサ３８からリークする電荷量を抑制することができる。

【0066】

以下、コンデンサ３８からリークする電荷量を抑制可能な理由を、図１０に示す比較例と比較して説明する。
比較例に係る相関検知回路１００は、図１０に示すように、２つの電流スイッチ回路部１０１、１０２がそれぞれ２つのパスを備え、電流スイッチ回路部１０１、１０２それぞれの一方のパスに２つのＭＯＳＦＥＴ１０３、１０４があり、電流スイッチ回路部１０１、１０２それぞれの他方のパスに２つのＭＯＳＦＥＴ１０５、１０６がある。
定電流源として機能するトランジスタ１０７は、電流スイッチ回路部１０１、１０２にドレインが接続され、ソースがグランドに接続されている。
なお、トランジスタ１０７はＭＯＳＦＥＴである。また、相関検知回路３１と同様の構成については、相関検知回路３１と同じ符号を付して詳しい説明は省略する。

【0067】

相関検知回路１００は、相関検知回路３１と異なり、電流スイッチ回路部１０１のＭＯＳＦＥＴ１０３、１０５に対し、第２のパルス信号比較回路１６が、直接、接続され、電流スイッチ回路部１０１のＭＯＳＦＥＴ１０４、１０６に対し、第１のパルス信号比較回路１５が、直接、接続され、電流スイッチ回路部１０２のＭＯＳＦＥＴ１０３、１０５に対し、第２のパルス信号比較回路１６が、直接、接続され、電流スイッチ回路部１０２のＭＯＳＦＥＴ１０４、１０６に対し、第１のパルス信号比較回路１５が、直接、接続されている。

【0068】

電流スイッチ回路部１０１は、第１のパルス信号比較回路１５の出力端子ＯＵＴ＋、及び、第２のパルス信号比較回路１６の出力端子ＯＵＴ＋のいずれか一方のみから比較パルス信号が出力されている際に導通状態となって、トランジスタ１０７の電圧値を低下させる。
そして、電流スイッチ回路部１０２は、第１のパルス信号比較回路１５の出力端子ＯＵＴ−、及び、第２のパルス信号比較回路１６の出力端子ＯＵＴ−のいずれか一方のみから比較パルス信号が出力されている際に導通状態となって、トランジスタ１０７の電圧値を低下させる。

【0069】

相関検知回路３１、１００を比較すると、相関検知回路３１では、図５に示すように、定電流源として機能するトランジスタ４１が、電流スイッチ回路部３９、４０とコンデンサ３８の間にあるのに対し、相関検知回路１００では、図１０に示すように、電流スイッチ回路部１０１、１０２に接続されたトランジスタ１０７が、グランドに接続されている。
更に、相関検知回路３１では、図５に示すように、電流スイッチ回路部３９、４０がそれぞれ、２つのＭＯＳＦＥＴを備え、そのＭＯＳＦＥＴが全てｎ型であるのに対し、相関検知回路１００では、図１０に示すように、電流スイッチ回路部１０１、１０２がそれぞれ、４つのＭＯＳＦＥＴを備え、しかも、その４つのＭＯＳＦＥＴは、２つがｐ型で、残りの２つがｎ型である。

【0070】

ここで、トランジスタ１０７はソースがグランドに接続されているので、トランジスタ１０７のドレインの電圧は、電流スイッチ回路部１０１、１０２が共に非導通状態でグランドレベルまで低下している。
このため、共に非導通状態であった電流スイッチ回路部１０１、１０２の少なくとも一方が導通状態となってコンデンサ３８の電圧低下が一定の速度になったときの、トランジスタ１０７のドレインの電圧値をＶｓとすると、電流スイッチ回路部１０１、１０２の少なくとも一方が導通状態となってから、トランジスタ１０７のドレインの電圧値がＶｓになるまでの間、第１、第２の撮像素子１１、１２の各画素１７の相関とは関係なく、コンデンサ３８から電荷がリークすることになる。

【0071】

コンデンサ３８から電荷がリークする前のコンデンサ３８の電圧と、Ｖｓとの差をＶｏｎとすると、リセットスイッチ４８にリセット信号を与えた直後は、以下の式３が成立する。
Ｖｏｎ＜＜Ｖｃ≒Ｖｄ ・・・・・（式３）

【0072】

従って、Ｖｓ≒Ｖｄとみなせる。なお、Ｖｄは、電源４７の電圧値である。
そして、トランジスタ１０７のドレインノードの寄生容量をＣｓ、第１、第２の撮像素子１１、１２の各画素１７の相関とは関係なくコンデンサ３８からリークする電荷量をＱｓとすると、Ｑｓ＝Ｃｓ×Ｖｓであるので、リセットスイッチ４８にリセット信号を与えた直後のＱｓは、Ｑｓ≒Ｃｓ×Ｖｄとなる。

【0073】

コンデンサ３８の容量をＣ、リセットスイッチ４８にリセット信号を与えた直後のコンデンサ３８の電荷量をＱとすると、Ｑ≒Ｃ×Ｖｄであるから、Ｑｓ≒Ｑ×（Ｃｓ／Ｃ）となる。
よって、電荷リークが相関処理期間ごとに生じることを鑑みれば、この電荷リークが、第１の撮像素子１１の画素１７と第２の撮像素子１２の画素１７の相関レベルの導出精度に及ぼす影響は大きいといえる。

【0074】

これに対し、本実施の形態の相関検知回路３１は、定電流源として機能する図５に示すトランジスタ４１の閾値電圧をＶｔとすると、電流スイッチ回路部３９、４０に接続されているトランジスタ４１のソースノードの電圧値は、電流スイッチ回路部３９、４０が共に非導通状態のとき、Ｖｂ−Ｖｔとなる。なお、Ｖｂはトランジスタ４１のゲートに与えられる電圧値である。

【0075】

ここで、Ｖｂには、他の周知の定電流源の場合と同様に、Ｖｔより少し高い値（例えば、１ボルト高い値）が設定されているので、Ｖｂ−Ｖｔは小さい値である。
従って、非導通状態であった電流スイッチ回路部３９、４０の少なくとも一方が導通状態になってから、トランジスタ４１のソースノードの電圧値がＶｂ−Ｖｔになるまでの間に、第１、第２の撮像素子１１、１２の各画素１７の相関とは関係なくコンデンサ３８からリークする電荷量を抑制することができる。その理由を、以下に記す。

【0076】

相関検知回路３１において、第１、第２の撮像素子１１、１２の各画素１７の相関とは関係なくコンデンサ３８からリークする電荷量をＱｍ、トランジスタ４１のソースノードの寄生容量をＣｍとすると、以下の式４が成立する。
Ｑｍ＝Ｃｍ×｛（Ｖｂ−Ｖｔ）−Ｖｏｎ｝ ・・・・・（式４）
そして、（Ｖｂ−Ｖｔ）−ＶｏｎとＶｄには、以下の式５の関係がある。
（Ｖｂ−Ｖｔ）−Ｖｏｎ＜＜Ｖｄ ・・・・・（式５）

【0077】

相関検知回路３１の電流スイッチ回路部３９、４０は、相関検知回路１００の電流スイッチ回路部１０１、１０２に対し、電流制御用のトランジスタ４１に接続されたＭＯＳＦＥＴの数がそれぞれ半分であるので、ＣｍとＣｓには、以下の式６の関係が成り立つ。
Ｃｍ＜Ｃｓ ・・・・・（式６）
式４〜式６、及び、Ｑｓ≒Ｃｓ×Ｖｄより、Ｑｍ＜＜Ｑｓといえる。
即ち、相関検知回路３１は、相関検知回路１００に比べ、相関積分処理において、電荷リークが、第１の撮像素子１１の画素１７と第２の撮像素子１２の画素１７の相関レベルの導出精度に及ぼす影響を小さくすることができる。

【0078】

また、相関検知回路３１を採用した視差センサ１０では、相関検知回路１００を採用する視差センサに比べ、全体で、４×（ｎ―１）個のＸＮＯＲ回路３２〜３５が追加になるが、相関検知回路１００を採用した視差センサでは、視差センサ１０に比べて、電流スイッチ回路部全体に用いられるＭＯＳＦＥＴの数が、４×（ｎ―１）×（ｎ―１）個も多いことから、相関検知回路３１は、相関検知回路１００に比べ、視差センサの高集積化を可能とする。

【0079】

そして、相関検知回路３１は、相関検知回路１００と異なり、電流スイッチ回路部３９、４０それぞれに設けられた４つのＭＯＳＦＥＴ（トランジスタ４３〜４６）が全て同型であり、電流スイッチ回路部３９、４０に異なったウエルを形成する必要がないことから、相関検知回路３１は、相関検知回路１００に比べ、更なる視差センサの高集積化が可能である。
また、本実施の形態では、リセットスイッチ４８にｐ型のＭＯＳＦＥＴを用いているが、これをトランジスタ４１、４３〜４６、読出スイッチ４９と同じｎ型にして、相関検知回路３１が備えるＭＯＳＦＥＴの型を統一することで、高集積化の効果をより高めることができる。

【0080】

次に、視差センサ１０に適用される相関アナログ信号を生成する相関信号の生成方法を説明する。
その相関信号の生成方法は、（１）第１の撮像素子１１で被写体を撮像し、複数の第１のアナログ電圧信号を出力すると同時に、第２の撮像素子１２で、第１の撮像素子１１が撮像する被写体を異なる角度から撮像し、複数の第２のアナログ電圧信号を出力する工程と、（２）複数の第１のアナログ電圧信号を、複数の第１のパルス幅画素信号に、並列に配された複数の第１のアナログ／パルス幅変調回路１３によって、それぞれ同時に変換する処理、及び、複数の第２のアナログ電圧信号を、複数の第２のパルス幅画素信号に、並列に配された複数の第２のアナログ／パルス幅変調回路１４によって、それぞれ同時に変換する処理を同時に行う工程と、（３）隣り合う第１のアナログ／パルス幅変調回路１３からそれぞれ出力される２つの第１のパルス幅画素信号の差異を第１の比較パルス信号として出力する処理を、複数の第１のアナログ／パルス幅変調回路１３全てに対して行い、隣り合う第２のアナログ／パルス幅変調回路１４からそれぞれ出力される２つの第２のパルス幅画素信号の差異を第２の比較パルス信号として出力する処理を、複数の第２のアナログ／パルス幅変調回路１４全てに対して行う工程と、（４）各第１の比較パルス信号と第１の制御パルス信号の排他論理和の否定値（排他論理和の値であってもよい）を、第１の差分パルス信号として出力し、各第２の比較パルス信号と第２の制御パルス信号の排他論理和の否定値（排他論理和の値であってもよい）を、第２の差分パルス信号として出力する工程と、（５）複数の第１の差分パルス信号それぞれと複数の第２の差分パルス信号それぞれの各組み合わせに対し、第１、第２の差分パルス信号の相関の大きさに比例もしくは対応する相関アナログ信号を出力する工程とを有している。

【0081】

以上、本発明の実施の形態を説明したが、本発明は、上記した形態に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。
例えば、第１、第２の論理回路は、ＸＮＯＲ回路（排他的論理和の否定値を出力する回路）に限定されず、ＸＯＲ回路（排他的論理和の値を出力する回路）にすることもでき、第１、第２の論理回路にＸＯＲ回路を採用する場合、相関検知回路の電流スイッチ回路部にｐ型のＭＯＳＦＥＴを用いればよい。
また、相関検知回路から出力される相関アナログ信号は、電流信号である必要はなく、電圧信号であってもよい。相関検知回路にコンデンサの電圧値に比例した大きさの電圧値を出力する出力部を設けることで、相関アナログ信号として電圧信号を出力することができる。
そして、相関検知回路は、第１、第２の差分パルス信号に相関がある時間帯で、コンデンサから電荷を放電させて電圧を低下させる設計になっているが、第１、第２の差分パルス信号に相関がある時間帯で、コンデンサに電荷を一定の速度で充電して電圧を上昇させる設計であってもよい。

【0082】

更に、第１、第２のパルス信号比較回路は、それぞれ第１、第２の論理回路に直接接続されている必要はなく、第１のパルス信号比較回路と第１の論理回路の間、及び、第２のパルス信号比較回路と第２の論理回路の間に、それぞれ特定の回路を配置してもよい。
ここで、特定の回路とは、例えば、第１のパルス信号比較回路から出力される第１の比較パルス信号が所定のパルス幅未満の場合に、予め定められたパルス幅を有するパルス信号を第１の論理回路に送信し、第１のパルス信号比較回路から出力される第１の比較パルス信号が所定のパルス幅以上の場合、第１の比較パルス信号をそのまま、第１の論理回路に送るものである。この特定の回路を設けることによって、距離を計測する対象となる被写体を特定する検出処理の簡素化を期待することができる。なお、これと同様に機能する回路が、第２のパルス信号比較回路と第２の論理回路の間にも必要となる。
この特定の回路を設けた場合でも、所定の条件で、第１の比較パルス信号が第１の論理回路に入力し、第２の比較パルス信号が第２の論理回路に入力することになるため、この特定の回路を設けた視差センサも、本発明の適用範囲であることはいうまでもない。

【符号の説明】

【0083】

１０：視差センサ、１１：第１の撮像素子、１２：第２の撮像素子、１３：第１のアナログ／パルス幅変調回路、１４：第２のアナログ／パルス幅変調回路、１５：第１のパルス信号比較回路、１６：第２のパルス信号比較回路、１７：画素、１８：シーケンサ、１９：第１のアナログ／パルス幅変調回路アレイ、２０：第２のアナログ／パルス幅変調回路アレイ、２０ａ：同期制御回路、２１：第１のパルス信号比較回路アレイ、２２：第２のパルス信号比較回路アレイ、２３〜２６：インバータ、２７、２８：ＮＡＮＤゲート、３０：相関検知回路マトリックス、３０ａ：左上側の直線部、３０ｂ：右上側の直線部、３１：相関検知回路、３２〜３５：ＸＮＯＲ回路、３６：第１の信号発信回路、３７：第２の信号発信回路、３８：コンデンサ、３９、４０：電流スイッチ回路部、４１：トランジスタ、４２：出力回路部、４３〜４６：トランジスタ、４７：電源、４８：リセットスイッチ、４８ａ：インバータ、４８ｂ：リセット信号発信回路、４９：読出スイッチ、５１：電流電圧変換回路、５３：シーケンサ、５４：シフトレジスタ、１００：相関検知回路、１０１、１０２：電流スイッチ回路部、１０３〜１０６：ＭＯＳＦＥＴ、１０７：トランジスタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】