特許 7455573 信号処理装置、光電変換装置、光電変換システム、撮像装置、および、移動体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-15

(45)【発行日】2024-03-26

(54)【発明の名称】信号処理装置、光電変換装置、光電変換システム、撮像装置、および、移動体

(51)【国際特許分類】

   H04N 25/78 20230101AFI20240318BHJP

   H03M 1/08 20060101ALI20240318BHJP

   H03M 1/12 20060101ALI20240318BHJP

【ＦＩ】

H04N25/78

H03M1/08 A

H03M1/12 C

【請求項の数】 18

(21)【出願番号】P 2019233226

(22)【出願日】2019-12-24

(65)【公開番号】P2021103809

(43)【公開日】2021-07-15

【審査請求日】2022-12-19

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】島田 淳史

(72)【発明者】

【氏名】識名 紀之

(72)【発明者】

【氏名】竹中 真太郎

【審査官】三沢 岳志

(56)【参考文献】

【文献】特開２０１４－１４６８４９（ＪＰ，Ａ）

【文献】特開２０１７－００５３９２（ＪＰ，Ａ）

【文献】特開２０１５－０７６７８６（ＪＰ，Ａ）

【文献】特開２０１０－２５２２６７（ＪＰ，Ａ）

【文献】特開２０１１－０２４１０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／７８

Ｈ０３Ｍ １／０８

Ｈ０３Ｍ １／１２

(57)【特許請求の範囲】

【請求項1】

１つのアナログ信号に対して複数のアナログデジタル変換を行い、少なくとも、第１のデジタル信号および第２のデジタル信号を含む複数のデジタル信号、第１のノイズデジタル信号、および第２のノイズデジタル信号を生成するアナログデジタル変換部と、
前記複数のデジタル信号の少なくとも１つに対して判定を行い、前記判定の対象となるデジタル信号と閾値とを比較する比較器を備える判定部と、
前記第１のデジタル信号および前記第２のデジタル信号を用いて演算を行う演算部と、を備え、
前記演算部は、前記第１のデジタル信号と前記第１のノイズデジタル信号との差分に基づく信号および前記第２のデジタル信号と前記第２のノイズデジタル信号との差分に基づく信号を平均化する処理または加算する処理を含む演算を行って第１の演算結果を生成し、
前記演算部は、前記第１のデジタル信号と前記第１のノイズデジタル信号との差分に基づく第２の演算結果を生成し、
前記演算部は、前記比較器による比較の結果に応じて、前記第１の演算結果を出力するか、前記第２の演算結果を出力するかを切り換える、
ことを特徴とする信号処理装置。

【請求項2】

前記判定部は、前記判定の対象となるデジタル信号の信号値が飽和レベルに達していることを判定する、
ことを特徴とする請求項１に記載の信号処理装置。

【請求項3】

前記判定部は、前記判定の対象となるデジタル信号がエラーを含むか否か、あるいは、前記判定の対象となるデジタル信号がエラーを含む確率を判定する、
ことを特徴とする請求項１に記載の信号処理装置。

【請求項4】

前記判定部は、機械学習またはディープラーニングによって生成された学習モデルを用いて前記判定を行う、
ことを特徴とする請求項１に記載の信号処理装置。

【請求項5】

前記判定部は、前記複数のデジタル信号の一部に対して前記判定を行い、前記複数のデジタル信号の他の一部に対しては前記判定を行わない、
ことを特徴とする請求項１乃至請求項４のいずれか一項に記載の信号処理装置。

【請求項6】

前記１つのアナログ信号は前記アナログデジタル変換部の有する複数のアナログデジタル変換回路に入力される、
ことを特徴とする請求項１乃至請求項５のいずれか一項に記載の撮像装置。

【請求項7】

前記１つのアナログ信号に対してオフセットを付加するオフセット付加部を備え、
前記オフセット付加部は、互いに異なる値のオフセットの付加された２つのアナログ信号を出力し、
前記アナログデジタル変換部は、前記２つのアナログ信号のそれぞれに対してアナログデジタル変換を行うことで、前記複数のアナログデジタル変換を行う、
ことを特徴とする請求項１乃至請求項６のいずれか一項に記載の信号処理装置。

【請求項8】

前記第２のデジタル信号は、前記第１のデジタル信号の信号値より大きい信号値を持ち、
前記判定部は、第２のデジタル信号と前記閾値との比較を行い、前記第１のデジタル信号に対しては前記判定を行わない、
ことを特徴とする請求項２に記載の信号処理装置。

【請求項9】

前記１つのアナログ信号に対してオフセットを付加するオフセット付加部を備え、
前記オフセット付加部は、第１の値のオフセットの付加された第１のオフセット信号と、前記第１の値より大きい第２の値のオフセットの付加された第２のオフセット信号と、を出力し、
前記アナログデジタル変換部は、前記第１のオフセット信号に対してアナログデジタル変換を行うことで、前記第１のデジタル信号を生成し、
前記アナログデジタル変換部は、前記第２のオフセット信号に対してアナログデジタル変換を行うことで、前記第２のデジタル信号を生成する、
ことを特徴とする請求項８に記載の信号処理装置。

【請求項10】

前記演算部は、前記判定部による前記判定の結果に基づいて、前記複数のデジタル信号に対して平均化処理を行った結果を出力するか、前記複数のデジタル信号のうちの一部だけを用いた演算の結果を出力するかを変更する、
ことを特徴とする請求項１乃至請求項９のいずれか一項に記載の信号処理装置。

【請求項11】

光電変換素子と、
請求項１乃至請求項１０のいずれか一項に記載の信号処理装置と、を備え、
前記光電変換素子で生じた電荷に基づくアナログ信号が、前記アナログデジタル変換部に入力される、
ことを特徴とする光電変換装置。

【請求項12】

請求項１１に記載の光電変換装置と、
前記光電変換装置からの信号を処理する信号処理装置と、を備える、
ことを特徴とする光電変換システム。

【請求項13】

移動体であって、
請求項１２に記載の光電変換システムと、
前記光電変換システムによって取得された画像信号に基づいて前記移動体を制御する制御手段と、を有する、
ことを特徴とする移動体。

【請求項14】

複数の行および複数の列を含む行列を構成するように配置された複数の画素を含む画素部と、
前記画素部の第１の画素が生成する入射光に基づく１つの信号に対して複数のアナログデジタル変換を行い、少なくとも第１のデジタル信号および第２のデジタル信号を生成するとともに、前記第１の画素の生成する１つのノイズ信号に対して複数のアナログデジタル変換を行い、少なくとも第１のノイズデジタル信号および第２のノイズデジタル信号を生成するアナログデジタル変換部と、
少なくとも前記第２のデジタル信号を閾値と比較する比較器と、
前記第１のデジタル信号および前記第２のデジタル信号を用いて演算を行う演算部と、を備え、
前記演算部は、前記第１のデジタル信号と前記第１のノイズデジタル信号との差分に基づく信号および前記第２のデジタル信号と前記第２のノイズデジタル信号との差分に基づく信号を平均化する処理または加算する処理を含む演算を行って第１の演算結果を生成し、
前記演算部は、前記第１のデジタル信号と前記第１のノイズデジタル信号との差分に基づく第２の演算結果を生成し、
前記演算部は、前記比較器による比較の結果に応じて、前記第１の演算結果を出力するか、前記第２の演算結果を出力するかを切り換える、
ことを特徴とする撮像装置。

【請求項15】

前記演算部は、前記第１のデジタル信号および前記第２のデジタル信号を平均化する処理または加算する処理を含む演算を行う
ことを特徴とする請求項１４に記載の撮像装置。

【請求項16】

前記第１のデジタル信号に第１の値のオフセットを付加し、前記第２のデジタル信号に前記第１の値より大きい第２の値のオフセットを付加するオフセット付加部をさらに備える、
ことを特徴とする請求項１４または１５に記載の撮像装置。

【請求項17】

第１の信号線および第２の信号線を含む複数の信号線と、
前記複数の信号線の信号から１つまたは複数の信号を選択して、前記アナログデジタル変換部に出力する選択部と、を備え、
前記複数の列の１つの列が、前記第１の画素と前記第１の画素とは別の第２の画素とを含み、
前記アナログデジタル変換部は、第１のアナログデジタル変換回路と第２のアナログデジタル変換回路とを含み、
前記選択部は、第１のモードにおいて、前記第１の画素から前記第１の信号線に出力された信号を前記第１のアナログデジタル変換回路へ出力し、かつ、前記第２の画素から前記第２の信号線に出力された信号を並行して前記第２のアナログデジタル変換回路へ出力し、
前記選択部は、第２のモードにおいて、前記第１の画素から出力された信号を、前記第１のアナログデジタル変換回路および前記第２のアナログデジタル変換回路の両方に出力する、
ことを特徴とする請求項１４乃至請求項１６のいずれか一項に記載の撮像装置。

【請求項18】

前記複数の信号線は、さらに第３の信号線および第４の信号線を含み、
前記複数の列の前記１つの列が、さらに第３の画素および第４の画素を含み、
前記アナログデジタル変換部は、さらに第３のアナログデジタル変換回路および第４のアナログデジタル変換回路を含み、
前記選択部は、前記第１のモードにおいて、前記第１の画素から前記第１の信号線に出力された信号、前記第２の画素から前記第２の信号線に出力された信号、前記第３の画素から前記第３の信号線に出力された信号、および、前記第４の画素から前記第４の信号線に出力された信号を、それぞれ、前記第１乃至前記第４のアナログデジタル変換回路へ個別に出力し、
前記選択部は、前記第２のモードにおいて、
第１の期間に、前記第１の画素の信号を、前記第１のアナログデジタル変換回路および前記第２のアナログデジタル変換回路の両方に出力し、かつ、前記第２の画素の信号を、前記第３のアナログデジタル変換回路および前記第４のアナログデジタル変換回路の両方に並行して出力し、
前記第１の期間に続く第２の期間に、前記第３の画素の信号を、前記第１のアナログデジタル変換回路および前記第２のアナログデジタル変換回路の両方に出力し、かつ、前記第４の画素の信号を、前記第３のアナログデジタル変換回路および前記第４のアナログデジタル変換回路の両方に並行して出力する、
ことを特徴とする請求項１７に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は信号処理装置、光電変換装置、光電変換システム、撮像装置、および、移動体に関する。

【背景技術】

【0002】

単一のアナログ信号に対して複数のデジタル信号を得るアナログデジタル変換（ＡＤ変換）を行う信号処理装置が知られている。特許文献１は、複数の画素とアナログデジタル変換回路（ＡＤ変換回路）を備えたＣＭＯＳイメージセンサを開示している。ＣＭＯＳイメージセンサは、光電変換装置の一つの形態であり、また、その内部でＡＤ変換などの信号処理を行う信号処理装置の一つの形態である。特許文献１の光電変換装置では、１つの画素列に複数のＡＤ変換回路が接続されている。複数のＡＤ変換回路のそれぞれが、１つの画素から出力された共通のアナログ信号をデジタル信号に変換している。このように、１つの画素信号に対して複数のＡＤ変換を行う処理は、マルチサンプリングＡＤ変換、あるいは、単にマルチサンプリングと呼ばれることがある。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－２５２１４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示された信号処理装置には性能向上の余地がある。本発明の一つの側面では、信号処理装置の性能を向上させることを目的とする。

【0005】

例えば、特許文献１に開示された信号処理では、ＡＤ変換の結果に応じて信号処理の方法を選択することや、ＡＤ変換の結果に応じて信号補正の有無を選択することが困難である。

【0006】

また、本発明の一つの形態である光電変換装置や撮像装置では、必ずしも、信号処理の性能の向上が課題ではない。本発明に係る光電変換装置や撮像装置では、ノイズの低減、あるいは、画質の向上を目的としていてもよい。

【0007】

例えば、特許文献１のＣＭＯＳイメージセンサでは、複数のＡＤ変換回路に異なる複数のランプ信号が供給される。複数のランプ信号は、同一時刻において任意の電圧だけオフセットされている。そのため、オフセットの量によっては、ＡＤ変換によって得られる複数のデジタル信号（デジタルデータ）の一部のみが飽和してしまうことがある。その場合、マルチサンプリングしたデジタルデータに対し加算平均処理のようなデータ演算を行った結果は、正確な平均結果にならない。結果として、画質が低下する可能性がある。

【0008】

ＡＤ変換後のデータが飽和する以外にも、一部のＡＤ変換回路に対してノイズやサージが発生することで、正確にＡＤ変換を行うことができない可能性がある。結果として、ＡＤ変換後のデジタルデータに対するデータ演算の結果が、正確さを欠く可能性がある。

【課題を解決するための手段】

【0009】

１つの実施例の信号処理装置は、１つのアナログ信号に対して複数のアナログデジタル変換を行い、少なくとも、第１のデジタル信号および第２のデジタル信号を含む複数のデジタル信号、第１のノイズデジタル信号、および第２のノイズデジタル信号を生成するアナログデジタル変換部と、前記複数のデジタル信号の少なくとも１つに対して判定を行い、前記判定の対象となるデジタル信号と閾値とを比較する比較器を備える判定部と、前記第１のデジタル信号および前記第２のデジタル信号を用いて演算を行う演算部と、を備え、前記演算部は、前記第１のデジタル信号と前記第１のノイズデジタル信号との差分に基づく信号および前記第２のデジタル信号と前記第２のノイズデジタル信号との差分に基づく信号を平均化する処理または加算する処理を含む演算を行って第１の演算結果を生成し、前記演算部は、前記第１のデジタル信号と前記第１のノイズデジタル信号との差分に基づく第２の演算結果を生成し、前記演算部は、前記比較器による比較の結果に応じて、前記第１の演算結果を出力するか、前記第２の演算結果を出力するかを切り換える。

【0010】

１つの実施例の撮像装置は、複数の行および複数の列を含む行列を構成するように配置された複数の画素を含む画素部と、前記画素部の第１の画素が生成する入射光に基づく１つの信号に対して複数のアナログデジタル変換を行い、少なくとも第１のデジタル信号および第２のデジタル信号を生成するとともに、前記第１の画素の生成する１つのノイズ信号に対して複数のアナログデジタル変換を行い、少なくとも第１のノイズデジタル信号および第２のノイズデジタル信号を生成するアナログデジタル変換部と、少なくとも前記第２のデジタル信号を閾値と比較する比較器と、前記第１のデジタル信号および前記第２のデジタル信号を用いて演算を行う演算部と、を備え、前記演算部は、前記第１のデジタル信号と前記第１のノイズデジタル信号との差分に基づく信号および前記第２のデジタル信号と前記第２のノイズデジタル信号との差分に基づく信号を平均化する処理または加算する処理を含む演算を行って第１の演算結果を生成し、前記演算部は、前記第１のデジタル信号と前記第１のノイズデジタル信号との差分に基づく第２の演算結果を生成し、前記演算部は、前記比較器による比較の結果に応じて、前記第１の演算結果を出力するか、前記第２の演算結果を出力するかを切り換える。

【発明の効果】

【0011】

本発明によれば、信号処理装置の性能を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】信号処理装置の構成を模式的に示す図。

【図2】撮像装置の構成を模式的に示すブロック図。

【図3】撮像装置の画素部と周辺回路の構成を模式的に示す図。

【図4】画素の等価回路図。

【図5】水平転送部の構成を模式的に示す図。

【図6】データ処理部の構成を模式的に示すブロック図。

【図7】データ演算部の構成を模式的に示すブロック図。

【図8】撮像装置の動作を説明するためのタイミングチャート。

【図9】撮像装置の画素部と周辺回路の構成を模式的に示す図。

【図10】水平転送部の構成を模式的に示す概略図。

【図11】データ処理部の構成を模式的に示すブロック図。

【図12】Ｎデータ用記憶部の構成を模式的に示すブロック図。

【図13】データ演算部の構成を模式的に示すブロック図。

【図14】撮像装置の動作を説明するためのタイミングチャート。

【図15】撮像装置の動作を説明するためのタイミングチャート。

【図16】移動体の構成を模式的に示すブロック図。

【発明を実施するための形態】

【0013】

以下では、本発明の実施例について図面を用いて詳細に説明する。本発明は以下に説明される実施例のみに限定されない。本発明の趣旨を超えない範囲で以下に説明される実施例の一部の構成が変更された変形例も、本発明の実施例である。また、以下のいずれかの実施例の一部の構成を、他の実施例に追加した例、あるいは他の実施例の一部の構成と置換した例も本発明の実施例である。

【実施例1】

【0014】

実施例１に係る信号処理装置を説明する。図１は、本実施例の信号処理装置１の構成を模式的に示している。図１（ａ）に示された信号処理装置１は、アナログデジタル変換部３（以下、ＡＤ変換部３と呼ぶ）と、判定部５を備える。

【0015】

ＡＤ変換部３は、ノードＩＮから入力された１つのアナログ信号（アナログデータ）に対して、複数のアナログデジタル変換（以下、ＡＤ変換）を行う。その結果、ＡＤ変換部３は、１つのアナログ信号の入力を受けて、入力された信号の数より多い数のデジタル信号（デジタルデータ）を出力する。図１（ａ）に示された信号処理装置１では、ＡＤ変換部３は、１つのアナログ信号を受けて、それぞれが当該１つのアナログ信号が変換された結果である２つ以上のデジタル信号を順次出力する。

【0016】

判定部５は、ＡＤ変換部３から出力された複数のデジタル信号の少なくとも一部に対して、判定処理を行う。判定処理は、複数のデジタル信号の一部のみに対して行われうる。例えば、２つのデジタル信号の一方に対して判定処理が行われ、他方に対しては判定処理が行われない。あるいは、判定処理は、複数のデジタル信号の全部に対して行われうる。また、典型的には、１つのデジタル信号は複数のビット信号を含む。判定処理は、１つのデジタル信号に含まれる複数のビット信号のうちの一部のみ（例えば、最上位ビットのみ）に対して行われてもよい。あるいは、判定処理は、複数のデジタル信号のそれぞれにおいて、その一部のビット信号のみに対して行われてもよい。

【0017】

以上の構成により、信号処理装置はＡＤ変換によって得られたデジタル信号に対して、任意の判定処理を行うことができる。結果として、信号処理の性能を向上させることが可能である。

【0018】

判定処理として、例えば、判定部５はデジタル信号が奇数か偶数かを判定する。これによって、奇数と偶数の一方だけに信号処理を行うことが可能になるなど、信号処理の性能が向上する。奇数か偶数かの判定には、様々な方法が用いられる。例えば、最下位のビット信号で判定してもよい。

【0019】

判定処理として、例えば、判定部５はデジタル信号がエラーを含むか否か、あるいは、エラーを含む確率を判定する。これによって、信号処理の結果の信頼性について、装置あるいは装置のユーザが判断することができる。あるいは、信号処理装置１は、エラーの有無またはその確率に応じて、その後の信号処理を変更することができる。したがって、このような信号処理は、エラーに関する情報を出力しない信号処理に比較して、性能の高い信号処理である。すなわち、判定部５により、信号処理の性能が向上する。

【0020】

エラーの判定には、様々な方法が用いられる。例えば、得られたデジタル信号を、近傍の信号値を持つ可能性が高いと想定される他のデジタル信号と比較することで、エラーの判定を行うことができる。本実施例のＡＤ変換部３は、同じアナログ信号に対して、複数のデジタル信号を出力する。そのため、これらの複数のデジタル信号を相互に比較することで、高い精度でエラーの判定を行うことができる。他の方法として、判定部５は、得られたデジタル信号に対して逆変換を行う。すなわち、デジタル信号をアナログ信号に変換する。そして、判定部５は、ＡＤ変換部３に入力されるアナログ信号と逆変換で得られたアナログ信号とを比較することで、エラーの判定を行う。また、判定部５は、機械学習やディープラーニングによって生成された学習モデルを備えていてもよい。当該学習モデルにはデジタル信号が入力され、当該学習モデルはエラーの有無または確率を表す信号を出力する。

【0021】

判定処理として、例えば、判定部５はデジタル信号に対して誤り訂正用の符号の計算を行う。これによって、信号処理装置は誤り訂正用の符号とともに信号処理の結果を出力することができる。すなわち、判定部５により、信号処理の性能が向上する。誤り訂正用の符号の計算には、公知の様々な手法が用いられる。

【0022】

判定処理として、例えば、判定部５はデジタル信号を所定の閾値と比較する。信号処理装置１は、比較の結果に応じて、その後の信号処理を変更することができる。すなわち、より高性能な信号処理が可能となる。例えば、信号処理装置１は、複数のデジタル信号を加算する処理を行いうる。このとき、デジタル信号が所定の閾値より大きいと判断した場合に、加算後のオーバーフローを避けるため一部のデジタル信号が加算処理から除かれる。別の例では、デジタル信号が所定の閾値より大きい場合に、アナログ信号の信号値が飽和レベルに達している、すなわち、正しい情報を反映していないと判断することができる。そして、その後の処理（例えば上述の加算処理）の対象から外したり、あるいは、補正したり、置換したりする処理を行うことができる。

【0023】

判定部５による判定結果がどのように用いられるかについては、上記の形態には限定されない。信号処理装置１は、判定結果に基づいて、その後の信号処理のフローを変更しうる。これは性能の向上した信号処理の一例である。あるいは、信号処理装置１は、判定結果をユーザに対して表示または通知する。ユーザは、信号処理についての信頼性に係る情報やその他の付加情報が得られるため、これは性能の向上した信号処理の一例である。あるいは、信号処理装置１は、判定結果を示すデータを、内部または外部のメモリに保持しておくだけでも、信号処理の性能の向上が可能である。例えば、判定部５がエラーを判定する場合には、判定結果を示すデータを解析することで信頼度（ＡＤ変換回数に対するエラー発生の頻度）に関する評価を行うことができる。定量的な評価が可能な信号処理は、性能の向上された信号処理である。このように、判定結果の用途には多数の形態が適用されるため、判定部５が判定処理を行うことで、信号処理の性能を向上させることができる。

【0024】

本実施例で、ＡＤ変換部３に入力されるアナログ信号は特に限定されない。例えば、センサによって生成されたアナログ信号が入力される。センサには、音声センサ、振動センサ、温度センサ、圧力センサ、光センサ、加速度センサ、脳波センサ、生体センサなどが適用される。これらのセンサは、物理量を電気信号に変換する。光センサとして、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、ＴｏＦセンサ、赤外線センサがある。

【0025】

ＡＤ変換部３は、スロープ型のＡＤ変換、逐次比較型のＡＤ変換、パイプライン型のＡＤ変換、巡回型のＡＤ変換などのＡＤ変換を行う。典型的には、ＡＤ変換部３は比較器を含む。ＡＤ変換部３は、比較器の他に、ＡＤ変換の形式に応じて用いられる構成要素を備えうる。

【0026】

続いて、本実施例において、複数のデジタル信号の出力する構成のバリエーションを説明する。図１（ｂ）に示された信号処理装置１は、ＡＤ変換部３と判定部５とに加えて、ＡＤ変換部３に接続された複数のメモリ部７を備える。図１（ｂ）は、２つのメモリ部７ａとメモリ部７ｂの２つを示しているが、メモリ部７の数は３つ以上でもよい。複数のメモリ部７のそれぞれは、ＡＤ変換部３から出力された少なくとも１つのデジタル信号を保持する。１つのデジタル信号を複数のメモリ部７に同時に入力することによって、複数のメモリ部７のそれぞれがデジタル信号を保持することができる。あるいは、ＡＤ変換部３は、図１（ａ）で説明したように、１つのアナログ信号に対して順に複数回のＡＤ変換を行いうる。順に出力される複数のデジタル信号が、複数のメモリ部７に順次保持されてもよい。この場合、ＡＤ変換部３とメモリ部７の間に、マルチプレクサやスイッチ回路が挿入されうる。

【0027】

便宜的に、メモリ部７はＡＤ変換部３とは別のブロックとして示されている。しかし、ＡＤ変換の形式によっては、メモリ部７はＡＤ変換部３の一部の構成として配される。

【0028】

判定部５は、少なくとも一部のメモリ部７に保持されたデジタル信号に対して、判定処理を行う。図１（ａ）の説明で挙げられたいずれの判定処理も、図１（ｂ）の判定部５に適用される。図１（ｂ）では、判定部５がメモリ部７ａにのみ接続されている。しかし、１つの判定部５が、メモリ部７ａおよびメモリ部７ｂの両方に接続されてもよい。あるいは、別の不図示の判定部が追加され、メモリ部７ｂに接続されてもよい。

【0029】

図１（ｃ）に示された信号処理装置１は、１つの入力ノードに接続された複数のＡＤ変換部３を備えている。このような形態によっても、信号処理装置１ないしは信号処理装置１に含まれるＡＤ変換部３は、１つのアナログ信号に対して、複数のＡＤ変換を行いうる。図１（ｃ）の信号処理装置１は、ＡＤ変換部３ａに接続された判定部５ａと、ＡＤ変換部３ｂに接続された判定部５ｂとを備えている。ＡＤ変換部３ａおよびＡＤ変換部３ｂは、それぞれ、図１（ａ）や図１（ｂ）で説明したＡＤ変換部３と同じ機能を有する。また、判定部５ａおよび判定部５ｂは、図１（ａ）や図１（ｂ）で説明した判定部５と同じ機能を有する。

【0030】

なお、図１（ｃ）において、ＡＤ変換部３ａおよびＡＤ変換部３ｂのそれぞれの前段に信号処理回路が挿入されてもよい。例えば、信号を増幅するアンプや、オフセットを付与するオフセット付加部等が配されうる。これらの回路は、１つの信号に対して異なる信号処理を行いうる。例えば、アンプは、ＡＤ変換部３ａに入力されるアナログ信号と、ＡＤ変換部３ｂに入力されるアナログ信号とに、異なるゲインを与える。あるいは、オフセット付加部は、ＡＤ変換部３ａに入力されるアナログ信号と、ＡＤ変換部３ｂに入力されるアナログ信号とに、異なる量のオフセットを与える。しかしながら、これらの処理がなされても、元は１つのアナログ信号であるため、ＡＤ変換部３ａおよびＡＤ変換部３ｂによって１つのアナログ信号に対する複数回のＡＤ変換が行われる。

【0031】

上記の説明では、便宜的に、２つのＡＤ変換部３があることを説明した。しかし、同じ構成について、１つのＡＤ変換部３が、複数のアナログデジタル変換回路（ＡＤ変換回路）または、複数のアナログデジタル変換器（ＡＤ変換器）を含むと解釈してもよい。つまり、それぞれがＡＤ変換を行う複数の回路が、集合的に１つのＡＤ変換部３を構成してもよい。なお、本明細書ではＡＤ変換器とＡＤ変換回路を同義で用いている。

【0032】

以上に説明した通り、図１（ａ）～図１（ｃ）に示された信号処理装置１は、１つのアナログ信号に対して複数のＡＤ変換を行う。そして、信号処理装置１は、得られた複数のデジタル信号の少なくとも一部に対して判定処理を行う判定部を備える。このような構成により、信号処理の性能を向上させることが可能である。

【0033】

なお、１つのアナログ信号から変換された複数のデジタル信号を取得する手段を備えていれば、信号処理装置１はＡＤ変換部３を必ずしも含まなくてよい。例えば別の装置が複数のデジタル信号を生成し、本実施例の信号処理装置１はそれらのデジタル信号を受け取るだけでもよい。また、本実施例の効果は、上述の各処理を行う主体に依存しない。すなわち、１つのアナログ信号から変換された複数のデジタル信号を取得するステップ、ならびに、得られた複数のデジタル信号の少なくとも一部に対して判定処理を行うステップを含む方法によって、信号処理の性能を向上させることが可能である。

【実施例2】

【0034】

［全体構成］
実施例２に係る撮像装置を説明する。本実施例の撮像装置は、信号処理装置の１つの形態である。図２は、本実施例に係る撮像装置１００の構成を模式的に示すブロック図である。撮像装置１００は、例えば、実施例１で説明したＣＭＯＳイメージセンサ、ＴｏＦセンサ、赤外線センサとして使用される。

【0035】

撮像装置１００は、ＣＰＵ１０１によって制御される。撮像装置１００は、ＣＰＵ１０１からの同期信号、通信を受けて動作する制御部１０２を含む。撮像装置１００は、制御部１０２の制御信号を受けて動作する垂直走査部１０３と、複数の画素Ｐがｎ行・ｍ列の行列を構成するように配置された画素部１０４とを含む。垂直走査部１０３が、画素部１０４の動作を制御する。撮像装置１００は、さらに、画素部１０４からの信号を処理する列ＡＤ変換部１０５と、水平転送部１０６と、データ処理部１０７と、信号出力部１０８とを含む。列ＡＤ変換部１０５と水平転送部１０６は制御部１０２の制御信号を受けて動作する。

【0036】

図３は本実施例に係る画素部１０４及び列ＡＤ変換部１０５の構成例を示した概略図である。画素部１０４は、各列に画素２０１を有する。また、各列の画素に接続された垂直信号線２０２を有する。垂直信号線２０２は定電流源（不図示）に接続される。また、垂直信号線２０２は、オフセット付加部２０３に接続される。オフセット付加部２０３の出力は、列ＡＤコンバータ２０４に接続される。列ＡＤコンバータ２０４の出力は、保持部２０５に接続される。すなわち、列ＡＤ変換部１０５は、複数の列ＡＤコンバータ２０４を含む。なお、１つの列ＡＤコンバータ２０４は、実施例１で説明したＡＤ変換部３と同様の機能を有する。すなわち、実施例１のＡＤ変換部３についての説明は、すべて本実施例に援用される。本実施例においては、各列に対して、垂直信号線２０２は１本ずつ配置される。同様に、各列に対して、オフセット付加部は１個ずつ配置される。また、各列に対して、列ＡＤコンバータ２０４と保持部２０５は２個ずつ配置される。

【0037】

複数の垂直信号線２０２を区別するために、図３では、１列目の画素に接続する垂直信号線２０２はｃ１、ｍ列目の画素に接続する垂直信号線２０２はｃｍと表現している。例えば、垂直信号線ｃ１に接続する画素からのアナログ信号（画素信号）は、オフセット付加部２０３に入力される。これに対して、オフセット付加部２０３は複数の信号ｃ１＿ｏｆｓｔ＿＃（＃：１～２）を出力する。オフセット付加部によってオフセットが付加された信号を、オフセット信号とも呼ぶ。なお、オフセット付加部２０３の構成は、例えば列アンプなどの増幅回路やアッテネータ回路によって構成してもよいし、または、アナログ信号の信号値の加算あるいは減算ができる構成が用いられうる。

【0038】

また、オフセット付加部２０３の出力信号ｃ１＿ｏｆｓｔ＿＃は、それぞれ、列ＡＤコンバータ２０４に入力される。なお、列ＡＤコンバータ２０４は、アナログデータをデジタルデータへ変換するブロックである。本実施例の列ＡＤコンバータ２０４は、比較器とランプ波生成器とカウンタによって構成される。なお、ランプ波生成器とカウンタは、複数の列ＡＤコンバータ２０４に共有されるように設けられてもよい。

【0039】

また、列ＡＤコンバータ２０４の出力は、保持部２０５の入力に接続する。保持部２０５は、実施例１のメモリ部７と同じ機能を有する。なお、保持部２０５は省略されてもよい。保持部２０５は、信号ａｄｏｕｔ＿ｃ１＿＃（＃：１～２）を出力する。なお、ａｄｏｕｔ＿ｃ１＿＃は、それぞれ、デジタル信号（デジタルデータ）であり、複数のビット信号を含む。

【0040】

［画素回路］
図４は、本実施例に係る画素２０１の等価回路を示す図である。画素２０１は、光電変換素子（ＰＤ）３１１と、電荷転送手段３１２と、フローティングディフュージョン部ＦＤと、リセット手段３１３と、信号増幅手段３１４と、行選択手段３１５を有する。光電変換素子（ＰＤ）３１１は、光電変換に入射した光量に応じた電荷を生成する、フォトダイオード等の素子を有する。

【0041】

電荷転送手段３１２は、光電変換素子（ＰＤ）３１１とＦＤとの間に接続している。電荷転送手段３１２は、光電変換素子（ＰＤ）３１１に蓄積された電荷を読み出すための転送用トランジスタであり、画素転送信号ＰＴＸ（１）により、導通／非導通（オン／オフ）が制御される。

【0042】

リセット手段３１３は、電源電圧ＶＤＤとＦＤとの間に接続される。リセット手段３１３は、ＦＤに電源電圧ＶＤＤを供給して回路をリセットするためのリセット用トランジスタであり、画素部リセット信号ＰＲＥＳ（１）により、導通／非導通（オン／オフ）が制御される。

【0043】

信号増幅手段３１４のゲート端子にはＦＤが接続され、ドレインおよびソースの各端子には電源電圧ＶＤＤおよび行選択手段３１５が接続される。信号増幅手段３１４は、ＦＤに蓄積された電荷を電圧に変換して増幅し、電圧信号として垂直信号線２０２に出力するソースフォロア用トランジスタである。

【0044】

行選択手段３１５は、信号増幅手段３１４の出力と垂直信号線２０２との間に接続される。行選択手段３１５は、画素信号を出力する行を選択するためのトランジスタであり、行選択信号ＰＳＥＬ（１）により、導通／非導通（オン／オフ）が制御される。

【0045】

［水平転送部］
図５は、本実施例に係る水平転送部１０６の構成例を示す図である。水平転送部１０６は、複数のスリーステートバッファ４０１と、水平転送線４０２と、水平走査部４０３を有する。

【0046】

列ＡＤ変換部１０５の各出力ａｄｏｕｔ＿ｃＭ＿＃（Ｍ：１～ｍ）（＃：１～２）は、各スリーステートバッファ４０１の入力に接続し、その出力は水平転送線４０２に接続される。各スリーステートバッファ４０１の出力は、水平走査部４０３によって制御される。なお、スリーステートバッファ４０１は、「入力信号をそのまま出力する」、もしくは「信号を出力しない（ハイインピーダンス状態）」を選択することができる。

【0047】

本実施例においては、各列に対して、水平転送線４０２は２ｃｈ配置される。入力ａｄｏｕｔ＿ｃＭ＿１は、スリーステートバッファを介してｃｈ＿１に接続し、入力ａｄｏｕｔ＿ｃＭ＿２は、スリーステートバッファを介してｃｈ＿２に接続する。

【0048】

［データ処理部］
図６は、本実施例に係るデータ処理部１０７の構成例を示す図である。データ処理部１０７は、Ｓデータ用記憶部５０１、５０３と、Ｎデータ用記憶部５０２、５０４と、データ演算部５０５を有する。ＮデータおよびＳデータは、イメージセンサにおいて相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）を行うために取得される２つの信号である。画素２０２から出力された２つのアナログデータが、それぞれＡＤ変換されて、ＮデータとＳデータが得られる。Ｓデータは、後述する入射光の基づく信号（光信号）に対してＡＤ変換を行うことで得られるデジタルデータを意味する。また、Ｎデータは、後述するノイズ信号に対してＡＤ変換を行うことで得られるノイズデジタルデータを意味する。

【0049】

データ処理部１０７への入力ｃｈ＿１は、Ｓデータ用記憶部５０１およびＮデータ用記憶部５０２の両方に接続する。Ｓデータ用記憶部５０１は、出力ポートＳ１を備える。Ｓ１はデータ演算部５０５に接続する。Ｎデータ用記憶部５０２は、出力ポートＮ１を備える。Ｎ１はデータ演算部５０５に接続する。

【0050】

同様に、データ処理部１０７への入力ｃｈ＿２は、Ｓデータ用記憶部５０３およびＮデータ用記憶部５０４の両方に接続する。Ｓデータ用記憶部５０３は、出力ポートＳ２を備える。Ｓ２はデータ演算部５０５に接続する。Ｎデータ用記憶部５０４は、出力ポートＮ２を備える。Ｎ２はデータ演算部５０５に接続する。

【0051】

データ演算部５０５は、入力データＳｉｎ１、Ｎｉｎ１、Ｓｉｎ２、Ｎｉｎ２を元に演算を行う。データ演算部５０５は、演算結果をＳＮに出力する。

【0052】

Ｓデータ用記憶部５０１、５０３、Ｎデータ用記憶部５０２、５０４は、それぞれ、ＳＲＡＭで構成されうる。回路規模が許容されるのであれば、各記憶部５０１～５０４は、フリップフロップで構成してもかまわない。また、各記憶部５０１～５０４は、その他の記憶素子でもかまわない。

【0053】

データ演算部５０５は、ＡＤ変換後の入力データＳｉｎ１、Ｓｉｎ２、Ｎｉｎ１、Ｎｉｎ２に対して、データ値の異常やエラーを検知する検知部６１１を有する。検知部６１１は入力されるデータの値からエラーの有無あるいはエラーが生じている確率を判定する。すなわち、検知部６１１は実施例１の判定部５の一例である。データ演算部５０５は、検知部６１１がエラーを検知した場合に、当該エラーを含むデータを使わないようにする手段（後述のセレクタ６０８）を有する。それによって、例えば、ＡＤ変換後のデータがサージなどの原因によって異常な値になってしまったときにも、適切なデータ演算結果を提供する。

【0054】

図７（ａ）に、データ演算部５０５の回路構成を示す。データ演算部５０５は、入力データＳｉｎ１、Ｓｉｎ２、Ｎｉｎ１、Ｎｉｎ２のデータ値から異常やエラーを検知する検知部６１１と、入力データＳｉｎ１、Ｓｉｎ２、Ｎｉｎ１、Ｎｉｎ２に対して各種データ演算を行うデータ演算器６１０とを備える。さらに、データ演算部５０５は、検知部６１１の判定結果からデータ演算器６１０の二つの出力結果を切り替えるセレクタ６０８を有する。

【0055】

図７（ｂ）にデータ演算器６１０と、検知部６１１の処理の一例を示す。図７（ｂ）の例では、データ演算器６１０がＳデータとＮデータの平均化を行う。また、検知部６１１は、入力データＳｉｎ２、Ｎｉｎ２を閾値と比較することで判定を行う。

【0056】

データ演算部５０５は、まず、入力データＳｉｎ１と入力データＮｉｎ２との差分（Ｓｉｎ１－Ｎｉｎ１）を得る。入力データＳｉｎ２が閾値ｔｈｒｅｓｈ＿Ｓより大きいか、または、入力データＮｉｎ２が閾値ｔｈｒｅｓｈ＿２より大きい場合には、データ演算部５０５は、入力データＳｉｎ１と入力データＮｉｎ２との差分を出力する。このとき、出力ＳＮｏｕｔは式１で表される。
ＳＮｏｕｔ＝Ｓｉｎ１－Ｎｉｎ１ （式１）
※Ｓｉｎ２＞ｔｈｒｅｓｈ＿ＳまたはＮｉｎ２＞ｔｈｒｅｓｈ＿２のとき

【0057】

また、データ演算部５０５は、入力データＳｉｎ２と入力データＮｉｎ２との差分（Ｓｉｎ２－Ｎｉｎ２）を得る。そして、入力データＳｉｎ２が閾値ｔｈｒｅｓｈ＿Ｓ以下であり、かつ、入力データＮｉｎ２が閾値ｔｈｒｅｓｈ＿２以下である場合には、（Ｓｉｎ１－Ｎｉｎ１）と（Ｓｉｎ２－Ｎｉｎ２）の平均値を出力する。このとき、出力ＳＮｏｕｔは式２で表される。
ＳＮｏｕｔ＝（（Ｓｉｎ１－Ｎｉｎ１）＋（Ｓｉｎ２－Ｎｉｎ２））÷２ （式２）
※Ｓｉｎ２≦ｔｈｒｅｓｈ＿ＳかつＮｉｎ２≦ｔｈｒｅｓｈ＿２のとき

【0058】

上記の演算を行うための回路構成を詳細に説明する。データ演算部５０５は、減算器６０１、６０２と、比較器６０３、６０４と、加算器６０５と、平均化処理回路６０６と、ＯＲ回路６０７と、セレクタ６０８を有する。

【0059】

減算器６０１は、Ｓｉｎ１、Ｎｉｎ１を入力とし、Ｓｉｎ１からＮｉｎ１を減算した結果を出力する。減算器６０２は、Ｓｉｎ２、Ｎｉｎ２を入力とし、Ｓｉｎ２からＮｉｎ２を減算した結果を出力する。加算器６０５は、減算器６０１と６０２の出力を加算し出力する。平均化処理回路６０６は、加算器６０５の出力を２で割った結果を出力する。なお、平均化処理回路６０６は、入力するデータ数に応じて平均値をとる回路である。上述のように除算器で構成してもよいし、入力するデータ数が２のべき乗であればシフタ回路で構成してもよい。また、平均化処理回路６０６を省略し、加算器６０５の結果を出力してもよい。比較器６０３は、Ｓｉｎ２とｔｈｒｅｓｈ＿Ｓを比較し、Ｓｉｎ２＞ｔｈｒｅｓｈ＿ＳのときＨｉｇｈを出力し、それ以外のときＬｏｗを出力する。比較器６０４は、Ｎｉｎ２とｔｈｒｅｓｈ＿Ｎを比較し、Ｎｉｎ２＞ｔｈｒｅｓｈ＿ＮのときＨｉｇｈを出力し、それ以外のときＬｏｗを出力する。ＯＲ回路６０７は、比較器６０３の出力と比較器６０４の出力を入力し、その論理和を出力する。セレクタ６０８は、減算器６０１の出力と平均化処理回路６０６の出力を、ＯＲ回路６０７の出力レベルに応じて選択し、ＳＮｏｕｔとして出力する。

【0060】

このように本実施例では、比較器６０３を含む検知部６１１が、判定部として機能を担っている。また、検知部６１１の出力に基づいて、セレクタ６０８が出力するデータを切り替えている。このように、判定部の出力する結果に基づいて、信号処理の方法を変更している。変形例として、セレクタ６０８を省略して、エラーの有無を別途外部に出力する形態としてもよい。

【0061】

［駆動方法］
続いて、本実施例にかかる撮像装置１００の駆動方法について説明する。図８は、列ＡＤ変換部１０５、水平転送部１０６、データ処理部１０７の動作の一例を示すタイミングチャートである。本実施例の撮像装置１００は、１行ずつＡＤ変換し、１画素ずつのデータを順次出力する。その動作について説明する。全体的な流れとして、（１）デジタルデータを取得して、メモリ（Ｓデータ用記憶部５０３、Ｎデータ用記憶部５０４）へ保持する動作、（２）メモリからデジタルデータを読み出す動作、（３）メモリから読み出したデータに対する演算動作の順に説明する。

【0062】

まず、１行目の画素２０１の出力信号をＡＤ変換し、そのデータをデータ処理部１０７のＳデータ用記憶部５０１、５０３と、Ｎデータ用記憶部５０２、５０４に書き込む動作について述べる。

【0063】

時刻Ｔ１において、ＣＰＵ１０１は、制御部１０２に対して、水平同期信号ＨＤを出力する。制御部１０２は、水平同期信号ＨＤを受け、垂直走査部１０３を制御することで画素部１０４からＮ（ノイズ）信号を全列同時に垂直信号線ｃＭ（Ｍ：１～ｍ）に出力させる。なお、Ｎ信号は、ＦＤのリセットを解除した後に、ＦＤの電荷を、信号増幅手段３１４を介して読み出した信号である。そして、オフセット付加部２０３は、垂直信号線ｃＭ（Ｍ：１～ｍ）の信号に対してオフセットを付加する。１つのオフセット付加部２０３は、互いに異なる値のオフセットが付与された信号ｃＭ＿ｏｆｓｔ＿１と信号ｃＭ＿ｏｆｓｔ＿２を出力する。付加するオフセットの値は、図８に示すように、ｃＭ＿ｏｆｓｔ＿１＜ｃＭ＿ｏｆｓｔ＿２となるようにする。

【0064】

このオフセットを付加することにより１つのＮ信号が異なるオフセット値を含んだ２つの信号となる。しかしながら、付加されたオフセットは最終的には除去される。そのため、実施例１の図１（ｃ）で説明した例と同様に、本実施例の撮像装置１００は、１つのアナログ信号（画素信号）に対して複数のＡＤ変換を行うことになる。換言すると、実施例１（ｃ）において、入力ノードＩＮと各ＡＤ変換部３ａ、３ｂとの間に、互いに異なる処理を行う処理回路が挿入された構成を、本実施例の撮像装置１００は含む。

【0065】

時刻Ｔ１から時刻Ｔ１ｗ１で、列ＡＤコンバータ２０４は、オフセット付加部２０３の出力ｃＭ＿ｏｆｓｔ＿＃（Ｍ：１～ｍ）（＃：１～２）を全列同時にＡＤ変換する。図８では、Ｎ信号に対してオフセットを付加した信号に対するＡＤ変換期間をＮ－ＡＤと記載している。具体的には、時刻Ｔ１において、ＡＤコンバータ２０４で生成するランプ波とカウンタの動作を開始する。時刻Ｔ１ｎ１にて信号ｃＭ＿ｏｆｓｔ＿１とランプ波の電圧が交差し、その時点でのカウンタ値Ｎ１＿Ｍ＿ｔ１（Ｍ：１～ｍ）がデジタルデータとして列ＡＤコンバータ２０４から出力される。そして、時刻Ｔ１ｎ３にて信号ｃＭ＿ｏｆｓｔ＿２とランプ波の電圧が交差し、その時点でのカウンタ値Ｎ２＿Ｍ＿ｔ１（Ｍ：１～ｍ）がデジタルデータとして列ＡＤコンバータ２０４から出力される。

【0066】

なお、本実施例においては、オフセット付加後のデータ（オフセット信号）がｃＭ＿ｏｆｓｔ＿１＜ｃＭ＿ｏｆｓｔ＿２の関係となるようにオフセットが付加される。そのため、Ｎ－ＡＤ期間中にｃＭ＿ｏｆｓｔ＿１をＡＤ変換した結果Ｎ１＿Ｍ＿ｔ１と、ｃＭ＿ｏｆｓｔ＿２をＡＤ変換した結果Ｎ２＿ｔ１は、Ｎ１＿Ｍ＿ｔ１＜Ｎ２＿Ｍ＿ｔ１の関係が成り立つ。

【0067】

時刻Ｔ１ｗ１に、全データが保持部２０５に一括転送される。ここで生成されるデータは、ｃＭ＿ｏｆｓｔ＿１をＡＤ変換したデータ群をＮ＿ｃｈ１（ｈ１）、ｃＭ＿ｏｆｓｔ＿２をＡＤ変換したデータ群をＮ＿ｃｈ２（ｈ１）とする。そして、時刻Ｔ１ｗ１から時刻Ｔ１ｗ２にかけて、保持部２０５のデータ群Ｎ＿ｃｈ＃（ｈ１）（＃：１～２）は、水平転送部１０６を介して、１画素ずつデータ処理部１０７に転送される。データ群Ｎ＿ｃｈ１（ｈ１）はＮデータ用記憶部５０２に順次書き込まれ、データ群Ｎ＿ｃｈ２（ｈ１）はＮデータ記憶部５０４に順次書き込まれる。図８では、データ群Ｎ＿ｃｈ＃（ｈ１）（＃：１～２）が時刻Ｔ１ｗ１から時刻Ｔ１ｗ２かけて、Ｎデータ記憶部５０４に書き込まれる期間を示している。

【0068】

次に、時刻Ｔ１ｗ２で、Ｎ信号を出力するときと同様に、画素２０１からＳ信号（光信号）を全列同時に垂直信号線２０２ｃＭ（Ｍ：１～ｍ）に出力させる。なお、Ｓ信号は、電荷転送手段３１２で光電変換素子（ＰＤ）３１１の電荷をＦＤに転送し、その時のＦＤの電荷を、信号増幅手段３１４を介して読み出した信号である。すなわち、Ｓ信号は、入射光に基づく信号である。オフセット付加部２０３にて、列ごとの垂直信号線２０２ｃＭ（Ｍ：１～ｍ）に対してオフセットを同時に付加する。なお、付加するオフセットの値は、図８に示すように、ｃＭ＿ｏｆｓｔ＿１＜ｃＭ＿ｏｆｓｔ＿２となるようにする。

【0069】

時刻Ｔ１ｗ２から時刻Ｔ１ｗ３で、列ＡＤコンバータ２０４は、オフセット付加部２０３の出力ｃＭ＿ｏｆｓｔ＿＃（Ｍ：１～ｍ）（＃：１～２）を全列同時にＡＤ変換する。図８では、Ｓ信号に対してオフセットを付加した信号に対するＡＤ変換期間をＳ－ＡＤと記載する。具体的には、時刻Ｔ１ｗ２において、ＡＤコンバータ２０４で生成するランプ波とカウンタの動作を開始する。時刻Ｔ１ｓ１にて信号ｃＭ＿ｏｆｓｔ＿１とランプ波の電圧が交差し、その時点でのカウンタ値Ｓ１＿Ｍ＿ｔ１（Ｍ：１～ｍ）がデジタルデータとして列ＡＤコンバータ２０４から出力される。そして、時刻Ｔ１ｓ３にて信号ｃＭ＿ｏｆｓｔ＿２とランプ波の電圧が交差し、その時点でのカウンタ値Ｓ２＿Ｍ＿ｔ１（Ｍ：１～ｍ）がデジタルデータとして列ＡＤコンバータ２０４から出力される。

【0070】

なお、本実施例においては、オフセット付加後のデータ（オフセット信号）が、ｃＭ＿ｏｆｓｔ＿１＜ｃＭ＿ｏｆｓｔ＿２の関係となるようにオフセットが付加される。そのため、Ｓ－ＡＤ期間中にｃＭ＿ｏｆｓｔ＿１をＡＤ変換した結果Ｓ１＿Ｍ＿ｔ１と、ｃＭ＿ｏｆｓｔ＿２をＡＤ変換した結果Ｓ２＿ｔ１は、Ｓ１＿Ｍ＿ｔ１＜Ｓ２＿Ｍ＿ｔ１の関係が成り立つ。

【0071】

そして時刻Ｔ１ｗ３に、全データが保持部２０５に一括転送される。ここで生成されるデータは、ｃＭ＿ｏｆｓｔ＿１をＡＤ変換したデータ群をＳ＿ｃｈ１（ｈ１）、ｃＭ＿ｏｆｓｔ＿２をＡＤ変換したデータ群をＳ＿ｃｈ２（ｈ１）とする。そして、時刻Ｔ１ｗ３から時刻Ｔ１ｗ４にかけて、保持部２０５のデータ群Ｓ＿ｃｈ＃（ｈ１）（＃：１～２）は、水平転送部１０６を介して、１画素ずつデータ処理部１０７に転送される。データ群Ｓ＿ｃｈ１（ｈ１）はＳデータ用記憶部５０１に順次書き込まれ、データ群Ｓ＿ｃｈ２（ｈ１）はＳデータ記憶部５０３に順次書き込まれる。図８では、データ群Ｓ＿ｃｈ＃（ｈ１）（＃：１～２）が時刻Ｔ１ｗ３から時刻Ｔ１ｗ４かけて、Ｎデータ記憶部５０４に書き込まれる期間を示している。

【0072】

次に、１行目の画素２０１の信号を、データ処理部１０７内のＳデータ用記憶部５０１、５０３と、Ｎデータ用記憶部５０２、５０４から読み出す動作について述べる。

【0073】

時刻Ｔ２において、ＣＰＵ１０１は、制御部１０２に対して、水平同期信号ＨＤを出力する。時刻Ｔ２ｒ１から時刻Ｔ２ｒ２にかけて、Ｎデータ用記憶部５０２からは、データ群Ｎ＿ｃｈ１（ｈ１）が１画素ずつ読み出される。同様に、Ｎデータ用記憶部５０４からは、データ群Ｎ＿ｃｈ２（ｈ１）が、１画素ずつ読み出される。また、それと同期して、Ｓデータ用記憶部５０１からは、データ群Ｓ＿ｃｈ１（ｈ１）が１画素ずつ読み出される。同様に、Ｓデータ用記憶部５０３からは、データ群Ｓ＿ｃｈ２（ｈ１）が１画素ずつ読み出される。そして時刻Ｔ２ｒ１から時刻Ｔ２ｒ２にかけて、データ群Ｓ＿ｃｈ＃（ｈ１）、Ｎ＿ｃｈ＃（ｈ１）（＃：１～２）のデータが１画素ずつデータ演算部５０５にてデータ処理されて、信号出力部１０８から出力される。

【0074】

以上、１行目の動作を説明したが、２行目以降の処理も１行目と同様の処理を順次行う。

【0075】

続いて、データ記憶部から読み出されたデータに対して、データ演算部５０５にてＮデータとＳデータに対して演算処理を行う動作について説明する。以下の説明では、Ｍ列目の列ＡＤコンバータ２０４のＡＤ変換結果に対する演算処理と、Ｌ列目の列ＡＤコンバータ２０４のＡＤ変換結果に対する演算処理とについて、それぞれ説明する。Ｍ列目の列ＡＤコンバータ２０４は、信号Ｎ１＿Ｍ＿ｔ１、Ｎ２＿Ｍ＿ｔ１、Ｓ１＿Ｍ＿ｔ１、Ｓ２＿Ｍ＿ｔ１を出力する。Ｌ列目の列ＡＤコンバータ２０４は、信号Ｎ１＿Ｌ＿ｔ１、Ｎ２＿Ｌ＿ｔ１、Ｓ１＿Ｌ＿ｔ１、Ｓ２＿Ｌ＿ｔ１（Ｌ：１～ｍ、Ｌ≠Ｍ）を出力する。

【0076】

図８の時刻Ｔ２ｒ１から時刻Ｔ２ｒ２までの期間におけるデータ演算部の動作を説明する。

【0077】

［１］Ｍ列目データ：Ｎ１＿Ｍ＿ｔ１とＮ２＿Ｍ＿ｔ１とＳ１＿Ｍ＿ｔ１とＳ２＿Ｍ＿ｔ１に対する演算。

【0078】

上記で述べたようにＭ列目のＮデータ、Ｓデータのデータ値は、Ｎ１＿Ｍ＿ｔ１＜Ｎ２＿Ｍ＿ｔ１、Ｓ１＿Ｍ＿ｔ１＜Ｓ２＿Ｍ＿ｔ１の関係が成り立つ。また、図８の例では、データ演算部の入力ｔｈｒｅｓｈ＿Ｓ、ｔｈｒｅｓｈ＿Ｎは、Ｎ２＿Ｍ＿ｔ１＜ｔｈｒｅｓｈ＿ＮかつＳ２＿Ｍ＿ｔ１＜ｔｈｒｅｓｈ＿Ｓが成り立つ。そのため、Ｍ列目のＡＤ変換後のデータの大小関係は、Ｎ２＿ｔ１≦ｔｈｒｅｓｈ＿Ｎ、かつ、Ｓ２＿ｔ１≦ｔｈｒｅｓｈ＿Ｓの関係が成り立つ。したがって、式２より、データ演算部５０５による演算結果は、下記式３で表される。
ＳＮｏｕｔ＝｛（Ｓ１＿Ｍ＿ｔ１＋Ｓ２＿Ｍ＿ｔ１）－（Ｎ１＿Ｍ＿ｔ１＋Ｎ２＿Ｍ＿ｔ１）｝÷２ （式３）

【0079】

［２］Ｌ列目データ：Ｎ１＿Ｌ＿ｔ１とＮ２＿Ｌ＿ｔ１とＳ１＿Ｌ＿ｔ１とＳ２＿Ｌ＿ｔ１に対する演算。

【0080】

Ｍ列目のデータと同様に、Ｌ列目のＮデータ、Ｓデータのデータ値は、Ｎ１＿Ｌ＿ｔ１＜Ｎ２＿Ｌ＿ｔ１、Ｓ１＿Ｌ＿ｔ１＜Ｓ２＿Ｌ＿ｔ１の関係が成り立つ。また、図８の例では、データ演算部の入力ｔｈｒｅｓｈ＿Ｓは、ｔｈｒｅｓｈ＿Ｓ＜Ｓ２＿Ｌ＿ｔ２が成り立つ。そのため、Ｌ列目のＡＤ変換後のデータの大小関係は、Ｎ２＿ｔ２＞ｔｈｒｅｓｈ＿Ｎ、または、Ｓ２＿ｔ２＞ｔｈｒｅｓｈ＿Ｓの関係が成り立つため、式１により、データ演算部５０５による演算結果は、下記式４で表される。
ＳＮｏｕｔ＝Ｓ１＿Ｌ＿ｔ２－Ｎ１＿Ｌ＿ｔ２ （式４）

【0081】

以上に説明した通り、本実施例では、同一の垂直出力線に対して２つの列ＡＤコンバータ２０４が接続される。２つの列ＡＤコンバータ２０４によってマルチサンプリングされた複数のデジタルデータに対して、検知部６１１がエラーの有無を判定している。その結果、適切な信号処理を行うことができる撮像装置を提供することができる。また、本実施例では、エラーを含むデジタルデータが画像形成には用いられない。その結果、撮像装置の画質を向上させることができる。

【0082】

本実施例の図７（ｂ）の例では、検知部６１１が一部のデジタル信号（Ｎ＃＿Ｍ＿ｔ１、Ｓ＃＿Ｍ＿ｔ１）のみを判定の対象としている。一方で、検知部６１１は、他のデジタル信号に対しては判定を行わない。このような構成により、回路規模の削減、あるいは、消費電力の低減の効果を得ることができる。さらに、オフセット付加部２０３の動作に合わせて、判定の対象を選択することで、追加の効果を得ることができる。具体的に、本実施例では、付加されるオフセットの値が相対的に大きい信号（Ｓ２＿Ｍ＿ｔ１＞Ｓ１＿Ｍ＿ｔ１）に対して、判定を行っている。判定の目的が飽和の検知であるため、付加されるオフセットの値が大きい信号の信号値が先に飽和レベルに達するためである。したがって、このような構成によれば、小さい回路規模または低消費電力で、画質の向上が可能となる。もちろん、判定の目的に応じて、判定の対象とするデジタル信号は変わる。また、すべてのデジタル信号に対して判定を行ってもよい。

【0083】

この実施例での判定については、デジタル信号と閾値との比較を行うことを説明した。しかし、実施例１に記載したすべての判定処理が、本実施例の撮像装置に適用されうる。これらの判定を用いるための構成と、その効果については実施例１の説明を援用する。

【実施例3】

【0084】

実施例２に係る撮像装置を説明する。本実施例の撮像装置は、信号処理装置の１つの形態である。実施例１では、各列に対して垂直信号線２０２は１本ずつ配置され、そして、１行毎にデータ処理を行う例を示した。これに対して、本実施例の撮像装置は、１つの画素列に対して複数の垂直信号線２０２が配される。具体的には、１列に６本の垂直信号線２０２が配される。本実施例の撮像装置は、６行に渡って配された画素からのアナログ信号（画素信号）に対して同時にＡＤ変換を行い、そして、２行に配された２画素ずつ順次デジタルデータを出力する第１のモードを備える。さらに、本実施例の撮像装置は、２行に渡って配された画素からの画素信号に対して同時にＡＤ変換を行い、当該２画素のデジタルデータを順次出力する第２のモードを備えている。

【0085】

２行同時にＡＤ変換して出力する第２のモードにおいては、１画素に対し２個のＡＤ変換器を接続することによって、複数のＡＤ変換（マルチサンプリング）を行う。すなわち、１列２行の２画素に対して、４個のＡＤ変換器を用いて並列にＡＤ変換を行う。本実施例の撮像装置では、第１のモードを兼ね備えるため、１列に対して６個のＡＤ変換器が配される。したがって、２行同時にＡＤ変換する第２のモードでマルチサンプリングする際に、実施例１のように、１つの垂直信号線２０２に対し２つずつのＡＤ変換器を用意する必要はない。このように、６行同時にＡＤ変換するモードで使用する列ＡＤ変換器を使用することで、回路の追加をすることなく、マルチサンプリングデータに対して適切なデータ処理演算を行うことができる。

【0086】

このような動作を実行するため、本実施例の撮像装置の実施例１との回路構成上の違いは、まず、１列に対応する複数の垂直信号線２０２が選択部９０１を介してオフセット付加部２０３や列ＡＤコンバータ２０４に接続されることである。また、データ演算部１００３が、読み出しモードに応じて、データ演算器の複数の演算のうちどの信号を選択して出力するかを選択する機構（セレクタ１２０９）を含むことである。

【0087】

以下、実施例２と相違する点を中心に説明する。説明を省略した部分は、すべて実施例２と同様である。また、実施例１の信号処理装置１の構成は、すべて本実施例に適用される。

【0088】

［全体構成と画素構成］
本実施例の撮像装置１００の構成、ならびに、画素２０１の構成は実施例２と同様である。すなわち、図２は、本実施例に係る撮像装置１００の構成を模式的に示すブロック図である。また、図４は、本実施例に係る画素２０１の等価回路を示す図である。

【0089】

図９は本実施例に係る画素部１０４及び列ＡＤ変換部１０５の構成例を示した概略図である。画素部１０４は、各列に画素２０１を有する。また、各列の画素に接続された垂直信号線２０２を有する。垂直信号線２０２は定電流源（不図示）に接続される。また、垂直信号線２０２は、オフセット付加部２０３に接続される。列オフセット付加部２０３の出力は、列ＡＤコンバータ２０４に接続される。列ＡＤコンバータ２０４の出力は、保持部２０５に接続される。すなわち、列ＡＤ変換部１０５は、複数の列ＡＤコンバータ２０４を含む。なお、１つの列ＡＤコンバータ２０４は、実施例１で説明したＡＤ変換部３と同様の機能を有する。すなわち、実施例１のＡＤ変換部３についての説明は、すべて本実施例に援用される。

【0090】

本実施例においては、各列に対して、垂直信号線２０２は６本ずつ配置される。同様に、各列に対して、オフセット付加部２０３と列ＡＤコンバータ２０４と保持部２０５は６個ずつ配置される。

【0091】

複数の垂直信号線２０２を区別するために、図９では、１列目の画素に接続する６本の垂直信号線はｃ１＿ＶＬ＃（＃：１～６）、ｍ列目の画素に接続する６本の垂直信号線はｃｍ＿ＶＬ＃（＃：１～６）と表現している。１列目の１行目の画素は垂直信号線ｃ１＿ＶＬ１に接続される。また、１列の２行目の画素は垂直信号線ｃ１＿ＶＬ２に接続される。同様にして６行周期で、１列目の各画素は対応する垂直信号線ｃ１＿ＶＬ＃（＃：１～６）に接続する。

【0092】

本実施例では、１列に対応する複数の垂直信号線２０２が選択部９０１を介してオフセット付加部２０３や列ＡＤコンバータ２０４に接続される。選択部９０１は、任意の垂直信号線２０２の信号を、１つ、または、複数のオフセット付加部２０３に伝達する。例えば、垂直信号線ｃ１＿ＶＬ＃に出力された画素信号は選択部９０１に入力される。選択部９０１では接続する６本の垂直線ｃ１＿ＶＬ＃（＃：１～６）をどのセレクタの出力信号ｃ１＿ＶＬ＃＿ｓｅｌに接続するかを切り替えて出力する。選択部９０１には、マルチプレクサやスイッチ回路が用いられる。

【0093】

選択部９０１の出力ｃ１＿ＶＬ＃＿ｓｅｌはオフセット付加部２０３に入力される。オフセット付加部２０３はオフセットが付与された信号ｃ１＿ＶＬ＃＿ｏｆｓｔを出力する。なお、オフセット付加部２０３の構成は、例えば列アンプになどの増幅回路やアッテネータ回路よって構成してもよいし、または、アナログ信号の信号値の加算あるいは減算ができる構成が用いられうる。

【0094】

また、オフセット付加部２０３の出力信号ｃ１＿ＶＬ＃＿ｏｆｓｔは、列ＡＤコンバータ２０４に入力される。なお、列ＡＤコンバータ２０４は、アナログデータをデジタルデータへ変換するブロックである。本実施例の列ＡＤコンバータ２０４は、比較器とランプ波生成器とカウンタによって構成される。なお、ランプ波生成器とカウンタは、複数の列ＡＤコンバータ２０４に共有されるように設けられてもよい。

【0095】

また、列ＡＤコンバータ２０４の出力は、保持部２０５の入力に接続する。保持部２０５は、実施例１のメモリ部７と同じ機能を有する。なお、保持部２０５は省略されてもよい。保持部２０５は、信号ａｄｏｕｔ＿ｃ１＿＃（＃：１～６）を出力する。なお、ａｄｏｕｔ＿ｃ１＿＃は、それぞれ、デジタル信号（デジタルデータ）であり、複数のビット信号を含む。

【0096】

［水平転送部］
図１０は、本実施例に係る水平転送部１０６の構成例を示す図である。水平転送部１０６は、複数のスリーステートバッファ４０１と、水平転送線４０２と、水平走査部４０３を有する。本実施例においては、各列に対して、６チャンネルの水平転送線４０２が配置される。

【0097】

列ＡＤ変換部１０５の出力ａｄｏｕｔ＿ｃＭ＿ＶＬ１は、スリーステートバッファ４０１を介して水平転送線ｃｈ＿ＶＬ１に出力される。列ＡＤ変換部１０５の出力ａｄｏｕｔ＿ｃＭ＿ＶＬ２は、スリーステートバッファ４０１を介して水平転送線ｃｈ＿ＶＬ２に出力される。以降、各出力ａｄｏｕｔ＿ｃＭ＿ＶＬ３、ａｄｏｕｔ＿ｃＭ＿ＶＬ４、ａｄｏｕｔ＿ｃＭ＿ＶＬ５、ａｄｏｕｔ＿ｃＭ＿ＶＬ６も同様である。

【0098】

［データ処理部］
図１１は、本実施例に係るデータ処理部１０７の構成例を示す図である。データ処理部１０７は、Ｓデータ用記憶部１００１と、Ｎデータ用記憶部１００２と、データ演算部１００３、１００４を有する。ＮデータおよびＳデータは、イメージセンサにおいて相関二重サンプリング（ＣＤＳ）を行うために取得される２つの信号である。画素２０２から出力された２つのアナログデータが、それぞれＡＤ変換されて、ＮデータとＳデータが得られる。

【0099】

データ処理部１０７への入力ｃｈ＿ＶＬ＃（＃：１～６）は、Ｓデータ用記憶部１００１およびＮデータ用記憶部１００２の両方に接続する。Ｓデータ記憶部１００１は、出力ポートＳ１３５＿１、Ｓ１３５＿２、Ｓ２４６＿１、Ｓ２４６＿２を備える。出力ポートＳ１３５＿１と出力ポートＳ１３５＿２は、それぞれ、データ演算部１００３に接続される。出力ポートＳ２４６＿１と出力ポートＳ２４６＿２は、それぞれ、データ演算部１００４に接続される。Ｎデータ記憶部１００２は、出力ポートＮ１３５＿１、Ｎ１３５＿２、Ｎ２４６＿１、Ｎ２４６＿２を備える。出力ポートＮ１３５＿１と出力ポートＮ１３５＿２は、それぞれ、データ演算部１００３に接続される。出力ポートＮ２４６＿１と出力ポートＮ２４６＿２はそれぞれデータ演算部１００４に接続される。

【0100】

データ演算部１００３は、入力Ｓ１３５＿１とＳ１３５＿２とＮ１３５＿１とＮ１３５＿２を元に演算を行う。データ演算部１００３は、演算結果をＳＮ１３５に出力する。データ演算部１００４は、入力Ｓ２４６＿１とＳ２４６＿２とＮ２４６＿１とＮ２４６＿２を元に演算を行う。データ演算部１００４は、演算結果をＳＮ２４６に出力する。

【0101】

Ｓデータ用記憶部１００１、Ｎデータ用記憶部１００２は、それぞれ、ＳＲＡＭで構成されうる。回路規模が許容されるのであれば、Ｓデータ用記憶部１００１、Ｎデータ用記憶部１００２は、それぞれ、フリップフロップで構成してもかまわない。また、Ｓデータ用記憶部１００１、Ｎデータ用記憶部１００２は、その他の記憶素子でもかまわない。

【0102】

［記憶部］
Ｓデータ用記憶部１００１の出力Ｓ１３５＿１、Ｓ１３５＿２、および、Ｎデータ用記憶部１００２の出力Ｎ１３５＿１、Ｎ１３５＿２は、それぞれ、記憶部に保存された水平転送線ｃｈ＿ＶＬ１のデータ、水平転送線ｃｈ＿ＶＬ３のデータ、および、水平転送線ｃｈ＿ＶＬ５のデータのいずれかを選択して生成される。同様に、Ｓデータ用記憶部１００１の出力Ｓ２４６＿１、Ｓ２４６＿２、および、Ｎデータ用記憶部１００２の出力Ｎ２４６＿１、Ｎ２４６＿２は、それぞれ、記憶部に保存された水平転送線ｃｈ＿ＶＬ２のデータ、水平転送線ｃｈ＿ＶＬ４のデータ、および、水平転送線ｃｈ＿ＶＬ６のデータのいずれかを選択して生成される。

【0103】

以上に述べたデータの出力を行うための記憶部の構成例を説明する。図１２は、図１１に示すＮデータ用記憶部１００２の構成を模式的に示す図である。なお、Ｓデータ用記憶部１００１は、Ｎデータ用記憶部１００２と同様の構成である。

【0104】

Ｎデータ用記憶部１００２は、記憶部Ａ１１０１と、記憶部Ｂ１１０２と、記憶部Ｃ１１０３と、記憶部Ｄ１１０４と、記憶部Ｅ１１０５と、記憶部Ｆ１１０６と、セレクタ１１０７～１１１０を有する。上述の通り、記憶部Ａ１１０１～Ｆ１１０６は、それぞれ、ＳＲＡＭで構成してもよいし、フリップフロップで構成してもよい。

【0105】

Ｎデータ用記憶部１００２への入力ｃｈ＿ＶＬ１は記憶部Ａ１１０１へ接続される。入力ｃｈ＿ＶＬ２は記憶部Ｂ１１０２へ接続される。入力ｃｈ＿ＶＬ３は記憶部Ｃ１１０３へ接続される。入力ｃｈ＿ＶＬ４は記憶部Ｄ１１０４へ接続される。入力ｃｈ＿ＶＬ５は記憶部Ｅ１１０５へ接続される。入力ｃｈ＿ＶＬ６は記憶部Ｆ１１０６へ接続される。Ｎデータ用記憶部１００２への入力ｃｈ＿ＶＬ１～ｃｈ＿ＶＬ６はそれぞれ記憶部Ａ１１０１～記憶部Ｆ１１０６に接続され、それぞれのデータが記憶される。

【0106】

セレクタ１１０７は、記憶部Ａの出力Ｎ１、記憶部Ｃの出力Ｎ３、および、記憶部Ｅの出力Ｎ５からデータを選択し、選択されたデータを出力ポートＮ１３５＿１へ出力する。同様に、セレクタ１１０８は、記憶部Ａの出力Ｎ１、記憶部Ｃの出力Ｎ３、および、記憶部Ｅの出力Ｎ５からデータを選択し、選択されたデータを出力ポートＮ１３５＿２へ出力する。セレクタ１１０９は、記憶部Ｂの出力Ｎ２、記憶部Ｄの出力Ｎ４、および、記憶部Ｆの出力Ｎ６からデータを選択し、選択されたデータを出力ポートＮ２４６＿１へ出力する。セレクタ１１１０は、記憶部Ｂの出力Ｎ２、記憶部Ｄの出力Ｎ４、記憶部Ｆの出力Ｎ６からデータを選択し、選択されたデータを出力ポートＮ２４６＿２へ出力する。

【0107】

［データ演算部］
データ演算部１００３、１００４は、それぞれ、ＡＤ変換後の入力データＳｉｎ１、Ｓｉｎ２、Ｎｉｎ１、Ｎｉｎ２に対して、データ値の異常やエラーを検知する検知部６１１を有する。検知部６１１は入力されるデータの値からエラーの有無あるいはエラーが生じている確率を判定する。すなわち、検知部６１１は実施例１の判定部５の一例である。データ演算部１００３、１００４は、それぞれ、検知部６１１がエラーを検知した場合に、当該エラーを含むデータを使わないようにする手段（後述のセレクタ１２０８）を有する。それによって、例えば、ＡＤ変換後のデータがサージなどの原因によって異常な値になってしまったときにも、適切なデータ演算結果を提供する。

【0108】

図１３（ａ）に、データ演算部１００３の回路構成を示す。データ演算部１００４の構成はデータ演算部１００３と同じであるため、移行、データ演算部１００４についての説明を省略する。データ演算部１００３は、入力データＳｉｎ１、Ｓｉｎ２、Ｎｉｎ１、Ｎｉｎ２のデータ値から異常やエラーを検知する検知部６１１と、入力データＳｉｎ１、Ｓｉｎ２、Ｎｉｎ１、Ｎｉｎ２に対して各種データ演算を行うデータ演算器６１０とを備える。さらに、データ演算部１００３は、検知部６１１の判定結果からデータ演算器６１０の二つの出力結果を切り替えるセレクタ１２０８を有する。

【0109】

図１３（ｂ）にデータ演算器６１０と、検知部６１１の処理の一例を示す。図７（ｂ）の例では、データ演算器６１０がＳデータの平均化とＮデータの平均化を行う。また、検知部６１１は、入力データＳｉｎ２、Ｎｉｎ２を閾値と比較することで判定を行う。

【0110】

データ演算部１００３は、まず、入力データＳｉｎ１と入力データＮｉｎ２との差分（Ｓｉｎ１－Ｎｉｎ１）を得る。そして、次のケース１～ケース３のいずれかの場合に、データ演算部１００３は、入力データＳｉｎ１と入力データＮｉｎ２との差分をそのまま出力する。ケース１は、入力データＳｉｎ２が閾値ｔｈｒｅｓｈ＿Ｓより大きい場合である。ケース２は、入力データＮｉｎ２が閾値ｔｈｒｅｓｈ＿２より大きい場合である。そして、ケース３は、信号ｍｕｌｔ＿ｓｍｐｌ＿ｅｎがマルチサンプリングを行わない状態を示す場合である。本実施例では、信号ｍｕｌｔ＿ｓｍｐｌ＿ｅｎが「０」のときに、マルチサンプリングを行わない。これらのケース１～ケース３のとき、出力ＳＮｏｕｔは式５で表される。
ＳＮｏｕｔ＝Ｓｉｎ１－Ｎｉｎ１ （式５）

【0111】

また、データ演算部１００３は、入力データＳｉｎ２と入力データＮｉｎ２との差分（Ｓｉｎ２－Ｎｉｎ２）を得る。そして、以下の条件１～条件３のすべてが満たされた場合、データ演算部１００３は、（Ｓｉｎ１－Ｎｉｎ１）と（Ｓｉｎ２－Ｎｉｎ２）の平均値を出力する。まず、条件１は、入力データＳｉｎ２が閾値ｔｈｒｅｓｈ＿Ｓ以下であること。次に、条件２は、入力データＮｉｎ２が閾値ｔｈｒｅｓｈ＿２以下であること。そして、条件３は、信号ｍｕｌｔ＿ｓｍｐｌ＿ｅｎがマルチサンプリングを行う状態を示す場合である。本実施例では、信号ｍｕｌｔ＿ｓｍｐｌ＿ｅｎが「１」のときに、マルチサンプリングを行う。このとき、出力ＳＮｏｕｔは式６で表される。
ＳＮｏｕｔ＝（（Ｓｉｎ１－Ｎｉｎ１）＋（Ｓｉｎ２－Ｎｉｎ２））÷２ （式６）

【0112】

実施例２との違いは、信号ｍｕｌｔ＿ｓｍｐｌ＿ｅｎに応じて、出力するＳＮｏｕｔの値を切り換えるセレクタ１２０９を追加した点である。セレクタ１２０９は、減算器１２０１の出力とセレクタ１２０８の出力を入力とし、信号ｍｕｌｔ＿ｓｍｐｌ＿ｅｎの値に応じて、出力する値を切り換える。この機構によれば、例えば読み出しモードに応じて、信号ｍｕｌｔ＿ｓｍｐｌ＿ｅｎの値を設定することで、ＳＮｏｕｔの出力値を検知部６１１の動作によらない結果にするのかどうかを切り換えることができる。

【0113】

データ演算部１００３のその他の構成は、実施例１のデータ演算部５０５と同じである。すなわち、減算器１２０１、減算器１２０２、加算器１２０５、平均化処理回路１２０６、それぞれ、減算器６０１、減算器６０２、加算器６０５、平均化処理回路６０６と同じである。また、比較器１２０３、比較器１２０４、ＯＲ回路１２０７、セレクタ１２０８は、それぞれ、比較器６０３、比較器６０４、ＯＲ回路６０７、セレクタ６０８と同じである。ここに実施例１の説明を援用し、繰り返しの説明は省略する。

【0114】

このように本実施例では、比較器６０３を含む検知部６１１が、判定部として機能を担っている。また、検知部６１１の出力に基づいて、セレクタ６０８が出力するデータを切り替えている。このように、判定部の出力する結果に基づいて、信号処理の方法を変更している。変形例として、セレクタ６０８を省略して、エラーの有無を別途外部に出力する形態としてもよい。

【0115】

［駆動方法］
続いて、本実施例にかかる撮像装置１００の駆動方法について説明する。図１４、図１５は、列ＡＤ変換部１０５、水平転送部１０６、データ処理部１０７の動作の一例を示すタイミングチャートである。本実施例の撮像装置１００は、第１のモード（図１４）と第２のモード（図１５）とを備える。第１のモードでは、撮像装置１００は、６行の画素からの信号に対して並列にＡＤ変換を行う。その後、撮像装置１００は２行に配された２画素ずつのデータを順次出力する。第２のモードでは、撮像装置１００は、２行の画素からの信号に対して並列にＡＤ変換を行う。それから、撮像装置１００は、２行分の画素からの信号を列ごとに順次出力する。なお、２行同時にＡＤ変換して出力する第２のモードにおいては、１画素（１つの垂直信号線２０２）に対して２個のＡＤ変換器を並列に接続し、かつ、動作させることによって、１つの信号に対する複数のＡＤ変換を並行して行う。２行の画素の信号を並列に読み出すため、２つの垂直信号線２０２と、合計で４個のＡＤ変換器が用いられる。

【0116】

［第１のモードの駆動方法］
図１４を用いて第１のモードの動作について説明する。全体的な流れとして、（１）デジタルデータを取得して、メモリ（Ｓデータ用記憶部１００１、Ｎデータ用記憶部１００２）へ保持する動作、（２）メモリからデジタルデータを読み出す動作、（３）メモリから読み出したデータに対する演算動作の順に説明する。

【0117】

書き込みとしては、まず、１行目から６行目の画素２０１の出力信号に対してＡＤ変換が行われる。得られたデジタルデータは、データ処理部１０７の記憶部Ａ１１０１、記憶部Ｂ１１０２、記憶部Ｃ１１０３、記憶部Ｄ１１０４、記憶部Ｅ１１０５、記憶部Ｆ１１０６に書き込まれる。

【0118】

時刻Ｔ１において、ＣＰＵ１０１は、制御部１０２に対して、水平同期信号ＨＤを出力する。制御部１０２は、水平同期信号ＨＤを受け、垂直走査部１０３を制御することで画素部１０４からＮ信号（ノイズ信号）を全列同時に垂直信号線ｃＭ＿ＶＬ＃（Ｍ：１～ｍ）（＃：１～６）に出力させる。なお、Ｎ信号は、ＦＤのリセットを解除した後に、ＦＤの電荷を、信号増幅手段３１４を介して読み出した信号である。すなわち、Ｎ信号にはリセット時に生じたノイズ成分が含まれうる。

【0119】

選択部９０１が、垂直信号線ｃＭ＿ＶＬ＃のそれぞれを、選択部９０１の出力ｃＭ＿ＶＬ＃＿ＳＥＬ（Ｍ：１～ｍ）（＃：１～６）のいずれと接続するのかを選択する。本読み出しモードでは、垂直信号線ｃＭ＿ＶＬ１～ｃＭ＿ＶＬ６は、それぞれ、出力ｃＭ＿ＶＬ１＿ＳＥＬ～ｃＭ＿ＶＬ６＿ＳＥＬに接続される。例えば、垂直信号線ｃ１＿ＶＬ１は出力ｃ１＿ＶＬ１＿ＳＥＬに接続され、垂直信号線ｃ１＿ＶＬ２は出力ｃ１＿ＶＬ２＿ＳＥＬに接続される。垂直信号線ｃ１＿ＶＬ３～ｃ１＿ＶＬ６と出力ｃ１＿ＶＬ３＿ＳＥＬ～ｃ１＿ＶＬ６＿ＳＥＬも同様である。また、第２列の垂直信号線２０２については、垂直信号線ｃ２＿ＶＬ１は出力ｃ２＿ＶＬ１＿ＳＥＬに接続され、垂直信号線ｃ２＿ＶＬ２は出力ｃ２＿ＶＬ２＿ＳＥＬに接続される。以降も同様である。

【0120】

オフセット付加部２０３は、選択部９０１の出力ｃＭ＿ＶＬ＃＿ＳＥＬの信号に対してオフセットを同時に付加する。付加するオフセットの値は、すべての列に対して同じである。なお、オフセットの値は、１列の６つの出力ｃＭ＿ＶＬ＃＿ＳＥＬ（＃：１～６）に対して異なる値であってもよい。それらの６つの異なる値のオフセットが、各列に適用されうる。あるいは、１列の６つの出力ｃＭ＿ＶＬ＃＿ＳＥＬ（＃：１～６）に対して同じ値が用いられ、一方、第１列のオフセット値と第２列のオフセット値が異なるようにしてもよい。

【0121】

時刻Ｔ１から時刻Ｔ１ｗ１で、列ＡＤコンバータ２０４は、オフセット付加部２０３の出力ｃＭ＿ＶＬ＃＿ｏｆｓｔ（Ｍ：１～ｍ）（＃：１～６）に対して、全列同時にＡＤ変換を行う。ＡＤ変換時の動作は、実施例２と同様である。このときオフセット付加部２０３の出力する信号ｃＭ＿ＶＬ＃＿ｏｆｓｔ（Ｍ：１～ｍ）（＃：１～６）から変換されたデジタルデータは、Ｎ＃＿Ｍ＿ｔ１（Ｍ：１～ｍ）（＃：１～６）として列ＡＤコンバータ２０４から出力される。

【0122】

そして時刻Ｔ１ｗ１に、全データが保持部２０５に一括転送される。ここで生成されるデータ群、つまり、信号ｃＭ＿ＶＬ＃＿ｏｆｓｔをＡＤ変換したデータ群を、Ｎ＿ＶＬ＃（ｈ１）とする。「ｈ１」における数字は、並列に読み出される複数行のグループを示している。たとえば、ｈ１は最初に読み出される６行を表す。また、ｈ２はｈ１の次に読み出される６行を表す。ｈ３以降も同様である。

【0123】

時刻Ｔ１ｗ１から時刻Ｔ１ｗ２にかけて、保持部２０５のデータ群Ｎ＿ＶＬ＃（ｈ１）（＃：１～６）は、水平転送部１０６を介して、１画素ずつの単位で、データ処理部１０７に転送される。データ群Ｎ＿ＶＬ＃（ｈ１）はＮデータ用記憶部１００２に順次書き込まれる。図１４では、データ群Ｎ＿ＶＬ＃（ｈ１）（＃：１～６）が時刻Ｔ１ｗ１から時刻Ｔ１ｗ２にかけて、Ｎデータ記憶部１００２に書き込まれる期間を示している。書き込まれる際に、データ群Ｎ＿ＶＬ１（ｈ１）～Ｎ＿ＶＬ６（ｈ１）はそれぞれ、Ｎデータ用記憶部１００２の記憶部Ａ１１０１～記憶部Ｆ１１０６に記憶される。

【0124】

次に、時刻Ｔ１ｗ２で、Ｎ信号を出力するときと同様に、６行分の画素２０１がＳ信号を全列同時に垂直信号線ｃＭ＿ＶＬ＃（Ｍ：１～ｍ）（＃：１～６）に出力する。なお、Ｓ信号は、電荷転送手段３１２で光電変換素子（ＰＤ）３１１の電荷をＦＤに転送し、その時のＦＤの電荷を、信号増幅手段３１４を介して読み出した信号である。

【0125】

選択部９０１が垂直信号線ｃＭ＿ＶＬ＃のそれぞれを、選択部９０１の出力ｃＭ＿ＶＬ＃＿ＳＥＬ（Ｍ：１～ｍ）（＃：１～６）のいずれと接続するのかを選択する。選択部９０１は、基本的には、Ｎ信号の読み出し時と同じ接続関係を選択する。つまり、垂直信号線ｃＭ＿ＶＬ１～ｃＭ＿ＶＬ６は、それぞれ、出力ｃＭ＿ＶＬ１＿ＳＥＬ～ｃＭ＿ＶＬ６＿ＳＥＬに接続される。

【0126】

オフセット付加部２０３は、選択部９０１の出力ｃＭ＿ＶＬ＃＿ＳＥＬの信号に対してオフセットを同時に付加する。このとき、付加するオフセットの値は、Ｎ信号に対して付加したオフセットの値と同じである。したがって、付加するオフセットの値は、すべての列に対して同じでもよいし、あるいは、１列の中で異なっていてもよいし、異なる列で異なっていてもよい。

【0127】

時刻Ｔ１ｗ２から時刻Ｔ１ｗ３で、列ＡＤコンバータ２０４は、オフセット付加部２０３の出力ｃＭ＿ＶＬ＃＿ｏｆｓｔ（Ｍ：１～ｍ）（＃：１～６）に対して、全列同時にＡＤ変換を行う。ＡＤ変換時の動作は、実施例２と同様である。このときオフセット付加部２０３の出力する信号ｃＭ＿ＶＬ＃＿ｏｆｓｔ（Ｍ：１～ｍ）（＃：１～６）から変換されたデジタルデータは、Ｓ＃＿Ｍ＿ｔ１（Ｍ：１～ｍ）（＃：１～６）として列ＡＤコンバータ２０４から出力される。

【0128】

そして時刻Ｔ１ｗ３に、全データが保持部２０５に一括転送される。ここで生成されるデータ群、つまり、信号ｃＭ＿ＶＬ＃＿ｏｆｓｔをＡＤ変換したデータ群を、Ｓ＿ＶＬ＃（ｈ１）とする。「ｈ１」、「ｈ２」などが表す意味は、Ｎ＿ＶＬ＃（ｈ１）などと同じである。

【0129】

時刻Ｔ１ｗ３から時刻Ｔ１ｗ４にかけて、保持部２０５のデータ群Ｓ＿ＶＬ＃（ｈ１）（＃：１～６）は、水平転送部１０６を介して、１画素ずつの単位で、データ処理部１０７に転送される。データ群Ｓ＿ＶＬ＃（ｈ１）はＳデータ用記憶部１００１に順次書き込まれる。図１４では、データ群Ｓ＿ＶＬ＃（ｈ１）（＃：１～６）が時刻Ｔ１ｗ３から時刻Ｔ１ｗ４かけて、Ｓデータ記憶部１００１に書き込まれる期間を示している。書き込まれる際に、データ群Ｓ＿ＶＬ１（ｈ１）～Ｓ＿ＶＬ６（ｈ１）はそれぞれ、Ｓデータ用記憶部１００１の記憶部Ａ～記憶部Ｆに記憶される。上述の通り、Ｓデータ用記憶部１００１の構成は、Ｎデータ記憶部１００１と同じである。

【0130】

次に、１行目から６行目の画素２０１の信号を、データ処理部１０７内のＳデータ用記憶部１００１と、Ｎデータ用記憶部１００２から読み出す動作について述べる。あるＨＤ期間に書き込まれたデジタルデータは、次のＨＤ期間に読み出される。

【0131】

時刻Ｔ２において、ＣＰＵ１０１は、制御部１０２に対して、水平同期信号ＨＤを出力する。時刻Ｔ２ｒ１から時刻Ｔ２ｒ２にかけて、Ｎデータ用記憶部１００２からは、１行目のデータ群Ｎ＿ＶＬ１（ｈ１）と２行目のデータ群Ｎ＿ＶＬ２（ｈ１）が、１画素ずつ読み出される。また、それと同期して、Ｓデータ用記憶部１００１からは、１行目のデータ群Ｓ＿ＶＬ１（ｈ１）と２行目のデータ群Ｓ＿ＶＬ２（ｈ１）が１画素ずつ読み出される。そして時刻Ｔ２ｒ１から時刻Ｔ２ｒ２にかけて、データ群Ｓ＿ＶＬ１（ｈ１）とＮ＿ＶＬ１（ｈ１）（＃：１～６）は１画素ずつデータ演算部１００３にてデータ処理され、データ群Ｓ＿ＶＬ２（ｈ１）とＮ＿ＶＬ２（ｈ１）（＃：１～６）は１画素ずつデータ演算部１００４にてデータ処理され、信号出力部１０８から出力される。

【0132】

同様にして、時刻Ｔ２ｒ２から時刻Ｔ２ｒ３にかけては、３行目と４行目のデータが、１列２行の２画素ずつの単位でデータ処理されて、信号出力部１０８から出力される。同様にして、時刻Ｔ２ｒ３から時刻Ｔ２ｒ４にかけては、５行目と６行目のデータが、１列２行の２画素ずつの単位でデータ処理されて、信号出力部１０８から出力される。

【0133】

以上のようにして、まず、６行に渡って配された複数画素からの画素信号に対して同時に行われるＡＤ変換によって、１行目から６行目のデータが得られる。その後、まず１行目と２行目の２行分のデータが列ごとに順次撮像装置から出力される。同様にして３行目と４行目の画素のデータがすべて読み出される。最後に、５行目と６行目の画素のデータが読み出される。

【0134】

続いて、データ演算部の動作について説明する。データ記憶部（Ｓデータ用記憶部１００１とＮデータ用記憶部１００２）から読み出されたデータに対して、データ演算部１００３およびデータ演算部１００４が信号処理を行う。

【0135】

本読み出しモードでは、図１３（ｂ）に示す回路の信号ｍｕｌｔ＿ｓｍｐｌ＿ｅｎがＬｏｗである。つまり、信号ｍｕｌｔ＿ｓｍｐｌ＿ｅｎは、マルチサンプリングを行わない状態を示す。そのため、データ演算部１００３、１００４は、それぞれ、入力Ｓｉｎ１と入力Ｎｉｎ１との差分を出力する。すなわち、データ演算部１００３による信号処理の結果（出力ＳＮ１３５）、および、データ演算部１００４による信号処理の結果（出力ＳＮ２４６）は、それぞれ、式５を基に下記の式７、式８で表される。
ＳＮ１３５＝Ｓ＃＿Ｍ＿ｔ１－Ｎ１＿Ｌ＿ｔ１（＃：１、３、５） （式７）
ＳＮ２４６＝Ｓ＃＿Ｍ＿ｔ１－Ｎ１＿Ｌ＿ｔ１（＃：２、４、６） （式８）

【0136】

［第２のモードの駆動方法］
図１５を用いて第２のモードについて説明する。第２のモードでは、２行に配された画素からの信号に対して同時にＡＤ変換を行う。そして、得られたデジタルデータに対して信号処理を行い、１列２行の２画素ずつ順次出力する。水平同期信号ＨＤ毎に、選択部９０１が、各列６本の垂直信号線２０２のうち２本の垂直信号線を選択し、後段の回路に接続する。選択部９０１が選択する２本を切り替えながら、２行ずつの単位で、書き込み動作と読み出し動作を行う。これを３ＨＤ周期で繰り返すことで、すべての画素から信号を読み出す。各ＨＤ期間での全体的な流れとして、（１）デジタルデータを取得して、メモリ（Ｓデータ用記憶部１００１、Ｎデータ用記憶部１００２）へ保持する動作、（２）メモリからデジタルデータを読み出す動作、（３）メモリから読み出したデータに対する演算動作の順に説明する。

【0137】

最初に、書き込み動作について説明する。本モードの書き込み動作は、Ｓデータ用記憶部１００１およびＮデータ用記憶部１００２のそれぞれについて、４つの記憶部（例えば、記憶部Ｃ１１０３、記憶部Ｄ１１０４、記憶部Ｅ１１０５、記憶部Ｆ１１０６）を使用し、一方、他の２つの記憶部（記憶部Ａ１１０１、記憶部Ｂ１１０２）を使用しない。

【0138】

まず、１行目から２行目の画素２０１の出力信号に対してＡＤ変換が行われる。得られたデジタルデータは、データ処理部１０７の記憶部Ｃ１１０３、記憶部Ｄ１１０４、記憶部Ｅ１１０５、記憶部Ｆ１１０６に書き込まれる。

【0139】

時刻Ｔ１において、ＣＰＵ１０１は、制御部１０２に対して、水平同期信号ＨＤを出力する。制御部１０２は、水平同期信号ＨＤを受け、垂直走査部１０３を制御することで画素部１０４からＮ（ノイズ）信号を全列同時に垂直信号線ｃＭ＿ＶＬ＃（Ｍ：１～ｍ）（＃：１～２）に出力させる。なお、Ｎ信号は、ＦＤのリセットを解除した後に、ＦＤの電荷を、信号増幅手段３１４を介して読み出した信号である。

【0140】

選択部９０１が、垂直信号線ｃＭ＿ＶＬ＃のそれぞれを、選択部９０１の出力ｃＭ＿ＶＬ＃＿ｓｅｌ（Ｍ：１～ｍ）（＃：１～６）のいずれと接続するのかを選択する。本読み出しモードでは、時刻Ｔ１からＴ２において、垂直信号線ｃＭ＿ＶＬ１が、選択部９０１の出力ｃＭ＿ＶＬ３＿ｓｅｌおよび出力ｃＭ＿ＶＬ５＿ｓｅｌの両方に接続される。同じく時刻Ｔ１からＴ２において、垂直信号線ｃＭ＿ＶＬ２は、選択部９０１の出力ｃＭ＿ＶＬ４＿ｓｅｌと出力ｃＭ＿ＶＬ６＿ｓｅｌとの両方に接続される。

【0141】

同様にして、時刻Ｔ２からＴ３においては、垂直信号線ｃＭ＿ｖ１３の信号が、出力ｃＭ＿ＶＬ３＿ｓｅｌと出力ｃＭ＿ＶＬ５＿ｓｅｌとの両方に出力され、そして、垂直信号線ｃＭ＿ＶＬ４の信号が、出力ｃＭ＿ＶＬ４＿ｓｅｌおよび出力ｃＭ＿ＶＬ６＿ｓｅｌの両方に出力される。同様にして、時刻Ｔ３からＴ３ｗ４においては、垂直信号線ｃＭ＿ｖ１５が、出力ｃＭ＿ＶＬ３＿ｓｅｌと出力ｃＭ＿ＶＬ５＿ｓｅｌとに接続される。同じ期間に、垂直信号線ｃＭ＿ＶＬ６の信号が、出力ｃＭ＿ＶＬ４＿ｓｅｌと出力ｃＭ＿ＶＬ６＿ｓｅｌとの両方に出力される。以降、３ＨＤ単位で上記と同様に接続する垂直信号線２０２を切り換える制御を行う。

【0142】

このような選択部９０１の選択動作によって、１つのアナログ信号（画素信号）に対して、複数のＡＤ変換を行うことができる。なお、１つの垂直信号線２０２を２つの出力に接続する例を説明するが、１つの垂直信号線２０２を３つの出力に接続してもよい。この場合、各記憶部の６つのメモリの全部を使用することになる。本実施例のように、セレクタの一部の出力を使用しない場合は、使用されない出力ノード（出力ｃＭ＿ＶＬ１＿ｓｅｌと出力ｃＭ＿ＶＬ２＿ｓｅｌ）の信号レベルを固定しておくとよい。

【0143】

オフセット付加部２０３は、選択部９０１の出力ｃＭ＿ＶＬ＃＿ｓｅｌに対してオフセットを付加する。１つの選択部９０１に接続された少なくとも２つのオフセット付加部２０３は、互いに異なる値のオフセットを付与する。例えば、図１５に示した例では、信号ｃＭ＿ＶＬ３の信号値と信号ｃＭ＿ＶＬ５の信号値が同じ値である。これに対して、信号ｃＭ＿ＶＬ３にオフセットを付加することで得られた信号ｃＭ＿ＶＬ３＿ｏｆｓｔの信号値より、信号ｃＭ＿ＶＬ５にオフセットを付加することで得られた信号ｃＭ＿ＶＬ５＿ｏｆｓｔの信号値が大きい。すなわち、ｃＭ＿ＶＬ３＿ｏｆｓｔ＜ｃＭ＿ＶＬ５＿ｏｆｓｔの関係が満たされるように、オフセットの値が設定される。同様に、オフセット付加部２０３は、ｃＭ＿ＶＬ４＿ｏｆｓｔ＜ｃＭ＿ＶＬ６＿ｏｆｓｔとなるようにオフセットを付加する。以降の説明では、信号ｃＭ＿ＶＬ３＿ｏｆｓｔと信号ｃＭ＿ＶＬ５＿ｏｆｓｔに関して説明を行う。信号ｃＭ＿ＶＬ４＿ｏｆｓｔと信号ｃＭ＿ＶＬ６＿ｏｆｓｔの処理に関しても同様である。

【0144】

選択部９０１による選択動作およびオフセット付加部２０３によるオフセット付加により、１つのＮ信号が異なるオフセット値を含んだ２つの信号となる。しかしながら、付加されたオフセットは最終的には除去される。そのため、実施例１の図１（ｃ）で説明した例と同様に、本実施例の撮像装置１００は、１つのアナログ信号（画素からのＮ信号）に対して複数のＡＤ変換を行うことになる。換言すると、実施例１（ｃ）において、入力ノードＩＮと各ＡＤ変換部３ａ、３ｂとの間に、互いに異なる処理を行う処理回路が挿入された構成を、本実施例の撮像装置１００は含む。

【0145】

時刻Ｔ１から時刻Ｔ１ｗ１で、列ＡＤコンバータ２０４は、オフセット付加部２０３の出力ｃＭ＿ＶＬ＃＿ｏｆｓｔ（Ｍ：１～ｍ）（＃：３～６）に対して、全列同時にＡＤ変換を行う。ＡＤ変換時の動作は、第１のモードあるいは実施例２と同様である。このときオフセット付加部２０３の出力する信号ｃＭ＿ＶＬ＃＿ｏｆｓｔ（Ｍ：１～ｍ）（＃：３～６）から変換されたデジタルデータは、Ｎ＃＿Ｍ＿ｔ１（Ｍ：１～ｍ）（＃：３～６）として列ＡＤコンバータ２０４から出力される。

【0146】

そして時刻Ｔ１ｗ１に、全データが保持部２０５に一括転送される。ここで生成されるデータ群、つまり、信号ｃＭ＿ＶＬ＃＿ｏｆｓｔをＡＤ変換したデータ群を、Ｎ＿ＶＬ＃（ｈ１）とする。ただし、Ｎ＿ＶＬ＃（ｈ１）（＃：１～２）は使用しないため、転送しなくてもよい。「ｈ１」における数字が、並列に読み出される複数行のグループを示している点は、第１のモードで説明した通りである。たとえば、ｈ１は最初に読み出される２行を表す。また、ｈ２はｈ１の次に読み出される２行を表す。ｈ３以降も同様である。

【0147】

時刻Ｔ１ｗ１から時刻Ｔ１ｗ２にかけて、保持部２０５のデータ群Ｎ＿ＶＬ＃（ｈ１）（＃：３～６）は、水平転送部１０６を介して、データ処理部１０７に転送される。データ群Ｎ＿ＶＬ＃（ｈ１）（＃：３～６）はＮデータ用記憶部１００２に順次書き込まれる。図１５では、データ群Ｎ＿ＶＬ＃（ｈ１）（＃：３～６）が時刻Ｔ１ｗ１から時刻Ｔ１ｗ２にかけて、Ｎデータ記憶部１００２に書き込まれる期間を示している。書き込まれる際に、データ群Ｎ＿ＶＬ３（ｈ１）～Ｎ＿ＶＬ６（ｈ１）はそれぞれ、Ｎデータ用記憶部１００２の記憶部Ｃ１１０３～記憶部Ｆ１１０６に記憶される。

【0148】

次に、時刻Ｔ１ｗ２で、Ｎ信号を出力するときと同様に、２行分の画素２０１がＳ信号を全列同時に垂直信号線ｃＭ＿ＶＬ＃（Ｍ：１～ｍ）（＃：１～２）に出力する。なお、Ｓ信号は、電荷転送手段３１２で光電変換素子（ＰＤ）３１１の電荷をＦＤに転送し、その時のＦＤの電荷を、信号増幅手段３１４を介して読み出した信号である。

【0149】

選択部９０１が垂直信号線ｃＭ＿ＶＬ＃のそれぞれを、選択部９０１の出力ｃＭ＿ＶＬ＃＿ｓｅｌ（Ｍ：１～ｍ）（＃：１～６）のいずれと接続するのかを選択する。選択部９０１は、基本的には、Ｎ信号の読み出し時と同じ接続関係を選択する。つまり、時刻Ｔ１からＴ２においては、垂直信号線ｃＭ＿ＶＬ１は、信号ｃＭ＿ＶＬ３＿ｓｅｌおよび信号ｃＭ＿ＶＬ５＿ｓｅｌとして出力される。また、垂直信号線ｃＭ＿ＶＬ２の信号は、信号ｃＭ＿ＶＬ４＿ｓｅｌと信号ｃＭ＿ＶＬ６＿ｓｅｌとして出力される。

【0150】

なお、本読み出しモードでは、出力ｃＭ＿ＶＬ１＿ｓｅｌと出力ｃＭ＿ＶＬ２＿ｓｅｌは使用しないため、信号レベルを固定しておくとよい。

【0151】

オフセット付加部２０３は、選択部９０１の出力ｃＭ＿ＶＬ＃＿ｓｅｌの信号に対してオフセットを同時に付加する。このとき、付加するオフセットの値は、Ｎ信号に対して付加したオフセットの値と同じである。したがって、ｃＭ＿ＶＬ３＿ｏｆｓｔ＜ｃＭ＿ＶＬ５＿ｏｆｓｔ、ｃＭ＿ＶＬ４＿ｏｆｓｔ＜ｃＭ＿ＶＬ６＿ｏｆｓｔとなるようにオフセットを付加する。

【0152】

以降の説明では、信号ｃＭ＿ＶＬ３＿ｏｆｓｔと信号ｃＭ＿ＶＬ５＿ｏｆｓｔに関して説明を行う。信号ｃＭ＿ＶＬ４＿ｏｆｓｔと信号ｃＭ＿ＶＬ６＿ｏｆｓｔの処理に関しても同様である。

【0153】

選択部９０１による選択動作およびオフセット付加部２０３によるオフセット付加により、１つのＳ信号が異なるオフセット値を含んだ２つの信号となる。しかしながら、付加されたオフセットは最終的には除去される。そのため、実施例１の図１（ｃ）で説明した例と同様に、本実施例の撮像装置１００は、１つのアナログ信号（画素からのＳ信号）に対して複数のＡＤ変換を行うことになる。

【0154】

時刻Ｔ１ｗ２から時刻Ｔ１ｗ３で、列ＡＤコンバータ２０４は、オフセット付加部２０３の出力ｃＭ＿ＶＬ＃＿ｏｆｓｔ（Ｍ：１～ｍ）（＃：３～６）に対して、全列同時にＡＤ変換を行う。ＡＤ変換時の動作は、第１のモードあるいは実施例２と同様である。このときオフセット付加部２０３の出力する信号ｃＭ＿ＶＬ＃＿ｏｆｓｔ（Ｍ：１～ｍ）（＃：３～６）から変換されたデジタルデータは、Ｓ＃＿Ｍ＿ｔ１（Ｍ：１～ｍ）（＃：３～６）として列ＡＤコンバータ２０４から出力される。

【0155】

そして時刻Ｔ１ｗ３に、全データが保持部２０５に一括転送される。ここで生成されるデータ群、つまり、信号ｃＭ＿ＶＬ＃＿ｏｆｓｔをＡＤ変換したデータ群を、Ｓ＿ＶＬ＃（ｈ１）とする。ただし、Ｓ＿ＶＬ＃（ｈ１）（＃：１～２）は使用しないため、転送しなくてもよい。

【0156】

時刻Ｔ１ｗ３から時刻Ｔ１ｗ４にかけて、保持部２０５のデータ群Ｓ＿ＶＬ＃（ｈ１）（＃：３～６）は、水平転送部１０６を介して、データ処理部１０７に転送される。データ群Ｓ＿ＶＬ＃（ｈ１）（＃：３～６）はＳデータ用記憶部１００１に順次書き込まれる。図１５では、データ群Ｓ＿ＶＬ＃（ｈ１）（＃：３～６）が時刻Ｔ１ｗ３から時刻Ｔ１ｗ４にかけて、Ｓデータ記憶部１００１に書き込まれる期間を示している。書き込まれる際に、データ群Ｓ＿ＶＬ３（ｈ１）～Ｓ＿ＶＬ６（ｈ１）はそれぞれ、Ｓデータ用記憶部１００１の記憶部Ｃ～Ｆに記憶される。

【0157】

このように、１ＨＤ期間に、１行目および２行目の画素から得られるデータ群Ｓ＿ＶＬ＃（ｈ１）（＃：３～６）ならびにデータ群Ｎ＿ＶＬ＃（ｈ１）（＃：３～６）が、Ｓデータ記憶部１００１ならびにＮデータ記憶部１００２に書き込まれる。以降、ＨＤ期間ごとに選択部９０１が選択する垂直信号線を切り替えることで、３行目および４行目の画素から得られるデータ群Ｓ＿ＶＬ＃（ｈ２）（＃：３～６）ならびにデータ群Ｎ＿ＶＬ＃（ｈ２）（＃：３～６）がＳデータ記憶部１００１ならびにＮデータ記憶部１００２に書き込まれる。次いで、５行目および６行目の画素から得られるデータ群Ｓ＿ＶＬ＃（ｈ３）（＃：３～６）ならびにデータ群Ｎ＿ＶＬ＃（ｈ３）（＃：３～６）がＳデータ記憶部１００１ならびにＮデータ記憶部１００２に書き込まれる。この書き込み動作は、３ＨＤ期間を１つの単位として、繰り返される。

【0158】

具体的に、次のＨＤ期間（Ｔ２～Ｔ３）で、撮像装置１００は、垂直信号線ｃＭ＿ＶＬ＃（Ｍ：１～ｍ）（＃：３～４）からＮ信号を読み出し、それらをデジタルデータに変換し、そして、変換されたデジタルデータをＮデータ記憶部１００２に書き込む。さらに次のＨＤ期間（Ｔ３～Ｔ４）で、撮像装置１００は、垂直信号線ｃＭ＿ＶＬ＃（Ｍ：１～ｍ）（＃：５～６）からＮ信号を読み出し、それらをデジタルデータに変換し、そして、変換されたデジタルデータをＮデータ記憶部１００２に書き込む。Ｓ信号に対しても、同様の読み出し動作ならびに書き込み動作を行う。

【0159】

選択部９０１は、時刻Ｔ２からＴ３において、垂直信号線ｃＭ＿ｖ１３の信号を、信号ｃＭ＿ＶＬ３＿ｓｅｌと信号ｃＭ＿ＶＬ５＿ｓｅｌとして、２つの出力から出力する。また、選択部９０１は、垂直信号線ｃＭ＿ＶＬ４の信号を、信号ｃＭ＿ＶＬ４＿ｓｅｌと信号ｃＭ＿ＶＬ６＿ｓｅｌとして、２つの出力から出力する。時刻Ｔ３からＴ３ｗ４においては、選択部９０１は、垂直信号線ｃＭ＿ＶＬ５を、セレクタの出力ｃＭ＿ＶＬ３＿ｓｅｌと出力ｃＭ＿ＶＬ５＿ｓｅｌに接続し、一方、垂直信号線ｃＭ＿ＶＬ６を、セレクタの出力ｃＭ＿ＶＬ４＿ｓｅｌと出力ｃＭ＿ＶＬ６＿ｓｅｌに接続する。

【0160】

以上の動作によって、２行ごとの単位で、画素からの信号に対して一括してＡＤ変換を行う。さらに、各画素から出力された１つの信号（Ｎ信号またはＳ信号）に対しては、複数のＡＤ変換が行われる。

【0161】

次に、１行目から２行目の画素２０１の信号を、データ処理部１０７のＳデータ用記憶部１００１と、Ｎデータ用記憶部１００２から読み出す動作について述べる。あるＨＤ期間（例えばＴ１～Ｔ２）に書き込まれたデジタルデータは、次のＨＤ期間（例えばＴ２～Ｔ３）に読み出される。

【0162】

時刻Ｔ２において、ＣＰＵ１０１は、制御部１０２に対して、水平同期信号ＨＤを出力する。時刻Ｔ２ｒ１から時刻Ｔ２ｒ２にかけて、Ｎデータ用記憶部１００２からは、１行目のデータ群Ｎ＿ＶＬ３（ｈ１）とＮ＿ＶＬ５（ｈ１）、２行目のデータ群Ｎ＿ＶＬ４（ｈ１）とＮ＿ＶＬ６（ｈ１）が、読み出される。また、それと同期して、Ｓデータ用記憶部１００１からは、１行目のデータ群Ｓ＿ＶＬ３（ｈ１）とＳ＿ＶＬ５（ｈ１）、２行目のデータ群Ｓ＿ＶＬ４（ｈ１）とＳ＿ＶＬ６（ｈ１）が読み出される。そして時刻Ｔ２ｒ１から時刻Ｔ２ｒ２にかけて、データ群Ｓ＿ＶＬ３（ｈ１）とＳ＿ＶＬ５（ｈ１）とＮ＿ＶＬ３（ｈ１）とＮ＿ＶＬ５（ｈ１）は、１画素ずつの単位で、データ演算部１００３にてデータ処理される。また、データ群Ｓ＿ＶＬ４（ｈ１）とＳ＿ＶＬ６（ｈ１）とＮ＿ＶＬ４（ｈ１）とＮ＿ＶＬ６（ｈ１）は、１画素ずつの単位で、データ演算部１００４にてデータ処理される。本実施例の信号出力部１０８は、２つのデータ演算部１００３、１００４を備えている。そのため、２画素のデータを並列に処理することができる。データ演算部１００３、１００４による信号処理の結果が、信号出力部１０８から出力される。

【0163】

以上のようにして、１行目と２行目のデータは、１列２行に配された２画素ずつの単位で、撮像装置から出力される。同じ動作を、３行目と４行目のデータ、５行目と６行目のデータ・・・に対して繰り返すことで、すべての画素のデータを出力することができる。

【0164】

続いて、データ演算部の動作について説明する。データ記憶部（Ｓデータ用記憶部１００１とＮデータ用記憶部１００２）から読み出されたデータに対して、データ演算部１００３、１００４が信号処理を行う。例えば１列目の画素について、データ演算部１００３は、データＮ３＿１＿ｔ１、データＮ５＿１＿ｔ１、データＳ３＿１＿ｔ１、および、データＳ５＿１＿ｔ１に対して信号処理を行う。データ演算部１００４は、データＮ４＿１＿ｔ１、データＮ６＿１＿ｔ１、データＳ４＿１＿ｔ１、および、データＳ６＿１＿ｔ１に対して信号処理を行う。

【0165】

本読み出しモードでは、図１３（ｂ）に示す回路の信号ｍｕｌｔ＿ｓｍｐｌ＿ｅｎがＨｉｇｈである。つまり、信号ｍｕｌｔ＿ｓｍｐｌ＿ｅｎは、マルチサンプリングを行う状態を示す。

【0166】

データ演算部１００３は、得られたデジタルデータが異常値であるかの判定を行い、その結果に応じて信号処理を変更する。具体的には、データＳ５＿Ｍ＿ｔ１を、飽和レベルを表す閾値と比較し、そして、飽和している信号をマルチサンプリング処理の対象から除外する。

【0167】

ここでは、Ｓ信号の信号値が異なる２つの場合に分けて説明する。例えば、Ｍ列目の画素のＳ信号は比較的低いレベル（低輝度）であり、Ｍ列目とは別のＬ列目のＳ信号は比較的高いレベル（高輝度）である。簡単のため、以下の説明では、データ演算部１００３が、Ｍ列目の列ＡＤコンバータ２０４によるＡＤ変換で得られたデータＮ３＿Ｍ＿ｔ１、データＮ５＿Ｍ＿ｔ１、データＳ３＿Ｍ＿ｔ１、データＳ５＿Ｍ＿ｔ１を処理することとする。同様に、データ演算部１００３が、Ｌ列目の列ＡＤコンバータ２０４によるＡＤ変換で得られたデータＮ３＿Ｌ＿ｔ１、データＮ５＿Ｌ＿ｔ１、データＳ３＿Ｌ＿ｔ１、および、データＳ５＿Ｌ＿ｔ１（Ｌ：１～ｍ、Ｌ≠Ｍ）に対して演算を行うこととする。なお、データが奇数行の画素に基づくものか、偶数行の画素に基づくものかに応じて、データ演算部１００３とデータ演算部１００４のいずれによって処理が実行されるかは変わる。データ演算部１００４が信号処理を行う場合でも、その動作はデータ演算部１００３の動作と同じである。

【0168】

Ｍ列目に対する信号処理の結果では、データ演算部１００３がマルチサンプリング処理を行った信号を出力する。上記で述べたようにＭ列目のＳデータのデータ値は比較的小さい。また、Ｎデータは典型的にはダークレベルに相当するため、小さな値である。したがって、Ｍ列目のＳデータやＮデータは、対応する閾値ｔｈｒｅｓｈ＿Ｓ、ｔｈｒｅｓｈ＿Ｎより小さい。すなわち、Ｎ５＿Ｍ＿ｔ１＜ｔｈｒｅｓｈ＿Ｎの関係、および、Ｓ５＿Ｍ＿ｔ１＜ｔｈｒｅｓｈ＿Ｓの関係の両方が成り立つ。したがって、ＯＲ回路１２０８の出力はＬｏｗであり、セレクタ１２０８は、平均化処理部１２０６からの信号を出力する。また、信号ｍｕｌｔ＿ｓｍｐｌ＿ｅｎがＨｉｇｈであるため、セレクタ１２０９はセレクタ１２０８からの信号を選択し、出力する。結果として、データ演算部１００３の出力は、式６に基づいて次の式９で表される。
ＳＮｏｕｔ＝｛（Ｓ３＿Ｍ＿ｔ１＋Ｓ５＿Ｍ＿ｔ１）－（Ｎ３＿Ｍ＿ｔ１＋Ｎ５＿Ｍ＿ｔ１）｝÷２ （式９）

【0169】

つまり、Ｍ列の画素に対しては、信号値に異常がないと判断し、マルチサンプリングによって得られた信号を出力する。なお、上述の通り、オフセット付加部２０３のオフセット量の違いにより、Ｎ３＿Ｍ＿ｔ１＜Ｎ５＿Ｍ＿ｔ１の関係、および、Ｓ３＿Ｍ＿ｔ１＜Ｓ５＿Ｍ＿ｔ１の関係が成り立つ。したがって、回路飽和の検知のためには、少なくともＳ５＿Ｍ＿ｔ１に対して判定を行えばよい。

【0170】

Ｌ列目に対する信号処理の結果では、マルチサンプリング処理を行っていない信号を、データ演算部１００３が出力する。上記で述べたようにＬ列目のＳデータのデータ値は比較的大きい。そのため、オフセット付加部２０３によってオフセットが付加されたことで、一部の信号の信号値が回路飽和のレベルに達している。具体的には、Ｓ３＿Ｌ＿ｔ１＜Ｓ５＿Ｌ＿ｔ１の関係が成り立つため、Ｓ５＿Ｌ＿ｔ１の信号値が回路飽和レベルに達していて、一方、Ｓ３＿Ｌ＿ｔ１は飽和レベルに達していない。その結果、Ｓ５＿Ｌ＿ｔ１＞ｔｈｒｅｓｈ＿Ｓの関係が成り立つ。

【0171】

したがって、ＯＲ回路１２０８の出力はＨｉｇｈであり、セレクタ１２０８は、減算器１２０１からの信号を出力する。また、信号ｍｕｌｔ＿ｓｍｐｌ＿ｅｎがＨｉｇｈであるため、セレクタ１２０９はセレクタ１２０８からの信号を選択し、出力する。結果として、データ演算部１００３の出力は、式５に基づいて次の式１０で表される。
ＳＮｏｕｔ＝Ｓ１＿Ｌ＿ｔ２－Ｎ１＿Ｌ＿ｔ２ （式１０）

【0172】

このように、本実施例によれば、マルチサンプリング処理を行ってノイズの低減された画素信号を出力することができる。一方、マルチサンプリング処理に使われるデータに異常値が含まれる場合は、マルチサンプリングの行われていないデータを出力する。したがって、マルチサンプリング処理を行うことによる画質の低下を防止することができる。結果として、撮像装置の画質を向上させることが可能である。

【0173】

本実施例の図７（ｂ）の例では、検知部６１１が一部のデジタル信号（Ｎ＃＿Ｍ＿ｔ１、Ｓ＃＿Ｍ＿ｔ１）のみを判定の対象としている。一方で、検知部６１１は、他のデジタル信号に対しては判定を行わない。このような構成により、回路規模の削減、あるいは、消費電力の低減の効果を得ることができる。さらに、オフセット付加部２０３の動作に合わせて、判定の対象を選択することで、追加の効果を得ることができる。具体的に、本実施例では、付加されるオフセットの値が相対的に大きい信号（Ｓ２＿Ｍ＿ｔ１＞Ｓ１＿Ｍ＿ｔ１）に対して、判定を行っている。判定の目的が飽和の検知であるため、付加されるオフセットの値が大きい信号の信号値が先に飽和レベルに達するためである。したがって、このような構成によれば、小さい回路規模または低消費電力で、画質の向上が可能となる。もちろん、判定の目的に応じて、判定の対象とするデジタル信号は変わる。また、すべてのデジタル信号に対して判定を行ってもよい。

【0174】

この実施例での判定については、デジタル信号と閾値との比較を行うことを説明した。しかし、実施例１に記載したすべての判定処理が、本実施例の撮像装置に適用されうる。これらの判定を用いるための構成と、その効果については実施例１の説明を援用する。

【実施例4】

【0175】

光電変換システムの実施例について説明する。光電変換システムとして、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、カメラヘッド、複写機、ファックス、携帯電話、車載カメラ、観測衛星などがあげられる。

【0176】

図１０に、光電変換システムは、上述の各実施例で説明した撮像装置１００と、撮像装置１００から出力された画素信号に対して、補正やデータ圧縮などの処理を行い、画像信号を取得する信号処理部を備える。

【0177】

また、必要に応じて、光電変換システムは、交換可能なレンズなどの光学部を備える。そのほかに、光電変換システムは、各種タイミング信号を出力するタイミング発生部、システム全体を制御する全体制御部、画像データを一時的に記憶する為のフレームメモリ部を備えうる。また、光電変換システムは記録媒体に記録または読み出しを行うためのインターフェース部や、撮像データの記録または読み出しを行う為の半導体メモリ等の着脱可能な記録媒体を備える。

【実施例5】

【0178】

移動体の実施例について説明する。本実施例の移動体は、車載カメラを備えた自動車である。図１６（ａ）は、自動車２１００の外観と主な内部構造を模式的に示している。自動車２１００は、撮像装置２１０２、撮像システム用集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）２１０３、警報装置２１１２、主制御部２１１３を備える。

【0179】

撮像装置２１０２は、上述の実施例で説明したいずれかの光電変換装置が用いられる。警報装置２１１２は、撮像システム、車両センサ、制御ユニットなどから異常を示す信号を受けたときに、運転手へ向けて警告を行う。主制御部２１１３は、撮像システム、車両センサ、制御ユニットなどの動作を統括的に制御する。なお、自動車２１００が主制御部２１１３を備えていなくてもよい。この場合、撮像システム、車両センサ、制御ユニットが個別に通信インターフェースを有して、それぞれが通信ネットワークを介して制御信号の送受を行う（例えばＣＡＮ規格）。

【0180】

図１６（ｂ）は、自動車２１００のシステム構成を示すブロック図である。自動車２１００は、第１の撮像装置２１０２と第２の撮像装置２１０２を含む。つまり、本実施例の車載カメラはステレオカメラである。撮像装置２１０２には、光学部２１１４により被写体像が結像される。撮像装置２１０２から出力された画素信号は、画像前処理部２１１５によって処理され、そして、撮像システム用集積回路２１０３に伝達される。画像前処理部２１１５は、Ｓ－Ｎ演算や、同期信号付加などの処理を行う。

【0181】

撮像システム用集積回路２１０３は、画像処理部２１０４、メモリ２１０５、光学測距部２１０６、視差演算部２１０７、物体認知部２１０８、異常検出部２１０９、および、外部インターフェース（Ｉ／Ｆ）部２１１６を備える。画像処理部２１０４は、画素信号を処理して画像信号を生成する。また、画像処理部２１０４は、画像信号の補正や異常画素の補完を行う。メモリ２１０５は、画像信号を一時的に保持する。また、メモリ２１０５は、既知の撮像装置２１０２の異常画素の位置を記憶していてもよい。光学測距部２１０６は、画像信号を用いて被写体の合焦または測距を行う。視差演算部２１０７は、視差画像の被写体照合（ステレオマッチング）を行う。物体認知部２１０８は、画像信号を解析して、自動車、人物、標識、道路などの被写体の認知を行う。異常検出部２１０９は、撮像装置２１０２の故障、あるいは、誤動作を検知する。異常検出部２１０９は、故障や誤動作を検知した場合には、主制御部２１１３へ異常を検知したことを示す信号を送る。外部Ｉ／Ｆ部２１１６は、撮像システム用集積回路２１０３の各部と、主制御部２１１３あるいは種々の制御ユニット等との間での情報の授受を仲介する。

【0182】

自動車２１００は、車両情報取得部２１１０および運転支援部２１１１を含む。車両情報取得部２１１０は、速度・加速度センサ、角速度センサ、舵角センサ、測距レーダ、圧力センサなどの車両センサを含む。

【0183】

運転支援部２１１１は、衝突判定部を含む。衝突判定部は、光学測距部２１０６、視差演算部２１０７、物体認知部２１０８からの情報に基づいて、物体との衝突可能性があるか否かを判定する。光学測距部２１０６や視差演算部２１０７は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。

【0184】

運転支援部２１１１が他の物体と衝突しないように自動車２１００を制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。

【0185】

自動車２１００は、さらに、エアバッグ、アクセル、ブレーキ、ステアリング、トランスミッション等の走行に用いられる駆動部を具備する。また、自動車２１００は、それらの制御ユニットを含む。制御ユニットは、主制御部２１１３の制御信号に基づいて、対応する駆動部を制御する。

【0186】

以上に説明した通り、自動車の実施例において、撮像装置２１０２には、上述の実施例の信号処理装置または撮像装置が用いられる。このような構成によれば、信号処理の性能を向上させることができる。

【符号の説明】

【0187】

１ 信号処理装置
３ アナログデジタル変換部
５ 判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】