特許 7583562 光電変換装置及び撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-06

(45)【発行日】2024-11-14

(54)【発明の名称】光電変換装置及び撮像システム

(51)【国際特許分類】

   H04N 25/78 20230101AFI20241107BHJP

   H04N 25/703 20230101ALI20241107BHJP

   H01L 27/146 20060101ALI20241107BHJP

【ＦＩ】

H04N25/78

H04N25/703

H01L27/146 A

H01L27/146 D

【請求項の数】 14

(21)【出願番号】P 2020152620

(22)【出願日】2020-09-11

(65)【公開番号】P2022046956

(43)【公開日】2022-03-24

【審査請求日】2023-09-07

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100094112

【弁理士】

【氏名又は名称】岡部 讓

(74)【代理人】

【識別番号】100101498

【弁理士】

【氏名又は名称】越智 隆夫

(74)【代理人】

【識別番号】100106183

【弁理士】

【氏名又は名称】吉澤 弘司

(74)【代理人】

【識別番号】100136799

【弁理士】

【氏名又は名称】本田 亜希

(72)【発明者】

【氏名】鴫谷 美子

(72)【発明者】

【氏名】識名 紀之

(72)【発明者】

【氏名】竹中 真太郎

【審査官】彦田 克文

(56)【参考文献】

【文献】特開２０１５－２１６３３４（ＪＰ，Ａ）

【文献】特開２００４－３５０２６５（ＪＰ，Ａ）

【文献】特開２００６－１０９３７４（ＪＰ，Ａ）

【文献】特開２００５－２７７５１３（ＪＰ，Ａ）

【文献】特開２０１８－１３９３７４（ＪＰ，Ａ）

【文献】国際公開第２０１６／１７０８３３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／７８

Ｈ０４Ｎ ２５／７０３

Ｈ０１Ｌ ２７／１４６

(57)【特許請求の範囲】

【請求項1】

各々が光電変換部を有する複数の画素が複数の行及び複数の列をなすように配された画素部と、
前記画素部から出力される信号を処理する処理回路と、を有し、
前記画素部は、列によって規定される第１領域及び第２領域を有し、前記第１領域及び前記第２領域に属する列の各々から、第１信号及び第２信号を含む複数種類の信号を出力するように構成されており、
前記処理回路は、第１メモリ及び第３メモリを含む第１処理回路と、第２メモリ及び第４メモリを含む第２処理回路と、データ交換回路と、を有し、
前記第１メモリは、前記第１領域から出力される各列の前記第１信号及び前記第２信号を格納するように構成され、
前記第２メモリは、前記第２領域から出力される各列の前記第１信号及び前記第２信号を格納するように構成され、
前記データ交換回路は、前記第１メモリに格納されている前記第１信号及び前記第２メモリに格納されている前記第１信号を読み出して前記第３メモリに格納し、前記第１メモリに格納されている前記第２信号及び前記第２メモリに格納されている前記第２信号を読み出して前記第４メモリに格納するように構成され、
前記処理回路は、前記第３メモリに格納されている前記第１領域及び前記第２領域の前記第１信号を前記第１処理回路から出力し、前記第４メモリに格納されている前記第１領域及び前記第２領域の前記第２信号を前記第２処理回路から出力するように構成されている
ことを特徴とする光電変換装置。

【請求項2】

前記処理回路は、前記第３メモリに格納されている前記第１領域及び前記第２領域の前記第１信号と、前記第４メモリに格納されている前記第１領域及び前記第２領域の前記第２信号と、を同時に出力するように構成されている
ことを特徴とする請求項１記載の光電変換装置。

【請求項3】

前記第１信号は、第１の数の画素の信号を加算した信号であり、
前記第２信号は、前記第１の数とは異なる第２の数の画素の信号を加算した信号である
ことを特徴とする請求項１又は２記載の光電変換装置。

【請求項4】

前記画素部の各列に、第１出力線及び第２出力線を含む複数の出力線が配されており、前記第１出力線に前記第１信号が出力され、前記第２出力線に前記第２信号が出力されるように構成されている
ことを特徴とする請求項３記載の光電変換装置。

【請求項5】

前記第１信号は、第１の行に属する画素から出力された信号であり、
前記第２信号は、前記第１の行とは異なる第２の行に属する画素から出力された信号である
ことを特徴とする請求項１又は２記載の光電変換装置。

【請求項6】

前記第１の行と前記第２の行とは隣り合う行である
ことを特徴とする請求項５記載の光電変換装置。

【請求項7】

前記第１信号は、第１の色の画素から出力された信号であり、
前記第２信号は、前記第１の色とは異なる第２の色の画素から出力された信号である
ことを特徴とする請求項５又は６記載の光電変換装置。

【請求項8】

前記複数の画素の各々は、第１光電変換部及び第２光電変換部を有し、
前記第１信号は、前記第１光電変換部で生じた電荷に基づく焦点検出用の信号であり、
前記第２信号は、前記第１光電変換部及び前記第２光電変換部で生じた電荷に基づく画像生成用の信号である
ことを特徴とする請求項１又は２記載の光電変換装置。

【請求項9】

前記処理回路は、アナログデジタル変換部を更に有し、
前記第１信号及び前記第２信号は、前記アナログデジタル変換部においてアナログ信号から変換されたデジタル信号である
ことを特徴とする請求項１乃至８のいずれか１項に記載の光電変換装置。

【請求項10】

前記第１処理回路と前記第２処理回路とは離間して配置されている
ことを特徴とする請求項１乃至９のいずれか１項に記載の光電変換装置。

【請求項11】

前記第１処理回路と前記第２処理回路との間に、前記複数の画素を行単位で駆動する垂直走査部が配されている
ことを特徴とする請求項１乃至１０のいずれか１項に記載の光電変換装置。

【請求項12】

前記画素部が設けられた画素基板と前記処理回路が設けられた信号処理基板とが積層されてなる
ことを特徴とする請求項１乃至１１のいずれか１項に記載の光電変換装置。

【請求項13】

請求項１乃至１２のいずれか１項に記載の光電変換装置と、
前記光電変換装置から出力される信号を処理する信号処理部と
を有することを特徴とする撮像システム。

【請求項14】

移動体であって、
請求項８記載の光電変換装置と、
前記第１信号及び前記第２信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
前記距離情報に基づいて前記移動体を制御する制御手段と
を有することを特徴とする移動体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光電変換装置及び撮像システムに関する。

【背景技術】

【0002】

画素アレイが設けられた画素基板と信号処理回路が設けられた信号処理基板とを積層してなる積層型の光電変換装置において、信号処理基板に設けられる信号処理回路を複数の領域に分割して配置することがある。例えば、性能向上や製造上の便宜から、画素アレイの中央付近と重なる部分に垂直走査回路を配置することがある。このような場合、列回路部やデータ処理部は水平方向に２分割して信号処理基板に配置される。特許文献１には、信号処理回路を２分割してロジック基板に配置した固体撮像装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－２１６３３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画素アレイの各列に対応する列回路を水平方向に分割した場合、分割した領域毎に水平走査を行ってデータを出力することになる。水平方向に分割されたデータを結合する際には、例えば特許文献１に記載されているように、一方の信号処理回路のデータ処理部にデータをまとめることが考えられる。

【0005】

しかしながら、信号処理回路をこのように構成した場合、分割した他方の信号処理部が使用されることはない。また、画素アレイから互いに独立した複数種類のデータを読み出してデータ処理部にて処理を行う場合、一方の信号処理回路に複数種類のデータを処理するための回路を実装する必要があり、回路規模が増大することがあった。

【0006】

本発明の目的は、回路規模を増大することなく効率的に画素データを出力可能な光電変換装置及び撮像システムを提供することにある。

【課題を解決するための手段】

【0007】

本発明の一観点によれば、各々が光電変換部を有する複数の画素が複数の行及び複数の列をなすように配された画素部と、前記画素部から出力される信号を処理する処理回路と、を有し、前記画素部は、列によって規定される第１領域及び第２領域を有し、前記第１領域及び前記第２領域に属する列の各々から、第１信号及び第２信号を含む複数種類の信号を出力するように構成されており、前記処理回路は、第１メモリ及び第３メモリを含む第１処理回路と、第２メモリ及び第４メモリを含む第２処理回路と、データ交換回路と、を有し、前記第１メモリは、前記第１領域から出力される各列の前記第１信号及び前記第２信号を格納するように構成され、前記第２メモリは、前記第２領域から出力される各列の前記第１信号及び前記第２信号を格納するように構成され、前記データ交換回路は、前記第１メモリに格納されている前記第１信号及び前記第２メモリに格納されている前記第１信号を読み出して前記第３メモリに格納し、前記第１メモリに格納されている前記第２信号及び前記第２メモリに格納されている前記第２信号を読み出して前記第４メモリに格納するように構成され、前記処理回路は、前記第３メモリに格納されている前記第１領域及び前記第２領域の前記第１信号を前記第１処理回路から出力し、前記第４メモリに格納されている前記第１領域及び前記第２領域の前記第２信号を前記第２処理回路から出力するように構成されている光電変換装置が提供される。

【発明の効果】

【0008】

本発明によれば、回路規模を増大することなく画素データの効率的な処理を実現することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の第１実施形態による撮像装置の概略構成を示すブロック図である。

【図2】本発明の第１実施形態による撮像装置における画素の構成例を示す回路図である。

【図3】本発明の第１実施形態による撮像装置を模式的に示す斜視図である。

【図4】本発明の第１実施形態による撮像装置における画素部と垂直走査部との接続関係を示す図である。

【図5】本発明の第１実施形態による撮像装置における画素部とＡＤ変換部及び水平走査部との接続関係を示す図である。

【図6】本発明の第１実施形態による撮像装置における処理回路の構成例を示すブロック図である。

【図7】本発明の第２実施形態による撮像装置における処理回路の構成例を示すブロック図である。

【図8】本発明の第３実施形態による撮像装置における画素の構成例を示す回路図である。

【図9】本発明の第３実施形態による撮像装置における画素の上面模式図である。

【図10】本発明の第３実施形態による撮像装置における画素部と垂直走査部、ＡＤ変換部及び水平走査部の接続関係を示す図である。

【図11】本発明の第３実施形態による撮像装置における処理回路の構成例を示すブロック図である。

【図12】本発明の第４実施形態による撮像装置の信号処理基板上における各機能ブロックのレイアウト例を示す平面図（その１）である。

【図13】本発明の第４実施形態による撮像装置の信号処理基板上における各機能ブロックのレイアウト例を示す平面図（その２）である。

【図14】本発明の第４実施形態による撮像装置の信号処理基板上における各機能ブロックのレイアウト例を示す平面図（その３）である。

【図15】本発明の第５実施形態による撮像システムの概略構成を示すブロック図である。

【図16】本発明の第６実施形態による撮像システム及び移動体の構成例を示す図である。

【発明を実施するための形態】

【0010】

［第１実施形態］
本発明の第１実施形態による撮像装置について、図１乃至図６を用いて説明する。図１は、本実施形態による撮像装置の概略構成を示すブロック図である。図２は、本実施形態による撮像装置における画素の構成例を示す回路図である。図３は、本実施形態による撮像装置を模式的に示す斜視図である。図４は、本実施形態による撮像装置における画素部と垂直走査部との接続関係を示す図である。図５は、本実施形態による撮像装置における画素部とＡＤ変換部及び水平走査部との接続関係を示す図である。図６は、本実施形態による撮像装置における処理回路の構成例を示すブロック図である。

【0011】

本実施形態による撮像装置１０は、例えば図１に示すように、処理装置（プロセッサ）１と、制御部２と、垂直走査部３と、画素部４と、ＡＤ変換部（アナログデジタル変換部）５と、水平走査部６と、データ処理部７と、出力部８と、により構成され得る。画素部４には、垂直走査部３と、ＡＤ変換部５と、が接続されている。ＡＤ変換部５には、水平走査部６が接続されている。水平走査部６には、データ処理部７が接続されている。データ処理部７には、出力部８が接続されている。垂直走査部３、ＡＤ変換部５、水平走査部６及びデータ処理部７には、制御部２が接続されている。制御部２には、処理装置１が接続されている。

【0012】

処理装置１は、例えばＣＰＵ（Central Processing Unit）であり、撮像装置１０の全体の動作を制御する。処理装置１は、制御部２に対し、同期信号などの制御信号や動作モードなどの設定信号を出力する。なお、処理装置１は、撮像装置１０が搭載される撮像システム内、すなわち撮像装置１０の外部に設けられていてもよい。

【0013】

制御部２は、処理装置１からの制御信号や設定信号を受け、垂直走査部３、ＡＤ変換部５、水平走査部６及びデータ処理部７に、これらの動作やタイミングを制御するための制御信号を出力する制御回路である。

【0014】

画素部４には、各々が光電変換部を含む複数の画素Ｐが複数の行及び複数の列をなすように２次元状に配列されている。複数の画素Ｐの各々は、光電変換部に入射した光の量に応じた画素信号を出力するように構成されている。図１には、ｍ列×ｎ行の行列状に配列された画素Ｐで構成される画素部４を示すとともに、各画素の符号Ｐに（列番号，行番号）で表される座標を付記している。なお、本明細書では、各行の延在する方向（行方向）を水平方向、各列の延在する方向（列方向）を垂直方向と定義するものとする。また、先頭行の行番号は第１行であり、先頭列の列番号は第１列であるものとする。

【0015】

垂直走査部３は、制御部２からの信号を受けて動作し、画素部４を構成する複数の画素Ｐを行単位で駆動する制御回路である。画素部４を構成する複数の画素Ｐに対して垂直走査部３が実行する動作には、読み出し走査とシャッタ走査とが含まれる。シャッタ走査とは、画素部４の一部又は全部の画素Ｐに対して、行単位で順次、光電変換部のリセットを行い、露光を開始する動作をいう。読み出し走査とは、画素部４の一部又は全部の行の画素Ｐから、行単位で順次、光電変換部に蓄積された電荷に基づく信号を出力させる動作をいう。垂直走査部３は、画素アレイの各行に配された不図示の制御線を介して行単位で画素Ｐに制御信号を供給する。垂直走査部３は、シフトレジスタやアドレスデコーダを用いて構成され得る。

【0016】

ＡＤ変換部５は、不図示の増幅回路、アナログデジタル変換（ＡＤ変換）回路及びメモリを備え得る。ＡＤ変換部５は、画素部４の画素Ｐから不図示の垂直出力線を介して出力されるアナログ信号である画素信号に対して増幅処理及びＡＤ変換処理を行い、画素信号をデジタルデータとしてメモリに保持する。

【0017】

水平走査部６は、制御部２からの信号を受けて動作し、ＡＤ変換部５においてデジタルデータに変換された画素信号を、列毎に順次、データ処理部７へと転送する制御回路である。水平走査部６は、シフトレジスタやアドレスデコーダを用いて構成され得る。

【0018】

データ処理部７は、水平走査部６から転送されるデジタルデータに対して所定の処理を行う機能ブロックである。データ処理部７の具体的な構成やデータ処理部７における具体的な処理については後述する。

【0019】

出力部８は、データ処理部７から転送される信号をデジタル処理し、シリアルデータとして撮像装置１０の外部に出力する出力回路である。出力部８は、デジタル処理部と、パラレル・シリアル変換回路と、ＬＶＤＳ（Low Voltage Differential Signaling）などの出力回路と、を含んで構成され得る。

【0020】

なお、本明細書では、撮像装置１０を構成するこれら機能ブロックのうち、制御部２、ＡＤ変換部５、水平走査部６、データ処理部７及び出力部８を包括的に処理回路と呼ぶことがある。

【0021】

図２は、画素Ｐの構成例を示す回路図である。図２には、画素部４の第Ｍ列第Ｎ行に配された画素Ｐ（Ｍ，Ｎ）を例示しているが、他の画素Ｐについても同様である。なお、Ｍは１以上ｍ以下の整数であり、Ｎは１以上ｎ以下の整数である。

【0022】

各々の画素Ｐは、例えば図２に示すように、光電変換部ＰＤと、転送トランジスタＭ１と、リセットトランジスタＭ２と、増幅トランジスタＭ３と、選択トランジスタＭ４と、により構成され得る。

【0023】

光電変換部ＰＤは、例えばフォトダイオードやフォトゲートなどの光電変換素子により構成され得る。ここでは光電変換部ＰＤがフォトダイオードにより構成されている場合を想定する。光電変換部ＰＤを構成するフォトダイオードは、アノードが接地ノードに接続され、カソードが転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１のドレインは、リセットトランジスタＭ２のソース及び増幅トランジスタＭ３のゲートに接続されている。転送トランジスタＭ１のドレインと、リセットトランジスタＭ２のソースと、増幅トランジスタＭ３のゲートとの接続ノードは、いわゆる浮遊拡散部ＦＤである。リセットトランジスタＭ２のドレイン及び増幅トランジスタＭ３のドレインは、電源電圧ノード（電圧ＶＣＣ）に接続されている。増幅トランジスタＭ３のソースは、選択トランジスタＭ４のドレインに接続されている。選択トランジスタＭ４のソースは、垂直出力線Ｖｌｉｎｅ（Ｍ）に接続されている。

【0024】

図２に示す画素構成の場合、画素部４の各行に配される制御線の各々は、転送ゲート信号線と、リセット信号線と、選択信号線と、を含む。例えば、第Ｎ行の転送ゲート信号線は、第Ｎ行の画素Ｐの転送トランジスタＭ１のゲートに接続され、垂直走査部３から出力される制御信号ＰＴＸ（Ｎ）をこれら画素Ｐの転送トランジスタＭ１のゲートに供給する。第Ｎ行のリセット信号線は、第Ｎ行の画素ＰのリセットトランジスタＭ２のゲートに接続され、垂直走査部３から出力される制御信号ＰＲＥＳ（Ｎ）をこれら画素ＰのリセットトランジスタＭ２のゲートに供給する。第Ｎ行の選択信号線は、第Ｎ行の画素Ｐの選択トランジスタＭ４のゲートに接続され、垂直走査部３から出力される制御信号ＰＳＥＬ（Ｎ）をこれら画素Ｐの選択トランジスタＭ４のゲートに供給する。同一行の画素Ｐに対しては、共通の制御信号が垂直走査部３から供給される。

【0025】

各トランジスタがＮチャネルトランジスタで構成される場合、垂直走査部３からハイレベルの制御信号が供給されると対応するトランジスタが導通状態となり、垂直走査部３からローレベルの制御信号が供給されると対応するトランジスタが非導通状態になる。ここで、ハイレベルが論理値「１」に対応し、ローレベルが論理値「０」に対応するものとする。なお、画素Ｐを構成する各トランジスタは、Ｎチャネルトランジスタにより構成され得るが、Ｐチャネルトランジスタにより構成されていてもよい。

【0026】

光電変換部ＰＤは、入射光をその光量に応じた量の電荷に変換（光電変換）するとともに、生じた電荷を蓄積する。転送トランジスタＭ１は、オン（導通状態）になることにより、光電変換部ＰＤが保持する電荷を浮遊拡散部ＦＤに転送する。浮遊拡散部ＦＤは容量成分を有しており、光電変換部ＰＤから転送された電荷を保持するとともに、その容量による電荷電圧変換によって浮遊拡散部ＦＤを電荷の量に応じた電位に設定する。増幅トランジスタＭ３は、ドレインに電圧ＶＣＣが供給され、ソースに垂直出力線Ｖｌｉｎｅ及び選択トランジスタＭ４を介して不図示の電流源からバイアス電流が供給される構成となっており、ゲートを入力ノードとするソースフォロワ回路を構成する。これにより増幅トランジスタＭ３は、浮遊拡散部ＦＤの電位に基づく信号を、選択トランジスタＭ４を介して垂直出力線Ｖｌｉｎｅに出力する。リセットトランジスタＭ２は、オン（導通状態）になることにより浮遊拡散部ＦＤを電源電圧に応じた電位にリセットする。また、リセットトランジスタＭ２と同時に転送トランジスタＭ１をオン（導通状態）にすることで、光電変換部ＰＤを電圧ＶＣＣに応じた電位にリセットすることができる。選択トランジスタＭ４は、増幅トランジスタＭ３と垂直出力線Ｖｌｉｎｅとの接続の切り替えを行う。

【0027】

本実施形態による撮像装置１０は、例えば図３に示すように、画素基板１１と信号処理基板１２とが積層されてなる積層センサとして構成され得る。画素基板１１には、図１に示す各機能ブロックのうち、例えば、画素部４が配置され得る。また、信号処理基板１２には、図１に示す各機能ブロックのうち、例えば、制御部２、垂直走査部３、ＡＤ変換部５、水平走査部６、データ処理部７及び出力部８が配置され得る。

【0028】

垂直走査部３は、３つのブロック（垂直走査部３Ｌ，３Ｃ，３Ｒ）に分割され、信号処理基板１２に配置されている。垂直走査部３Ｌと垂直走査部３Ｃとの間には処理回路１３が配置され、垂直走査部３Ｃと垂直走査部３Ｒとの間には処理回路１４が配置されている。処理回路１３には、画素部４に配された画素Ｐのうち、列によって規定される第１領域に配された画素Ｐの信号を処理するための処理回路が設けられる。また、処理回路１４には、画素部４に配された画素Ｐのうち、列によって規定される第２領域に配された画素Ｐの信号を処理するための処理回路が設けられる。ここでは、第１列から第ｍ／２列までの範囲が第１領域であり、第ｍ／２＋１列から第ｍ列までの範囲が第２領域であるものとする。制御部２、ＡＤ変換部５、水平走査部６、データ処理部７及び出力部８の各々は２つのブロックに分割され、処理回路１３と処理回路１４とに振り分けられている。処理回路１３と処理回路１４とは、互いに離間して配置されている。

【0029】

画素部４を構成する画素アレイの各行には、図４に示すように、制御信号ＰＲＥＳが供給される信号線と、制御信号ＰＴＸが供給される信号線と、制御信号ＰＳＥＬが供給される信号線と、が設けられている。これら信号線は、対応する行に配された複数の画素Ｐに接続されている。例えば、第（１２ｉ＋１）行に配された信号線は、画素Ｐ（１，１２ｉ＋１），…，Ｐ（ｊ，１２ｉ＋１），Ｐ（ｊ＋１，１２ｉ＋１），Ｐ（ｊ＋２，１２ｉ＋１），…，Ｐ（ｍ，１２ｉ＋１）に接続されている。これら信号線の各々は、画素基板１１と信号処理基板１２との間の電気的接続部を介して、信号処理基板１２に設けられた垂直走査部３に接続されている。なお、ｉは、行番号が１～ｎの範囲となる０以上の整数である。第１行から第ｎ行には、第（１２ｉ＋１）行から第（１２ｉ＋１２）行までと同様の１２行を単位とするブロックが繰り返し配されている。

【0030】

また、画素部４を構成する画素アレイの各列には、図４に示すように、所定の本数の垂直出力線Ｖｌｉｎｅが設けられている。図４では、各列に８本の垂直出力線Ｖｌｉｎｅが設けられている場合を想定している。例えば、第ｊ列には、垂直出力線Ｖｌｉｎｅ１（ｊ），Ｖｌｉｎｅ２（ｊ），Ｖｌｉｎｅ３（ｊ），Ｖｌｉｎｅ４（ｊ），Ｖｌｉｎｅ５（ｊ），Ｖｌｉｎｅ６（ｊ），Ｖｌｉｎｅ７（ｊ），Ｖｌｉｎｅ８（ｊ）の８本の垂直出力線Ｖｌｉｎｅが設けられている。各列に設けられる垂直出力線Ｖｌｉｎｅの数は、８本に限定されるものではなく、適宜増減できる。なお、ｊは、列番号が１～ｍの範囲となる１以上の整数である。

【0031】

各列の垂直出力線Ｖｌｉｎｅ１には、第（１２ｉ＋１）行目の画素Ｐと、第（１２ｉ＋３）行目の画素Ｐと、が接続されている。各列の垂直出力線Ｖｌｉｎｅ２には、第（１２ｉ＋４）行目の画素Ｐと、第（１２ｉ＋６）行目の画素Ｐと、が接続されている。各列の垂直出力線Ｖｌｉｎｅ３には、第（１２ｉ＋７）行目の画素Ｐと、第（１２ｉ＋９）行目の画素Ｐと、が接続されている。各列の垂直出力線Ｖｌｉｎｅ４には、第（１２ｉ＋１０）行目の画素Ｐと、第（１２ｉ＋１２）行目の画素Ｐと、が接続されている。各列の垂直出力線Ｖｌｉｎｅ５には、第（１２ｉ＋５）行目の画素Ｐが接続されている。各列の垂直出力線Ｖｌｉｎｅ６には、第（１２ｉ＋２）行目の画素Ｐが接続されている。各列の垂直出力線Ｖｌｉｎｅ７には、第（１２ｉ＋１１）行目の画素Ｐが接続されている。各列の垂直出力線Ｖｌｉｎｅ８には、第（１２ｉ＋８）行目の画素Ｐが接続されている。

【0032】

垂直出力線Ｖｌｉｎｅ１，Ｖｌｉｎｅ２，Ｖｌｉｎｅ３，Ｖｌｉｎｅ４には、垂直走査部３から供給される制御信号ＰＲＥＳ，ＰＴＸ，ＰＳＥＬに応じて、垂直方向に並ぶ複数の画素Ｐから読み出された画素信号を加算した画素データが読み出される。すなわち、垂直出力線Ｖｌｉｎｅ１には、第（１２ｉ＋１）行目の画素Ｐの画素信号と第（１２ｉ＋３）行目の画素Ｐの画素信号とを加算した画素データが読み出される。垂直出力線Ｖｌｉｎｅ２には、第（１２ｉ＋４）行目の画素Ｐの画素信号と第（１２ｉ＋６）行目の画素Ｐの画素信号とを加算した画素データが読み出される。垂直出力線Ｖｌｉｎｅ３には、第（１２ｉ＋７）行目の画素Ｐの画素信号と第（１２ｉ＋９）行目の画素Ｐの画素信号とを加算した画素データが読み出される。垂直出力線Ｖｌｉｎｅ４には、第（１２ｉ＋１０）行目の画素Ｐの画素信号と第（１２ｉ＋１２）行目の画素Ｐの画素信号とを加算した画素データが読み出される。

【0033】

また、垂直出力線Ｖｌｉｎｅ５，Ｖｌｉｎｅ６，Ｖｌｉｎｅ７，Ｖｌｉｎｅ８には、垂直走査部３から供給される制御信号ＰＲＥＳ，ＰＴＸ，ＰＳＥＬに応じて、垂直方向に間引きされた非加算の画素データが読み出される。すなわち、垂直出力線Ｖｌｉｎｅ５には、第（１２ｉ＋５）行目の画素Ｐの画素データが読み出される。垂直出力線Ｖｌｉｎｅ６には、第（１２ｉ＋２）行目の画素Ｐの画素データが読み出される。垂直出力線Ｖｌｉｎｅ７には、第（１２ｉ＋１１）行目の画素Ｐの画素データが読み出される。垂直出力線Ｖｌｉｎｅ８には、第（１２ｉ＋８）行目の画素Ｐの画素データが読み出される。

【0034】

すなわち、本実施形態の撮像装置１０は、垂直方向に並ぶ複数の画素Ｐから読み出された画素信号を加算した画素データと、垂直方向に間引きされた非加算の画素データと、の２種類の画素データを読み出し可能に構成されている。別の言い方をすると、本実施形態の撮像装置１０は、画素部４の各列から、少なくとも第１信号及び第２信号を含む複数種類の信号を出力するように構成されている。ここでは、第１信号は、垂直方向に並ぶ第１の数（２個）の画素Ｐから読み出された画素信号を加算した画素データである。第２信号は、垂直方向に並ぶ第１の数とは異なる第２の数（１個）の画素Ｐから読み出された画素信号を加算した画素データである。

【0035】

垂直出力線Ｖｌｉｎｅの各々は、図５に示すように、画素基板１１と信号処理基板１２との間の電気的接続部を介して、信号処理基板１２に設けられたＡＤ変換部５に接続されている。ＡＤ変換部５は、画素部４を構成する画素アレイの各列に対応する複数（ｍ個）の列回路群５１を有している。列回路群５１の各々は、対応する列に配された垂直出力線Ｖｌｉｎｅの本数に対応する複数（図５の例では８個）の列回路５２を有している。別の言い方をすると、ＡＤ変換部５は、ｎ行ｍ列の画素アレイに対して、ｍ×８個の列回路５２を有している。

【0036】

第ｊ列の列回路群５１は、図５に示すように、列回路５２（ｊ，１），５２（ｊ，２），５２（ｊ，３），５２（ｊ，４），５２（ｊ，５），５２（ｊ，６），５２（ｊ，７），５２（ｊ，８）により構成されている。列回路５２（ｊ，１）は、垂直出力線Ｖｌｉｎｅ１（ｊ）に接続されている。列回路５２（ｊ，２）は、垂直出力線Ｖｌｉｎｅ２（ｊ）に接続されている。列回路５２（ｊ，３）は、垂直出力線Ｖｌｉｎｅ３（ｊ）に接続されている。列回路５２（ｊ，４）は、垂直出力線Ｖｌｉｎｅ４（ｊ）に接続されている。列回路５２（ｊ，５）は、垂直出力線Ｖｌｉｎｅ５（ｊ）に接続されている。列回路５２（ｊ，６）は、垂直出力線Ｖｌｉｎｅ６（ｊ）に接続されている。列回路５２（ｊ，７）は、垂直出力線Ｖｌｉｎｅ７（ｊ）に接続されている。列回路５２（ｊ，８）は、垂直出力線Ｖｌｉｎｅ８（ｊ）に接続されている。

【0037】

ＡＤ変換部５は、前述のように、処理回路１３と処理回路１４とに分割して配置されている。本実施形態では、ＡＤ変換部５を構成するｍ×８個の列回路５２のうち、半数は処理回路１３に配置され、残りの半数は処理回路１４に配置されている。そして、第１列から第（ｍ／２）列までの各列の垂直出力線Ｖｌｉｎｅは、処理回路１３に配された列回路５２に接続されている。また、第（ｍ／２＋１）列から第ｍ列までの各列の垂直出力線Ｖｌｉｎｅは、処理回路１４に配された列回路５２に接続されている。

【0038】

水平走査部６は、画素部４を構成する画素アレイの各列に配された垂直出力線Ｖｌｉｎｅ及び列回路５２の数に対応する複数（図５の例では８個）の水平走査回路６１を有している。同じ列の列回路群５１に属する列回路５２は、互いに異なる水平走査回路６１に接続されている。例えば、水平走査部６は、図５に示すように、水平走査回路６１（１），６１（２），６１（３），６１（４），６１（５），６１（６），６１（７），６１（８）により構成されている。第ｊ列の列回路（ｊ，１）は、水平走査回路６１（１）に接続されている。各列の列回路（ｊ，２）は、水平走査回路６１（２）に接続されている。各列の列回路（ｊ，３）は、水平走査回路６１（３）に接続されている。各列の列回路（ｊ，４）は、水平走査回路６１（４）に接続されている。各列の列回路（ｊ，５）は、水平走査回路６１（５）に接続されている。各列の列回路（ｊ，６）は、水平走査回路６１（６）に接続されている。各列の列回路（ｊ，７）は、水平走査回路６１（７）に接続されている。各列の列回路（ｊ，８）は、水平走査回路６１（８）に接続されている。

【0039】

水平走査部６は、前述のように、処理回路１３と処理回路１４とに分割して配置されている。処理回路１３に配された水平走査回路６１は、第１列から第（ｍ／２）列までの画素Ｐのデジタルデータを順次水平転送し、処理回路１３のデータ処理部７に出力する。処理回路１４に配された水平走査回路６１は、第（ｍ／２＋１）列から第ｍ列までの画素Ｐのデジタルデータを順次水平転送し、処理回路１４のデータ処理部７に出力する。

【0040】

次に、本実施形態による撮像装置１０における処理回路１３及び処理回路１４の構成例について、図６を用いてより詳細に説明する。

【0041】

処理回路１３は、ＡＤ変換部５Ｌと、水平走査部６Ｌと、データ処理部７Ｌと、出力部８Ｌと、により構成されている。また、処理回路１４は、ＡＤ変換部５Ｒと、水平走査部６Ｒと、データ処理部７Ｒと、出力部８Ｒと、により構成されている。ＡＤ変換部５Ｌ，５Ｒ及び水平走査部６Ｌ，６Ｒは、図４及び図５を用いて説明した通りである。

【0042】

データ処理部７Ｌは、入力データ格納部７１Ｌと、演算データ格納部７２Ｌと、演算データ入力部７３Ｌと、演算部７４Ｌと、により構成され得る。入力データ格納部７１Ｌ及び演算データ格納部７２Ｌの各々は、水平走査部６Ｌが有する水平走査回路６１Ｌの数に対応する複数のメモリを有する。例えば、入力データ格納部７１Ｌは、図６に示すように、８個のメモリ７１Ｌ１、７１Ｌ２，７１Ｌ３，７１Ｌ４，７１Ｌ５，７１Ｌ６，７１Ｌ７，７１Ｌ８を有する。また、演算データ格納部７２Ｌは、図６に示すように、８個のメモリ７２Ｌ１、７２Ｌ２，７２Ｌ３，７２Ｌ４，７２Ｌ５，７２Ｌ６，７２Ｌ７，７２Ｌ８を有する。

【0043】

同様に、データ処理部７Ｒは、入力データ格納部７１Ｒと、演算データ格納部７２Ｒと、演算データ入力部７３Ｒと、演算部７４Ｒと、により構成され得る。入力データ格納部７１Ｒ及び演算データ格納部７２Ｒの各々は、水平走査部６Ｒが有する水平走査回路６１Ｒの数に対応する複数のメモリを有する。例えば、入力データ格納部７１Ｒは、図６に示すように、８個のメモリ７１Ｒ１、７１Ｒ２，７１Ｒ３，７１Ｒ４，７１Ｒ５，７１Ｒ６，７１Ｒ７，７１Ｒ８を有する。また、演算データ格納部７２Ｒは、図６に示すように、８個のメモリ７２Ｒ１、７２Ｒ２，７２Ｒ３，７２Ｒ４，７２Ｒ５，７２Ｒ６，７２Ｒ７，７２Ｒ８を有する。

【0044】

水平走査部６Ｌの水平走査回路６１（１）～６１（８）は、入力データ格納部７１Ｌのメモリ７１Ｌ１～７１Ｌ８にそれぞれ接続されている。水平走査部６Ｒの水平走査回路６１（１）～６１（８）は、入力データ格納部７１Ｒのメモリ７１Ｒ１～７１Ｒ８にそれぞれ接続されている。

【0045】

入力データ格納部７１Ｌ，７１Ｒと演算データ格納部７２Ｌ，７２Ｒとは、データ交換回路９を介して接続されている。具体的には、入力データ格納部７１Ｌのメモリ７１Ｌ１～７１Ｌ４は、演算データ格納部７２Ｌのメモリ７２Ｌ１～７２Ｌ４に接続されている。入力データ格納部７１Ｌのメモリ７１Ｌ５～７１Ｌ８は、演算データ格納部７２Ｒのメモリ７２Ｒ１～７２Ｒ４に接続されている。入力データ格納部７１Ｒのメモリ７１Ｒ１～７１Ｒ４は、演算データ格納部７２Ｌのメモリ７２Ｌ５～７２Ｌ８に接続されている。入力データ格納部７１Ｒのメモリ７１Ｒ５～７１Ｒ８は、演算データ格納部７２Ｒのメモリ７２Ｒ５～７２Ｒ８に接続されている。データ交換回路９は、例えばバスにより構成され得る。この場合、例えば画素単位でシリアル転送することによりメモリ間のデータ転送が可能である。

【0046】

演算データ入力部７３Ｌは、演算部７４Ｌに接続されている。演算部７４Ｌは、出力部８Ｌに接続されている。同様に、演算データ入力部７３Ｒは、演算部７４Ｒに接続されている。演算部７４Ｒは、出力部８Ｒに接続されている。

【0047】

次に、処理回路１３，１４の動作について、図６を用いて説明する。
第１列から第（ｍ／２）列までの各列の垂直出力線Ｖｌｉｎｅ１から読み出された画素データは、水平走査部６Ｌの水平走査回路６１（１）によって順次転送され、入力データ格納部７１Ｌのメモリ７１Ｌ１に格納される。このデータを、データＤ１Ｌと呼ぶものとする。

【0048】

第１列から第（ｍ／２）列までの各列の垂直出力線Ｖｌｉｎｅ２から読み出された画素データは、水平走査部６Ｌの水平走査回路６１（２）によって順次転送され、入力データ格納部７１Ｌのメモリ７１Ｌ２に格納される。このデータを、データＤ２Ｌと呼ぶものとする。

【0049】

第１列から第（ｍ／２）列までの各列の垂直出力線Ｖｌｉｎｅ３から読み出された画素データは、水平走査部６Ｌの水平走査回路６１（３）によって順次転送され、入力データ格納部７１Ｌのメモリ７１Ｌ３に格納される。このデータを、データＤ３Ｌと呼ぶものとする。

【0050】

第１列から第（ｍ／２）列までの各列の垂直出力線Ｖｌｉｎｅ４から読み出された画素データは、水平走査部６Ｌの水平走査回路６１（４）によって順次転送され、入力データ格納部７１Ｌのメモリ７１Ｌ４に格納される。このデータを、データＤ４Ｌと呼ぶものとする。

【0051】

第１列から第（ｍ／２）列までの各列の垂直出力線Ｖｌｉｎｅ５から読み出された画素データは、水平走査部６Ｌの水平走査回路６１（５）によって順次転送され、入力データ格納部７１Ｌのメモリ７１Ｌ５に格納される。このデータを、データＤ５Ｌと呼ぶものとする。

【0052】

第１列から第（ｍ／２）列までの各列の垂直出力線Ｖｌｉｎｅ６から読み出された画素データは、水平走査部６Ｌの水平走査回路６１（６）によって順次転送され、入力データ格納部７１Ｌのメモリ７１Ｌ６に格納される。このデータを、データＤ６Ｌと呼ぶものとする。

【0053】

第１列から第（ｍ／２）列までの各列の垂直出力線Ｖｌｉｎｅ７から読み出された画素データは、水平走査部６Ｌの水平走査回路６１（７）によって順次転送され、入力データ格納部７１Ｌのメモリ７１Ｌ７に格納される。このデータを、データＤ７Ｌと呼ぶものとする。

【0054】

第１列から第（ｍ／２）列までの各列の垂直出力線Ｖｌｉｎｅ８から読み出された画素データは、水平走査部６Ｌの水平走査回路６１（８）によって順次転送され、入力データ格納部７１Ｌのメモリ７１Ｌ８に格納される。このデータを、データＤ８Ｌと呼ぶものとする。

【0055】

同様に、第（ｍ／２＋１）列から第ｍ列までの各列の垂直出力線Ｖｌｉｎｅ１から読み出された画素データは、水平走査部６Ｒの水平走査回路６１（１）によって順次転送され、入力データ格納部７１Ｒのメモリ７１Ｒ１に格納される。このデータを、データＤ１Ｒと呼ぶものとする。

【0056】

第（ｍ／２＋１）列から第ｍ列までの各列の垂直出力線Ｖｌｉｎｅ２から読み出された画素データは、水平走査部６Ｒの水平走査回路６１（２）によって順次転送され、入力データ格納部７１Ｒのメモリ７１Ｒ２に格納される。このデータを、データＤ２Ｒと呼ぶものとする。

【0057】

第（ｍ／２＋１）列から第ｍ列までの各列の垂直出力線Ｖｌｉｎｅ３から読み出された画素データは、水平走査部６Ｒの水平走査回路６１（３）によって順次転送され、入力データ格納部７１Ｒのメモリ７１Ｒ３に格納される。このデータを、データＤ３Ｒと呼ぶものとする。

【0058】

第（ｍ／２＋１）列から第ｍ列までの各列の垂直出力線Ｖｌｉｎｅ４から読み出された画素データは、水平走査部６Ｒの水平走査回路６１（４）によって順次転送され、入力データ格納部７１Ｒのメモリ７１Ｒ４に格納される。このデータを、データＤ４Ｒと呼ぶものとする。

【0059】

第（ｍ／２＋１）列から第ｍ列までの各列の垂直出力線Ｖｌｉｎｅ５から読み出された画素データは、水平走査部６Ｒの水平走査回路６１（５）によって順次転送され、入力データ格納部７１Ｒのメモリ７１Ｒ５に格納される。このデータを、データＤ５Ｒと呼ぶものとする。

【0060】

第（ｍ／２＋１）列から第ｍ列までの各列の垂直出力線Ｖｌｉｎｅ６から読み出された画素データは、水平走査部６Ｒの水平走査回路６１（６）によって順次転送され、入力データ格納部７１Ｒのメモリ７１Ｒ６に格納される。このデータを、データＤ６Ｒと呼ぶものとする。

【0061】

第（ｍ／２＋１）列から第ｍ列までの各列の垂直出力線Ｖｌｉｎｅ７から読み出された画素データは、水平走査部６Ｒの水平走査回路６１（７）によって順次転送され、入力データ格納部７１Ｒのメモリ７１Ｒ７に格納される。このデータを、データＤ７Ｒと呼ぶものとする。

【0062】

第（ｍ／２＋１）列から第ｍ列までの各列の垂直出力線Ｖｌｉｎｅ８から読み出された画素データは、水平走査部６Ｒの水平走査回路６１（８）によって順次転送され、入力データ格納部７１Ｒのメモリ７１Ｒ８に格納される。このデータを、データＤ８Ｒと呼ぶものとする。

【0063】

入力データ格納部７１Ｌに格納されたデータのうち、メモリ７１Ｌ１～７１Ｌ４に格納されたデータＤ１Ｌ～Ｄ４Ｌは、演算データ格納部７２Ｌのメモリ７２Ｌ１～７２Ｌ４にそれぞれ転送される。入力データ格納部７１Ｌに格納されたデータのうち、メモリ７１Ｌ５～７１Ｌ８に格納されたデータＤ５Ｌ～Ｄ８Ｌは、演算データ格納部７２Ｒのメモリ７２Ｒ１～７２Ｒ４にそれぞれ転送される。

【0064】

また、入力データ格納部７１Ｒに格納されたデータのうち、メモリ７１Ｒ１～７１Ｒ４に格納されたデータＤ１Ｒ～Ｄ４Ｒは、演算データ格納部７２Ｌのメモリ７２Ｌ５～７２Ｌ８にそれぞれ転送される。入力データ格納部７１Ｒに格納されたデータのうち、メモリ７１Ｒ５～７１Ｒ８に格納されたデータＤ５Ｒ～Ｄ８Ｒは、演算データ格納部７２Ｒのメモリ７２Ｒ５～７２Ｒ８にそれぞれ転送される。

【0065】

すなわち、本実施形態において、データＤ５Ｌ，Ｄ６Ｌ，Ｄ７Ｌ，Ｄ８Ｌは処理回路１３から処理回路１４に転送され、データＤ１Ｒ，Ｄ２Ｒ，Ｄ３Ｒ，Ｄ４Ｒは処理回路１４から処理回路１３に転送される。

【0066】

これにより、演算データ格納部７２Ｌには、垂直出力線Ｖｌｉｎｅ１，Ｖｌｉｎｅ２，Ｖｌｉｎｅ３，Ｖｌｉｎｅ４に対応する第１列から第ｍ列までの画素データ（データＤ１Ｌ，Ｄ２Ｌ，Ｄ３Ｌ，Ｄ４Ｌ，Ｄ１Ｒ，Ｄ２Ｒ，Ｄ３Ｒ，Ｄ４Ｒ）が格納される。また、演算データ格納部７２Ｒには、垂直出力線Ｖｌｉｎｅ５，Ｖｌｉｎｅ６，Ｖｌｉｎｅ７，Ｖｌｉｎｅ８に対応する第１列から第ｍ列までの画素データ（データＤ５Ｌ，Ｄ６Ｌ，Ｄ７Ｌ，Ｄ８Ｌ，Ｄ５Ｒ，Ｄ６Ｒ，Ｄ７Ｒ，Ｄ８Ｒ）が格納される。

【0067】

このようにして演算データ格納部７２Ｌに格納される、垂直出力線Ｖｌｉｎｅ１，Ｖｌｉｎｅ２，Ｖｌｉｎｅ３，Ｖｌｉｎｅ４に対応する画素データは、垂直方向に画素加算された画素データである。一方、このようにして演算データ格納部７２Ｒに格納される、垂直出力線Ｖｌｉｎｅ５，Ｖｌｉｎｅ６，Ｖｌｉｎｅ７，Ｖｌｉｎｅ８に対応する画素データは、垂直方向に間引きされた非加算の画素データである。つまり、演算データ格納部７２Ｌと演算データ格納部７２Ｒとに、互いに異なる２種類の画素読み出し方式に対応したデータを分離して格納することができる。

【0068】

演算データ格納部７２Ｌに格納されたデータは、演算データ入力部７３Ｌによって読み出された後、演算部７４Ｌで演算処理され、出力部８Ｌから出力される。同様に、演算データ格納部７２Ｒに格納されたデータは、演算データ入力部７３Ｒによって読み出された後、演算部７４Ｒで演算処理され、出力部８Ｒから出力される。演算部７４Ｌと演算部７４Ｒとは互いに独立しているため、それぞれにおいて異なる演算処理を同時に行うことができる。これにより、分割された総てのデータ処理部７Ｌ，７Ｒを使用し、異なる２種類の画素読み出し方式に対応したデータを分離して同時に出力することができる。

【0069】

このように、本実施形態によれば、回路規模を増大することなく画素データの効率的な処理を実現することができる。

【0070】

［第２実施形態］
本発明の第２実施形態による撮像装置について、図７を用いて説明する。図７は、本実施形態による撮像装置における処理回路の構成例を示すブロック図である。第１実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

【0071】

第１実施形態では、垂直加算及び非加算の２種類の画素読み出し方式に応じてデータを分割し、出力する場合を示した。本実施形態では、ベイヤ配列の画素配列をもつ撮像装置において、Ｒ／Ｇｒ行の画素データとＧｂ／Ｂ行との画素データとを分離して出力する例を説明する。なお、Ｒ／Ｇｒ行は、赤色のカラーフィルタを有する画素（Ｒ画素）と緑色のカラーフィルタを有する画素（Ｇ画素）とが交互に配置された行である。Ｇｂ／Ｂ行は、Ｇ画素と青色のカラーフィルタを有する画素（Ｂ画素）とが交互に配置された行である。Ｒ／Ｇｒ行とＧｂ／Ｂ行とは交互に配置されている。例えば、図１の画素配列において、画素Ｐ（１，１）はＲ画素であり、画素Ｐ（２，１）はＧ画素であり、画素Ｐ（１，２）はＧ画素であり、画素Ｐ（２，２）はＢ画素である。同じ列の隣り合う行の画素Ｐは、異なる色の画素である。

【0072】

本実施形態による撮像装置は、データ処理部７Ｌ，７Ｒの構成が異なるほかは第１実施形態による撮像装置１０と同様である。以下、第１実施形態による撮像装置とは異なる点を中心に、本実施形態による撮像装置について説明する。

【0073】

本実施形態による撮像装置におけるデータ処理部７Ｌは、第１実施形態と同様、入力データ格納部７１Ｌと、演算データ格納部７２Ｌと、演算データ入力部７３Ｌと、演算部７４Ｌと、により構成されている。また、本実施形態による撮像装置におけるデータ処理部７Ｒは、第１実施形態と同様、入力データ格納部７１Ｒと、演算データ格納部７２Ｒと、演算データ入力部７３Ｒと、演算部７４Ｒと、により構成されている。本実施形態のデータ処理部７Ｌ，７Ｒが第１実施形態と異なる点は、データ交換回路９における入力データ格納部７１Ｌ，７１Ｒと演算データ格納部７２Ｌ，７２Ｒの間の接続である。

【0074】

すなわち、本実施形態において、入力データ格納部７１Ｌのメモリ７１Ｌ１，７１Ｌ３，７１Ｌ５，７１Ｌ７は、演算データ格納部７２Ｌのメモリ７２Ｌ１，７２Ｌ３，７２Ｌ５，７２Ｌ７に接続されている。入力データ格納部７１Ｌのメモリ７１Ｌ２，７１Ｌ４，７１Ｌ６，７１Ｌ８は、演算データ格納部７２Ｒのメモリ７２Ｒ１，７２Ｒ３，７２Ｒ５，７２Ｒ７に接続されている。入力データ格納部７１Ｒのメモリ７１Ｒ１，７１Ｒ３，７１Ｒ５，７１Ｒ７は、演算データ格納部７２Ｌのメモリ７２Ｌ２，７２Ｌ４，７２Ｌ６，７２Ｌ８に接続されている。入力データ格納部７１Ｒのメモリ７１Ｒ２，７１Ｒ４，７１Ｒ６，７１Ｒ８は、演算データ格納部７２Ｒのメモリ７２Ｒ２，７２Ｒ４，７２Ｒ６，７２Ｒ８に接続されている。

【0075】

これにより、入力データ格納部７１Ｌのメモリ７１Ｌ１，７１Ｌ３，７１Ｌ５，７１Ｌ７に格納されたデータＤ１Ｌ，Ｄ３Ｌ，Ｄ５Ｌ，Ｄ７Ｌは、演算データ格納部７２Ｌのメモリ７２Ｌ１，７２Ｌ３，７２Ｌ５，７２Ｌ７にそれぞれ転送される。入力データ格納部７１Ｌのメモリ７１Ｌ２，７１Ｌ４，７１Ｌ６，７１Ｌ８に格納されたデータＤ２Ｌ，Ｄ４Ｌ，Ｄ６Ｌ，Ｄ８Ｌは、演算データ格納部７２Ｒのメモリ７２Ｒ１，７２Ｒ３，７２Ｒ５，７２Ｒ７にそれぞれ転送される。

【0076】

また、入力データ格納部７１Ｒのメモリ７１Ｒ１，７１Ｒ３，７１Ｒ５，７１Ｒ７に格納されたデータＤ１Ｒ，Ｄ３Ｒ，Ｄ５Ｒ，Ｄ７Ｒは、演算データ格納部７２Ｌのメモリ７２Ｌ２，７２Ｌ４，７２Ｌ６，７２Ｌ８にそれぞれ転送される。入力データ格納部７１Ｒのメモリ７１Ｒ２，７１Ｒ４，７１Ｒ６，７１Ｒ８に格納されたデータＤ２Ｒ，Ｄ４Ｒ，Ｄ６Ｒ，Ｄ８Ｒは、演算データ格納部７２Ｒのメモリ７２Ｒ２，７２Ｒ４，７２Ｒ６，７２Ｒ８にそれぞれ転送される。

【0077】

すなわち、本実施形態において、データＤ２Ｌ，Ｄ４Ｌ，Ｄ６Ｌ，Ｄ８Ｌは処理回路１３から処理回路１４に転送され、データＤ１Ｒ，Ｄ３Ｒ，Ｄ５Ｒ，Ｄ７Ｒは処理回路１４から処理回路１３に転送される。

【0078】

これにより、演算データ格納部７２Ｌには、垂直出力線Ｖｌｉｎｅ１，Ｖｌｉｎｅ３，Ｖｌｉｎｅ５，Ｖｌｉｎｅ７に対応する第１列から第ｍ列までの画素データ（データＤ１Ｌ，Ｄ３Ｌ，Ｄ５Ｌ，Ｄ７Ｌ，Ｄ１Ｒ，Ｄ３Ｒ，Ｄ５Ｒ，Ｄ７Ｒ）が格納される。また、演算データ格納部７２Ｒには、垂直出力線Ｖｌｉｎｅ２，Ｖｌｉｎｅ４，Ｖｌｉｎｅ６，Ｖｌｉｎｅ８に対応する第１列から第ｍ列までの画素データ（データＤ２Ｌ，Ｄ４Ｌ，Ｄ６Ｌ，Ｄ８Ｌ，Ｄ２Ｒ，Ｄ４Ｒ，Ｄ６Ｒ，Ｄ８Ｒ）が格納される。

【0079】

図４の画素配列において、Ｒ／Ｇｒ行は、例えば、（１２ｉ＋１）行、（１２ｉ＋３）行、（１２ｉ＋５）行、（１２ｉ＋７）行、（１２ｉ＋９）行、（１２ｉ＋１１）行である。また、Ｇｂ／Ｂ行は、例えば、（１２ｉ＋２）行、（１２ｉ＋４）行、（１２ｉ＋６）行、（１２ｉ＋８）行、（１２ｉ＋１０）行、（１２ｉ＋１２）行である。したがって、垂直出力線Ｖｌｉｎｅ１，Ｖｌｉｎｅ３，Ｖｌｉｎｅ５，Ｖｌｉｎｅ７に出力されるデータはＲ／Ｇｒ行のデータであり、垂直出力線Ｖｌｉｎｅ２，Ｖｌｉｎｅ４，Ｖｌｉｎｅ６，Ｖｌｉｎｅ８に出力されるデータはＧｂ／Ｂ行のデータである。

【0080】

このようにしてデータ処理部７を構成することにより、演算データ格納部７２ＬにはＲ／Ｇｒ行のデータを格納し、演算データ格納部７２ＲにはＧｂ／Ｂ行のデータを格納することができる。これにより、Ｒ／Ｇｒ行のデータとＧｂ／Ｂ行のデータとを分離して同時に出力することができる。

【0081】

演算データ格納部７２Ｌに格納されたデータは、演算データ入力部７３Ｌによって読み出された後、演算部７４Ｌで演算処理され、出力部８Ｌから出力される。同様に、演算データ格納部７２Ｒに格納されたデータは、演算データ入力部７３Ｒによって読み出された後、演算部７４Ｒで演算処理され、出力部８Ｒから出力される。演算部７４Ｌと演算部７４Ｒとは互いに独立しているため、それぞれにおいて異なる演算処理を同時に行うことができる。これにより、分割された総てのデータ処理部７Ｌ，７Ｒを使用し、異なる２種類の画素読み出し方式に対応したデータを分離して同時に出力することができる。

【0082】

このように、本実施形態によれば、回路規模を増大することなく画素データの効率的な処理を実現することができる。

【0083】

［第３実施形態］
本発明の第３実施形態による撮像装置について、図８乃至図１１を用いて説明する。図８は、本実施形態による撮像装置における画素の構成例を示す回路図である。図９は、本実施形態による撮像装置における画素の上面模式図である。図１０は、本実施形態による撮像装置における画素部と垂直走査部、ＡＤ変換部及び水平走査部の接続関係を示す図である。図１１は、本実施形態による撮像装置における処理回路の構成例を示すブロック図である。第１及び第２実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

【0084】

本実施形態では、像面位相差ＡＦ機能を備えた撮像装置において、画像生成用データと焦点検出用データとを分離して同時に出力する例を示す。

【0085】

本実施形態による撮像装置１０は、画素Ｐの回路構成が異なっていることを除き、概略構成は第１実施形態による撮像装置と同様である。以下、第１実施形態による撮像装置とは異なる点を中心に、本実施形態による撮像装置について説明する。

【0086】

本実施形態による撮像装置１０における画素Ｐの各々は、図８に示すように、光電変換部ＰＤＡ，ＰＤＢと、転送トランジスタＭ１Ａ，Ｍ１Ｂと、リセットトランジスタＭ２と、増幅トランジスタＭ３と、選択トランジスタＭ４と、により構成され得る。

【0087】

光電変換部ＰＤＡ，ＰＤＢは、例えばフォトダイオードやフォトゲートなどの光電変換素子により構成されうる。ここでは光電変換部ＰＤＡ，ＰＤＢがフォトダイオードにより構成されている場合を想定する。光電変換部ＰＤＡを構成するフォトダイオードは、アノードが接地ノードに接続され、カソードが転送トランジスタＭ１Ａのソースに接続されている。光電変換部ＰＤＢを構成するフォトダイオードは、アノードが接地ノードに接続され、カソードが転送トランジスタＭ１Ｂのソースに接続されている。転送トランジスタＭ１Ａのドレイン及び転送トランジスタＭ１Ｂのドレインは、リセットトランジスタＭ２のソース及び増幅トランジスタＭ３のゲートに接続されている。転送トランジスタＭ１Ａのドレインと、転送トランジスタＭ１Ｂのドレインと、リセットトランジスタＭ２のソースと、増幅トランジスタＭ３のゲートとの接続ノードは、浮遊拡散部ＦＤである。リセットトランジスタＭ２のドレイン及び増幅トランジスタＭ３のドレインは、電源電圧ノード（電圧ＶＣＣ）に接続されている。増幅トランジスタＭ３のソースは、選択トランジスタＭ４のドレインに接続されている。選択トランジスタＭ４のソースは、垂直出力線Ｖｌｉｎｅに接続されている。

【0088】

図８に示す画素構成の場合、画素部４の各行に配される制御線の各々は、転送トランジスタＭ１Ａのゲートに接続された転送ゲート信号線と、転送トランジスタＭ１Ｂのゲートに接続された転送ゲート信号線と、を含む。また、各行の制御線は、リセットトランジスタＭ２のゲートに接続されたリセット信号線と、選択トランジスタＭ４のゲートに接続された選択信号線と、を更に含む。

【0089】

第Ｎ行に配された画素Ｐには、垂直走査部３から、制御信号ＰＴＸＡ（Ｎ），ＰＴＸＢ（Ｎ），ＰＲＥＳ（Ｎ），ＰＳＥＬ（Ｎ）が供給される。制御信号ＰＴＸＡ（Ｎ）は、第Ｎ行の画素Ｐの転送トランジスタＭ１Ａのゲートに供給される制御信号である。制御信号ＰＴＸＢ（Ｎ）は、第Ｎ行の画素Ｐの転送トランジスタＭ１Ｂのゲートに供給される制御信号である。制御信号ＰＲＥＳ（Ｎ）は、第Ｎ行の画素ＰのリセットトランジスタＭ２のゲートに供給される制御信号である。制御信号ＰＳＥＬ（Ｎ）は、第Ｎ行の画素Ｐの選択トランジスタＭ４のゲートに供給される制御信号である。同一行の画素Ｐに対しては、共通の制御信号が垂直走査部３から供給される。

【0090】

各トランジスタがＮ型トランジスタで構成される場合、垂直走査部３からハイレベルの制御信号が供給されると対応するトランジスタが導通状態オンとなり、垂直走査部３からローレベルの制御信号が供給されると対応するトランジスタが非導通状態となる。ここで、ハイレベルが論理値「１」に対応し、ローレベルが論理値「０」に対応するものとする。なお、画素Ｐを構成する各トランジスタは、Ｎチャネルトランジスタにより構成され得るが、Ｐチャネルトランジスタにより構成されていてもよい。

【0091】

光電変換部ＰＤＡ，ＰＤＢは、入射光をその光量に応じた量の電荷に変換（光電変換）するとともに、生じた電荷を蓄積する。転送トランジスタＭ１Ａは、オン（導通状態）になることにより光電変換部ＰＤＡが保持する電荷を浮遊拡散部ＦＤに転送する。転送トランジスタＭ１Ｂは、オン（導通状態）になることにより光電変換部ＰＤＢが保持する電荷を浮遊拡散部ＦＤに転送する。浮遊拡散部ＦＤは容量成分を有しており、光電変換部ＰＤＡ，ＰＤＢから転送された電荷を保持するとともに、その容量による電荷電圧変換によって浮遊拡散部ＦＤの電位を電荷の量に応じた電位に設定する。増幅トランジスタＭ３は、ドレインに電源電圧ＶＣＣが供給され、ソースに垂直出力線Ｖｌｉｎｅ及び選択トランジスタＭ４を介して不図示の電流源からバイアス電流が供給される構成となっており、ゲートを入力ノードとするソースフォロワ回路を構成する。これにより増幅トランジスタＭ３は、浮遊拡散部ＦＤの電位に基づく信号を、選択トランジスタＭ４を介して垂直出力線Ｖｌｉｎｅに出力する。リセットトランジスタＭ２は、オン（導通状態）になることにより浮遊拡散部ＦＤを電源電圧に応じた電位にリセットする。また、リセットトランジスタＭ２と同時に転送トランジスタＭ１Ａ，Ｍ１Ｂをオン（導通状態）にすることで、光電変換部ＰＤＡ，ＰＤＢを電源電圧に応じた電位にリセットすることができる。選択トランジスタＭ４は、増幅トランジスタＭ３と垂直出力線Ｖｌｉｎｅとの接続の切り替えを行う。

【0092】

また、１つの画素Ｐを構成する光電変換部ＰＤＡと光電変換部ＰＤＢとは、例えば図９に示すように、１つのマイクロレンズＭＬを共有している。別の言い方をすると、光電変換部ＰＤＡと光電変換部ＰＤＢとは、撮像光学系に入射した光のうち互いに異なる瞳領域を通過した光を受光するように構成されている。このように構成することで、光電変換部ＰＤＡで生成された電荷に基づく信号と、光電変換部ＰＤＢで生成された電荷に基づく信号とを、焦点検出用の信号として利用することができる。

【0093】

本実施形態の画素Ｐでは、光電変換部ＰＤＡの電荷と光電変換部ＰＤＢの電荷とを個別に転送する。最初に、光電変換部ＰＤＡの電荷を転送トランジスタＭ１Ａによって浮遊拡散部ＦＤに転送し、画素Ｐから出力された信号をＡＤ変換部５でＡＤ変換する。次いで、光電変換部ＰＤＢの電荷を転送トランジスタＭ１Ｂによって浮遊拡散部ＦＤに転送し、画素Ｐから出力された信号をＡＤ変換部５でＡＤ変換する。つまり、本実施形態の撮像装置におけるデータ読み出しは、１回の露光に対して２種類のデータを得る構成である。

【0094】

画素部４を構成する画素アレイの各行には、図１０に示すように、制御信号ＰＲＥＳが供給される信号線と、制御信号ＰＴＸＡが供給される信号線と、制御信号ＰＴＸＢが供給される信号線と、制御信号ＰＳＥＬが供給される信号線と、が設けられている。これら信号線は、対応する行に配された複数の画素Ｐに接続されている。例えば、第ｉ行に配された信号線は、画素Ｐ（１，ｉ），…，Ｐ（ｊ，ｉ），Ｐ（ｊ＋１，ｉ），…，Ｐ（ｍ，ｉ）に接続されている。これら信号線の各々は、画素基板１１と信号処理基板１２との間の電気的接続部を介して、信号処理基板１２に設けられた垂直走査部３に接続されている。

【0095】

また、画素部４を構成する画素アレイの各列には、図１０に示すように、１本の垂直出力線Ｖｌｉｎｅが設けられている。例えば、第ｊ列には、垂直出力線Ｖｌｉｎｅ（ｊ）が設けられている。垂直出力線Ｖｌｉｎｅ（ｊ）には、第ｊ列に配された総ての画素Ｐが接続されている。各列の垂直出力線Ｖｌｉｎｅには、垂直走査部３から供給される制御信号ＰＲＥＳ，ＰＴＸＡ，ＰＴＸＢ，ＰＳＥＬに応じて、対応する列の画素Ｐから画素データが読み出される。垂直出力線Ｖｌｉｎｅの各々は、画素基板１１と信号処理基板１２との間の電気的接続部を介して、信号処理基板１２に設けられたＡＤ変換部５に接続されている。

【0096】

ＡＤ変換部５は、画素部４を構成するｎ行ｍ列の画素アレイの各列に対応する複数（ｍ個）の列回路５２を有している。各列の垂直出力線Ｖｌｉｎｅは、対応する列の列回路５２に接続されている。例えば、第ｊ列の垂直出力線Ｖｌｉｎｅ（ｊ）は、第ｊ列に対応する列回路５２（ｊ）に接続されている。水平走査部６は、水平走査回路６１を有している。各列の列回路５２は、水平走査回路６１に接続されている。水平走査回路６１は、データ処理部７に接続されている。

【0097】

ＡＤ変換部５、水平走査部６、データ処理部７及び出力部８の各々は、前述のように、処理回路１３と処理回路１４とに分割して配置されている。ＡＤ変換部５を構成するｍ×８個の列回路５２のうち、半数は処理回路１３に配置され、残りの半数は処理回路１４に配置されている。そして、第１列から第（ｍ／２）列までの各列の垂直出力線Ｖｌｉｎｅは、処理回路１３に配された列回路５２に接続されている。また、第（ｍ／２＋１）列から第ｍ列までの各列の垂直出力線Ｖｌｉｎｅは、処理回路１４に配された列回路５２に接続されている。処理回路１３に配された水平走査回路６１は、第１列から第（ｍ／２）列までの画素Ｐのデジタルデータを順次水平転送し、処理回路１３のデータ処理部７に出力する。処理回路１４に配された水平走査回路６１は、第（ｍ／２＋１）列から第ｍ列までの画素Ｐのデジタルデータを順次水平転送し、処理回路１４のデータ処理部７に出力する。

【0098】

本実施形態においては、１つの画素Ｐの１回の露光に対して２種類のデータを取得する。画素Ｐの読み出し動作では、最初に、光電変換部ＰＤＡの電荷を転送トランジスタＭ１Ａによって浮遊拡散部ＦＤに転送し、画素Ｐから出力された信号をＡＤ変換部５でＡＤ変換する。このように生成されたデジタルデータを、データＡと呼ぶものとする。次いで、光電変換部ＰＤＢの電荷を転送トランジスタＭ１Ｂによって浮遊拡散部ＦＤに転送し、画素Ｐから出力された信号をＡＤ変換部５でＡＤ変換する。このように生成されたデジタルデータを、データＢと呼ぶものとする。データＡは、所定の露光期間の間に光電変換部ＰＤＡで生じた電荷の量に応じた信号であり得る。データＢは、所定の露光期間の間に光電変換部ＰＤＡ及び光電変換部ＰＤＢで生じた電荷の量に応じた信号であり得る。

【0099】

次に、本実施形態による撮像装置における処理回路１３及び処理回路１４の構成例について、図１１を用いてより詳細に説明する。

【0100】

処理回路１３は、ＡＤ変換部５Ｌと、水平走査部６Ｌと、データ処理部７Ｌと、出力部８Ｌと、により構成されている。また、処理回路１４は、ＡＤ変換部５Ｒと、水平走査部６Ｒと、データ処理部７Ｒと、出力部８Ｒと、により構成されている。ＡＤ変換部５Ｌ，５Ｒ及び水平走査部６Ｌ，６Ｒは、図１０を用いて説明した通りである。

【0101】

データ処理部７Ｌは、入力データ格納部７１Ｌと、演算データ格納部７２Ｌと、演算データ入力部７３Ｌと、演算部７４Ｌと、により構成され得る。入力データ格納部７１Ｌ及び演算データ格納部７２Ｌの各々は、画素Ｐが出力するデータの種類（ここでは２種類）に応じた数のメモリを有する。例えば、入力データ格納部７１Ｌは、２個のメモリ７１Ｌ１，７１Ｌ２を有する。また、演算データ格納部７２Ｌは、２個のメモリ７２Ｌ１，７２Ｌ２を有する。

【0102】

同様に、データ処理部７Ｒは、入力データ格納部７１Ｒと、演算データ格納部７２Ｒと、演算データ入力部７３Ｒと、演算部７４Ｒと、により構成され得る。入力データ格納部７１Ｒ及び演算データ格納部７２Ｒの各々は、画素Ｐが出力するデータの種類（ここでは２種類）に応じた数のメモリを有する。例えば、入力データ格納部７１Ｒは、２個のメモリ７１Ｒ１，７１Ｒ２を有する。また、演算データ格納部７２Ｒは、２個のメモリ７２Ｒ１，７２Ｒ２を有する。

【0103】

水平走査部６Ｌの水平走査回路６１は、入力データ格納部７１Ｌのメモリ７１Ｌ１及びメモリ７１Ｌ２に接続されている。水平走査部６Ｒの水平走査回路６１は、入力データ格納部７１Ｒのメモリ７１Ｒ１及びメモリ７１Ｒ２に接続されている。

【0104】

入力データ格納部７１Ｌのメモリ７１Ｌ１は、演算データ格納部７２Ｌのメモリ７２Ｌ１に接続されている。入力データ格納部７１Ｌのメモリ７１Ｌ２は、演算データ格納部７２Ｒのメモリ７２Ｒ１に接続されている。入力データ格納部７１Ｒのメモリ７１Ｒ１は、演算データ格納部７２Ｌのメモリ７２Ｌ２に接続されている。入力データ格納部７１Ｒのメモリ７１Ｒ２は、演算データ格納部７２Ｒのメモリ７２Ｒ２に接続されている。

【0105】

演算データ入力部７３Ｌは、演算部７４Ｌに接続されている。演算部７４Ｌは、出力部８Ｌに接続されている。同様に、演算データ入力部７３Ｒは、演算部７４Ｒに接続されている。演算部７４Ｒは、出力部８Ｒに接続されている。

【0106】

次に、処理回路１３，１４の動作について、図１１を用いて説明する。
第１列から第（ｍ／２）列までの各列の垂直出力線Ｖｌｉｎｅから読み出されたデータＡは、水平走査部６Ｌの水平走査回路６１によって順次転送され、入力データ格納部７１Ｌのメモリ７１Ｌ１に格納される。このデータを、データＡＬと呼ぶものとする。

【0107】

第１列から第（ｍ／２）列までの各列の垂直出力線Ｖｌｉｎｅから読み出されたデータＢは、水平走査部６Ｌの水平走査回路６１によって順次転送され、入力データ格納部７１Ｌのメモリ７１Ｌ２に格納される。このデータを、データＢＬと呼ぶものとする。

【0108】

同様に、第（ｍ／２＋１）列から第ｍ列までの各列の垂直出力線Ｖｌｉｎｅから読み出されたデータＡは、水平走査部６Ｒの水平走査回路６１によって順次転送され、入力データ格納部７１Ｒのメモリ７１Ｒ１に格納される。このデータを、データＡＲと呼ぶものとする。

【0109】

第（ｍ／２＋１）列から第ｍ列までの各列の垂直出力線Ｖｌｉｎｅから読み出されたデータＢは、水平走査部６Ｒの水平走査回路６１によって順次転送され、入力データ格納部７１Ｒのメモリ７１Ｒ２に格納される。このデータを、データＢＲと呼ぶものとする。

【0110】

入力データ格納部７１Ｌに格納されたデータのうち、メモリ７１Ｌ１に格納されたデータＡＬは、演算データ格納部７２Ｌのメモリ７２Ｌ１に転送される。入力データ格納部７１Ｌに格納されたデータのうち、メモリ７１Ｌ２に格納されたデータＢＬは、演算データ格納部７２Ｒのメモリ７２Ｒ１に転送される。

【0111】

また、入力データ格納部７１Ｒに格納されたデータのうち、メモリ７１Ｒ１に格納されたデータＡＲは、演算データ格納部７２Ｌのメモリ７２Ｌ２に転送される。入力データ格納部７１Ｒに格納されたデータのうち、メモリ７１Ｒ２に格納されたデータＢＲは、演算データ格納部７２Ｒのメモリ７２Ｒ２に転送される。

【0112】

すなわち、本実施形態において、データＢＬは処理回路１３から処理回路１４に転送され、データＡＲは処理回路１４から処理回路１３に転送される。

【0113】

これにより、演算データ格納部７２Ｌには、第１列から第ｍ列までの画素Ｐから読み出されたデータＡ（データＡＬ，ＡＲ）が格納されることになる。また、演算データ格納部７２Ｒには、第１列から第ｍ列までの画素Ｐから読み出されたデータＢ（データＢＬ，ＢＲ）が格納されることになる。

【0114】

このようにして演算データ格納部７２Ｌに格納される画素データは、各列の画素Ｐから出力されたデータＡ（データＡＬ，ＡＲ）である。一方、このようにして演算データ格納部７２Ｒに格納される画素データは、各列の画素Ｐから出力されたデータＢ（データＢＬ，ＢＲ）である。つまり、演算データ格納部７２Ｌと演算データ格納部７２Ｒとに、互いに異なる２種類の画素データを分離して格納することができる。

【0115】

演算データ格納部７２Ｌに格納されたデータは、演算データ入力部７３Ｌによって読み出された後、演算部７４Ｌで演算処理され、出力部８Ｌから出力される。同様に、演算データ格納部７２Ｒに格納されたデータは、演算データ入力部７３Ｒによって読み出された後、演算部７４Ｒで演算処理され、出力部８Ｒから出力される。演算部７４Ｌと演算部７４Ｒとは互いに独立しているため、それぞれにおいて異なる演算処理を同時に行うことができる。これにより、異なる２種類の画素読み出し方式に対応したデータを分離して同時に出力することができる。

【0116】

このようにして出力部８Ｌから出力されるデータＢは、画像生成用データとして利用可能である。また、このようにして出力部８Ｌ，８Ｒから出力されるデータＡ及びデータＢは、焦点検出用データとして利用可能である。

【0117】

このように、本実施形態によれば、回路規模を増大することなく画素データの効率的な処理を実現することができる。

【0118】

［第４実施形態］
本発明の第４実施形態による撮像装置について、図１２乃至図１４を用いて説明する。第１乃至第３実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

【0119】

本実施形態では、信号処理基板１２上における各機能ブロックのレイアウト例を示す。図１２乃至図１４は、本実施形態による撮像装置の信号処理基板上における各機能ブロックのレイアウト例を示す平面図である。本実施形態において説明するレイアウト例は、第１乃至第３実施形態のいずれにも適用可能である。

【0120】

図１２は、処理回路１３内に制御部２Ｌ、ＡＤ変換部５Ｌ、水平走査部６Ｌ、データ処理部７Ｌ及び出力部８Ｌを配置し、処理回路１４内に制御部２Ｒ、ＡＤ変換部５Ｒ、水平走査部６Ｒ、データ処理部７Ｒ及び出力部８Ｒを配置した例である。制御部２Ｌ、ＡＤ変換部５Ｌ、水平走査部６Ｌ、データ処理部７Ｌ及び出力部８Ｌは、垂直走査部３Ｃと垂直走査部３Ｌとの間に、垂直方向に沿ってこの順番で配置されている。同様に、制御部２Ｒ、ＡＤ変換部５Ｒ、水平走査部６Ｒ、データ処理部７Ｒ及び出力部８Ｒは、垂直走査部３Ｃと垂直走査部３Ｒとの間に、列方向に沿ってこの順番で配置されている。

【0121】

このレイアウトにおいて、データ処理部７Ｌに格納されたデータ及びデータ処理部７Ｒに格納されたデータは、図１２に矢印で示すように、水平方向に転送が可能である。また、出力部８Ｌ，８Ｒから出力されるデータは、信号処理基板１２の水平方向に沿った１つの辺の側から出力することができる。

【0122】

図１３は、処理回路１３及び処理回路１４の各々に、制御部２Ｌ又は２Ｒ及びデータ処理部７Ｌ又は７Ｒを１つずつ、ＡＤ変換部５Ｌ又は５Ｒ、水平走査部６Ｌ又は６Ｒ及び出力部８Ｌ又は８Ｒを２つずつ配置した例である。ＡＤ変換部５Ｌと、水平走査部６Ｌと、制御部２Ｌ、データ処理部７Ｌ及び出力部８Ｌと、水平走査部６Ｌと、ＡＤ変換部５Ｌとは、垂直走査部３Ｃと垂直走査部３Ｌとの間に、垂直方向に沿ってこの順番で配置されている。また、出力部８Ｌと、制御部２Ｌ及びデータ処理部７Ｌと、出力部８Ｌとは、水平方向に沿ってこの順番で配置されている。同様に、ＡＤ変換部５Ｒと、水平走査部６Ｒと、制御部２Ｒ、データ処理部７Ｒ及び出力部８Ｒと、水平走査部６Ｒと、ＡＤ変換部５Ｒとは、垂直走査部３Ｃと垂直走査部３Ｒとの間に、垂直方向に沿ってこの順番で配置されている。また、出力部８Ｒと、制御部２Ｒ及びデータ処理部７Ｒと、出力部８Ｒとは、水平方向に沿ってこの順番で配置されている。

【0123】

このレイアウトは、処理回路１３及び処理回路１４の各々において、２つのＡＤ変換部５を物理的に離れた２箇所に配置し、ＡＤ変換したデータを各領域の中央部に配置されたデータ処理部７に集めるものである。また、データ処理部７Ｌに格納されたデータ及びデータ処理部７Ｒに格納されたデータは、図１３に矢印で示すように、水平方向に転送が可能である。また、出力部８Ｌ，８Ｒから出力されるデータは、信号処理基板１２の垂直方向に沿った２つの辺の側から出力することができる。

【0124】

図１４は、処理回路１３及び処理回路１４の各々に、制御部２Ｌ又は２Ｒを１つ、ＡＤ変換部５Ｌ又は５Ｒ、水平走査部６Ｌ又は６Ｒ、データ処理部７Ｌ又は７Ｒ及び出力部８Ｌ又は８Ｒを２つずつ配置した例である。出力部８Ｌ、データ処理部７Ｌ、水平走査部６Ｌ、ＡＤ変換部５Ｌ、制御部２Ｌ、ＡＤ変換部５Ｌ、水平走査部６Ｌ、データ処理部７Ｌ及び出力部８Ｌは、垂直走査部３Ｃと垂直走査部３Ｌとの間に、垂直方向に沿ってこの順番で配置されている。同様に、出力部８Ｒ、データ処理部７Ｒ、水平走査部６Ｒ、ＡＤ変換部５Ｒ、制御部２Ｒ、ＡＤ変換部５Ｒ、水平走査部６Ｒ、データ処理部７Ｒ及び出力部８Ｒは、垂直走査部３Ｃと垂直走査部３Ｒとの間に、垂直方向に沿ってこの順番で配置されている。

【0125】

このレイアウトにおいて、データ処理部７Ｌに格納されたデータ及びデータ処理部７Ｒに格納されたデータは、図１４に矢印で示すように、水平方向に転送が可能である。また、出力部８Ｌ，８Ｒから出力されるデータは、信号処理基板１２の水平方向に沿った２つの辺の側から出力することができる。

【0126】

［第５実施形態］
本発明の第５実施形態による撮像システムについて、図１５を用いて説明する。図１５は、本実施形態による撮像システムの概略構成を示すブロック図である。

【0127】

上記第１乃至第４実施形態で述べた撮像装置１０は、種々の撮像システムに適用可能である。適用可能な撮像システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。図１５には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。

【0128】

図１５に例示した撮像システム２００は、撮像装置２０１、被写体の光学像を撮像装置２０１に結像させるレンズ２０２、レンズ２０２を通過する光量を可変にするための絞り２０４、レンズ２０２の保護のためのバリア２０６を有する。レンズ２０２及び絞り２０４は、撮像装置２０１に光を集光する光学系である。撮像装置２０１は、第１乃至第４実施形態のいずれかで説明した撮像装置１０であって、レンズ２０２により結像された光学像を画像データに変換する。

【0129】

撮像システム２００は、また、撮像装置２０１より出力される出力信号の処理を行う信号処理部２０８を有する。信号処理部２０８は、撮像装置２０１が出力するデジタル信号から画像データの生成を行う。また、信号処理部２０８は必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。撮像装置２０１は、信号処理部２０８で処理されるデジタル信号を生成するＡＤ変換部を備えうる。ＡＤ変換部は、撮像装置２０１の光電変換部が形成された半導体層（半導体基板）に形成されていてもよいし、撮像装置２０１の光電変換部が形成された半導体層とは別の半導体基板に形成されていてもよい。また、信号処理部２０８が撮像装置２０１と同一の半導体基板に形成されていてもよい。

【0130】

撮像システム２００は、更に、画像データを一時的に記憶するためのメモリ部２１０、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）２１２を有する。更に撮像システム２００は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体２１４、記録媒体２１４に記録又は読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）２１６を有する。なお、記録媒体２１４は、撮像システム２００に内蔵されていてもよく、着脱可能であってもよい。

【0131】

更に撮像システム２００は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部２１８、撮像装置２０１と信号処理部２０８に各種タイミング信号を出力するタイミング発生部２２０を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム２００は少なくとも撮像装置２０１と、撮像装置２０１から出力された出力信号を処理する信号処理部２０８とを有すればよい。

【0132】

撮像装置２０１は、撮像信号を信号処理部２０８に出力する。信号処理部２０８は、撮像装置２０１から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部２０８は、撮像信号を用いて、画像を生成する。

【0133】

このように、本実施形態によれば、第１乃至第４実施形態による撮像装置１０を適用した撮像システムを実現することができる。

【0134】

［第６実施形態］
本発明の第６実施形態による撮像システム及び移動体について、図１６を用いて説明する。図１６は、本実施形態による撮像システム及び移動体の構成を示す図である。

【0135】

図１６（ａ）は、車載カメラに関する撮像システムの一例を示したものである。撮像システム３００は、撮像装置３１０を有する。撮像装置３１０は、上記第１乃至第４実施形態のいずれかに記載の撮像装置１０である。撮像システム３００は、撮像装置３１０により取得された複数の画像データに対し、画像処理を行う画像処理部３１２と、撮像システム３００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差取得部３１４を有する。また、撮像システム３００は、算出された視差に基づいて対象物までの距離を算出する距離取得部３１６と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部３１８と、を有する。ここで、視差取得部３１４や距離取得部３１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部３１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

【0136】

撮像システム３００は車両情報取得装置３２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム３００は、衝突判定部３１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ３３０が接続されている。また、撮像システム３００は、衝突判定部３１８での判定結果に基づいて、ドライバーへ警報を発する警報装置３４０とも接続されている。例えば、衝突判定部３１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ３３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置３４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

【0137】

本実施形態では、車両の周囲、例えば前方又は後方を撮像システム３００で撮像する。図１６（ｂ）に、車両前方（撮像範囲３５０）を撮像する場合の撮像システムを示した。車両情報取得装置３２０が、撮像システム３００ないしは撮像装置３１０に指示を送る。このような構成により、測距の精度をより向上させることができる。

【0138】

上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

【0139】

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

【0140】

また、上記実施形態では画素基板と信号処理基板とを積層してなる積層型の撮像装置への適用例を説明したが、本発明は、必ずしも積層型の撮像装置に限定されるものではなく、信号処理回路が複数の領域に分割された撮像装置に広く適用可能である。

【0141】

また、上記実施形態では、対応する列を異にする２つの領域に信号処理回路を分割し、これら領域間でデータを交換する例を示したが、信号処理回路を分割する態様はこれに限定されるものではない。例えば、対応する列を異にする３つの以上の領域に信号処理回路を分割し、これら領域間でデータを交換するように構成してもよい。また、水平方向の分割に加え、対応する行を異にする２つ以上の領域に信号処理回路を分割してもよい。

【0142】

また、上記第１乃至第４実施形態では、画像の取得を目的とした装置、すなわち撮像装置を例示したが、本発明の適用例は必ずしも撮像装置に限定されるものではない。例えば、上記第６実施形態で説明したような測距を主たる目的とする装置に適用する場合にあっては、必ずしも画像を出力する必要はない。このような場合、当該装置は、光情報を所定の電気信号に変換する光電変換装置と言うことができる。撮像装置は、光電変換装置の１つである。

【0143】

また、上記第５及び第６実施形態に示した撮像システムは、本発明の光電変換装置を適用しうる撮像システム例を示したものであり、本発明の光電変換装置を適用可能な撮像システムは図１５及び図１６に示した構成に限定されるものではない。

【0144】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0145】

なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0146】

１…処理装置
２…制御部
３，３Ｌ，３Ｃ，３Ｒ…垂直走査部
４…画素部
５，５Ｌ，５Ｒ…ＡＤ変換部
６，６Ｌ，６Ｒ…水平走査部
７，７Ｌ，７Ｒ…データ処理部
８，８Ｌ，８Ｒ…出力部
１０…撮像装置
１１…画素基板
１２…信号処理基板
１３，１４…処理回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】