特許 7587380 光電変換装置、光電変換システム及び移動体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-12

(45)【発行日】2024-11-20

(54)【発明の名称】光電変換装置、光電変換システム及び移動体

(51)【国際特許分類】

   H04N 25/40 20230101AFI20241113BHJP

   H04N 25/76 20230101ALI20241113BHJP

   H04N 25/779 20230101ALI20241113BHJP

【ＦＩ】

H04N25/40

H04N25/76

H04N25/779

【請求項の数】 17

(21)【出願番号】P 2020157865

(22)【出願日】2020-09-18

(65)【公開番号】P2022051408

(43)【公開日】2022-03-31

【審査請求日】2023-09-11

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100094112

【弁理士】

【氏名又は名称】岡部 讓

(74)【代理人】

【識別番号】100101498

【弁理士】

【氏名又は名称】越智 隆夫

(74)【代理人】

【識別番号】100106183

【弁理士】

【氏名又は名称】吉澤 弘司

(74)【代理人】

【識別番号】100136799

【弁理士】

【氏名又は名称】本田 亜希

(72)【発明者】

【氏名】識名 紀之

(72)【発明者】

【氏名】鴫谷 美子

【審査官】彦田 克文

(56)【参考文献】

【文献】特開２００４－１４０４７９（ＪＰ，Ａ）

【文献】特開２００８－０３５４２５（ＪＰ，Ａ）

【文献】特開２０１７－１０３５３７（ＪＰ，Ａ）

【文献】特開２０１８－０３２９７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／４０

Ｈ０４Ｎ ２５／７７９

Ｈ０４Ｎ ２５／７６

(57)【特許請求の範囲】

【請求項1】

複数の行をなすように配された複数の画素と、
前記複数の画素から行ごとに順次信号を出力させるための第１走査及び第２走査を行う走査部と、
外部からの入力に応じて、前記第１走査における複数行の画素の読み出し動作の設定を示す第１設定値を記憶する第１記憶部と、
外部からの入力に応じて、前記第２走査における複数行の画素の読み出し動作の設定を示す第２設定値を記憶する第２記憶部と、
を有し、
前記走査部は、前記第１設定値に基づく前記第１走査と、前記第２設定値に基づく前記第２走査とを１フレーム期間に行い、
前記第１記憶部による前記第１設定値の記憶と、前記第２記憶部による前記第２設定値の記憶がともに、前記第１走査の開始及び前記第２走査の開始に先立って行われる
ことを特徴とする光電変換装置。

【請求項2】

第３記憶部及び第４記憶部を更に有し、
前記第３記憶部は、外部から入力される前記第１設定値を記憶して、前記第１記憶部に出力し、
前記第４記憶部は、外部から入力される前記第２設定値を記憶して、前記第２記憶部に出力する
ことを特徴とする請求項１に記載の光電変換装置。

【請求項3】

前記第３記憶部に前記第１設定値が入力される時刻は、前記１フレーム期間が開始する時刻よりも前である
ことを特徴とする請求項２に記載の光電変換装置。

【請求項4】

前記第４記憶部に前記第２設定値が入力される時刻は、前記１フレーム期間が開始する時刻よりも前である
ことを特徴とする請求項２又は３に記載の光電変換装置。

【請求項5】

前記第３記憶部から前記第１記憶部に前記第１設定値が出力される時刻は、前記１フレーム期間が開始される時刻である
ことを特徴とする請求項２乃至４のいずれか１項に記載の光電変換装置。

【請求項6】

前記第４記憶部から前記第２記憶部に前記第２設定値が出力される時刻は、前記１フレーム期間が開始される時刻である
ことを特徴とする請求項２乃至５のいずれか１項に記載の光電変換装置。

【請求項7】

前記第１記憶部に記憶されている前記第１設定値と、前記第２記憶部に記憶されている前記第２設定値との一方を選択的に有効化する選択部を更に有する
ことを特徴とする請求項１乃至６のいずれか１項に記載の光電変換装置。

【請求項8】

前記選択部が前記第２設定値を有効化する時刻は、前記１フレーム期間が開始される時刻よりも後である
ことを特徴とする請求項７に記載の光電変換装置。

【請求項9】

前記走査部は、前記第２走査を１フレーム期間にＮ回（Ｎは２以上の整数）行う
ことを特徴とする請求項１乃至８のいずれか１項に記載の光電変換装置。

【請求項10】

Ｎ回の前記第２走査の設定を示すＮ個の第２設定値をそれぞれ記憶するＮ個の前記第２記憶部を有する
ことを特徴とする請求項９の記載の光電変換装置。

【請求項11】

Ｎ個の前記第２記憶部に対応して設けられたＮ個の第４記憶部を更に有し、
Ｎ個の前記第４記憶部の各々は、外部から入力される前記第２設定値を記憶して、対応する前記第２記憶部に出力する
ことを特徴とする請求項１０に記載の光電変換装置。

【請求項12】

前記第１記憶部に記憶されている前記第１設定値と、Ｎ個の前記第２記憶部にそれぞれ記憶されているＮ個の前記第２設定値とのうちの１つを選択的に有効化する選択部を更に有する
ことを特徴とする請求項１０又は１１に記載の光電変換装置。

【請求項13】

前記選択部は、前記Ｎ回の前記第２走査に対応して、前記Ｎ個の前記第２設定値を順次有効化する
ことを特徴とする請求項１２に記載の光電変換装置。

【請求項14】

前記第１走査によって前記複数の行のうちの第１行の画素から信号が出力されている期間に、前記第２走査によって前記複数の行のうちの前記第１行とは異なる第２行の画素から信号が出力される
ことを特徴とする請求項１乃至１３のいずれか１項に記載の光電変換装置。

【請求項15】

前記第１走査の開始から終了までの期間の長さは、前記第２走査の開始から終了までの期間の長さと異なる
ことを特徴とする請求項１乃至１４のいずれか１項に記載の光電変換装置。

【請求項16】

請求項１乃至１５のいずれか１項に記載の光電変換装置と、
前記光電変換装置から出力される信号を処理する信号処理部と、
を有することを特徴とする光電変換システム。

【請求項17】

移動体であって、
請求項１乃至１５のいずれか１項に記載の光電変換装置と、
前記光電変換装置からの信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
前記距離情報に基づいて前記移動体を制御する制御手段と、
を有することを特徴とする移動体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光電変換装置、光電変換システム及び移動体に関する。

【背景技術】

【0002】

特許文献１には、２次元画素アレイをローリングシャッタにより画素行単位で走査するＣＭＯＳイメージセンサが開示されている。また、特許文献１には、一実施形態として、ＡＦ制御に用いる測距用信号の読み出し動作を、撮像用画像の読み出し動作のブランク期間に行う例も開示されている。この例では、撮像動作中にＡＦ制御を行うことができる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００４－１４０４７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示されているような１フレーム期間に複数の走査を行う複雑な走査手法においては、走査の設定に関する情報の通信が複雑化し、通信時間を十分に確保することが難しい場合がある。

【0005】

そこで、本発明は、１フレーム期間に複数の走査を行う構成において、より簡便な制御を実現し得る光電変換装置、光電変換システム及び移動体を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一観点によれば、複数の行をなすように配された複数の画素と、前記複数の画素から行ごとに順次信号を出力させるための第１走査及び第２走査を行う走査部と、外部からの入力に応じて、前記第１走査における複数行の画素の読み出し動作の設定を示す第１設定値を記憶する第１記憶部と、外部からの入力に応じて、前記第２走査における複数行の画素の読み出し動作の設定を示す第２設定値を記憶する第２記憶部と、を有し、前記走査部は、前記第１設定値に基づく前記第１走査と、前記第２設定値に基づく前記第２走査とを１フレーム期間に行い、前記第１記憶部による前記第１設定値の記憶と、前記第２記憶部による前記第２設定値の記憶がともに、前記第１走査の開始及び前記第２走査の開始に先立って行われることを特徴とする光電変換装置が提供される。

【発明の効果】

【0007】

本発明によれば、１フレーム期間に複数の走査を行う構成において、より簡便な制御を実現し得る光電変換装置、光電変換システム及び移動体を提供することができる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る光電変換装置の構成例を示すブロック図である。

【図2】第１実施形態に係る画素の構成例を示す等価回路図である。

【図3】第１実施形態に係る記憶部群の構成例を示すブロック図である。

【図4】第１実施形態に係る１行の画素の駆動方法を示すタイミングチャートである。

【図5】第１実施形態に係る画素部の駆動方法を示すタイミングチャートである。

【図6】第２実施形態に係る記憶部群の構成例を示すブロック図である。

【図7】第２実施形態に係る画素部の駆動方法を示すタイミングチャートである。

【図8】第３実施形態に係る撮像システムの概略構成を示すブロック図である。

【図9】第４実施形態に係る撮像システム及び移動体の構成例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しつつ、本発明の実施形態を説明する。複数の図面にわたって同一の要素又は対応する要素には共通の符号が付されており、その説明は省略又は簡略化されることがある。

【0010】

［第１実施形態］
図１は、本実施形態に係る光電変換装置１の構成例を示すブロック図である。光電変換装置１は、通信部１１、記憶部群１２、制御部１３、垂直走査部１４、画素部１５、列回路１６、水平走査部１７、データ処理部１８及び信号出力部１９を有している。本実施形態においては、本発明が適用され得る光電変換装置１の一種である固体撮像装置の例を説明するが、これに限定されるものではない。本発明が適用され得る光電変換装置としては、固体撮像装置、焦点検出装置、測距装置、ＴＯＦ（Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）カメラ等が例示され得る。

【0011】

画素部１５には、複数の行及び複数の列に渡って配された複数の画素Ｐが配されている。図１には、ｎ行×ｍ列の２次元状に配された画素Ｐ（１，１）から画素Ｐ（ｎ，ｍ）が示されている。ここで、画素Ｐ（Ｘ，Ｙ）の表記においては、Ｘが行番号を表しており、Ｙが列番号を表している。先頭行の行番号は１行目であり、先頭列の列番号は１列目であるものとする。なお、本明細書では、画素部１５内の特定の位置に配された画素Ｐを示すときは「画素Ｐ（ｎ，ｍ）」のように行番号及び列番号とともに表記し、画素部１５内の位置を特定しない場合には単に「画素Ｐ」と表記するものとする。

【0012】

垂直走査部１４（走査部）は、行ごとに設けられた制御線を介して画素Ｐに接続されている。垂直走査部１４は、画素Ｐ内の読み出し回路を駆動するための制御信号を、制御線を介して画素Ｐに供給する回路部である。垂直走査部１４は、制御部１３からの信号を受けて動作し、画素部１５の画素Ｐから順次信号を出力させるための垂直走査を行う。垂直走査はシャッタ動作と読み出し動作とを含む。この垂直走査におけるシャッタ動作とは、画素部１５の一部又は全部の行の画素Ｐに対して、光電変換素子のリセット及びリセットの解除を行単位で順次行い、露光（電荷の蓄積）を開始させる動作をいう。この垂直走査における読み出し動作とは、画素部１５の一部又は全部の行の画素Ｐに対して、光電変換素子に蓄積された電荷に基づく画素信号を行単位で順次出力させる動作をいう。

【0013】

列回路１６は、増幅回路、アナログ・デジタル変換（ＡＤ変換）回路、メモリ等を備える。列回路１６は、画素Ｐから各列に対応して配された出力線を介して出力される画素信号を増幅し、ＡＤ変換を行い、デジタル画素信号としてメモリに保持する。

【0014】

水平走査部１７は、制御部１３からの信号を受けて動作し、列回路１６の各列のメモリに順次、制御信号を出力する。水平走査部１７から制御信号を受信した列回路１６は、対応する列のメモリに保持されたデジタル画素信号をデータ処理部１８へと出力する。

【0015】

データ処理部１８は、所定のデジタル信号処理、パラレル・シリアル変換等を行うデジタル回路である。処理後のデータは信号出力部１９へと出力される。信号出力部１９は、ＬＶＤＳ（Low Voltage Differential Signaling）回路等の外部インターフェース等を備える。信号出力部１９は、取得されたデジタル画素信号をシリアルデータとして光電変換装置１の外部に出力する。

【0016】

制御部１３は、垂直走査部１４、列回路１６、水平走査部１７等に、これらが実行する動作及び動作タイミングを制御する制御信号を供給するための回路部である。

【0017】

ＣＰＵ２は、光電変換装置１の動作を制御する演算処理回路である。ＣＰＵ２は、例えば、光電変換装置１が搭載される光電変換システム内、すなわち光電変換装置１の外部に設けられ得る。ＣＰＵ２は、制御部１３に同期信号を送信する。また、ＣＰＵ２は、通信部１１に走査のタイミング等の設定を示す設定値を送信する。通信部１１により受信された設定値は、記憶部群１２に記憶され、その後、制御部１３に供給される。

【0018】

図２は、本実施形態に係る画素Ｐの構成例を示す等価回路図である。画素Ｐは、光電変換部１５１ａ、１５１ｂ、転送トランジスタ１５２ａ、１５２ｂ、リセットトランジスタ１５３、増幅トランジスタ１５４及び選択トランジスタ１５５を含む。また、１つの画素Ｐには１つのマイクロレンズが対応して設けられている。言い換えると、２つの、光電変換部１５１ａ、１５１ｂは１つのマイクロレンズを共有している。これにより、光電変換部１５１ａ、１５１ｂは、光学系の異なる射出瞳を通過した光を受けるように配されている。なお、図２には一例として、複数の画素Ｐのうちのｋ列目に配された１つの画素Ｐを示しているが、他の画素Ｐも同様である。なお、図２に示されている制御信号の名称の括弧内の「ｋ」は行番号を示している。すなわち、ｋは、１以上ｎ以下の整数である。

【0019】

光電変換部１５１ａ、１５１ｂは、光電変換素子であり、例えばフォトダイオードである。光電変換部１５１ａ、１５１ｂを構成するフォトダイオードのアノードは、接地ノードに接続されている。光電変換部１５１ａ、１５１ｂを構成するフォトダイオードのカソードは、転送トランジスタ１５２ａ、１５２ｂのソースにそれぞれ接続されている。転送トランジスタ１５２ａ、１５２ｂのドレインは、リセットトランジスタ１５３のソース及び増幅トランジスタ１５４のゲートに接続されている。転送トランジスタ１５２ａ、１５２ｂのドレイン、リセットトランジスタ１５３のソース及び増幅トランジスタ１５４のゲートの接続ノードは、いわゆるフローティングディフュージョンＦＤである。フローティングディフュージョンＦＤは、容量成分を含み、電荷保持部として機能するとともに、この容量成分からなる電荷電圧変換部を構成する。リセットトランジスタ１５３のドレイン及び増幅トランジスタ１５４のドレインは、電源ノード（電圧ＶＤＤ）に接続されている。増幅トランジスタ１５４のソースは、選択トランジスタ１５５のドレインに接続されている。選択トランジスタ１５５のソースは、出力線１５６に接続されている。出力線１５６には、図示しない電流源が接続されている。なお、トランジスタのソースとドレインの呼称は、トランジスタの導電型又は着目する機能等に応じて異なることがあり、上述のソースとドレインとは逆の名称で呼ばれることもある。

【0020】

図２に示す回路構成の場合、各行の制御線は、２つの転送ゲート信号線と、リセット信号線と、選択信号線とを含む。２つの転送ゲート信号線は、対応する行に属する画素Ｐの転送トランジスタ１５２ａ、１５２ｂのゲートに接続されており、垂直走査部１４から供給される制御信号ＰＴＸＡ、ＰＴＸＢを転送トランジスタ１５２ａ、１５２ｂのゲートに供給する。例えば、ｋ行目の画素Ｐには、ｋ行目の２つの転送ゲート信号線を介して制御信号ＰＴＸＡ（ｋ）、ＰＴＸＢ（ｋ）が供給される。

【0021】

リセット信号線は、対応する行に属する画素Ｐのリセットトランジスタ１５３のゲートに接続されており、垂直走査部１４から供給される制御信号ＰＲＥＳをリセットトランジスタ１５３のゲートに供給する。例えば、ｋ行目の画素Ｐには、ｋ行目のリセット信号線を介して制御信号ＰＲＥＳ（ｋ）が供給される。

【0022】

選択信号線は、対応する行に属する画素Ｐの選択トランジスタ１５５のゲートに接続されており、垂直走査部１４から供給される制御信号ＰＳＥＬを選択トランジスタ１５５のゲートに供給する。例えば、ｋ行目の画素Ｐには、ｋ行目の選択信号線を介して制御信号ＰＳＥＬ（ｋ）が供給される。

【0023】

画素Ｐの各トランジスタがＮチャネルトランジスタで構成される場合、垂直走査部１４からハイレベルの制御信号が供給されると対応するトランジスタがオンとなり、垂直走査部１４からローレベルの制御信号が供給されると対応するトランジスタがオフとなる。ここでは、ハイレベルが論理値「１」に対応し、ローレベルが論理値「０」に対応するものとする。なお、画素Ｐの各トランジスタは、Ｐチャネルトランジスタで構成してもよい。画素Ｐの各トランジスタをＰチャネルトランジスタで構成する場合、各トランジスタを駆動する制御信号の信号レベルはＮチャネルトランジスタの場合とは逆になる。

【0024】

被写体の光学像が画素部１５に入射すると、各画素Ｐの光電変換部１５１ａ、１５１ｂは、入射光をその光量に応じた量の電荷に変換（光電変換）するとともに、生じた電荷を蓄積する。転送トランジスタ１５２ａ、１５２ｂは、オンになることで光電変換部１５１ａ、１５１ｂにそれぞれ蓄積された電荷をフローティングディフュージョンＦＤに転送する。

【0025】

フローティングディフュージョンＦＤは、光電変換部１５１ａ、１５１ｂから転送された電荷を保持するとともに、その容量成分による電荷電圧変換によって、光電変換部１５１ａ、１５１ｂから転送された電荷の量に応じた電圧となる。増幅トランジスタ１５４は、ドレインに電圧ＶＤＤが供給され、ソースに選択トランジスタ１５５を介してバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部（ソースフォロワ回路）を構成する。これにより増幅トランジスタ１５４は、フローティングディフュージョンＦＤの電圧に基づく画素信号を、選択トランジスタ１５５を介して出力線１５６に出力する。

【0026】

リセットトランジスタ１５３は、オンになることでフローティングディフュージョンＦＤを電圧ＶＤＤに応じた電圧にリセットする。また、リセットトランジスタ１５３と転送トランジスタ１５２ａ、１５２ｂとが同時にオンになることで、光電変換部１５１ａ、１５１ｂを電圧ＶＤＤに応じた電圧にリセットすることができる。

【0027】

図３は、本実施形態に係る記憶部群１２の構成例を示すブロック図である。記憶部群１２は、記憶部Ｍ１（第３記憶部）、記憶部Ｍ２（第１記憶部）、記憶部Ｓ１（第４記憶部）、記憶部Ｓ２（第２記憶部）及び選択部ＳＬを有している。記憶部Ｍ１、Ｍ２、Ｓ１、Ｓ２は、走査に関する設定値を含む情報を記憶する記憶素子である。選択部ＳＬは、入力された選択フラグに応じて複数の入力信号のうちの１つを選択して出力する選択回路である。

【0028】

ＣＰＵ２からの出力信号に応じて、通信部１１は、これらの記憶部Ｍ１、Ｓ１におけるデータ入出力を制御する制御信号と、走査のタイミング等の設定を示す設定値に関するデータ（データＩＮ）とを記憶部Ｍ１、Ｓ１に出力する。記憶部Ｍ１、Ｓ１は、それぞれ、１フレーム期間内に行われる別の走査の設定値を記憶することができる。ここで、記憶部Ｍ１が記憶する設定値をデータＭ１と呼び、記憶部Ｓ１が記憶する設定値をデータＳ１と呼ぶ。

【0029】

記憶部Ｍ１は、データＭ１を記憶部Ｍ２に出力し、記憶部Ｓ１は、データＳ１を記憶部Ｓ２に出力する。記憶部Ｍ２は、制御部１３から入力される更新フラグに基づくタイミングで、記憶部Ｍ１から入力されるデータＭ１を記憶することにより、記憶部Ｍ２が記憶している設定値を更新する。記憶部Ｓ２は、制御部１３から入力される更新フラグに基づくタイミングで、記憶部Ｓ１から入力されるデータＳ１を記憶することにより、記憶部Ｓ２が記憶している設定値を更新する。ここで、記憶部Ｍ２が記憶する設定値をデータＭ２と呼び、記憶部Ｓ２が記憶する設定値をデータＳ２と呼ぶ。

【0030】

記憶部Ｍ２、Ｓ２は、データＭ２、Ｓ２をそれぞれ選択部ＳＬに出力する。選択部ＳＬは、制御部１３から入力される選択フラグに基づいて、データＭ２とデータＳ２の一方を選択的に有効化する。選択部ＳＬは、選択されたデータをデータＯＵＴとして制御部１３に出力する。

【0031】

図４（ａ）は、第１実施形態に係る１行の画素Ｐの駆動方法の一例を示すタイミングチャートである。図４（ｂ）は、第１実施形態に係る１行の画素Ｐの駆動方法の別の例を示すタイミングチャートである。図４（ａ）及び図４（ｂ）は、画素部１５の各行におけるシャッタ動作及び読み出し動作の概略を示している。なお、図４（ａ）及び図４（ｂ）には、ｋ行目の画素Ｐに関する制御信号のみを例示している。

【0032】

まず、図４（ａ）を参照して、駆動方法の第１の例を説明する。本例は、一方の光電変換部１５１ａで生成された電荷のみに基づく画素信号（Ａ像）と、光電変換部１５１ａ及び光電変換部１５１ｂの両方で生成された電荷に基づく画素信号（Ａ＋Ｂ像）との読み出しを連続して行う駆動方法である。

【0033】

シャッタ動作では、制御信号ＰＲＥＳ（ｋ）、ＰＴＸＡ（ｋ）、ＰＴＸＢ（ｋ）をハイレベルに制御し、転送トランジスタ１５２ａ、１５２ｂ及びリセットトランジスタ１５３を同時にオン状態にする。これにより、光電変換部１５１ａ、１５１ｂを転送トランジスタ１５２ａ、１５２ｂ及びリセットトランジスタ１５３を介して電源ノードに接続し、光電変換部１５１ａ、１５１ｂを電圧ＶＤＤに応じた電位にリセットする。この後に、制御信号ＰＴＸＡ（ｋ）、ＰＴＸＢ（ｋ）をローレベルに制御して光電変換部１５１ａ、１５１ｂのリセットを解除するタイミングが、光電変換部１５１ａ、１５１ｂにおける電荷の蓄積期間の開始時刻となる。

【0034】

Ａ像の読み出し動作では、制御信号ＰＲＥＳ（ｋ）をローレベルに、制御信号ＰＳＥＬ（ｋ）、ＰＴＸＡ（ｋ）をハイレベルに制御し、リセットトランジスタ１５３がオフの状態で、転送トランジスタ１５２ａと選択トランジスタ１５５を同時にオン状態にする。これにより、光電変換部１５１ａに蓄積されている電荷がフローティングディフュージョンＦＤへと転送される。増幅トランジスタ１５４は、フローティングディフュージョンＦＤの電位に応じたＡ像の画素信号を、選択トランジスタ１５５を介して出力線１５６に出力する。このようにして、光電変換部１５１ａで生成された電荷に基づくＡ像の読み出しが行われる。

【0035】

Ａ像の読み出し動作に続いて、Ａ＋Ｂ像の読み出し動作が行われる。Ａ＋Ｂ像の読み出し動作では、制御信号ＰＲＥＳ（ｋ）をローレベルに、制御信号ＰＳＥＬ（ｋ）、ＰＴＸＡ（ｋ）、ＰＴＸＢ（ｋ）をハイレベルに制御する。このとき、リセットトランジスタ１５３がオフの状態で、転送トランジスタ１５２ａ、１５２ｂ及び選択トランジスタ１５５が同時にオン状態になる。これにより、光電変換部１５１ａに蓄積されている電荷と光電変換部１５１ｂに蓄積されている電荷とがフローティングディフュージョンＦＤへと転送される。増幅トランジスタ１５４は、フローティングディフュージョンＦＤの電位に応じたＡ＋Ｂ像の画素信号を、選択トランジスタ１５５を介して出力線１５６に出力する。このようにして、光電変換部１５１ａ、１５１ｂで生成された電荷に基づくＡ＋Ｂ像の読み出しが行われる。

【0036】

Ａ＋Ｂ像の画素信号からＡ像の画素信号を減算することにより、光電変換部１５１ｂで生成された電荷に基づく画素信号（Ｂ像）を得ることができる。このようにして得られたＡ像の画素信号及びＢ像の画素信号は、焦点検出等の測距の用途に用いられ得る。焦点検出の結果は、撮像システムの合焦動作等に利用可能である。また、Ａ＋Ｂ像の画素信号は画像の生成に用いられ得る。このように本例では、測距用の画素信号と画像用の画素信号を取得することができる。

【0037】

次に、図４（ｂ）を参照して、駆動方法の第２の例を説明する。本例は、光電変換部１５１ａ及び光電変換部１５１ｂの両方で生成された電荷に基づく画素信号（Ａ＋Ｂ像）のみの読み出しを行う駆動方法である。本例では、図４（ａ）に示されている第１の例に対して、Ａ像の読み出し動作が省略されている。それ以外の点は、図４（ｂ）と概ね同様であるため説明を省略する。本例では、Ａ像及びＢ像の画素信号を得ることはできないが、より簡略な駆動により画像用の画素信号を取得することができる。

【0038】

なお、図４（ａ）において、Ａ像の画素信号を取得してから、Ａ＋Ｂ像に代えてＢ像の画素信号を取得してもよい。この駆動方法であっても、測距用の画素信号を取得することができる。また、Ａ像の画素信号とＢ像の画素信号の取得後にこれらを加算することにより、画像用のＡ＋Ｂ像の画素信号を取得することもできる。

【0039】

図４（ａ）及び図４（ｂ）においては明示されていないが、制御信号ＰＲＥＳ（ｋ）をローレベルにした直後、すなわち、制御信号ＰＴＸＡ（ｋ）、ＰＴＸＢ（ｋ）をハイレベルにする前に、Ｎ信号の読み出しを行ってもよい。Ｎ信号は、リセット解除後のフローティングディフュージョンの電位に応じた信号であり、リセットにより生じ得るリセットノイズのレベルを示している。Ａ像、Ｂ像又はＡ＋Ｂ像の画素信号からＮ信号を減算する相関二重サンプリング処理を行うことで、リセットノイズの影響を低減することができる。

【0040】

図５は、本実施形態に係る画素部１５の駆動方法を示すタイミングチャートである。本実施形態では、第１垂直走査（第１走査）により（２ｋ－１）行目の画素Ｐから画像用の画素信号（Ａ＋Ｂ像）を取得し、第２垂直走査（第２走査）により（１０ｋ－８）行目の画素Ｐから測距用の画素信号（Ａ像とＡ＋Ｂ像）を取得する例を説明する。すなわち、第１垂直走査における各行の駆動方法は、例えば図４（ｂ）に示すものであり、第２垂直走査における各行の駆動方法は、例えば図４（ａ）に示すものである。なお、垂直走査の種類、読み出しを行う行の番号、読み出しを行う行の割合等は、あくまでも一例であり、例示したものに限定されるものではない。

【0041】

図５の上段には、垂直同期信号ＶＤ及び水平同期信号ＨＤが入力されるタイミングが示されている。図５の中段の「設定値通信」におけるボックスは、通信部１１から記憶部群１２に入力される設定値を示している。図５の中段の「記憶部Ｍ１」から「記憶部Ｓ２」におけるボックスは、対応する記憶部に記憶されている設定値を示している。図５の中段の「選択部」におけるボックスは、選択部ＳＬから出力されている設定値を示している。図５の下段は、各画素行の画素におけるシャッタ動作と読み出し動作のタイミングを示している。各画素行におけるボックスは、シャッタ動作から読み出し動作の間の期間を示している。

【0042】

まず、図５に示されている第１フレーム（時刻Ｔ１から時刻Ｔ２）の動作について説明する。第１フレームは、第１垂直走査のみを行い、第２垂直走査を行わない場合の例を示すものである。

【0043】

時刻Ｔ１において、垂直同期信号ＶＤと同期して、第１垂直走査の読み出し動作が開始される。なお、第１フレームの前のフレーム、すなわち、時刻Ｔ１以前の期間において、あらかじめシャッタ動作が行われているものとする。

【0044】

時刻Ｔ１から時刻Ｔ１ｍ１の期間において、水平同期信号ＨＤと同期して、１行目の画素Ｐから画像用のＡ＋Ｂ像の画素信号の読み出し動作が行われる。次に、時刻Ｔ１ｍ１から時刻Ｔ１ｍ２の期間において、水平同期信号ＨＤと同期して、３行目の画素Ｐから画像用のＡ＋Ｂ像の画素信号の読み出し動作が行われる。以下同様に、水平同期信号ＨＤと同期して、（２ｋ－１）行目の画素Ｐの読み出し動作が順次行われる。

【0045】

また、第１フレームにおいて、時刻Ｔ１ｍｓ１から第１垂直走査のシャッタ動作が開始される。これは、第２フレームの読み出し動作のための電荷蓄積を開始するためのものである。時刻Ｔ１ｍｓ１において、水平同期信号ＨＤと同期して、１行目の画素Ｐのリセットを解除するシャッタ動作が行われる。次に、時刻Ｔ１ｍｓ２において、水平同期信号ＨＤと同期して、３行目の画素Ｐのリセットを解除するシャッタ動作が行われる。以下同様に、水平同期信号ＨＤと同期して、（２ｋ－１）行目の画素Ｐのシャッタ動作が順次行われる。

【0046】

次に、図５に示されている第２フレーム（時刻Ｔ２から時刻Ｔ３）の動作について説明する。第２フレームは、１回の第１垂直走査と４回の第２垂直走査とを行う例を示すものである。なお、第１垂直走査及び第２垂直走査のいずれよりも前に、第１記憶部である記憶部Ｍ２によるＭ設定２の記憶と、第２記憶部である記憶部Ｓ２によるＳ設定２の記憶が行われている。

【0047】

時刻Ｔ２において、垂直同期信号ＶＤと同期して、第１垂直走査の読み出し動作が開始される。時刻Ｔ２から時刻Ｔ２ｍ１の期間において、水平同期信号ＨＤと同期して、１行目の画素Ｐから画像用のＡ＋Ｂ像の画素信号の読み出し動作が行われる。以下同様に、水平同期信号ＨＤと同期して、（２ｋ－１）行目の画素Ｐの読み出し動作が順次行われる。

【0048】

また、時刻Ｔ２ｓｓ３において、水平同期信号ＨＤと同期して、１行目の画素Ｐのリセットを解除するシャッタ動作が開始される。これは、第３フレームの読み出し動作のための電荷蓄積を開始するためのものである。時刻Ｔ２ｓｓ３において、水平同期信号ＨＤと同期して、１行目の画素Ｐのリセットを解除するシャッタ動作が行われる。以下同様に、水平同期信号ＨＤと同期して、（２ｋ－１）行目の画素Ｐのシャッタ動作が順次行われる。

【0049】

以上のように、本例においては、第２フレームにおける第１垂直走査は、第１フレームにおける第１垂直走査と概ね同様であるものとする。しかしながら、第１垂直走査の設定内容がフレーム間で異なっていてもよい。

【0050】

第２フレームでは、上述の第１垂直走査と並行して４回の第２垂直走査が行われる。時刻Ｔ２ｓｓ１から、１回目の第２垂直走査が開始される。時刻Ｔ２ｓｓ１において、水平同期信号ＨＤと同期して、２行目の画素Ｐのリセットを解除するシャッタ動作が行われる。時刻Ｔ２ｓ１から時刻Ｔ２ｓ１１の期間において、水平同期信号ＨＤと同期して、２行目の画素Ｐから測距用のＡ像の画素信号の読み出し動作が行われる。その後、時刻Ｔ２ｓ１１から時刻Ｔ２ｓ１２の期間において、水平同期信号ＨＤと同期して、２行目の画素Ｐから測距及び画像用のＡ＋Ｂ像の画素信号の読み出し動作が行われる。上述のように、Ａ＋Ｂ像の画素信号及びＡ像の画素信号から、Ｂ像の画素信号を算出することができ、Ａ像の画素信号とＢ像の画素信号は測距に用いることができる。

【0051】

時刻Ｔ２ｓｓ１から水平同期信号ＨＤの２周期後の時刻において、１２行目の画素に対するシャッタ動作が行われる。その後、１２行目の画素Ｐに対しても同様に２つの画素信号の読み出し動作が行われる。以下、同様にして、水平同期信号ＨＤの２周期ごとに、（１０ｋ－８）行目の画素Ｐのシャッタ動作及び２つの画素信号の読み出し動作が順次行われる。

【0052】

時刻Ｔ２ｓｓ２から、２回目の第２垂直走査が開始され、時刻Ｔ２ｓｓ３から、３回目の第２垂直走査が開始され、時刻Ｔ２ｓｓ４から、４回目の第２垂直走査が開始される。２回目から４回目の第２垂直走査の内容は、１回目の第２垂直走査と同様であるため説明を省略する。

【0053】

次に、図５に示されている第３フレーム（時刻Ｔ３から時刻Ｔ４）の動作について説明する。第３フレームは、第１垂直走査のみを行い、第２垂直走査を行わない場合の例であり、第１フレームと同様であるため説明を省略する。

【0054】

次に、上述の第１垂直走査及び第２垂直走査における読み出し動作の設定に関する記憶部群１２の動作について図５を参照して説明する。ここで、図５における「Ｍ設定＃」（＃は自然数）は、第１垂直走査の設定値（第１設定値）を意味し、「Ｓ設定＃」（＃は自然数）は、第２垂直走査の設定値（第２設定値）を意味するものとする。

【0055】

第１フレームの時刻Ｔ１の時点においては、記憶部Ｍ１及び記憶部Ｍ２にＭ設定１が記憶されており、記憶部Ｓ１及び記憶部Ｓ２にＳ設定１が記憶されている。ここで、選択部ＳＬは、記憶部Ｍ２に記憶されているＭ設定１を選択して制御部１３に出力している。これにより、時刻Ｔ１から開始される第１垂直走査の読み出し動作は、Ｍ設定１に基づいて行われる。

【0056】

時刻Ｔ１と時刻Ｔ２の間、すなわち、第１フレームの期間内において、ＣＰＵ２は、第２フレームにおける第１垂直走査の設定値であるＭ設定２を通信部１１に送信する。通信部１１がＭ設定２を受信すると、その直後に、Ｍ設定２は、記憶部Ｍ１に記憶される。その後、ＣＰＵ２は、第１フレームの期間内に第２フレームにおける第２垂直走査の設定値であるＳ設定２を通信部１１に送信する。通信部１１がＳ設定２を受信すると、その直後に、Ｓ設定２は、記憶部Ｓ１に記憶される。

【0057】

その後、時刻Ｔ２において、記憶部Ｍ１に記憶されているＭ設定２が記憶部Ｍ２に記憶され、記憶部Ｓ１に記憶されているＳ設定２が記憶部Ｓ２に記憶される。このとき、選択部ＳＬの出力もＭ設定１からＭ設定２に変化する。これにより、時刻Ｔ２から開始される第１垂直走査の読み出し動作には、Ｍ設定２が適用される。

【0058】

次に、時刻Ｔ２ｓ１において、選択部ＳＬによる信号の選択の切り替えが行われ、選択部ＳＬの出力がＭ設定２からＳ設定２に変化する。これにより、時刻Ｔ２ｓ１から開始される第２垂直走査の読み出し動作には、Ｓ設定２が適用される。

【0059】

時刻Ｔ２と時刻Ｔ３の間、すなわち、第２フレームの期間内において、ＣＰＵ２は、第３フレームにおける第１垂直走査の設定値であるＭ設定３を通信部１１に送信する。通信部１１がＭ設定３を受信すると、その直後に、Ｍ設定３は、記憶部Ｍ１に記憶される。その後、ＣＰＵ２は、第２フレームの期間内に第３フレームにおける第２垂直走査の設定値であるＳ設定３を通信部１１に送信する。通信部１１がＳ設定３を受信すると、その直後に、Ｓ設定３は、記憶部Ｓ１に記憶される。

【0060】

その後、時刻Ｔ３において、記憶部Ｍ１に記憶されているＭ設定３が記憶部Ｍ２に記憶され、記憶部Ｓ１に記憶されているＳ設定３が記憶部Ｓ２に記憶される。更に、本例においては、第３フレームに第１垂直走査のみが行われるため、時刻Ｔ３において選択部ＳＬにより選択される信号が切り替えられる。したがって、選択部ＳＬの出力は、Ｓ設定２からＭ設定３に変化する。これにより、時刻Ｔ３から開始される第１垂直走査の読み出し動作には、Ｍ設定３が適用される。

【0061】

本実施形態のように１フレーム期間に第１垂直走査と第２垂直走査の２つを行う走査手法においては、走査のタイミングに合わせて設定値の切り替えを高速に行う必要があり、走査の制御が複雑化し得る。そのため、例えば、設定値の通信時間の確保が難しくなる場合もあり得る。これに対し、本実施形態では、記憶部群１２が第１垂直走査の設定値を記憶する記憶部Ｍ２と、第２垂直走査の設定値を記憶する記憶部Ｓ２とを有している。これにより、記憶部群１２は、第１垂直走査の設定値と第２垂直走査の設定値の両方を同時刻に記憶することができる。したがって、第１垂直走査と第２垂直走査に先立って、あらかじめこれらの設定値を通信しておくことができるため、走査の制御を簡略化することができる。以上のように、本実施形態によれば、１フレーム期間に複数の走査を行う構成において、より簡便な制御を実現し得る光電変換装置１が提供される。

【0062】

なお、本実施形態では、記憶部群１２が外部から入力される第１垂直走査の設定値を一時的に記憶する記憶部Ｍ１と、外部から入力される第２垂直走査の設定値を一時的に記憶する記憶部Ｓ１とを更に有している。これにより、設定値が反映されるタイミングを通信のタイミングよりも遅らせることができるため、通信時間をより多く確保することができる。また、この構成により、記憶部Ｍ１に第１垂直走査の設定値が入力される時刻と記憶部Ｓ１に第２垂直走査の設定値が入力される時刻とを、これらの設定値が適用されるフレーム期間の開始よりも前にすることができる。これにより、設定値が用いられるフレーム期間の開始前に設定値の通信を完了することができ、通信時間の確保が容易になる。また、記憶部Ｍ１に記憶された設定値が記憶部Ｍ２に出力される時刻と、記憶部Ｓ１に記憶された設定値が記憶部Ｓ２に出力される時刻とは、フレームの開始時刻である。これにより、フレームの開始に合わせて設定値を有効化することができる。

【0063】

また、本実施形態では、記憶部群１２が記憶部Ｍ２に記憶されている設定値と、記憶部Ｓ２に記憶されている設定値とを選択的に出力する選択部ＳＬを更に有している。これにより、第１垂直走査の設定値と第２垂直走査の設定値のいずれかを有効化するタイミングと記憶部Ｍ２、Ｓ２が設定値を記憶するタイミングとをずらすことができるため、通信時間をより多く確保することができる。また、この構成により、フレーム期間の開始時刻よりも後のタイミングで第１垂直走査の設定値と第２垂直走査の設定値のいずれかを有効化することができる。これにより、設定値を走査の直前に変更することができ、走査の自由度が向上する。

【0064】

なお、上述のＭ設定＃及びＳ設定＃は、垂直走査の設定値だけではなく、ゲイン設定、データ補正設定等に関する設定値を含んでもよい。これにより、例えば、第１垂直走査のゲインを１倍とし、第２垂直走査のゲインを４倍とする等、第１垂直走査と第２垂直走査の間で異なるゲインを適用することができる。

【0065】

また、図５に示す駆動方法の例では、第１垂直走査では、画像用の画素信号を取得し、第２垂直走査では、測距用の画素信号を取得できる例を説明したが、これに限られるものではない。例えば、第１垂直走査では、測距用の画素信号を取得し、第２垂直走査では、画像用の画素信号を取得してもよい。また、第１垂直走査と第２垂直走査の両方で画像用の画素信号を取得してもよく、第１垂直走査と第２垂直走査の両方で測距用の画素信号を取得してもよい。

【0066】

また、図５に示す駆動方法における設定値の説明では、読み出し動作に関してのみ述べているが、シャッタ動作の設定値に関しても同様の処理が適用可能である。

【0067】

［第２実施形態］
第１実施形態においては、第２フレームの４回の第２垂直走査において同一の設定値が用いられている。これに対し、本実施形態では、４回の第２垂直走査の各回において設定値を変更する例を説明する。第１実施形態と共通の要素については説明を簡略化又は省略する場合がある。

【0068】

図６は、本実施形態に係る記憶部群１２の構成例を示すブロック図である。記憶部群１２は、記憶部Ｍ１、Ｍ２、Ｓ１１、Ｓ１２、Ｓ２１、Ｓ２２、Ｓ３１、Ｓ３２、Ｓ４１、Ｓ４２及び選択部ＳＬを有している。すなわち、本実施形態においては、第１実施形態の記憶部Ｓ１が４個の記憶部Ｓ１１、Ｓ２１、Ｓ３１、Ｓ４１に置き換えられており、第１実施形態の記憶部Ｓ２が４個の記憶部Ｓ１２、Ｓ２２、Ｓ３２、Ｓ４２に置き換えられている。

【0069】

記憶部Ｓ１１、Ｓ１２、Ｓ２１、Ｓ２２、Ｓ３１、Ｓ３２、Ｓ４１、Ｓ４２が記憶する設定値をそれぞれ、データＳ１１、Ｓ１２、Ｓ２１、Ｓ２２、Ｓ３１、Ｓ３２、Ｓ４１、Ｓ４２と呼ぶ。選択部ＳＬは、制御部１３から入力される選択フラグに基づいて、データＭ２、Ｓ１２、Ｓ２２、Ｓ３２、Ｓ４２のうちの１つを選択的に有効化する。選択部ＳＬは、選択されたデータをデータＯＵＴとして制御部１３に出力する。

【0070】

図７は、本実施形態に係る画素部１５の駆動方法を示すタイミングチャートである。第１実施形態との相違点は、読み出し動作の設定に関する記憶部群１２の動作であり、シャッタ動作及び読み出し動作のタイミングは第１実施形態と同様である。以下では、第１実施形態と相違する点のみを説明する。図７における「Ｓ１設定＃」、「Ｓ２設定＃」、「Ｓ３設定＃」及び「Ｓ４設定＃」は、それぞれ、第２フレームにおける１回目から４回目の第２垂直走査の設定値を意味するものとする。

【0071】

第１フレームの時刻Ｔ１の時点においては、記憶部Ｍ１、Ｍ２にＭ設定１が記憶されている。また、記憶部Ｓ１１、Ｓ１２にはＳ１設定１が記憶されており、記憶部Ｓ２１、Ｓ２２にはＳ２設定１が記憶されている。また、記憶部Ｓ３１、Ｓ３２にはＳ３設定１が記憶されており、記憶部Ｓ４１、Ｓ４２にはＳ４設定１が記憶されている。ここで、選択部ＳＬは、記憶部Ｍ２に記憶されているＭ設定１を選択して制御部１３に出力している。これにより、時刻Ｔ１から開始される第１垂直走査の読み出し動作は、Ｍ設定１に基づいて行われる。

【0072】

時刻Ｔ１と時刻Ｔ２の間、すなわち、第１フレームの期間内において、ＣＰＵ２は、第２フレームにおける第１垂直走査の設定値であるＭ設定２を通信部１１に送信する。通信部１１がＭ設定２を受信すると、その直後に、Ｍ設定２は、記憶部Ｍ１に記憶される。その後、ＣＰＵ２は、第１フレームの期間内に第２フレームにおける１回目の第２垂直走査の設定値であるＳ１設定２を通信部１１に送信する。通信部１１がＳ１設定２を受信すると、その直後に、Ｓ１設定２は、記憶部Ｓ１１に記憶される。その後、同様にして、ＣＰＵ２は、２から４回目の第２垂直走査の設定値であるＳ２設定２、Ｓ３設定２、Ｓ４設定２を順次通信部１１に送信する。Ｓ２設定２、Ｓ３設定２、Ｓ４設定２は、それぞれ、記憶部Ｓ２１、Ｓ３１、Ｓ４１に記憶される。

【0073】

その後、時刻Ｔ２において、記憶部Ｍ１に記憶されているＭ設定２が記憶部Ｍ２に記憶される。また、記憶部Ｓ１１、Ｓ２１、Ｓ３１、Ｓ４１に記憶されているＳ１設定２、Ｓ２設定２、Ｓ３設定２、Ｓ４設定２が記憶部Ｓ１２、Ｓ２２、Ｓ３２、Ｓ４２にそれぞれ記憶される。このとき、選択部ＳＬの出力もＭ設定１からＭ設定２に変化する。これにより、時刻Ｔ２から開始される第１垂直走査の読み出し動作には、Ｍ設定２が適用される。

【0074】

次に、時刻Ｔ２ｓ１において、選択部ＳＬによる信号の選択の切り替えが行われ、選択部ＳＬの出力がＭ設定２からＳ１設定２に変化する。これにより、時刻Ｔ２ｓ１から開始される２回目の第２垂直走査の読み出し動作には、Ｓ１設定２が適用される。

【0075】

次に、時刻Ｔ２ｓ２において、選択部ＳＬによる信号の選択の切り替えが行われ、選択部ＳＬの出力がＳ１設定２からＳ２設定２に変化する。これにより、時刻Ｔ２ｓ２から開始される２回目の第２垂直走査の読み出し動作には、Ｓ２設定２が適用される。

【0076】

以下、時刻Ｔ２ｓ３、Ｔ２ｓ４においても同様にして選択部ＳＬによる信号の選択の切り替えが行われ、３回目と４回目の第２垂直走査の読み出し動作には、Ｓ３設定２、Ｓ４設定２がそれぞれ適用される。このように、１回目から４回目の第２垂直走査において、選択部ＳＬは、Ｓ１設定２からＳ４設定２を順次有効化する。これにより、４回の第２垂直走査において異なる設定値が適用される。

【0077】

時刻Ｔ２と時刻Ｔ３の間、すなわち、第２フレームの期間内において、ＣＰＵ２は、第３フレームにおける第１垂直走査の設定値であるＭ設定３を通信部１１に送信する。通信部１１がＭ設定３を受信すると、その直後に、Ｍ設定３は、記憶部Ｍ１に記憶される。その後、ＣＰＵ２は、第２フレームの期間内に第３フレームにおける１回目の第２垂直走査の設定値であるＳ１設定３を通信部１１に送信する。通信部１１がＳ１設定３を受信すると、その直後に、Ｓ１設定３は、記憶部Ｓ１１に記憶される。その後、同様にして、ＣＰＵ２は、２から４回目の第２垂直走査の設定値であるＳ２設定３、Ｓ３設定３、Ｓ４設定３を順次通信部１１に送信する。Ｓ２設定３、Ｓ３設定３、Ｓ４設定３は、それぞれ、記憶部Ｓ２１、Ｓ３１、Ｓ４１に記憶される。

【0078】

その後、時刻Ｔ３において、記憶部Ｍ１に記憶されているＭ設定３が記憶部Ｍ２に記憶される。また、記憶部Ｓ１１、Ｓ２１、Ｓ３１、Ｓ４１に記憶されているＳ１設定３、Ｓ２設定３、Ｓ３設定３、Ｓ４設定３が記憶部Ｓ１２、Ｓ２２、Ｓ３２、Ｓ４２にそれぞれ記憶される。更に、本例においては、第３フレームに第１垂直走査のみが行われるため、時刻Ｔ３において選択部ＳＬにより選択される信号が切り替えられる。したがって、選択部ＳＬの出力は、Ｓ４設定２からＭ設定３に変化する。これにより、時刻Ｔ３から開始される第１垂直走査の読み出し動作には、Ｍ設定３が適用される。

【0079】

本実施形態では、記憶部群１２が第２垂直走査の設定値を記憶する記憶部を４組有している。これにより、４回の第２垂直走査の各回において異なる設定値を設定することができ、第２垂直走査の設定の自由度が向上する。

【0080】

なお、第２垂直走査の設定値を記憶する記憶部の数は４組に限定されるものではない。記憶部の数は設計に応じて適宜変更可能であり、例えば、１フレーム期間あたりの第２垂直走査の最大回数に応じて設定することができる。例えば、第２垂直走査の最大回数がＮ回（Ｎは２以上の整数）である場合には、第２垂直走査の設定値を記憶する記憶部をＮ組設けることにより、各回の第２垂直走査において異なる設定値を適用することができる。具体的には、図６の記憶部Ｓ１１、Ｓ２１、Ｓ３１、Ｓ４１をＮ個の記憶部（Ｎ個の第４記憶部）に置き換え、記憶部Ｓ１２、Ｓ２２、Ｓ３２、Ｓ４２をＮ個の記憶部（Ｎ個の第２記憶部）に置き換えることで、Ｎ回の設定値に基づく第２垂直走査が実現される。

【0081】

なお、上述のＭ設定＃、Ｓ１設定＃、Ｓ２設定＃、Ｓ３設定＃及びＳ４設定＃は、第１実施形態の場合と同様に、垂直走査の設定値だけではなく、ゲイン設定、データ補正設定等に関する設定値を含んでもよい。これにより、例えば、１回目の第２垂直走査のゲインを１倍とし、２回目の第２垂直走査のゲインを２倍とする等、複数の第２垂直走査の間で異なるゲインを適用することができる。

【0082】

［第３実施形態］
本発明の第３実施形態による撮像システムについて、図８を用いて説明する。図８は、本実施形態による撮像システムの概略構成を示すブロック図である。図８に示す光電変換装置１は、上述の第１又は第２実施形態で述べた光電変換装置１である。すなわち、本実施形態による撮像システム５００は、上述の第１又は第２実施形態で述べた光電変換装置１が適用され得る光電変換システムの一例である。

【0083】

本実施形態による撮像システム５００は、特に限定されるものではないが、例えば、デジタルスチルカメラ、デジタルカムコーダ、カメラヘッド、複写機、ファックス、携帯電話、車載カメラ、観測衛星等に適用可能である。

【0084】

撮像システム５００は、図８に示すように、光電変換装置１、レンズ５０２、絞り５０４、バリア５０６、信号処理部５０８、タイミング発生部５２０、全体制御・演算部５１８を有している。撮像システム５００は、また、メモリ部５１０、記録媒体制御Ｉ／Ｆ部５１６、外部Ｉ／Ｆ部５１２を有している。

【0085】

レンズ５０２は、被写体の光学像を光電変換装置１の画素部１５に結像するためのものである。絞り５０４は、レンズ５０２を通った光量を可変にするためのものである。バリア５０６は、レンズ５０２の保護のためのものである。光電変換装置１は、先の実施形態で説明した光電変換装置１であって、レンズ５０２により結像された光学像に基づく信号を信号処理部５０８に出力するものである。光電変換装置１から出力される信号には、画素Ｐから読み出されるＡ信号、Ａ＋Ｂ信号、Ｂ信号等が含まれ得る。

【0086】

信号処理部５０８は、光電変換装置１より出力される信号に対して、所望の処理、補正、データ圧縮等を行うものである。信号処理部５０８により行われる処理には、補正が施された画像データの生成、Ａ信号及びＢ信号に基づいて被写体までの距離情報を取得する処理等が含まれる。信号処理部５０８は、光電変換装置１と同じ基板に搭載されていてもよいし、別の基板に搭載されていてもよい。また、信号処理部５０８の一部の機能が光電変換装置１と同じ基板に搭載され、信号処理部５０８の他の一部の機能が別の基板に搭載されていてもよい。

【0087】

タイミング発生部５２０は、光電変換装置１及び信号処理部５０８に、各種タイミング信号を出力するためのものである。全体制御・演算部５１８は、撮像システム５００の全体の駆動及び演算処理を司る制御部である。第１又は第２実施形態におけるＣＰＵ２は、全体制御・演算部５１８とタイミング発生部５２０の一方又は両方に対応するものであってもよい。ここで、タイミング信号等の制御信号は撮像システム５００の外部から入力されてもよく、撮像システム５００は、少なくとも光電変換装置１と、光電変換装置１から出力された信号を処理する信号処理部５０８とを有していればよい。

【0088】

メモリ部５１０は、画像データを一時的に記憶するためのフレームメモリ部である。記録媒体制御Ｉ／Ｆ部５１６は、記録媒体５１４への記録或いは記録媒体５１４からの読み出しを行うためのインターフェース部である。外部Ｉ／Ｆ部５１２は、外部コンピュータ等と通信するためのインターフェース部である。記録媒体５１４は、撮像データの記録又は読み出しを行うための半導体メモリ等の着脱可能な記録媒体である。

【0089】

このようにして、第１又は第２実施形態による光電変換装置１を適用した撮像システム５００を構成することにより、より簡便な制御を実現し得る撮像システム５００を実現することができる。

【0090】

［第４実施形態］
図９（ａ）及び図９（ｂ）は、本実施形態による撮像システム６００及び移動体の構成を示す図である。図９（ａ）は、車載カメラに関する撮像システム６００の一例を示したものである。撮像システム６００は、上述の第１又は第２実施形態のいずれかに記載の光電変換装置１を有する。撮像システム６００は、光電変換装置１により取得された複数の画像データに対し、画像処理を行う画像処理部６１２と、撮像システム６００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差算出部６１４を有する。また、撮像システム６００は、算出された視差に基づいて対象物までの距離を算出する距離計測部６１６と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部６１８と、を有する。ここで、視差算出部６１４及び距離計測部６１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部６１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

【0091】

撮像システム６００は、車両情報取得装置６２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム６００には、衝突判定部６１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ６３０が接続されている。すなわち、制御ＥＣＵ６３０は、距離情報に基づいて移動体を制御する移動体制御手段の一例である。また、撮像システム６００は、衝突判定部６１８での判定結果に基づいて、ドライバーへ警報を発する警報装置６４０とも接続されている。例えば、衝突判定部６１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ６３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置６４０は、音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与える等によりユーザに警告を行う。

【0092】

本実施形態では、車両の周囲、例えば前方又は後方を撮像システム６００で撮像する。図９（ｂ）に、車両前方（撮像範囲６５０）を撮像する場合の撮像システム６００の構成を示す。車両情報取得装置６２０は、撮像システム６００を動作させ撮像を実行させるように指示を送る。

【0093】

このようにして、第１又は第２実施形態による光電変換装置１を適用した撮像システム６００及び移動体を構成することにより、より簡便な制御を実現し得る移動体を実現することができる。

【0094】

以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機、産業用ロボット等の移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

【0095】

［変形実施形態］
本発明は、上述の実施形態に限られるものではなく、種々の変形が可能である。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明を適用し得る実施形態であると理解されるべきである。

【0096】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0097】

上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0098】

１ 光電変換装置
１４ 垂直走査部
Ｍ２、Ｓ２ 記憶部
Ｐ 画素

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】