特許7514159 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特許7514159撮像装置及び撮像システム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-02

(45)【発行日】2024-07-10

(54)【発明の名称】撮像装置及び撮像システム

(51)【国際特許分類】

H04N 25/40 20230101AFI20240703BHJP

H04N 25/10 20230101ALI20240703BHJP

H04N 25/611 20230101ALI20240703BHJP

H04N 23/12 20230101ALI20240703BHJP

【ＦＩ】

H04N25/40

H04N25/10

H04N25/611

H04N23/12

【請求項の数】 15

(21)【出願番号】P 2020174108

(22)【出願日】2020-10-15

(65)【公開番号】P2022065489

(43)【公開日】2022-04-27

【審査請求日】2023-10-12

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100094112

【弁理士】

【氏名又は名称】岡部讓

(74)【代理人】

【識別番号】100101498

【弁理士】

【氏名又は名称】越智隆夫

(74)【代理人】

【識別番号】100106183

【弁理士】

【氏名又は名称】吉澤弘司

(74)【代理人】

【識別番号】100136799

【弁理士】

【氏名又は名称】本田亜希

(72)【発明者】

【氏名】道又賢司

【審査官】彦田克文

(56)【参考文献】

【文献】特開２００８－８５７７３（ＪＰ，Ａ）

【文献】特開２０１８－１１３５５２（ＪＰ，Ａ）

【文献】特開昭６３－４１８１８（ＪＰ，Ａ）

【文献】特開２０１１－１９７７５５（ＪＰ，Ａ）

【文献】特開２０１９－４７５２７（ＪＰ，Ａ）

【文献】特開２０１０－１４１８１４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ２５／４０

Ｈ０４Ｎ２５／１０

(57)【特許請求の範囲】

【請求項1】

光電変換部を各々が有する複数の画素と、
前記複数の画素に入射する光の焦点位置を制御する焦点制御部と、
前記複数の画素の前記光電変換部における電荷の蓄積及び前記複数の画素からの信号の読み出しを制御する画素制御部と、を有し、
前記複数の画素は、第１の波長帯域の光に応じた信号を出力する複数の第１の画素と、前記第１の波長帯域とは異なる第２の波長帯域の光に応じた信号を出力する複数の第２の画素と、を含み、
前記画素制御部は、前記第１の波長帯域の光が前記複数の第１の画素に合焦した状態で前記複数の第１の画素の前記光電変換部に電荷を蓄積する第１の期間と、前記第２の波長帯域の光が前記複数の第２の画素に合焦した状態で前記複数の第２の画素の前記光電変換部に電荷を蓄積する第２の期間と、前記複数の画素の各々から前記光電変換部で生じた電荷の量に応じた信号を読み出す第３期間と、を１フレームの間に実行するように構成されている
ことを特徴とする撮像装置。

【請求項2】

前記焦点制御部は、一のフレームの前記第２の期間と次のフレームの前記第１の期間との間に、前記第１の波長帯域の光が前記複数の第１の画素に合焦するように焦点位置を制御する期間を実行し、前記次のフレームの前記第１の期間と前記次のフレームの前記第２の期間との間に、前記第２の波長帯域の光が前記複数の第２の画素に合焦するように焦点位置を制御する期間を実行するように構成されている
ことを特徴とする請求項１記載の撮像装置。

【請求項3】

レンズの種類及び焦点距離毎の軸上色収差量に関する軸上色収差情報を保持する軸上色収差情報保持部を更に有し、
前記焦点制御部は、軸上色収差情報保持部に保持された前記軸上色収差情報に基づいて前記複数の画素に入射する光の焦点位置を制御する
ことを特徴とする請求項１又は２記載の撮像装置。

【請求項4】

前記軸上色収差情報は、本撮影の前の予備撮影により取得した前記複数の第１の画素及び前記複数の第２の画素の各々におけるコントラスト又は位相差情報に基づいて生成される
ことを特徴とする請求項３記載の撮像装置。

【請求項5】

前記軸上色収差情報保持部から取得した情報が前記複数の画素に合焦させるための所定の条件を満たしているか否かを判定する合焦判定部を更に有し、
前記焦点制御部は、
前記情報が前記所定の条件を満たしている場合には、前記複数の画素を光軸方向に沿って移動するアクチュエータを駆動することにより前記複数の画素に入射する光の焦点位置を制御するように構成されており、
前記情報が前記所定の条件を満たしていない場合には、前記複数の画素に被写体の像を結ぶレンズを駆動することにより前記複数の画素に入射する光の焦点位置を制御するように構成されている
ことを特徴とする請求項３又は４記載の撮像装置。

【請求項6】

前記合焦判定部は、前記アクチュエータにより合焦に要する時間が前記レンズにより合焦に要する時間よりも短い場合に、前記所定の条件を満たしていると判定する
ことを特徴とする請求項５記載の撮像装置。

【請求項7】

前記合焦判定部は、前記アクチュエータの移動可能領域で合焦させることができる場合に、前記所定の条件を満たしていると判定する
ことを特徴とする請求項５記載の撮像装置。

【請求項8】

前記複数の画素を光軸方向に沿って移動するアクチュエータを更に有し、
前記焦点制御部は、前記アクチュエータを駆動することにより、前記複数の画素に入射する光の焦点位置を制御する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。

【請求項9】

前記焦点制御部は、前記複数の画素に被写体の像を結ぶレンズを駆動することにより、前記複数の画素に入射する光の焦点位置を制御する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。

【請求項10】

前記複数の画素に被写体の像を結ぶレンズを更に有し、
前記レンズが前記複数の画素に結ぶ前記第１の波長帯域の光の像と前記第２の波長帯域の光の像との間に軸上色収差を有する
ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。

【請求項11】

前記第１の波長帯域の光は可視光であり、
前記第２の波長帯域の光は赤外光である
ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。

【請求項12】

前記複数の第１の画素は、互いに異なる波長帯域に感度を有する複数種類の画素を含む
ことを特徴とする請求項１１記載の撮像装置。

【請求項13】

光電変換部を各々が有する複数の画素と、
前記複数の画素に入射する光の焦点位置を制御する焦点制御部と、
前記複数の画素の前記光電変換部における電荷の蓄積及び前記複数の画素からの信号の読み出しを制御する画素制御部と、を有し、
前記複数の画素は、互いに異なる波長帯域に感度を有する複数種類の画素を含み、
前記画素制御部は、前記複数種類の画素に各々が対応する複数の期間であって、前記複数の期間の各々は、対応する種類の画素が感度を有する波長帯域の光が合焦した状態で前記対応する種類の画素の前記光電変換部に電荷を蓄積する期間である、複数の期間と、前記複数の画素の各々から前記光電変換部で生じた電荷の量に応じた信号を読み出す期間と、を１フレームの間に実行するように構成されている
ことを特徴とする撮像装置。

【請求項14】

請求項１乃至１３のいずれか１項に記載の撮像装置と、
前記撮像装置から出力される信号を処理する信号処理装置と
を有することを特徴とする撮像システム。

【請求項15】

移動体であって、
請求項１乃至１３のいずれか１項に記載の撮像装置と、
前記撮像装置の前記画素から出力される信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
前記距離情報に基づいて前記移動体を制御する制御手段と
を有することを特徴とする移動体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及び撮像システムに関する。

【背景技術】

【0002】

カラーフィルタ（ＣＦ）配列がベイヤー方式のイメージセンサは、ＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）など、異なる波長帯域に感度を有する複数種類の画素を有することが一般的である。感度を有する波長帯域が異なる画素は軸上色収差の程度が異なるため、軸上色収差補正が施されていないレンズと組み合わせた場合、一度の撮像で総ての画素に対して合焦させることが困難である。そのため、一般的な撮像装置においては、軸上色収差補正が施されたレンズ（アポクロマートレンズ）を使用することでこれら複数種類の画素に対する軸上色収差を補正している。また、特許文献１には、色分解された画像光の各色ごとの軸上色収差を除去するために各色に対応して撮像素子を光軸方向に移動させる駆動手段を有する面順次カラーカメラが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平０８－０３２９７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年のイメージセンサの中には、ＲＧＢ－ＩＲ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ，Ｉｎｆｒａｅｄ）のように可視光と赤外光とを同時に受光するためのＣＦ配列を有するものもある。このようなＣＦ配列のイメージセンサにおいて一度の撮像で総ての画素に対して合焦しようとした場合、可視光域から赤外域に渡って軸上色収差補正が可能なレンズを使用することが考えられる。しかしながら、このようなレンズは可視光レンズと比較すると非常に高価であり、部品コストの増加を避けることができなかった。また、特許文献１に記載の技術では、１フレームの間に２以上の波長帯域の画像を取得することができず、総ての画素に対して合焦された高画質画像を高速に取得するのが困難であった。

【0005】

本発明の目的は、異なる波長帯域に感度を有する複数種類の画素を有する撮像装置において、部品コストの増加を抑制しつつ当該複数種類の画素に対して合焦された高画質画像を高速に取得するための技術を提供することにある。

【課題を解決するための手段】

【0006】

本発明の一観点によれば、光電変換部を各々が有する複数の画素と、前記複数の画素に入射する光の焦点位置を制御する焦点制御部と、前記複数の画素の前記光電変換部における電荷の蓄積及び前記複数の画素からの信号の読み出しを制御する画素制御部と、を有し、前記複数の画素は、第１の波長帯域の光に応じた信号を出力する複数の第１の画素と、前記第１の波長帯域とは異なる第２の波長帯域の光に応じた信号を出力する複数の第２の画素と、を含み、前記画素制御部は、前記第１の波長帯域の光が前記複数の第１の画素に合焦した状態で前記複数の第１の画素の前記光電変換部に電荷を蓄積する第１の期間と、前記第２の波長帯域の光が前記複数の第２の画素に合焦した状態で前記複数の第２の画素の前記光電変換部に電荷を蓄積する第２の期間と、前記複数の画素の各々から前記光電変換部で生じた電荷の量に応じた信号を読み出す第３期間と、を１フレームの間に実行するように構成されている撮像装置が提供される。

【0007】

また、本発明の他の一観点によれば、光電変換部を各々が有する複数の画素と、前記複数の画素に入射する光の焦点位置を制御する焦点制御部と、前記複数の画素の前記光電変換部における電荷の蓄積及び前記複数の画素からの信号の読み出しを制御する画素制御部と、を有し、前記複数の画素は、互いに異なる波長帯域に感度を有する複数種類の画素を含み、前記画素制御部は、前記複数種類の画素に各々が対応する複数の期間であって、前記複数の期間の各々は、対応する種類の画素が感度を有する波長帯域の光が合焦した状態で前記対応する種類の画素の前記光電変換部に電荷を蓄積する期間である、複数の期間と、前記複数の画素の各々から前記光電変換部で生じた電荷の量に応じた信号を読み出す期間と、を１フレームの間に実行するように構成されている撮像装置が提供される。

【発明の効果】

【0008】

本発明によれば、異なる波長帯域に感度を有する複数種類の画素を有する撮像装置において、部品コストの増加を抑制しつつ当該複数種類の画素に対して合焦された高画質画像を高速に取得することが可能となる。

【図面の簡単な説明】

【0009】

【図1】本発明の第１実施形態による撮像装置の構成例を示すブロック図である。

【図2】本発明の第１実施形態による撮像装置における撮像部の構成例を示すブロック図である。

【図3】本発明の第１実施形態による撮像装置における単位画素ブロックの構成例を示す回路図である。

【図4】本発明の第１実施形態による撮像装置の駆動例を示すタイミング図（その１）である。

【図5】本発明の第１実施形態による撮像装置の駆動例を示すタイミング図（その２）である。

【図6】本発明の第１実施形態による撮像装置の駆動例を示すタイミング図（その３）である。

【図7】本発明の第２実施形態による撮像装置における単位画素ブロックの構成例を示す回路図である。

【図8】本発明の第２実施形態による撮像装置の駆動例を示すタイミング図（その１）である。

【図9】本発明の第２実施形態による撮像装置の駆動例を示すタイミング図（その２）である。

【図10】本発明の第２実施形態による撮像装置の駆動例を示すタイミング図（その３）である。

【図11】本発明の第３実施形態による撮像装置における撮像部の構成例を示すブロック図である。

【図12】本発明の第３実施形態による撮像装置における単位画素ブロックの構成例を示す回路図である。

【図13】本発明の第３実施形態による撮像装置の駆動例を示すタイミング図（その１）である。

【図14】本発明の第３実施形態による撮像装置の駆動例を示すタイミング図（その２）である。

【図15】本発明の第３実施形態による撮像装置の駆動例を示すタイミング図（その３）である。

【図16】本発明の第４実施形態による撮像装置における撮像部の構成例を示すブロック図である。

【図17】本発明の第４実施形態による撮像装置における軸上色収差情報の取得方法を示すフローチャートである。

【図18】本発明の第５実施形態による撮像装置における撮像部の構成例を示すブロック図である。

【図19】本発明の第５実施形態による撮像装置におけるフォーカス制御方法を示すフローチャートである。

【図20】本発明の第６実施形態による撮像システムの概略構成を示すブロック図である。

【図21】本発明の第７実施形態による撮像システム及び移動体の構成例を示す図である。

【発明を実施するための形態】

【0010】

［第１実施形態］
本発明の第１実施形態による撮像装置について、図１乃至図６を用いて説明する。
はじめに、本実施形態による撮像装置の構成例について、図１乃至図３を用いて説明する。図１は、本実施形態による撮像装置の構成例を示すブロック図である。図２は、本実施形態による撮像装置における撮像部の構成例を示すブロック図である。図３は、本実施形態による撮像装置における単位画素ブロックの構成例を示す回路図である。

【0011】

本実施形態による撮像装置１は、図１に示すように、撮像部１１と、プロセッサ１２と、アクチュエータ１３と、画像情報保持部１４と、軸上色収差情報保持部１５と、レンズ１６と、により構成され得る。撮像部１１は、画素アレイ１１１と、コントローラ１１２と、垂直走査回路１１３と、信号読み出し部１１４と、により構成され得る。

【0012】

プロセッサ１２は、画像情報保持部１４、軸上色収差情報保持部１５、レンズ１６及びコントローラ１１２に接続されている。コントローラ１１２は、垂直走査回路１１３、信号読み出し部１１４及びアクチュエータ１３に接続されている。画素アレイ１１１は、垂直走査回路１１３、信号読み出し部１１４及びアクチュエータ１３に接続されている。

【0013】

レンズ１６は、被写体の光学像を撮像部１１の撮像面（画素アレイ１１１）に結像可能な位置に配されている。また、レンズ１６は、プロセッサ１２による制御のもとで光軸方向に沿って移動することにより、焦点調節を行う機能を備え得る。本実施形態のレンズ１６は、可視光の波長帯域において軸上色収差補正が施されているレンズであるものとする。例えば、レンズ１６は、赤色、緑色、青色の波長差によって生じる軸上色収差がないレンズであることが望ましい。なお、レンズ１６は、自身の仕様であるレンズの種類や焦点距離に関する情報を保持するように構成されていてもよく、また、それら情報を外部（例えば、後述する第３実施形態における測定画素選択部１２４）に送信する機能を備えていてもよい。

【0014】

アクチュエータ１３は、コントローラ１１２による制御のもと、撮像部１１の撮像面（画素アレイ１１１）を光軸方向に移動させることにより、焦点調節を行う機能を備える。アクチュエータ１３は、特に限定されるものではないが、例えば圧電素子により構成され得る。

【0015】

プロセッサ１２は、撮像部１１のコントローラ１１２に対して通信可能に構成されている。プロセッサ１２は、コントローラ１１２を介して垂直走査回路１１３及び信号読み出し部１１４を制御することにより被写体の画像データを取得し、取得した画像データを画像情報保持部１４に保存する機能を備える。また、プロセッサ１２は、コントローラ１１２を介してアクチュエータ１３を駆動する。また、プロセッサ１２は、レンズ１６を駆動する。すなわち、プロセッサ１２は、アクチュエータ１３又はレンズ１６を駆動することにより光の焦点位置を制御する焦点制御部としての機能を更に備える。

【0016】

軸上色収差情報保持部１５には、レンズの種類や焦点距離毎の軸上色収差量に関する情報（軸上色収差情報）が保持されている。プロセッサ１２は、軸上色収差情報保持部１５からレンズ１６の種類や焦点距離に応じた軸上色収差量を取得し、取得した軸上色収差量に応じてアクチュエータ１３を駆動する。これにより、アクチュエータ１３は、レンズの軸上色収差の補正に利用可能である。すなわち、異なる波長帯域に感度を有する画素に対し、異なる変位量でアクチュエータ１３を適宜駆動することにより、画素毎の軸上色収差を補正することができる。

【0017】

なお、プロセッサ１２は、例えば、各機能をプログラムすることが可能な集積回路やデバイス（例えば、ＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ（Programmable Logic Device））により構成され得る。或いは、プロセッサ１２は、各機能を実現するためのＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）などの演算装置でもよい。或いは、プロセッサ１２は、専用集積回路（ＡＳＩＣ（Application Specific Integrated Circuit）等）でもよい。或いは、プロセッサ１２は、ＣＰＵ及びメモリを備え、各機能はソフトウェア上で実現されてもよい。すなわち、プロセッサ１２の機能は、ハードウェア及びソフトウェアのうちの一方又は両方によって実現され得る。

【0018】

画素アレイ１１１は、図２に示すように、複数の行及び複数の列をなすように行列状に配列された複数の画素ＰＸを含む。画素アレイ１１１を構成する複数の画素ＰＸは、分光感度特性が互いに異なる複数種類の画素ＰＸを含む。ここでは、画素アレイ１１１を構成する複数の画素ＰＸが、可視光の波長帯域に感度を有する画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）と、赤外光の波長帯域に感度を有する画素ＰＸ（ＩＲ）と、の４種類の画素ＰＸを含むものとする。画素アレイ１１１は、各々が画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３），ＰＸ（ＩＲ）の４つの画素ＰＸを含む２行２列の単位画素ブロック１１１１が、行方向及び列方向に繰り返し配列されてなる。図２では、単位画素ブロック１１１１の各々において、左上の画素ＰＸを画素ＰＸ（λ１）、右上の画素ＰＸを画素ＰＸ（λ２）、左下の画素ＰＸを画素ＰＸ（λ３）、右下の画素ＰＸを画素ＰＸ（ＩＲ）としているが、これら画素ＰＸの配置は任意でよい。

【0019】

画素ＰＸの分光感度特性は、各々の画素ＰＸが備えるカラーフィルタ（以下、「ＣＦ」と表記する）の種類によって変えることができる。例えば、画素ＰＸ（λ１）には、画素ＰＸ（λ２），ＰＸ（λ３），ＰＸ（ＩＲ）が備えるＣＦよりも緑色（Ｇ）の波長帯域の透過率が高いＣＦを適用可能である。画素ＰＸ（λ２）には、画素ＰＸ（λ１），ＰＸ（λ３），ＰＸ（ＩＲ）が備えるＣＦよりも赤色（Ｒ）の波長帯域の透過率が高いＣＦを適用可能である。画素ＰＸ（λ３）には、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（ＩＲ）が備えるＣＦよりも青色（Ｂ）の波長帯域の透過率が高いＣＦを適用可能である。画素ＰＸ（ＩＲ）には、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）が備えるＣＦよりも赤外光の波長帯域の透過率が高いＣＦを適用可能である。なお、ＣＦの組み合わせはこの例に限定されるものではなく、また、可視光のＣＦにはＲＧＢ以外の配色のＣＦを適用してもよい。

【0020】

垂直走査回路１１３は、画素アレイ１１１を構成する複数の画素ＰＸを行単位で駆動するための制御信号を画素アレイ１１１に供給する制御回路である。垂直走査回路１１３は、シフトレジスタやアドレスデコーダを用いて構成され得る。

【0021】

信号読み出し部１１４は、図２に示すように、画素アレイ１１１の各列に対応して設けられた複数の列増幅回路１１４１及びサンプリング回路１１４２と、マルチプレクサ１１４３と、水平走査回路１１４４と、により構成され得る。列増幅回路１１４１及びサンプリング回路１１４２は、垂直走査回路１１３からの制御信号に応じて画素アレイ１１１の各列の画素ＰＸから読み出された画素信号に対して所定の処理を行う。水平走査回路１１４４は、シフトレジスタやアドレスデコーダを用いて構成され、画素信号を出力する列を指定する制御信号をマルチプレクサ１１４３に供給する制御回路である。マルチプレクサ１１４３は、水平走査回路１１４４からの制御信号に応じて、対応する列の画素信号を出力する出力回路である。信号読み出し部１１４は、各列の画素ＰＸから読み出されたアナログ画素信号をデジタル画素信号に変換するアナログデジタル変換回路を更に備えていてもよい。なお、信号読み出し部１１４の詳細については後述する。

【0022】

垂直走査回路１１３及び信号読み出し部１１４は、コントローラ１１２による制御のもと、複数の画素ＰＸの光電変換部における電荷の蓄積及び複数の画素ＰＸからの信号の読み出しを制御する画素制御部としての機能を備える。

【0023】

コントローラ１１２は、タイミングジェネレータを含み、プロセッサ１２による制御のもと、画素ＰＸ、垂直走査回路１１３及び信号読み出し部１１４の同期制御を行う機能を備える。

【0024】

図３は、単位画素ブロック１１１１の構成例を示す回路図である。ここでは、第ｍ行に配された画素ＰＸ（λ１）及び画素ＰＸ（λ２）と、第（ｍ＋１）行に配された画素ＰＸ（λ３）及び画素ＰＸ（ＩＲ）を例に挙げ、単位画素ブロック１１１１の構成例を説明する。

【0025】

画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３），ＰＸ（ＩＲ）の各々は、図３に示すように、光電変換部ＰＤ、トランジスタＴ＿ＧＳ，Ｔ＿ＴＸ，Ｔ＿ＯＦＤ，Ｔ＿ＲＥＳ，Ｔ＿ＳＦ，Ｔ＿ＳＥＬ及びキャパシタＣ＿ＭＥＭ，Ｃ＿ＦＤにより構成され得る。光電変換部ＰＤは、例えばフォトダイオード等の光電変換素子であり得るが、他の公知の光検出素子であってもよい。トランジスタＴ＿ＧＳ，Ｔ＿ＴＸ，Ｔ＿ＯＦＤ，Ｔ＿ＲＥＳ，Ｔ＿ＳＦ，Ｔ＿ＳＥＬは、例えばＮ型ＭＯＳトランジスタであり得るが、Ｐ型ＭＯＳトランジスタや他の公知のスイッチ素子であってもよい。キャパシタＣ＿ＭＥＭ，Ｃ＿ＦＤは、ＰＮ接合容量や配線容量など、トランジスタＴ＿ＧＳ，Ｔ＿ＴＸ，Ｔ＿ＲＥＳのソース／ドレイン領域に結合する容量成分である。

【0026】

光電変換部ＰＤは、アノードが接地ノードに接続され、カソードがトランジスタＴ＿ＧＳのドレイン及びトランジスタＴ＿ＯＦＤのソースに接続されている。トランジスタＴ＿ＧＳのソースは、トランジスタＴ＿ＴＸのドレインに接続されている。トランジスタＴ＿ＧＳのソースとトランジスタＴ＿ＴＸのドレインとの間の接続ノードに連なる容量成分が、キャパシタＣ＿ＭＥＭである。トランジスタＴ＿ＴＸのソースは、トランジスタＴ＿ＲＥＳのソース及びトランジスタＴ＿ＳＦのゲートに接続されている。トランジスタＴ＿ＴＸのソースと、トランジスタＴ＿ＲＥＳのソースと、トランジスタＴ＿ＳＦのゲートとの間の接続ノードに連なる容量成分が、キャパシタＣ＿ＦＤである。トランジスタＴ＿ＴＸのソースと、トランジスタＴ＿ＲＥＳのソースと、トランジスタＴ＿ＳＦのゲートとの間の接続ノードは、浮遊拡散ノード（以下、「ＦＤノード」と表記する）と称されることがある。

【0027】

トランジスタＴ＿ＳＦのソースは、トランジスタＴ＿ＳＥＬのドレインに接続されている。トランジスタＴ＿ＳＥＬのソースは、列信号線ＬＣに接続されている。トランジスタＴ＿ＯＦＤのドレイン、トランジスタＴ＿ＲＥＳのドレイン及びトランジスタＴ＿ＳＦのドレインは、電圧ＶＤＤが供給される電源ノードに接続されている。なお、トランジスタＴ＿ＯＦＤのドレイン、トランジスタＴ＿ＲＥＳのドレイン及びトランジスタＴ＿ＳＦのドレインに供給される電圧をここでは共通の電圧ＶＤＤとしているが、これらは必ずしも同じ電圧である必要はない。

【0028】

画素ＰＸ（λ１）のトランジスタＴ＿ＲＥＳのゲート及び画素ＰＸ（λ２）のトランジスタＴ＿ＲＥＳのゲートは、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）に共通の制御信号Ｐ＿ＲＥＳ（ｍ）を供給するための信号線に接続されている。画素ＰＸ（λ１）のトランジスタＴ＿ＴＸのゲート及び画素ＰＸ（λ２）のトランジスタＴ＿ＴＸのゲートは、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）に共通の制御信号Ｐ＿ＴＸ（ｍ）を供給するための信号線に接続されている。画素ＰＸ（λ１）のトランジスタＴ＿ＧＳのゲート及び画素ＰＸ（λ２）のトランジスタＴ＿ＧＳのゲートは、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）に共通の制御信号Ｐ＿ＧＳ（ｍ）を供給するための信号線に接続されている。画素ＰＸ（λ１）のトランジスタＴ＿ＯＦＤのゲート及び画素ＰＸ（λ２）のトランジスタＴ＿ＯＦＤのゲートは、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）に共通の制御信号Ｐ＿ＯＦＤ（ｍ）を供給するための信号線に接続されている。画素ＰＸ（λ１）のトランジスタＴ＿ＳＥＬのゲート及び画素ＰＸ（λ２）のトランジスタＴ＿ＳＥＬのゲートは、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）に共通の制御信号Ｐ＿ＳＥＬ（ｍ）を供給するための信号線に接続されている。

【0029】

画素ＰＸ（λ３）のトランジスタＴ＿ＲＥＳのゲート及び画素ＰＸ（ＩＲ）のトランジスタＴ＿ＲＥＳのゲートは、第（ｍ＋１）行の画素ＰＸ（λ３），ＰＸ（ＩＲ）に共通の制御信号Ｐ＿ＲＥＳ（ｍ＋１）を供給するための信号線に接続されている。画素ＰＸ（λ３）のトランジスタＴ＿ＴＸのゲート及び画素ＰＸ（ＩＲ）のトランジスタＴ＿ＴＸのゲートは、第（ｍ＋１）行の画素ＰＸ（λ３），ＰＸ（ＩＲ）に共通の制御信号Ｐ＿ＴＸ（ｍ＋１）を供給するための信号線に接続されている。画素ＰＸ（ＩＲ）のトランジスタＴ＿ＧＳのゲートは、第（ｍ＋１）行の画素ＰＸ（ＩＲ）に共通の制御信号Ｐ＿ＧＳ－ＩＲ（ｍ＋１）を供給するための信号線に接続されている。画素ＰＸ（λ３）のトランジスタＴ＿ＧＳのゲートは、第（ｍ＋１）行の画素ＰＸ（λ３）に共通の制御信号Ｐ＿ＧＳ（ｍ＋１）を供給するための信号線に接続されている。画素ＰＸ（λ３）のトランジスタＴ＿ＯＦＤのゲート及び画素ＰＸ（ＩＲ）のトランジスタＴ＿ＯＦＤのゲートは、第（ｍ＋１）行の画素ＰＸ（λ３），ＰＸ（ＩＲ）に共通の制御信号Ｐ＿ＯＦＤ（ｍ＋１）を供給するための信号線に接続されている。画素ＰＸ（λ３）のトランジスタＴ＿ＳＥＬのゲート及び画素ＰＸ（ＩＲ）のトランジスタＴ＿ＳＥＬのゲートは、第（ｍ＋１）行の画素ＰＸ（λ３），ＰＸ（ＩＲ）に共通の制御信号Ｐ＿ＳＥＬ（ｍ＋１）を供給するための信号線に接続されている。

【0030】

制御信号Ｐ＿ＲＥＳ，Ｐ＿ＴＸ，Ｐ＿ＧＳ，Ｐ＿ＧＳ－ＩＲ，Ｐ＿ＯＦＤ，Ｐ＿ＳＥＬは、コントローラ１１２から出力される同期信号に基づいて垂直走査回路１１３で生成され、画素アレイ１１１の複数の画素ＰＸに行単位で供給される。画素ＰＸを構成する各トランジスタは、対応する制御信号を受けて、導通状態（オン）又は非導通状態（オフ）に制御される。各トランジスタがＮ型ＭＯＳトランジスタで構成されている場合、対応する制御信号がハイレベル（以下、「Ｈレベル」と表記する）のときにオンになり、対応する制御信号がローレベル（以下、「Ｌレベル」と表記する。）のときにオフになる。

【0031】

光電変換部ＰＤは、入射光をその光量に応じた量の電荷に変換（光電変換）するとともに、生じた電荷を蓄積する。トランジスタＴ＿ＧＳは、転送トランジスタとも称され、オンになることにより光電変換部ＰＤが保持する電荷をキャパシタＣ＿ＭＥＭに転送する転送部としての機能を備える。キャパシタＣ＿ＭＥＭは、光電変換部ＰＤから転送された電荷を保持する電荷保持部としての機能を備える。トランジスタＴ＿ＴＸは、転送トランジスタとも称され、オンになることによりキャパシタＣ＿ＭＥＭが保持する電荷をキャパシタＣ＿ＦＤに転送する転送部としての機能を備える。キャパシタＣ＿ＦＤは、キャパシタＣ＿ＭＥＭから転送された電荷を保持する電荷保持部としての機能を備える。また、キャパシタＣ＿ＦＤは、ＦＤノードの電位をその容量値及び保持する電荷の量に応じた電位に設定する電荷電圧変換部としての機能をも備える。

【0032】

トランジスタＴ＿ＳＦは、ドレインに電圧ＶＤＤが供給され、ソースにトランジスタＴ＿ＳＥＬを介して図示しない電流源からバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部（ソースフォロワ回路）を構成している。これによりトランジスタＴ＿ＳＦは、ＦＤノードの電位に応じた信号を、トランジスタＴ＿ＳＥＬを介して列信号線ＬＣに出力する。

【0033】

トランジスタＴ＿ＲＥＳは、リセットトランジスタとも称され、オンになることによりＦＤノードを電圧ＶＤＤに応じた電圧にリセットするリセット部としての機能を備える。トランジスタＴ＿ＯＦＤは、オーバーフロードレイントランジスタとも称され、オンになることにより光電変換部ＰＤが保持する電荷を排出するオーバーフロードレイン部としての機能を備える。或いは、トランジスタＴ＿ＯＦＤは、オンになることにより光電変換部ＰＤを電圧ＶＤＤに応じた電圧にリセットするリセット部としての機能を備える、とも言える。トランジスタＴ＿ＳＥＬは、選択トランジスタとも称され、トランジスタＴ＿ＳＦのソース電圧に応じた信号を画素信号として列信号線ＬＣに出力するか否かを選択する選択部としての機能を備える。

【0034】

なお、本実施形態では撮像部１１をＣＭＯＳイメージセンサにより構成した例を説明するが、撮像部１１はＣＣＤイメージセンサにより構成してもよい。また、撮像部１１は、１つの半導体チップからなるイメージセンサとして構成されていてもよいし、積層型多機能イメージセンサなどの一部として構成されていてもよい。

【0035】

次に、本実施形態による撮像装置の駆動方法について、図４乃至図６を用いて説明する。図４乃至図６は、本実施形態による撮像装置の駆動例を示すタイミング図である。

【0036】

図４は、動画撮影を行う場合の撮像装置の動作の概略を示している。図４には、「フレーム」、「アクチュエータ」、「蓄積電荷」、「保持信号（Ｃ＿ＭＥＭ１）」、「保持信号（Ｃ＿ＭＥＭ２）」及び「読み出し動作」の時間的変化が示されている。

【0037】

図４中、「フレーム」は、画素アレイ１１１を構成する複数の画素ＰＸの画素信号に基づいて生成される静止画１枚分の画像データ（フレームデータ）を取得するための期間（期間Ｔ＿ＦＲ）である。図４には、ｎ－１フレームからｎ＋２フレームまでの連続する４フレームの動作を示している。図４において、ｎ－１フレームのフレームデータＦＲ（ｎ－１）を取得するための期間が期間Ｔ＿ＦＲ（ｎ－１）である。また、ｎフレームのフレームデータＦＲ（ｎ）を取得するための期間が期間Ｔ＿ＦＲ（ｎ）である。また、ｎ＋１フレームのフレームデータＦＲ（ｎ＋１）を取得するための期間が期間Ｔ＿ＦＲ（ｎ＋１）である。また、ｎ＋２フレームのフレームデータＦＲ（ｎ＋２）を取得するための期間が期間Ｔ＿ＦＲ（ｎ＋２）である。期間Ｔ＿ＦＲの各々は、第１期間Ｔ１＿ＦＲと、第２期間Ｔ２＿ＦＲと、第３期間Ｔ３＿ＦＲと、第４期間Ｔ４＿ＦＲと、を含む。

【0038】

図４中、「アクチュエータ」は、アクチュエータ１３の駆動状態を示している。アクチュエータ１３は、レンズの軸上色収差を補正するために画素アレイ１１１を光軸方向に位置制御するためのものであり、例えば、可視光の像を合焦、赤外光の像を合焦、インアクティブ、の３種類の駆動状態を取り得る。図４中、ＩＲ（ｎ），ＩＲ（ｎ＋１），ＩＲ（ｎ＋２）は、赤外光の像を合焦するためにアクチュエータ１３により画素アレイ１１１を光軸方向に移動させている状態を示している。また、λ（ｎ），λ（ｎ＋１），λ（ｎ＋２）は、可視光の像を合焦するためにアクチュエータ１３により画素アレイ１１１を光軸方向に移動させている状態を示している。図４中、斜線を付した期間は、アクチュエータ１３を駆動していない期間を示している。この斜線を付した期間において、アクチュエータ１３は、直前の期間に設定された状態を維持している。

【0039】

図４中、「蓄積電荷」は、光電変換部ＰＤにおける電荷保持期間を示している。ここでは、ｎ－１フレームの第３期間Ｔ３＿ＦＲ（ｎ－１）の間に光電変換部ＰＤに蓄積された電荷量をＱ３（ｎ－１）、ｎフレームの第１期間Ｔ１＿ＦＲ（ｎ）の間に光電変換部ＰＤに蓄積された電荷量をＱ１（ｎ）と表すものとする。また、ｎフレームの第３期間Ｔ３＿ＦＲ（ｎ）の間に光電変換部ＰＤに蓄積された電荷量をＱ３（ｎ）、ｎ＋１フレームの第１期間Ｔ１＿ＦＲ（ｎ＋１）の間に光電変換部ＰＤに蓄積された電荷量をＱ１（ｎ＋１）と表すものとする。また、ｎ＋１フレームの第３期間Ｔ３＿ＦＲ（ｎ＋１）の間に光電変換部ＰＤに蓄積された電荷量をＱ３（ｎ＋１）、ｎ＋２フレームの第１期間Ｔ１＿ＦＲ（ｎ＋２）の間に光電変換部ＰＤに蓄積された電荷量をＱ１（ｎ＋２）と表すものとする。図４中、斜線を付した期間は、オーバーフロードレイン（ＯＦＤ）動作が行われる期間であり、光電変換部ＰＤに電荷は蓄積されない。

【0040】

図４中、「保持信号（Ｃ＿ＭＥＭ１）」は、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）のキャパシタＣ＿ＭＥＭに保持される信号ＭＥＭ１を示している。また、「保持信号（Ｃ＿ＭＥＭ２）」は、画素ＰＸ（ＩＲ）のキャパシタＣ＿ＭＥＭに保持される信号ＭＥＭ２を示している。キャパシタＣ＿ＭＥＭに保持される信号ＭＥＭ１，ＭＥＭ２のレベルは、トランジスタＴ＿ＧＳによって光電変換部ＰＤからキャパシタＣ＿ＭＥＭに転送された電荷の量に対応する電圧値である。

【0041】

図４中、「読み出し動作」は、複数の画素ＰＸからの信号の読み出しが行単位で順次行われることを視覚的に示している。図４では、画素アレイ１１１が第１行から第Ｘ行のＸ行で構成されており（Ｘは２以上の整数）、第１行、第２行、第３行、…、第Ｘ行の順に読み出し動作を行う場合を想定している。図４に示される読み出し動作ＲＯ（ｍ）は、第ｍ行の画素ＰＸからの信号の読み出し動作を表している（ｍは１～Ｘの整数）。

【0042】

各フレームにおける動作は基本的には同じであるため、ここではフレームデータＦＲ（ｎ）の読み出し動作に着目して説明を行う。なお、前のフレーム（ｎ－１フレーム）の第４期間Ｔ４＿ＦＲ（ｎ－１）では、アクチュエータ１３を駆動し（アクチュエータ：λ（ｎ））、画素ＰＸに入射する可視光の像が合焦するように画素アレイ１１１が光軸方向に移動されている。

【0043】

フレームデータＦＲ（ｎ）を読み出す期間Ｔ＿ＦＲ（ｎ）は、前述のように、第１期間Ｔ１＿ＦＲ（ｎ）、第２期間Ｔ２＿ＦＲ（ｎ）、第３期間Ｔ３＿ＦＲ（ｎ）及び第４期間Ｔ４＿ＦＲ（ｎ）を含む。

【0044】

第１期間Ｔ１＿ＦＲ（ｎ）においては、アクチュエータ１３を駆動しない状態（アクチュエータ：インアクティブ）で、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）の光電変換部ＰＤへの電荷の蓄積を行う。第１期間Ｔ１＿ＦＲ（ｎ）の間に光電変換部ＰＤに蓄積される電荷量Ｑ１（ｎ）は、画素アレイ１１１に合焦し、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）の各々に入射した可視光の光量に基づく。

【0045】

第１期間Ｔ１＿ＦＲ（ｎ）の経過後、光電変換部ＰＤが保持する電荷はキャパシタＣ＿ＭＥＭへと転送される。これにより、キャパシタＣ＿ＭＥＭには、その容量値及び電荷量Ｑ１（ｎ）に応じた信号ＭＥＭ１（ｎ）が保持される。キャパシタＣ＿ＭＥＭは、ｎフレームの第２期間Ｔ２＿ＦＲ（ｎ）からｎ＋１フレームの第１期間Ｔ１＿ＦＲ（ｎ＋１）までの期間にわたって信号ＭＥＭ１（ｎ）を保持する。

【0046】

続く第２期間Ｔ２＿ＦＲ（ｎ）においては、アクチュエータ１３を駆動し（アクチュエータ：ＩＲ（ｎ））、画素ＰＸ（ＩＲ）に入射する赤外光の像が合焦するように画素アレイ１１１を光軸方向に移動させる。詳細は後述するが、第２期間Ｔ２＿ＦＲ（ｎ）では、光電変換部ＰＤに電荷は蓄積されない。具体的には、第２期間Ｔ２＿ＦＲ（ｎ）の間に光電変換部ＰＤで発生した電荷は、トランジスタＴ＿ＯＦＤにより排出される（ＯＦＤ動作）。

【0047】

なお、アクチュエータ１３による移動量はレンズの種類や焦点距離によって異なるため、アクチュエータ駆動期間の長さはレンズの条件によって異なる。一般的なレンズは焦点距離に比例して軸上色収差が大きくなるので、焦点距離が長いほど移動量は大きく、すなわちアクチュエータ駆動期間は長くなる。

【0048】

続く第３期間Ｔ３＿ＦＲ（ｎ）においては、アクチュエータ１３を駆動しない状態（アクチュエータ：インアクティブ）で、画素ＰＸ（ＩＲ）の光電変換部ＰＤへの電荷の蓄積を行う。第３期間Ｔ３＿ＦＲ（ｎ）の間に光電変換部ＰＤに蓄積される電荷量Ｑ３（ｎ）は、画素アレイ１１１に合焦し、画素ＰＸ（ＩＲ）に入射した赤外光の光量に基づく。

【0049】

第３期間Ｔ３＿ＦＲ（ｎ）の経過後、画素ＰＸ（ＩＲ）の光電変換部ＰＤが保持する電荷はキャパシタＣ＿ＭＥＭへと転送される。これにより、画素ＰＸ（ＩＲ）のキャパシタＣ＿ＭＥＭには、その容量値及び電荷量Ｑ３（ｎ）に応じた信号ＭＥＭ２（ｎ）が保持される。キャパシタＣ＿ＭＥＭは、ｎフレームの第４期間Ｔ４＿ＦＲ（ｎ）からｎ＋１フレームの第３期間Ｔ３＿ＦＲ（ｎ＋１）までの期間にわたって信号ＭＥＭ２（ｎ）を保持する。

【0050】

続く第４期間Ｔ４＿ＦＲ（ｎ）においては、アクチュエータ１３を駆動し（アクチュエータ：λ（ｎ＋１））、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）に入射する可視光の像が合焦するように画素アレイ１１１を光軸方向に移動させる。また、詳細は後述するが、第４期間Ｔ４＿ＦＲ（ｎ）では、複数の画素ＰＸからの信号の読み出し動作を行単位で順次行う。具体的には、第１行の読み出し動作ＲＯ（１）から第Ｘ行の読み出し動作ＲＯ（Ｘ）までの読み出し動作を行単位で順次行う。この読み出し動作は、信号ＭＥＭ１（ｎ）及び信号ＭＥＭ２（ｎ）がキャパシタＣ＿ＭＥＭに保持されている第４期間Ｔ４＿ＦＲ（ｎ）の間に行われる。

【0051】

プロセッサ１２は、以上のようにして読み出された信号ＭＥＭ１（ｎ）及び信号ＭＥＭ２（ｎ）に基づいて、合焦された可視光及び赤外光に基づく画像信号を１フレームの間に取得することができる。取得した画像信号は、画像情報として画像情報保持部１４に格納される。

【0052】

図５及び図６は、図４の動作を行う際に垂直走査回路１１３から画素アレイ１１１の画素ＰＸに供給される制御信号の波形を示している。図５及び図６には説明の簡略化のため第ｍ行及び第（ｍ＋１）行の画素ＰＸに供給される制御信号のみを示しているが、他の行の画素ＰＸに供給される制御信号についても同様である。

【0053】

図５には、画素ＰＸ（λ１），ＰＸ（λ２）の制御信号Ｐ＿ＯＦＤ（ｍ），Ｐ＿ＧＳ（ｍ）と、画素ＰＸ（λ３），ＰＸ（ＩＲ）の制御信号Ｐ＿ＯＦＤ（ｍ＋１），Ｐ＿ＧＳ（ｍ＋１），Ｐ＿ＧＳ＿ＩＲ（ｍ＋１）と、を示している。また、図５には、読み出し動作ＲＯ（ｍ），ＲＯ（ｍ＋１）を、制御信号と同様のパルス波形で表現している。読み出し動作ＲＯ（ｍ），ＲＯ（ｍ＋１）をＨレベルで示している期間が読み出しを行う期間であり、読み出し動作ＲＯ（ｍ），ＲＯ（ｍ＋１）をＬレベルで示している期間が読み出しを行わない期間である。

【0054】

ｎ－１フレームの第４期間Ｔ４＿ＦＲ（ｎ－１）には、画素ＰＸに入射する可視光の像が合焦するように、アクチュエータ１３による画素アレイ１１１の光軸方向の位置調整が行われる。ｎ－１フレームの第４期間Ｔ４＿ＦＲ（ｎ－１）の終期には、垂直走査回路１１３により、制御信号Ｐ＿ＯＦＤ（ｍ），Ｐ＿ＯＦＤ（ｍ＋１）がＬレベルからＨレベルに制御される。これにより、第ｍ行及び第（ｍ＋１）行の画素ＰＸのトランジスタＴ＿ＯＦＤがオンになり、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３），ＰＸ（ＩＲ）の光電変換部ＰＤがリセットされる。

【0055】

垂直走査回路１１３により制御信号Ｐ＿ＯＦＤ（ｍ），Ｐ＿ＯＦＤ（ｍ＋１）がＨレベルからＬレベルに制御されることにより、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３），ＰＸ（ＩＲ）における光電変換部ＰＤのリセットが解除される。これにより、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３），ＰＸ（ＩＲ）の光電変換部ＰＤにおいて電荷の蓄積が開始される。制御信号Ｐ＿ＯＦＤ（ｍ），Ｐ＿ＯＦＤ（ｍ＋１）がＨレベルからＬレベルに遷移するタイミングが、ｎ－１フレームの第４期間Ｔ４＿ＦＲ（ｎ－１）の終了タイミングであり、ｎフレームの第１期間Ｔ１＿ＦＲ（ｎ）の開始タイミングである。

【0056】

第１期間Ｔ１＿ＦＲ（ｎ）の終期には、垂直走査回路１１３により、制御信号Ｐ＿ＧＳ（ｍ），Ｐ＿ＧＳ（ｍ＋１）がＬレベルからＨレベルに制御される。これにより、第ｍ行及び第（ｍ＋１）行の画素ＰＸのトランジスタＴ＿ＧＳがオンになり、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）の光電変換部ＰＤに蓄積された電荷がキャパシタＣ＿ＭＥＭに転送される。

【0057】

垂直走査回路１１３により制御信号Ｐ＿ＧＳ（ｍ），Ｐ＿ＧＳ（ｍ＋１）がＨレベルからＬレベルに制御されることにより、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）の光電変換部ＰＤからキャパシタＣ＿ＭＥＭへの電荷の転送動作が終了する。制御信号Ｐ＿ＧＳ（ｍ），Ｐ＿ＧＳ（ｍ＋１）がＨレベルからＬレベルに遷移するタイミングが、第１期間Ｔ１＿ＦＲ（ｎ）の終了タイミングであり、第２期間Ｔ２＿ＦＲ（ｎ）の開始タイミングである。

【0058】

このように、第１期間Ｔ１＿ＦＲ（ｎ）は、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）の光電変換部ＰＤにおける電荷の蓄積期間（露光期間）である。第１期間Ｔ１＿ＦＲ（ｎ）に、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）の各々の光電変換部ＰＤには、電荷量Ｑ１（ｎ）の電荷が蓄積される。また、電荷量Ｑ１（ｎ）の電荷がキャパシタＣ＿ＭＥＭへと転送されることにより、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）のキャパシタＣ＿ＭＥＭに、合焦した可視光による画像信号として電荷量Ｑ１（ｎ）に相当する信号ＭＥＭ１（ｎ）が保持される。

【0059】

第２期間Ｔ２＿ＦＲ（ｎ）には、画素ＰＸに入射する赤外光の像が合焦するように、アクチュエータ１３による画素アレイ１１１の光軸方向の位置調整が行われる。第２期間Ｔ２＿ＦＲ（ｎ）の終期には、垂直走査回路１１３により、制御信号Ｐ＿ＯＦＤ（ｍ＋１）がＬレベルからＨレベルに制御される。これにより、第（ｍ＋１）行の画素ＰＸのトランジスタＴ＿ＯＦＤがオンになり、画素ＰＸ（λ３），ＰＸ（ＩＲ）の光電変換部ＰＤがリセットされる。

【0060】

垂直走査回路１１３により制御信号Ｐ＿ＯＦＤ（ｍ＋１）がＨレベルからＬレベルに制御されることにより、画素ＰＸ（λ３），ＰＸ（ＩＲ）における光電変換部ＰＤのリセットが解除される。これにより、画素ＰＸ（λ３），ＰＸ（ＩＲ）の光電変換部ＰＤにおいて電荷の蓄積が開始される。制御信号Ｐ＿ＯＦＤ（ｍ＋１）がＨレベルからＬレベルに遷移するタイミングが、第２期間Ｔ２＿ＦＲ（ｎ）の終了タイミングであり、第３期間Ｔ３＿ＦＲ（ｎ）の開始タイミングである。

【0061】

第３期間Ｔ３＿ＦＲ（ｎ）の終期には、垂直走査回路１１３により、制御信号Ｐ＿ＧＳ＿ＩＲ（ｍ＋１）がＬレベルからＨレベルに制御される。これにより、第（ｍ＋１）行の画素ＰＸ（ＩＲ）のトランジスタＴ＿ＧＳがオンになり、画素ＰＸ（ＩＲ）の光電変換部ＰＤに蓄積された電荷がキャパシタＣ＿ＭＥＭに転送される。

【0062】

垂直走査回路１１３により制御信号Ｐ＿ＧＳ＿ＩＲ（ｍ＋１）がＨレベルからＬレベルに制御されることにより、画素ＰＸ（ＩＲ）の光電変換部ＰＤからキャパシタＣ＿ＭＥＭへの電荷の転送動作が終了する。制御信号Ｐ＿ＧＳ＿ＩＲ（ｍ＋１）がＨレベルからＬレベルに遷移するタイミングが、第３期間Ｔ３＿ＦＲ（ｎ）の終了タイミングであり、第４期間Ｔ４＿ＦＲ（ｎ）の開始タイミングである。

【0063】

このように、第３期間Ｔ３＿ＦＲ（ｎ）は、画素ＰＸ（ＩＲ）の光電変換部ＰＤにおける電荷の蓄積期間（露光期間）である。第３期間Ｔ３＿ＦＲ（ｎ）に、画素ＰＸ（ＩＲ）の光電変換部ＰＤには、電荷量Ｑ３（ｎ）の電荷が蓄積される。また、電荷量Ｑ３（ｎ）の電荷が光電変換部ＰＤからキャパシタＣ＿ＭＥＭへと転送されることにより、キャパシタＣ＿ＭＥＭには、合焦した赤外光による画像信号として、電荷量Ｑ３（ｎ）に相当する信号ＭＥＭ２（ｎ）が保持される。

【0064】

第４期間Ｔ４＿ＦＲ（ｎ）には、第１行から第Ｘ行までの読み出し動作、すなわち読み出し動作ＲＯ（１）～ＲＯ（Ｘ）が順に実行される。なお、総ての画素ＰＸについて電荷の蓄積時間が均一化され、また、総ての画素ＰＸにおいて蓄積電荷がキャパシタＣ＿ＭＥＭに保持されているため、読み出し動作ＲＯ（１）～ＲＯ（Ｘ）はどのような順序で実行されてもよい。また、図５において、読み出し動作ＲＯ（ｍ）は第４期間Ｔ４＿ＦＲ（ｎ）の開始タイミングから開始しているが、第４期間Ｔ４＿ＦＲ（ｎ）の間であれば何れのタイミングで実行されてもよい。

【0065】

図６は、図５の読み出し動作ＲＯ（ｍ），ＲＯ（ｍ＋１）における具体的な動作を示すタイミング図である。図６には、画素ＰＸ（λ１），ＰＸ（λ２）の制御信号Ｐ＿ＳＥＬ（ｍ），Ｐ＿ＲＥＳ（ｍ），Ｐ＿ＴＸ（ｍ）と、画素ＰＸ（λ３），ＰＸ（ＩＲ）の制御信号Ｐ＿ＳＥＬ（ｍ＋１），Ｐ＿ＲＥＳ（ｍ＋１），Ｐ＿ＴＸ（ｍ＋１）と、を示している。

【0066】

また、図６には、信号読み出し部１１４におけるサンプリング動作を、制御信号と同様のパルス波形で表現している。「信号読み出し部のサンプリング」をＨレベルで示している期間がサンプリングを行う期間であり、「ｍｍｍ読み出し部のサンプリング」をＬレベルで示している期間がサンプリングを行わない期間である。前述の通り、信号読み出し部１１４は行ごとに画素ＰＸから信号を読み出す。そのため、ある行の画素ＰＸから信号を読み出す場合には、「信号読み出し部のサンプリング」のＨレベルはその行の画素ＰＸからの信号をサンプリングすることを示す。

【0067】

本実施形態においては、第１行から第Ｘ行までの読み出し動作ＲＯ（１）～ＲＯ（Ｘ）を順に実行する。第（ｍ－１）行から第（ｍ＋２）行に着目すると、図６に示すように、読み出し動作ＲＯ（ｍ－１），ＲＯ（ｍ），ＲＯ（ｍ＋１），ＲＯ（ｍ＋２）がこの順に実行される。図６において、読み出し動作ＲＯ（ｍ）を行う期間が期間Ｔ＿ＲＯ（ｍ）であり、読み出し動作ＲＯ（ｍ＋１）を行う期間が期間Ｔ＿ＲＯ（ｍ＋１）である。期間Ｔ＿ＲＯ（ｍ）は、期間Ｔ０＿ＲＯ（ｍ）と、期間Ｔ１＿ＲＯ（ｍ）と、期間Ｔ２＿ＲＯ（ｍ）とを含む。期間Ｔ＿ＲＯ（ｍ＋１）は、期間Ｔ０＿ＲＯ（ｍ＋１）と、期間Ｔ１＿ＲＯ（ｍ＋１）と、期間Ｔ２＿ＲＯ（ｍ＋１）とを含む。

【0068】

まず、期間Ｔ＿ＲＯ（ｍ）における動作について説明する。
期間Ｔ＿ＲＯ（ｍ）の開始のタイミングにおいて、垂直走査回路１１３は、制御信号Ｐ＿ＳＥＬ（ｍ）をＬレベルからＨレベルに制御する。これにより、第ｍ行の画素ＰＸのトランジスタＴ＿ＳＥＬがオンになり、第ｍ行の画素ＰＸから信号読み出し部１１４への信号の読み出しが可能な状態となる。垂直走査回路１１３は、期間Ｔ＿ＲＯ（ｍ）の間、制御信号Ｐ＿ＳＥＬ（ｍ）をＨレベルのまま維持する。

【0069】

次いで、垂直走査回路１１３は、期間Ｔ０＿ＲＯ（ｍ）の間に、一時的に制御信号Ｐ＿ＲＥＳ（ｍ）をＨレベルに制御する。これにより、第ｍ行の画素ＰＸのトランジスタＴ＿ＲＥＳがオンになり、ＦＤノード（キャパシタＣ＿ＦＤ）がリセットされる。そして、ＦＤノードのリセット電位に応じた信号が、トランジスタＴ＿ＳＥＬを介して対応する列の列信号線ＬＣに出力される。

【0070】

次いで、制御信号Ｐ＿ＲＥＳ（ｍ）がＬレベルに遷移した後の期間Ｔ１＿ＲＯ（ｍ）において、信号読み出し部１１４は、各列の列信号線ＬＣに出力された信号をサンプリングする。このようにして画素ＰＸ（λ１），ＰＸ（λ２）から得られる信号が、信号ＭＥＭ１（ｍ）＿Ｎである。

【0071】

次いで、垂直走査回路１１３は、一時的に制御信号Ｐ＿ＴＸ（ｍ）をＨレベルに制御する。これにより、第ｍ行の画素ＰＸのトランジスタＴ＿ＴＸがオンになり、キャパシタＣ＿ＭＥＭが保持する電荷がキャパシタＣ＿ＦＤに転送される。これにより、ＦＤノードは、キャパシタＣ＿ＭＥＭから転送された電荷の量に応じた電位となる。そして、ＦＤノードの電位に応じた信号が、トランジスタＴ＿ＳＥＬを介して対応する列の列信号線ＬＣに出力される。

【0072】

次いで、制御信号Ｐ＿ＴＸ（ｍ）がＬレベルに遷移した後の期間Ｔ２＿ＲＯ（ｍ）において、信号読み出し部１１４は、各列の列信号線ＬＣに出力された信号をサンプリングする。このようにして画素ＰＸ（λ１），ＰＸ（λ２）から得られる信号が、信号ＭＥＭ１（ｍ）＿Ｓである。

【0073】

信号読み出し部１１４では、このようにして取得された信号ＭＥＭ１（ｍ）＿Ｎ及び信号ＭＥＭ１（ｍ）＿Ｓに対し、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング）処理が施される。すなわち、信号ＭＥＭ１（ｍ）＿Ｓから信号ＭＥＭ１（ｍ）＿Ｎを差し引くことで、信号ＭＥＭ１（ｍ）＿Ｓに重畳する回路構成や特性ばらつき等に起因するオフセット成分を除去する。

【0074】

なお、図４の説明では、説明を容易にするために信号ＭＥＭ１（ｎ）が合焦した可視光による画像信号として取得されることを述べた。しかし、この画像信号は、実際には、信号ＭＥＭ１（ｍ）＿Ｎ及びＭＥＭ１（ｍ）＿Ｓを用いた上記ＣＤＳ処理に基づいて得られる。すなわち、この画像信号は、ＭＥＭ１（ｍ）＿ＳからＭＥＭ１（ｍ）＿Ｎを減算して得られた信号である。

【0075】

次に、期間Ｔ＿ＲＯ（ｍ＋１）における動作について説明する。
期間Ｔ＿ＲＯ（ｍ＋１）の開始のタイミングにおいて、垂直走査回路１１３は、制御信号Ｐ＿ＳＥＬ（ｍ＋１）をＬレベルからＨレベルに制御する。これにより、第（ｍ＋１）行の画素ＰＸのトランジスタＴ＿ＳＥＬがオンになり、第（ｍ＋１）行の画素ＰＸから信号読み出し部１１４への信号の読み出しが可能な状態となる。垂直走査回路１１３は、期間Ｔ＿ＲＯ（ｍ＋１）の間、制御信号Ｐ＿ＳＥＬ（ｍ＋１）をＨレベルのまま維持する。

【0076】

次いで、垂直走査回路１１３は、期間Ｔ０＿ＲＯ（ｍ＋１）の間に、一時的に制御信号Ｐ＿ＲＥＳ（ｍ＋１）をＨレベルに制御する。これにより、第（ｍ＋１）行の画素ＰＸのトランジスタＴ＿ＲＥＳがオンになり、キャパシタＣ＿ＦＤがリセットされる。そして、ＦＤノードのリセット電位に応じた信号が、トランジスタＴ＿ＳＥＬを介して対応する列の列信号線ＬＣに出力される。

【0077】

次いで、制御信号Ｐ＿ＲＥＳ（ｍ）がＬレベルに遷移した後の期間Ｔ１＿ＲＯ（ｍ＋１）において、信号読み出し部１１４は、各列の列信号線ＬＣに出力された信号をサンプリングする。このようにして画素ＰＸ（λ３）から得られる信号が信号ＭＥＭ１（ｍ＋１）＿Ｎであり、画素ＰＸ（ＩＲ）から得られる信号が信号ＭＥＭ２（ｍ＋１）＿Ｎである。

【0078】

次いで、垂直走査回路１１３は、一時的に制御信号Ｐ＿ＴＸ（ｍ＋１）をＨレベルに制御する。これにより、第（ｍ＋１）行の画素ＰＸのトランジスタＴ＿ＴＸがオンになり、キャパシタＣ＿ＭＥＭが保持する電荷がキャパシタＣ＿ＦＤに転送される。これにより、ＦＤノードは、キャパシタＣ＿ＭＥＭから転送された電荷の量に応じた電位となる。そして、ＦＤノードの電位に応じた信号が、トランジスタＴ＿ＳＥＬを介して対応する列の列信号線ＬＣに出力される。

【0079】

次いで、制御信号Ｐ＿ＴＸ（ｍ＋１）がＬレベルに遷移した後の期間Ｔ２＿ＲＯ（ｍ＋１）において、信号読み出し部１１４は、各列の列信号線ＬＣに出力された信号をサンプリングする。このようにして画素ＰＸ（λ３）から得られる信号が信号ＭＥＭ１（ｍ＋１）＿Ｓであり、画素ＰＸ（ＩＲ）から得られる信号が信号ＭＥＭ２（ｍ＋１）＿Ｓである。

【0080】

信号読み出し部１１４では、このようにして取得された信号ＭＥＭ１（ｍ＋１）＿Ｎ及び信号ＭＥＭ１（ｍ＋１）＿Ｓに対し、ＣＤＳ処理が施される。すなわち、信号ＭＥＭ１（ｍ＋１）＿Ｓから信号ＭＥＭ１（ｍ＋１）＿Ｎを差し引くことで、信号ＭＥＭ１（ｍ＋１）＿Ｓに重畳する回路構成や特性ばらつき等に起因するオフセット成分を除去する。

【0081】

また、信号読み出し部１１４では、このようにして取得された信号ＭＥＭ２（ｍ＋１）＿Ｎ及び信号ＭＥＭ２（ｍ＋１）＿Ｓに対し、ＣＤＳ処理が施される。すなわち、信号ＭＥＭ２（ｍ＋１）＿Ｓから信号ＭＥＭ２（ｍ＋１）＿Ｎを差し引くことで、信号ＭＥＭ２（ｍ＋１）＿Ｓに重畳する回路構成や特性ばらつき等に起因するオフセット成分を除去する。

【0082】

本実施形態では、可視光の範囲内で軸上色収差補正が施されたレンズを用い、合焦した可視光及び赤外光による画像信号を１フレーム内（総ての画素ＰＸの光電変換部ＰＤにおける電荷の蓄積開始から信号の読み出し完了まで）に取得することができる。したがって、可視光から赤外の範囲に渡って軸上色収差補正された高価なレンズを用いる場合よりも低コストで、可視光と赤外光の高画質画像を高速に取得可能な撮像装置を構成することが可能である。

【0083】

例えば、遠方の動画撮影時において、赤外光は可視光線と比較して大気を構成する分子による散乱が少ないので、霞のない画像とカラー画像が得られ、高精度の遠方監視を低コスト・高速・高画質で可能とする。また、透過性が高いという赤外光の性質を利用して、例えば、産業分野の検査において、ベルトコンベアーを流れる被検査物のカラー画像による外観検査と、被検査物の赤外画像による内部の異物検査を低コスト・高速・高画質で可能とする。

【0084】

なお、本実施形態では本発明を動画撮影に適用した例を示したが、本発明は静止画撮影に適用することも可能である。

【0085】

このように、本実施形態によれば、異なる波長帯域に感度を有する複数種類の画素を有する撮像装置において、部品コストの増加を抑制しつつ当該複数種類の画素に対して合焦された高画質画像を高速に取得することが可能となる。

【0086】

［第２実施形態］
本発明の第２実施形態による撮像装置について、図７乃至図１０を用いて説明する。第１実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図７は、本実施形態による単位画素ブロックの構成例を示す回路図である。図８乃至図１０は、本実施形態による撮像装置の駆動例を示すタイミング図である。

【0087】

本実施形態による撮像装置の全体構成及び撮像部の構成は、図１及び図２に示す第１実施形態による撮像装置と同様である。本実施形態による撮像装置は、画素アレイ１１１を構成する複数の画素ＰＸの構成が、図３に示す第１実施形態による撮像装置とは異なっている。

【0088】

すなわち、本実施形態による撮像装置において、複数の画素ＰＸの各々は、図７に示すように、光電変換部ＰＤと、トランジスタＴ＿ＴＸ，Ｔ＿ＲＥＳ，Ｔ＿ＳＦ，Ｔ＿ＳＥＬと、キャパシタＣ＿ＦＤと、により構成され得る。画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３），ＰＸ（ＩＲ）により単位画素ブロック１１１１が構成されている点は、第１実施形態と同様である。

【0089】

光電変換部ＰＤは、アノードが接地ノードに接続され、カソードがトランジスタＴ＿ＴＸのドレインに接続されている。トランジスタＴ＿ＴＸのソースは、トランジスタＴ＿ＲＥＳのソース及びトランジスタＴ＿ＳＦのゲートに接続されている。トランジスタＴ＿ＴＸのソースと、トランジスタＴ＿ＲＥＳのソースと、トランジスタＴ＿ＳＦのゲートとの間の接続ノードに連なる容量成分が、キャパシタＣ＿ＦＤである。トランジスタＴ＿ＴＸのソースと、トランジスタＴ＿ＲＥＳのソースと、トランジスタＴ＿ＳＦのゲートとの間の接続ノードは、浮遊拡散ノード（以下、「ＦＤノード」）と称されることがある。

【0090】

トランジスタＴ＿ＳＦのソースは、トランジスタＴ＿ＳＥＬのドレインに接続されている。トランジスタＴ＿ＳＥＬのソースは、列信号線ＬＣに接続されている。トランジスタＴ＿ＲＥＳのドレイン及びトランジスタＴ＿ＳＦのドレインは、電圧ＶＤＤが供給される電源ノードに接続されている。なお、トランジスタＴ＿ＲＥＳのドレイン及びトランジスタＴ＿ＳＦのドレインに供給される電圧をここでは共通の電圧ＶＤＤとしているが、これらは必ずしも同じ電圧である必要はない。

【0091】

画素ＰＸ（λ１）のトランジスタＴ＿ＲＥＳのゲート及び画素ＰＸ（λ２）のトランジスタＴ＿ＲＥＳのゲートは、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）に共通の制御信号Ｐ＿ＲＥＳ１（ｍ）を供給するための信号線に接続されている。画素ＰＸ（λ１）のトランジスタＴ＿ＴＸのゲート及び画素ＰＸ（λ２）のトランジスタＴ＿ＴＸのゲートは、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）に共通の制御信号Ｐ＿ＴＸ１（ｍ）を供給するための信号線に接続されている。画素ＰＸ（λ１）のトランジスタＴ＿ＳＥＬのゲート及び画素ＰＸ（λ２）のトランジスタＴ＿ＳＥＬのゲートは、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）に共通の制御信号Ｐ＿ＳＥＬ１（ｍ）を供給するための信号線に接続されている。

【0092】

画素ＰＸ（λ３）のトランジスタＴ＿ＲＥＳのゲートは、第（ｍ＋１）行の画素ＰＸ（λ３）に共通の制御信号Ｐ＿ＲＥＳ１（ｍ＋１）を供給するための信号線に接続されている。画素ＰＸ（ＩＲ）のトランジスタＴ＿ＲＥＳのゲートは、第（ｍ＋１）行の画素ＰＸ（ＩＲ）に共通の制御信号Ｐ＿ＲＥＳ２（ｍ＋１）を供給するための信号線に接続されている。画素ＰＸ（λ３）のトランジスタＴ＿ＴＸのゲートは、第（ｍ＋１）行の画素ＰＸ（λ３）に共通の制御信号Ｐ＿ＴＸ１（ｍ＋１）を供給するための信号線に接続されている。画素ＰＸ（ＩＲ）のトランジスタＴ＿ＴＸのゲートは、第（ｍ＋１）行の画素ＰＸ（ＩＲ）に共通の制御信号Ｐ＿ＴＸ２（ｍ＋１）を供給するための信号線に接続されている。画素ＰＸ（λ３）のトランジスタＴ＿ＳＥＬのゲートは、第（ｍ＋１）行の画素ＰＸ（λ３）に共通の制御信号Ｐ＿ＳＥＬ１（ｍ＋１）を供給するための信号線に接続されている。画素ＰＸ（ＩＲ）のトランジスタＴ＿ＳＥＬのゲートは、第（ｍ＋１）行の画素ＰＸ（ＩＲ）に共通の制御信号Ｐ＿ＳＥＬ２（ｍ＋１）を供給するための信号線に接続されている。

【0093】

制御信号Ｐ＿ＲＥＳ１，Ｐ＿ＲＥＳ２，Ｐ＿ＴＸ１，Ｐ＿ＴＸ２，Ｐ＿ＳＥＬ１，Ｐ＿ＳＥＬ２は、コントローラ１１２から出力される同期信号に基づいて垂直走査回路１１３で生成され、画素ＰＸに行単位で供給される。画素ＰＸを構成する各トランジスタは、対応する制御信号を受けて、導通状態（オン）又は非導通状態（オフ）に制御される。各トランジスタがＮ型ＭＯＳトランジスタで構成されている場合、対応する制御信号がＨレベルのときにオンとなり、対応する制御信号がＬレベルのときにオフとなる。

【0094】

光電変換部ＰＤは、入射光をその光量に応じた量の電荷に変換（光電変換）するとともに、生じた電荷を蓄積する。トランジスタＴ＿ＴＸは、転送トランジスタとも称され、オンになることにより光電変換部ＰＤが保持する電荷をキャパシタＣ＿ＦＤに転送する転送部としての機能を備える。キャパシタＣ＿ＦＤは、光電変換部ＰＤから転送された電荷を保持する電荷保持部としての機能を備える。また、キャパシタＣ＿ＦＤは、ＦＤノードの電位をその容量値及び保持する電荷の量に応じた電位に設定する電荷電圧変換部としての機能をも備える。

【0095】

トランジスタＴ＿ＳＦは、ドレインに電圧ＶＤＤが供給され、ソースにトランジスタＴ＿ＳＥＬを介して図示しない電流源からバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部（ソースフォロワ回路）を構成している。これによりトランジスタＴ＿ＳＦは、ＦＤノードの電位に基づく信号を、トランジスタＴ＿ＳＥＬを介して列信号線ＬＣに出力する。

【0096】

トランジスタＴ＿ＲＥＳは、リセットトランジスタとも称され、オンになることによりＦＤノードを電圧ＶＤＤに応じた電圧にリセットするリセット部としての機能を備える。トランジスタＴ＿ＳＥＬは、選択トランジスタとも称され、トランジスタＴ＿ＳＦのソース電圧に応じた信号を画素信号として列信号線ＬＣに出力するか否かを選択する選択部としての機能を備える。

【0097】

本実施形態による撮像装置は、行ごとに光電変換部ＰＤによる光電変換のタイミングが異なるローリングシャッター駆動を行うセンサであることが特徴である。

【0098】

次に、本実施形態による撮像装置の駆動方法について、図８乃至図１０を用いて説明する。図８乃至図１０は、本実施形態による撮像装置の駆動例を示すタイミング図である。

【0099】

図８は、動画撮影を行う場合の撮像装置の動作の概略を示している。図８には、「フレーム」、「アクチュエータ」、「可視光に基づく信号の読み出し動作」及び「赤外光に基づく信号の読み出し動作」の時間的変化が示されている。

【0100】

図８中、「フレーム」は、画素アレイ１１１を構成する複数の画素ＰＸの画素信号に基づいて生成される静止画１枚分の画像データ（フレームデータ）を取得するための期間（期間Ｔ＿ＦＲ）である。図８には、ｎ－１フレームからｎ＋２フレームまでの連続する４フレームの動作を示している。図８において、ｎ－１フレームのフレームデータＦＲ（ｎ－１）を取得するための期間が期間Ｔ＿ＦＲ（ｎ－１）である。また、ｎフレームのフレームデータＦＲ（ｎ）を取得するための期間が期間Ｔ＿ＦＲ（ｎ）である。また、ｎ＋１フレームのフレームデータＦＲ（ｎ＋１）を取得するための期間が期間Ｔ＿ＦＲ（ｎ＋１）である。また、ｎ＋２フレームのフレームデータＦＲ（ｎ＋２）を取得するための期間が期間Ｔ＿ＦＲ（ｎ＋２）である。期間Ｔ＿ＦＲの各々は、第１期間Ｔ１＿ＦＲと、第２期間Ｔ２＿ＦＲと、第３期間Ｔ３＿ＦＲと、第４期間Ｔ４＿ＦＲと、第５期間Ｔ５＿ＦＲと、第６期間Ｔ６＿ＦＲと、を含む。

【0101】

図８中、「アクチュエータ」は、アクチュエータ１３の駆動状態を示している。図８中、ＩＲ（ｎ），ＩＲ（ｎ＋１）は、赤外光の像を合焦するためにアクチュエータ１３により画素アレイ１１１を光軸方向に移動させている状態を示している。また、λ（ｎ），λ（ｎ＋１），λ（ｎ＋２）は、可視光の像を合焦するためにアクチュエータ１３により画素アレイ１１１を光軸方向に移動させている状態を示している。図８中、斜線を付した期間は、アクチュエータ１３を駆動していない期間を示している。この斜線を付した期間において、アクチュエータ１３は、直前の期間に設定された状態を維持している。

【0102】

図８中、「可視光に基づく信号の読み出し動作」及び「赤外光に基づく信号の読み出し動作」は、可視光に基づく信号及び赤外光に基づく信号の読み出しが行単位で順次行われることを視覚的に示している。「可視光に基づく信号の読み出し動作」が画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）からの読み出し動作を示し、「赤外光に基づく信号の読み出し動作」が画素ＰＸ（ＩＲ）からの読み出し動作を示している。図８では、画素アレイ１１１が第１行から第Ｘ行のＸ行で構成されている場合を想定している（Ｘは２以上の整数）。また、可視光に基づく信号の読み出し動作は第１行、第２行、第３行、…、第Ｘ行の順に行い、赤外光に基づく信号の読み出しは第２行、第４行、第８行、第１０行、…、第Ｘ行の順に行う場合を想定している。

【0103】

図８に示されるリセット動作ＲＥＳ１（ｍ），ＲＥＳ２（ｍ）は、第ｍ行の画素ＰＸにおける光電変換部ＰＤのリセット動作を表している（ｍは１～Ｘの整数）。また、図８に示される読み出し動作ＲＯ１（ｍ），ＲＯ２（ｍ）は、第ｍ行の画素ＰＸからの信号の読み出し動作を表している（ｍは１～Ｘの整数）。リセット動作ＲＥＳ１（ｍ）の開始から読み出し動作ＲＯ１（ｍ）の開始までの期間の長さが画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）の光電変換部ＰＤにおける電荷の蓄積期間（可視光蓄積期間）に相当する。また、リセット動作ＲＥＳ２（ｍ）の開始から読み出し動作ＲＯ２（ｍ）の開始までの期間の長さが画素ＰＸ（ＩＲ）の光電変換部ＰＤにおける電荷の蓄積期間（赤外光蓄積期間）に相当する。

【0104】

各フレームにおける動作は基本的には同じであるため、ここではフレームデータＦＲ（ｎ）の読み出し動作に着目して説明を行う。なお、前のフレーム（ｎ－１フレーム）の第６期間Ｔ６＿ＦＲ（ｎ－１）では、アクチュエータ１３を駆動し（アクチュエータ：λ（ｎ））、画素ＰＸに入射する可視光の像が合焦するように画素アレイ１１１が光軸方向に移動されている。

【0105】

フレームデータＦＲ（ｎ）を読み出す期間Ｔ＿ＦＲ（ｎ）は、前述のように、第１期間Ｔ１＿ＦＲ（ｎ）、第２期間Ｔ２＿ＦＲ（ｎ）、第３期間Ｔ３＿ＦＲ（ｎ）、第４期間Ｔ４＿ＦＲ（ｎ）、第５期間Ｔ５＿ＦＲ（ｎ）及び第６期間Ｔ６＿ＦＲ（ｎ）を含む。

【0106】

第１期間Ｔ１＿ＦＲ（ｎ）においては、アクチュエータ１３を駆動しない状態（アクチュエータ：インアクティブ）で、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）の光電変換部ＰＤへの電荷の蓄積を開始する。具体的には、第１期間Ｔ１＿ＦＲ（ｎ）の開始から終了までの間に、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）における光電変換部ＰＤのリセット動作ＲＥＳ１を行毎に順次実行する。例えば、第１期間Ｔ１＿ＦＲ（ｎ）の開始の後に第１行目のリセット動作ＲＥＳ１（１）を開始し、第１期間Ｔ１＿ＦＲ（ｎ）の終了の前に第Ｘ行目のリセット動作ＲＥＳ１（Ｘ）が終了するように、各行のリセット動作ＲＥＳ１を順次実行する。つまり、各行の画素ＰＸにおいて、光電変換部ＰＤへの電荷の蓄積を開始するタイミングは異なっている。光電変換部ＰＤに蓄積された電荷は、その画素ＰＸが属する行の読み出し動作ＲＯ１が実行されるまでの間、光電変換部ＰＤに保持される。

【0107】

続く第２期間Ｔ２＿ＦＲ（ｎ）においては、アクチュエータ１３を駆動しない状態（アクチュエータ：インアクティブ）で、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）からの信号の読み出し動作ＲＯ１を行単位で順次行う。具体的には、第２期間Ｔ２＿ＦＲ（ｎ）の間に、第１行の読み出し動作ＲＯ１（１）から第Ｘ行の読み出し動作ＲＯ１（Ｘ）までの読み出し動作を行単位で順次行う。光電変換部ＰＤにおける電荷の蓄積が終了するタイミングは、光電変換部ＰＤからＦＤノードへと電荷を転送するタイミングで規定される。読み出し動作ＲＯ１は、光電変換部ＰＤからＦＤノードへの電荷の転送の後に開始される。読み出し動作ＲＯ１は、光電変換部ＰＤから転送された電荷がキャパシタＣ＿ＦＤに保持されている間に実行される。

【0108】

続く第３期間Ｔ３＿ＦＲ（ｎ）においては、アクチュエータ１３を駆動し（アクチュエータ：ＩＲ（ｎ））、画素ＰＸ（ＩＲ）に入射する赤外光の像が合焦するように画素アレイ１１１を光軸方向に移動させる。詳細は後述するが、第３期間Ｔ３＿ＦＲ（ｎ）では、光電変換部ＰＤに電荷は蓄積されない。具体的には、第３期間Ｔ３＿ＦＲ（ｎ）の間に光電変換部ＰＤで発生した電荷は、トランジスタＴ＿ＴＸ，Ｔ＿ＲＥＳを介して排出される。

【0109】

なお、アクチュエータ１３による移動量はレンズの種類や焦点距離によって異なるため、アクチュエータ駆動期間（第３期間Ｔ３＿ＦＲ（ｎ））はレンズの条件によって異なる。一般的なレンズは焦点距離に比例して軸上色収差が大きくなるので、焦点距離が長いほど移動量は大きく、すなわちアクチュエータ駆動期間（第３期間Ｔ３＿ＦＲ（ｎ））は長くなる。

【0110】

続く第４期間Ｔ４＿ＦＲ（ｎ）においては、アクチュエータ１３を駆動しない状態（アクチュエータ：インアクティブ）で、画素ＰＸ（ＩＲ）の光電変換部ＰＤへの電荷の蓄積を開始する。具体的には、第４期間Ｔ４＿ＦＲ（ｎ）の開始から終了までの間に、画素ＰＸ（ＩＲ）における光電変換部ＰＤのリセット動作ＲＥＳ２を行毎に順次実行する。例えば、第４期間Ｔ４＿ＦＲ（ｎ）の開始の後に第２行目のリセット動作ＲＥＳ２（２）を開始し、第４期間Ｔ４＿ＦＲ（ｎ）の終了の前に第Ｘ行目のリセット動作ＲＥＳ２（Ｘ）が終了するように、各行のリセット動作ＲＥＳ２を順次実行する。つまり、各行の画素ＰＸにおいて、光電変換部ＰＤへの電荷の蓄積を開始するタイミングは異なっている。光電変換部ＰＤに蓄積された電荷は、その画素ＰＸが属する行の読み出し動作ＲＯ２が実行されるまでの間、光電変換部ＰＤに保持される。

【0111】

続く第５期間Ｔ５＿ＦＲ（ｎ）においては、アクチュエータ１３を駆動しない状態（アクチュエータ：インアクティブ）で、画素ＰＸ（ＩＲ）からの信号の読み出し動作ＲＯ２を行単位で順次行う。具体的には、第５期間Ｔ５＿ＦＲ（ｎ）の間に、第２行の読み出し動作ＲＯ２（２）から第Ｘ行の読み出し動作ＲＯ２（Ｘ）までの読み出し動作を行単位で順次行う。光電変換部ＰＤにおける電荷の蓄積が終了するタイミングは、光電変換部ＰＤからＦＤノードへと電荷を転送するタイミングで規定される。読み出し動作ＲＯ２は、光電変換部ＰＤからＦＤノードへの電荷の転送の後に開始される。読み出し動作ＲＯ２は、光電変換部ＰＤから転送された電荷がキャパシタＣ＿ＦＤに保持されている間に実行される。

【0112】

続く第６期間Ｔ６＿ＦＲ（ｎ）においては、アクチュエータ１３を駆動し（アクチュエータ：λ（ｎ＋１））、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）に入射する可視光の像が合焦するように画素アレイ１１１を光軸方向に移動させる。

【0113】

プロセッサ１２は、以上のようにして合焦された可視光及び赤外光に基づく画像信号を１フレームの間に取得することができる。取得した画像信号は、画像情報として画像情報保持部１４に格納される。

【0114】

図９及び図１０は、図８の動作を行う際に垂直走査回路１１３から画素アレイ１１１の画素ＰＸに供給される制御信号の波形を示している。図９及び図１０には説明の簡略化のため第ｍ行及び第（ｍ＋１）行の画素ＰＸに供給される制御信号のみを示しているが、他の行の画素ＰＸに供給される制御信号についても同様である。

【0115】

図９には、画素ＰＸ（λ１），ＰＸ（λ２）の制御信号Ｐ＿ＲＥＳ１（ｍ），Ｐ＿ＴＸ１（ｍ），Ｐ＿ＳＥＬ１（ｍ）と、画素ＰＸ（λ３）の制御信号Ｐ＿ＲＥＳ１（ｍ＋１），Ｐ＿ＴＸ１（ｍ＋１），Ｐ＿ＳＥＬ１（ｍ＋１）と、を示している。また、図９には、画素ＰＸ（ＩＲ）の制御信号Ｐ＿ＲＥＳ２（ｍ＋１），Ｐ＿ＴＸ２（ｍ＋１），Ｐ＿ＳＥＬ２（ｍ＋１）を示している。

【0116】

制御信号Ｐ＿ＳＥＬ１（ｍ），Ｐ＿ＳＥＬ１（ｍ＋１），Ｐ＿ＳＥＬ２（ｍ＋１）は、図５における読み出し動作に対応している。すなわち、制御信号Ｐ＿ＳＥＬ１（ｍ），Ｐ＿ＳＥＬ１（ｍ＋１），Ｐ＿ＳＥＬ２（ｍ＋１）をＨレベルで示している期間は、読み出し動作ＲＯ１（ｍ），ＲＯ１（ｍ＋１），ＲＯ２（ｍ＋１）を行う期間である。また、制御信号Ｐ＿ＳＥＬ１（ｍ），Ｐ＿ＳＥＬ１（ｍ＋１），Ｐ＿ＳＥＬ２（ｍ＋１）をＬレベルで示している期間は、読み出しを行わない期間である。

【0117】

ｎ－１フレームの第６期間Ｔ６＿ＦＲ（ｎ－１）において、制御信号Ｐ＿ＲＥＳ１（ｍ），Ｐ＿ＲＥＳ１（ｍ＋１），Ｐ＿ＲＥＳ２（ｍ＋１）は、垂直走査回路１１３によってＨレベルに制御されている。これにより、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）及び第（ｍ＋１）行の画素ＰＸ（λ３），ＰＸ（ＩＲ）のトランジスタＴ＿ＲＥＳはオンになっており、これら画素ＰＸのキャパシタＣ＿ＦＤはリセット状態である。

【0118】

また、ｎ－１フレームの第６期間Ｔ６＿ＦＲ（ｎ－１）において、制御信号Ｐ＿ＳＥＬ１（ｍ），Ｐ＿ＳＥＬ１（ｍ＋１），Ｐ＿ＳＥＬ２（ｍ＋１）は、垂直走査回路１１３によってＬレベルに制御されている。これにより、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）及び第（ｍ＋１）行の画素ＰＸ（λ３），ＰＸ（ＩＲ）のトランジスタＴ＿ＳＥＬはオフになっており、これら画素ＰＸの信号は列信号線ＬＣに読み出されていない状態である。

【0119】

続くｎフレームの第１期間Ｔ１＿ＦＲ（ｎ）において、垂直走査回路１１３により、制御信号Ｐ＿ＴＸ１（ｍ）がＬレベルからＨレベルに制御される。これにより、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）のトランジスタＴ＿ＴＸがオンになり、画素ＰＸ（λ１），ＰＸ（λ２）の光電変換部ＰＤがトランジスタＴ＿ＲＥＳ，Ｔ＿ＴＸを介してリセットされる。垂直走査回路１１３により制御信号Ｐ＿ＴＸ１（ｍ）がＨレベルからＬレベルに制御されることにより、画素ＰＸ（λ１），ＰＸ（λ２）における光電変換部ＰＤのリセットが解除される。これにより、画素ＰＸ（λ１），ＰＸ（λ２）の光電変換部ＰＤにおいて電荷の蓄積が開始される。

【0120】

また、制御信号Ｐ＿ＴＸ１（ｍ）がＨレベルからＬレベルに制御された後、制御信号Ｐ＿ＴＸ１（ｍ＋１）がＬレベルからＨレベルに制御される。これにより、第（ｍ＋１）行の画素ＰＸ（λ３）のトランジスタＴ＿ＴＸがオンになり、画素ＰＸ（λ３）の光電変換部ＰＤがトランジスタＴ＿ＲＥＳ，Ｔ＿ＴＸを介してリセットされる。垂直走査回路１１３により制御信号Ｐ＿ＴＸ１（ｍ＋１）がＨレベルからＬレベルに制御されることにより、画素ＰＸ（λ３）における光電変換部ＰＤのリセットが解除される。これにより、画素ＰＸ（λ３）の光電変換部ＰＤにおいて電荷の蓄積が開始される。

【0121】

このようにして、第１期間Ｔ１＿ＦＲ（ｎ）の間に、第１行から第Ｘ行において順次、画素ＰＸ（λ１），ＰＸ（λ２）又は画素ＰＸ（λ３）の光電変換部ＰＤにおける電荷の蓄積を開始する。

【0122】

続く第２期間Ｔ２＿ＦＲ（ｎ）は、順次実行されるＸ個の期間Ｔ＿ＲＯ１（１）～期間Ｔ＿ＲＯ１（Ｘ）（いずれも不図示）を含む。これら期間の各々では、対応する行の画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３）からの信号の読み出しが行われる。

【0123】

第２期間Ｔ２＿ＦＲ（ｎ）の期間Ｔ＿ＲＯ１（ｍ）には、垂直走査回路１１３により、制御信号Ｐ＿ＲＥＳ１（ｍ）がＬレベルに、制御信号Ｐ＿ＳＥＬ１（ｍ）がＨレベルに、それぞれ制御される。また、詳細は後述するが、期間Ｔ＿ＲＯ１（ｍ）内において、垂直走査回路１１３により、制御信号Ｐ＿ＴＸ１（ｍ）が一時的にＨレベルに制御される。これにより、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）から、ＦＤノードのリセット電位に応じたＮ信号と、光電変換部ＰＤから転送された電荷の量に応じたＳ信号との読み出しを行う（読み出し動作ＲＯ１（ｍ））。

【0124】

また、第２期間Ｔ２＿ＦＲ（ｎ）の期間Ｔ＿ＲＯ１（ｍ＋１）には、垂直走査回路１１３により、制御信号Ｐ＿ＲＥＳ１（ｍ＋１）がＬレベルに、制御信号Ｐ＿ＳＥＬ１（ｍ＋１）がＨレベルに、それぞれ制御される。また、詳細は後述するが、期間Ｔ＿ＲＯ１（ｍ＋１）内において、垂直走査回路１１３により、制御信号Ｐ＿ＴＸ１（ｍ＋１）が一時的にＨレベルに制御される。これにより、第（ｍ＋１）行の画素ＰＸ（λ３）から、ＦＤノードのリセット電位に応じたＮ信号と、光電変換部ＰＤから転送された電荷の量に応じたＳ信号との読み出しを行う（読み出し動作ＲＯ１（ｍ＋１））。

【0125】

このようにして、第２期間Ｔ２＿ＦＲ（ｎ）の間に、第１行から第Ｘ行において順次、画素ＰＸ（λ１），ＰＸ（λ２）又は画素ＰＸ（λ３）からのＮ信号及びＳ信号の読み出し（読み出し動作ＲＯ１（１）～ＲＯ１（Ｘ））を行う。なお、ここでは、読み出し動作ＲＯ１（１）～ＲＯ１（Ｘ）を行番号の順に実行しているが、読み出し動作ＲＯ１（１）～ＲＯ１（Ｘ）はどのような順序で実行されてもよい。

【0126】

続く第３期間Ｔ３＿ＦＲ（ｎ）には、垂直走査回路１１３により、制御信号Ｐ＿ＲＥＳ１（ｍ），Ｐ＿ＲＥＳ１（ｍ＋１），Ｐ＿ＲＥＳ２（ｍ＋１）が第２期間Ｔ２＿ＦＲ（ｎ）から継続してＨレベルに維持されている。これにより、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）及び第（ｍ＋１）行の画素ＰＸ（λ３），ＰＸ（ＩＲ）のトランジスタＴ＿ＲＥＳはオンになっており、これら画素ＰＸのキャパシタＣ＿ＦＤはリセット状態である。

【0127】

ただし、第３期間Ｔ３＿ＦＲ（ｎ）において、制御信号Ｐ＿ＴＸ１（ｍ），Ｐ＿ＴＸ１（ｍ＋１），Ｐ＿ＴＸ２（ｍ＋１）は、垂直走査回路１１３によってＬレベルに制御されている。これにより、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）及び第（ｍ＋１）行の画素ＰＸ（λ３），ＰＸ（ＩＲ）のトランジスタＴ＿ＴＸはオフになっており、これら画素ＰＸの光電変換部ＰＤはリセットされていない状態である。

【0128】

また、第３期間Ｔ３＿ＦＲ（ｎ）において、制御信号Ｐ＿ＳＥＬ１（ｍ），Ｐ＿ＳＥＬ１（ｍ＋１），Ｐ＿ＳＥＬ２（ｍ＋１）は、垂直走査回路１１３によってＬレベルに制御されている。これにより、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）及び第（ｍ＋１）行の画素ＰＸ（λ３），ＰＸ（ＩＲ）のトランジスタＴ＿ＳＥＬはオフになっており、これら画素ＰＸの信号は列信号線ＬＣに読み出されていない状態である。

【0129】

続く第４期間Ｔ４＿ＦＲ（ｎ）において、垂直走査回路１１３により、制御信号Ｐ＿ＴＸ２（ｍ＋１）がＬレベルからＨレベルに制御される。これにより、第（ｍ＋１）行の画素ＰＸ（ＩＲ）のトランジスタＴ＿ＴＸがオンになり、画素ＰＸ（ＩＲ）の光電変換部ＰＤがトランジスタＴ＿ＲＥＳ，Ｔ＿ＴＸを介してリセットされる。垂直走査回路１１３により制御信号Ｐ＿ＴＸ２（ｍ＋１）がＨレベルからＬレベルに制御されることにより、画素ＰＸ（ＩＲ）における光電変換部ＰＤのリセットが解除される。これにより、第（ｍ＋１）行の画素ＰＸ（ＩＲ）の光電変換部ＰＤにおいて電荷の蓄積が開始される。

【0130】

同様にして、第４期間Ｔ４＿ＦＲ（ｎ）の間に、第２行から第Ｘ行において順次、画素ＰＸ（ＩＲ）の光電変換部ＰＤにおける電荷の蓄積を開始する。

【0131】

続く第５期間Ｔ５＿ＦＲ（ｎ）は、順次実行される（Ｘ／２）個の期間Ｔ＿ＲＯ２（２）～期間Ｔ＿ＲＯ１（Ｘ）（いずれも不図示）を含む。これら期間の各々では、対応する行の画素ＰＸ（ＩＲ）からの信号の読み出しが行われる。

【0132】

第５期間Ｔ５＿ＦＲ（ｎ）の期間Ｔ＿ＲＯ２（ｍ＋１）には、垂直走査回路１１３により、制御信号Ｐ＿ＲＥＳ２（ｍ＋１）がＬレベルに、制御信号Ｐ＿ＳＥＬ２（ｍ＋１）がＨレベルに、それぞれ制御される。また、詳細は後述するが、期間Ｔ＿ＲＯ２（ｍ＋１）内において、垂直走査回路１１３により、制御信号Ｐ＿ＴＸ２（ｍ＋１）が一時的にＨレベルに制御される。これにより、第（ｍ＋１）行の画素ＰＸ（ＩＲ）から、ＦＤノードのリセット電位に応じたＮ信号と、光電変換部ＰＤから転送された電荷の量に応じたＳ信号との読み出しを行う（読み出し動作ＲＯ２（ｍ＋１））。

【0133】

同様にして、第５期間Ｔ５＿ＦＲ（ｎ）の間に、第２行から第Ｘ行において順次、画素ＰＸ（ＩＲ）からのＮ信号及びＳ信号の読み出し（読み出し動作ＲＯ２（２）～ＲＯ１（Ｘ））を行う。なお、ここでは、読み出し動作ＲＯ２（２）～ＲＯ２（Ｘ）を行番号の順に実行しているが、読み出し動作ＲＯ２（２）～ＲＯ２（Ｘ）はどのような順序で実行されてもよい。

【0134】

続く第６期間Ｔ６＿ＦＲ（ｎ）には、垂直走査回路１１３により、制御信号Ｐ＿ＲＥＳ１（ｍ），Ｐ＿ＲＥＳ１（ｍ＋１），Ｐ＿ＲＥＳ２（ｍ＋１）が第５期間Ｔ５＿ＦＲ（ｎ）から継続してＨレベルに維持されている。これにより、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）及び第（ｍ＋１）行の画素ＰＸ（λ３），ＰＸ（ＩＲ）のトランジスタＴ＿ＲＥＳはオンになっており、これら画素ＰＸのキャパシタＣ＿ＦＤはリセット状態である。

【0135】

ただし、第６期間Ｔ６＿ＦＲ（ｎ）において、制御信号Ｐ＿ＴＸ１（ｍ），Ｐ＿ＴＸ１（ｍ＋１），Ｐ＿ＴＸ２（ｍ＋１）は、垂直走査回路１１３によってＬレベルに制御されている。これにより、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）及び第（ｍ＋１）行の画素ＰＸ（λ３），ＰＸ（ＩＲ）のトランジスタＴ＿ＴＸはオフになっており、これら画素ＰＸの光電変換部ＰＤはリセットされていない状態である。

【0136】

また、第６期間Ｔ６＿ＦＲ（ｎ）において、制御信号Ｐ＿ＳＥＬ１（ｍ），Ｐ＿ＳＥＬ１（ｍ＋１），Ｐ＿ＳＥＬ２（ｍ＋１）は、垂直走査回路１１３によってＬレベルに制御されている。これにより、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）及び第（ｍ＋１）行の画素ＰＸ（λ３），ＰＸ（ＩＲ）のトランジスタＴ＿ＳＥＬはオフになっており、これら画素ＰＸの信号は列信号線ＬＣに読み出されていない状態である。

【0137】

図１０は、図９の読み出し動作ＲＯ１（ｍ），ＲＯ１（ｍ＋１），ＲＯ２（ｍ＋１）における具体的な動作を示すタイミング図である。図１０には、画素ＰＸ（λ１），ＰＸ（λ２）の制御信号Ｐ＿ＳＥＬ１（ｍ），Ｐ＿ＲＥＳ１（ｍ），Ｐ＿ＴＸ１（ｍ）と、画素ＰＸ（λ３）の制御信号Ｐ＿ＳＥＬ１（ｍ＋１），Ｐ＿ＲＥＳ１（ｍ＋１），Ｐ＿ＴＸ１（ｍ＋１）と、を示している。また、図１０には、画素ＰＸ（ＩＲ）の制御信号Ｐ＿ＳＥＬ２（ｍ＋１），Ｐ＿ＲＥＳ２（ｍ＋１），Ｐ＿ＴＸ２（ｍ＋１）を示している。

【0138】

また、図１０には、信号読み出し部１１４におけるサンプリング動作を、制御信号と同様のパルス波形で表現している。「信号読み出し部のサンプリング」をＨレベルで示している期間がサンプリングを行う期間であり、「信号読み出し部のサンプリング」をＬレベルで示している期間がサンプリングを行わない期間である。前述の通り、信号読み出し部１１４は行ごとに画素ＰＸから信号を読み出す。そのため、ある行の画素ＰＸから信号を読み出す場合には、「信号読み出し部のサンプリング」のＨレベルはその行の画素ＰＸからの信号をサンプリングすることを示す。

【0139】

本実施形態においては、第１行から第Ｘ行までの読み出し動作ＲＯ１（１）～ＲＯ１（Ｘ）と、第２行から第Ｘ行までの読み出し動作ＲＯ２（２）～ＲＯ２（Ｘ）と、を順に実行する。第ｍ行及び第（ｍ＋１）行のみに着目すると、図１０に示すように、読み出し動作ＲＯ１（ｍ），ＲＯ１（ｍ＋１），ＲＯ２（ｍ＋１）がこの順に実行される。図１０において、読み出し動作ＲＯ１（ｍ）を行う期間が期間Ｔ＿ＲＯ１（ｍ）であり、読み出し動作ＲＯ１（ｍ＋１）を行う期間が期間Ｔ＿ＲＯ１（ｍ＋１）である。また、読み出し動作ＲＯ２（ｍ＋１）を行う期間が期間Ｔ＿ＲＯ２（ｍ＋１）である。期間Ｔ＿ＲＯ１（ｍ）は、期間Ｔ１＿ＲＯ１（ｍ）と、期間Ｔ２＿ＲＯ１（ｍ）と、期間Ｔ３＿ＲＯ１（ｍ）とを含む。期間Ｔ＿ＲＯ１（ｍ＋１）は、期間Ｔ１＿ＲＯ１（ｍ＋１）と、期間Ｔ２＿ＲＯ１（ｍ＋１）と、期間Ｔ３＿ＲＯ１（ｍ＋１）とを含む。期間Ｔ＿ＲＯ２（ｍ＋１）は、期間Ｔ１＿ＲＯ２（ｍ＋１）と、期間Ｔ２＿ＲＯ２（ｍ＋１）と、期間Ｔ３＿ＲＯ２（ｍ＋１）とを含む。

【0140】

まず、期間Ｔ＿ＲＯ１（ｍ）における動作について説明する。
期間Ｔ＿ＲＯ１（ｍ）の前の期間（期間Ｔ＿ＲＯ１（ｍ－１））において、制御信号Ｐ＿ＲＥＳ１（ｍ）は、垂直走査回路１１３によりＨレベルに制御されている。これにより、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）のトランジスタＴ＿ＲＥＳはオンになっており、ＦＤノード（キャパシタＣ＿ＦＤ）はリセットされている。

【0141】

期間Ｔ＿ＲＯ１（ｍ）の開始のタイミングにおいて、垂直走査回路１１３は、制御信号Ｐ＿ＳＥＬ１（ｍ）をＬレベルからＨレベルに制御する。これにより、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）のトランジスタＴ＿ＳＥＬがオンになり、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）から信号読み出し部１１４への信号の読み出しが可能な状態となる。垂直走査回路１１３は、期間Ｔ＿ＲＯ１（ｍ）の間、制御信号Ｐ＿ＳＥＬ１（ｍ）をＨレベルのまま維持する。

【0142】

また、期間Ｔ＿ＲＯ１（ｍ）の開始のタイミングにおいて、垂直走査回路１１３は、制御信号Ｐ＿ＲＥＳ１（ｍ）をＨレベルからＬレベルに制御する。これにより、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）のトランジスタＴ＿ＲＥＳがオフになり、ＦＤノード（キャパシタＣ＿ＦＤ）のリセット状態が解除される。そして、ＦＤノードのリセット電位に応じた信号が、トランジスタＴ＿ＳＥＬを介して対応する列の列信号線ＬＣに出力される。

【0143】

次いで、制御信号Ｐ＿ＲＥＳ１（ｍ）がＬレベルに遷移した後、信号読み出し部１１４は、各列の列信号線ＬＣに出力された信号をサンプリングする。このようにして画素ＰＸ（λ１），ＰＸ（λ２）から得られる信号が、可視光信号ＳＶ（ｍ）＿Ｎである。

【0144】

可視光信号ＳＶ（ｍ）＿Ｎのサンプリングの完了後、垂直走査回路１１３は、一時的に制御信号Ｐ＿ＴＸ１（ｍ）をＨレベルに制御する。これにより、第ｍ行の画素ＰＸ（λ１），ＰＸ（λ２）のトランジスタＴ＿ＴＸがオンになり、光電変換部ＰＤが保持する電荷がキャパシタＣ＿ＦＤに転送される。これにより、ＦＤノードは、光電変換部ＰＤから転送された電荷の量に応じた電位となる。そして、ＦＤノードの電位に応じた信号が、トランジスタＴ＿ＳＥＬを介して対応する列の列信号線ＬＣに出力される。なお、制御信号Ｐ＿ＴＸ１（ｍ）がＬレベルからＨレベルに制御されるタイミングが、期間Ｔ２＿ＲＯ１（ｍ）の開始のタイミングである。また、制御信号Ｐ＿ＴＸ１（ｍ）がＨレベルからＬレベルに制御されるタイミングが、期間Ｔ２＿ＲＯ１（ｍ）の終了のタイミングであり、期間Ｔ３＿ＲＯ１（ｍ）の開始のタイミングである。

【0145】

次いで、制御信号Ｐ＿ＴＸ１（ｍ）がＬレベルに遷移した後の期間Ｔ３＿ＲＯ１（ｍ）において、信号読み出し部１１４は、各列の列信号線ＬＣに出力された信号をサンプリングする。このようにして画素ＰＸ（λ１），ＰＸ（λ２）から得られる信号が、可視光信号ＳＶ（ｍ）＿Ｓである。

【0146】

信号読み出し部１１４では、このようにして取得された信号ＳＶ（ｍ）＿Ｎ及び信号ＳＶ（ｍ）＿Ｓに対し、ＣＤＳ処理が施される。すなわち、信号ＳＶ（ｍ）＿Ｓから信号ＳＶ（ｍ）＿Ｎを差し引くことで、信号ＳＶ（ｍ）＿Ｓに重畳する回路構成や特性ばらつき等に起因するオフセット成分を除去する。

【0147】

次に、期間Ｔ＿ＲＯ１（ｍ＋１）における動作について説明する。
期間Ｔ＿ＲＯ１（ｍ）において、制御信号Ｐ＿ＲＥＳ１（ｍ＋１）は、垂直走査回路１１３によりＨレベルに制御されている。これにより、第（ｍ＋１）行の画素ＰＸ（λ３）のトランジスタＴ＿ＲＥＳはオンになっており、ＦＤノード（キャパシタＣ＿ＦＤ）はリセットされている。

【0148】

期間Ｔ＿ＲＯ１（ｍ＋１）の開始のタイミングにおいて、垂直走査回路１１３は、制御信号Ｐ＿ＳＥＬ１（ｍ）をＨレベルからＬレベルに制御し、制御信号Ｐ＿ＳＥＬ１（ｍ＋１）をＬレベルからＨレベルに制御する。これにより、第ｍ行の画素ＰＸのトランジスタＴ＿ＳＥＬがオフ、第（ｍ＋１）行の画素ＰＸ（λ３）のトランジスタＴ＿ＳＥＬがオンになり、第（ｍ＋１）行の画素ＰＸ（λ３）から信号読み出し部１１４への信号の読み出しが可能な状態となる。垂直走査回路１１３は、期間Ｔ＿ＲＯ１（ｍ＋１）の間、制御信号Ｐ＿ＳＥＬ１（ｍ＋１）をＨレベルのまま維持する。

【0149】

また、期間Ｔ＿ＲＯ１（ｍ＋１）の開始のタイミングにおいて、垂直走査回路１１３は、制御信号Ｐ＿ＲＥＳ１（ｍ）をＬレベルからＨレベルに制御し、制御信号Ｐ＿ＲＥＳ１（ｍ＋１）をＨレベルからＬレベルに制御する。これにより、第（ｍ＋１）行の画素ＰＸ（λ３）のトランジスタＴ＿ＲＥＳがオフになり、ＦＤノード（キャパシタＣ＿ＦＤ）のリセット状態が解除される。そして、ＦＤノードのリセット電位に応じた信号が、トランジスタＴ＿ＳＥＬを介して対応する列の列信号線ＬＣに出力される。

【0150】

次いで、制御信号Ｐ＿ＲＥＳ１（ｍ＋１）がＬレベルに遷移した後、信号読み出し部１１４は、各列の列信号線ＬＣに出力された信号をサンプリングする。このようにして画素ＰＸ（λ３）から得られる信号が、可視光信号ＳＶ（ｍ＋１）＿Ｎである。

【0151】

可視光信号ＳＶ（ｍ＋１）＿Ｎのサンプリングの完了後、垂直走査回路１１３は、一時的に制御信号Ｐ＿ＴＸ１（ｍ＋１）をＨレベルに制御する。これにより、第（ｍ＋１）行の画素ＰＸ（λ３）のトランジスタＴ＿ＴＸがオンになり、光電変換部ＰＤが保持する電荷がキャパシタＣ＿ＦＤに転送される。これにより、ＦＤノードは、光電変換部ＰＤから転送された電荷の量に応じた電位となる。そして、ＦＤノードの電位に応じた信号が、トランジスタＴ＿ＳＥＬを介して対応する列の列信号線ＬＣに出力される。なお、制御信号Ｐ＿ＴＸ１（ｍ＋１）がＬレベルからＨレベルに制御されるタイミングが、期間Ｔ２＿ＲＯ１（ｍ＋１）の開始のタイミングである。また、制御信号Ｐ＿ＴＸ１（ｍ＋１）がＨレベルからＬレベルに制御されるタイミングが、期間Ｔ２＿ＲＯ１（ｍ＋１）の終了のタイミングであり、期間Ｔ３＿ＲＯ１（ｍ＋１）の開始のタイミングである。

【0152】

次いで、制御信号Ｐ＿ＴＸ１（ｍ＋１）がＬレベルに遷移した後の期間Ｔ３＿ＲＯ１（ｍ＋１）において、信号読み出し部１１４は、各列の列信号線ＬＣに出力された信号をサンプリングする。このようにして画素ＰＸ（λ３）から得られる信号が、可視光信号ＳＶ（ｍ＋１）＿Ｓである。

【0153】

信号読み出し部１１４では、このようにして取得された信号ＳＶ（ｍ＋１）＿Ｎ及び信号ＳＶ（ｍ＋１）＿Ｓに対し、ＣＤＳ処理が施される。すなわち、信号ＳＶ（ｍ＋１）＿Ｓから信号ＳＶ（ｍ＋１）＿Ｎを差し引くことで、信号ＳＶ（ｍ＋１）＿Ｓに重畳する回路構成や特性ばらつき等に起因するオフセット成分を除去する。

【0154】

次に、期間Ｔ＿ＲＯ２（ｍ＋１）における動作について説明する。
期間Ｔ＿ＲＯ２（ｍ＋１）の前の期間（期間Ｔ＿ＲＯ２（ｍ－１））において、制御信号Ｐ＿ＲＥＳ２（ｍ＋１）は、垂直走査回路１１３によりＨレベルに制御されている。これにより、第（ｍ＋１）行の画素ＰＸ（ＩＲ）のトランジスタＴ＿ＲＥＳはオンになっており、ＦＤノード（キャパシタＣ＿ＦＤ）はリセットされている。

【0155】

期間Ｔ＿ＲＯ２（ｍ＋１）の開始のタイミングにおいて、垂直走査回路１１３は、制御信号Ｐ＿ＳＥＬ２（ｍ＋１）をＬレベルからＨレベルに制御する。これにより、第（ｍ＋１）行の画素ＰＸ（ＩＲ）のトランジスタＴ＿ＳＥＬがオンになり、第（ｍ＋１）行の画素ＰＸ（ＩＲ）から信号読み出し部１１４への信号の読み出しが可能な状態となる。垂直走査回路１１３は、期間Ｔ＿ＲＯ２（ｍ＋１）の間、制御信号Ｐ＿ＳＥＬ２（ｍ＋１）をＨレベルのまま維持する。

【0156】

また、期間Ｔ＿ＲＯ２（ｍ＋１）の開始のタイミングにおいて、垂直走査回路１１３は、制御信号Ｐ＿ＲＥＳ２（ｍ＋１）をＨレベルからＬレベルに制御する。これにより、第（ｍ＋１）行の画素ＰＸ（ＩＲ）のトランジスタＴ＿ＲＥＳがオフになり、ＦＤノード（キャパシタＣ＿ＦＤ）のリセット状態が解除される。そして、ＦＤノードのリセット電位に応じた信号が、トランジスタＴ＿ＳＥＬを介して対応する列の列信号線ＬＣに出力される。

【0157】

次いで、制御信号Ｐ＿ＲＥＳ２（ｍ＋１）がＬレベルに遷移した後、信号読み出し部１１４は、各列の列信号線ＬＣに出力された信号をサンプリングする。このようにして画素ＰＸ（ＩＲ）から得られる信号が、赤外光信号ＳＩ（ｍ＋１）＿Ｎである。

【0158】

赤外光信号ＳＩ（ｍ＋１）＿Ｎのサンプリングの完了後、垂直走査回路１１３は、一時的に制御信号Ｐ＿ＴＸ２（ｍ＋１）をＨレベルに制御する。これにより、第（ｍ＋１）行の画素ＰＸ（ＩＲ）のトランジスタＴ＿ＴＸがオンになり、光電変換部ＰＤが保持する電荷がキャパシタＣ＿ＦＤに転送される。これにより、ＦＤノードは、光電変換部ＰＤから転送された電荷の量に応じた電位となる。そして、ＦＤノードの電位に応じた信号が、トランジスタＴ＿ＳＥＬを介して対応する列の列信号線ＬＣに出力される。なお、制御信号Ｐ＿ＴＸ２（ｍ＋１）がＬレベルからＨレベルに制御されるタイミングが、期間Ｔ２＿ＲＯ２（ｍ＋１）の開始のタイミングである。また、制御信号Ｐ＿ＴＸ２（ｍ＋１）がＨレベルからＬレベルに制御されるタイミングが、期間Ｔ２＿ＲＯ２（ｍ＋１）の終了のタイミングであり、期間Ｔ３＿ＲＯ２（ｍ＋１）の開始のタイミングである。

【0159】

次いで、制御信号Ｐ＿ＴＸ２（ｍ＋１）がＬレベルに遷移した後の期間Ｔ３＿ＲＯ２（ｍ＋１）において、信号読み出し部１１４は、各列の列信号線ＬＣに出力された信号をサンプリングする。このようにして画素ＰＸ（ＩＲ）から得られる信号が、赤外光信号ＳＩ（ｍ＋１）＿Ｓである。

【0160】

信号読み出し部１１４では、このようにして取得された信号ＳＩ（ｍ＋１）＿Ｎ及び信号ＳＩ（ｍ＋１）＿Ｓに対し、ＣＤＳ処理が施される。すなわち、信号ＳＩ（ｍ＋１）＿Ｓから信号ＳＩ（ｍ＋１）＿Ｎを差し引くことで、信号ＳＩ（ｍ＋１）＿Ｓに重畳する回路構成や特性ばらつき等に起因するオフセット成分を除去する。

【0161】

【0162】

また、本実施形態の画素ＰＸを構成するトランジスタ数は第１実施形態の画素ＰＸを構成するトランジスタ数よりも少ないため、画素ＰＸにおいて生じるノイズや暗電流を第１実施形態よりも抑制することができる。また、トランジスタ数が少ない分、光電変換部ＰＤの受光面積を広げて感度の向上を図ることができ、また、キャパシタＣ＿ＦＤの容量を増加して画素の飽和電荷量を向上することができる。

【0163】

【0164】

［第３実施形態］
本発明の第２実施形態による撮像装置について、図１１乃至図１５を用いて説明する。第１及び第２実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図１１は、本実施形態による撮像装置における撮像部の構成例を示すブロック図である。図１２は、本実施形態による単位画素ブロックの構成例を示す回路図である。図１３乃至図１５は、本実施形態による撮像装置の駆動例を示すタイミング図である。

【0165】

本実施形態による撮像装置の全体構成の構成は、図１に示す第１実施形態による撮像装置と同様である。本実施形態による撮像装置は、画素アレイ１１１を構成する単位画素ブロック１１１１の構成が、図２に示す第１実施形態による撮像装置とは異なっている。

【0166】

すなわち、本実施形態による撮像装置において、単位画素ブロック１１１１は、図１１に示すように、ａ列×ｂ行の画素アレイにより構成されている（ａ及びｂは１以上の整数）。この単位画素ブロック１１１１が行方向及び列方向に繰り返し配列されることにより、画素アレイ１１１が構成されている。図１１には、単位画素ブロック１１１１を構成するａ×ｂ個の画素ＰＸのうち、４角に位置する画素ＰＸ（λ１，１），ＰＸ（λａ，１），ＰＸ（λ１，ｂ），ＰＸ（λａ，ｂ）を示している。ここで、画素をＰＸ（λｘ，ｙ）の符号で表したとき、変数ｘ，ｙは、単位画素ブロック１１１１内における座標（列，行）に対応している。

【0167】

単位画素ブロック１１１１を構成する画素ＰＸの各々は、任意の波長帯域に感度を有する。すなわち、単位画素ブロック１１１１は、最多で、分光感度特性が互いに異なるａ×ｂ種類の画素ＰＸを含み得る。これら画素ＰＸが感度を有する波長帯域は、可視光でもよいし、非可視光でもよい。１つの単位画素ブロック１１１１が、可視光に感度を有する画素ＰＸと非可視光に感度を有する画素ＰＸとを含んでもよい。また、１つの単位画素ブロック１１１１に含まれる２つ以上の画素ＰＸが同じ波長帯域に感度を有していてもよい。

【0168】

なお、本実施形態による撮像装置において、レンズ１６は、光の軸上色収差が補正されているレンズでもよいし、光の軸上色収差が補正されていないレンズでもよい。例えば、レンズ１６は、赤色、緑色、青色の波長差によって生じる軸上色収差が補正されているレンズでもよいし、補正されていないレンズでもよい。

【0169】

図１２は、単位画素ブロック１１１１の構成例を示す回路図である。ここでは、第ｍ行に配された画素ＰＸ（λ１，１）及び画素ＰＸ（λａ，１）と、第（ｍ＋ｂ）行に配された画素ＰＸ（λ１，ｂ）及び画素ＰＸ（λａ，ｂ）を例に挙げ、単位画素ブロック１１１１の構成例を説明する。これら４つの画素ＰＸは、単位画素ブロック１１１１の四隅に配された画素ＰＸである。

【0170】

単位画素ブロック１１１１を構成する画素ＰＸの各々は、第１実施形態と同様、光電変換部ＰＤ、トランジスタＴ＿ＧＳ，Ｔ＿ＴＸ，Ｔ＿ＯＦＤ，Ｔ＿ＲＥＳ，Ｔ＿ＳＦ，Ｔ＿ＳＥＬ及びキャパシタＣ＿ＭＥＭ，Ｃ＿ＦＤにより構成され得る。これら素子の接続関係は第１実施形態と同様であるため、ここでは説明を省略する。

【0171】

第ｍ行に配された画素ＰＸ（λ１，１）～ＰＸ（λａ，１）の各々のトランジスタＴ＿ＲＥＳのゲートは、第ｍ行の画素ＰＸ（λ１，１）～ＰＸ（λａ，１）に共通の制御信号Ｐ＿ＲＥＳ（ｍ）を供給するための信号線に接続されている。第ｍ行に配された画素ＰＸ（λ１，１）～ＰＸ（λａ，１）の各々のトランジスタＴ＿ＴＸのゲートは、第ｍ行の画素ＰＸ（λ１，１）～ＰＸ（λａ，１）に共通の制御信号Ｐ＿ＴＸ（ｍ）を供給するための信号線に接続されている。第ｍ行に配された画素ＰＸ（λ１，１）～ＰＸ（λａ，１）の各々のトランジスタＴ＿ＯＦＤのゲートは、第ｍ行の画素ＰＸ（λ１，１）～ＰＸ（λａ，１）に共通の制御信号Ｐ＿ＯＦＤ（ｍ）を供給するための信号線に接続されている。第ｍ行に配された画素ＰＸ（λ１，１）～ＰＸ（λａ，１）の各々のトランジスタＴ＿ＳＥＬのゲートは、第ｍ行の画素ＰＸ（λ１，１）～ＰＸ（λａ，１）に共通の制御信号Ｐ＿ＳＥＬ（ｍ）を供給するための信号線に接続されている。

【0172】

第ｍ行に配された画素ＰＸ（λ１，１）～ＰＸ（λａ，１）のトランジスタＴ＿ＧＳのゲートは、これら画素ＰＸ（λ１，１）～ＰＸ（λａ，１）に個別の制御信号Ｐ＿ＧＳ＿１１（ｍ）～Ｐ＿ＧＳ＿ａ１（ｍ）を供給するための信号線に接続されている。すなわち、第ｍ行に配された画素ＰＸ（λ１，１）のトランジスタＴ＿ＧＳのゲートは、制御信号Ｐ＿ＧＳ＿１１（ｍ）を供給するための信号線に接続されている。第ｍ行に配された画素ＰＸ（λａ，１）のトランジスタＴ＿ＧＳのゲートは、制御信号Ｐ＿ＧＳ＿ａ１（ｍ）を供給するための信号線に接続されている。画素ＰＸ（λ２，１）～ＰＸ（λａ－１，１）についても同様である。

【0173】

また、第（ｍ＋ｂ）行に配された画素ＰＸ（λ１，ｂ）～ＰＸ（λａ，ｂ）の各々のトランジスタＴ＿ＲＥＳのゲートは、これら画素ＰＸ（λ１，ｂ）～ＰＸ（λａ，ｂ）に共通の制御信号Ｐ＿ＲＥＳ（ｍ＋ｂ）を供給するための信号線に接続されている。第（ｍ＋ｂ）行に配された画素ＰＸ（λ１，ｂ）～ＰＸ（λａ，ｂ）の各々のトランジスタＴ＿ＴＸのゲートは、これら画素ＰＸ（λ１，ｂ）～ＰＸ（λａ，ｂ）に共通の制御信号Ｐ＿ＴＸ（ｍ＋ｂ）を供給するための信号線に接続されている。第（ｍ＋ｂ）行に配された画素ＰＸ（λ１，ｂ）～ＰＸ（λａ，ｂ）の各々のトランジスタＴ＿ＯＦＤのゲートは、これら画素ＰＸ（λ１，ｂ）～ＰＸ（λａ，ｂ）に共通の制御信号Ｐ＿ＯＦＤ（ｍ＋ｂ）を供給するための信号線に接続されている。第（ｍ＋ｂ）行に配された画素ＰＸ（λ１，ｂ）～ＰＸ（λａ，ｂ）の各々のトランジスタＴ＿ＳＥＬのゲートは、これら画素ＰＸ（λ１，ｂ）～ＰＸ（λａ，ｂ）に共通の制御信号Ｐ＿ＳＥＬ（ｍ＋ｂ）を供給するための信号線に接続されている。

【0174】

第（ｍ＋ｂ）行の画素ＰＸ（λ１，ｂ）～ＰＸ（λａ，ｂ）のトランジスタＴ＿ＧＳのゲートは、これら画素ＰＸ（λ１，ｂ）～ＰＸ（λａ，ｂ）に個別の制御信号Ｐ＿ＧＳ＿１１（ｍ）～Ｐ＿ＧＳ＿ａ１（ｍ）を供給するための信号線に接続されている。すなわち、第（ｍ＋ｂ）行に配された画素ＰＸ（λ１，ｂ）のトランジスタＴ＿ＧＳのゲートは、制御信号Ｐ＿ＧＳ＿１ｂ（ｍ＋ｂ）を供給するための信号線に接続されている。第（ｍ＋ｂ）行に配された画素ＰＸ（λａ，ｂ）のトランジスタＴ＿ＧＳのゲートは、制御信号Ｐ＿ＧＳ＿ａｂ（ｍ＋ｂ）を供給するための信号線に接続されている。画素ＰＸ（λ２，ｂ）～ＰＸ（λａ－１，ｂ）についても同様である。

【0175】

第（ｍ＋１）行から第（ｍ＋ｂ－１）行についても同様である。
制御信号Ｐ＿ＲＥＳ，Ｐ＿ＴＸ，Ｐ＿ＧＳ＿１１～Ｐ＿ＧＳ＿ａｂ，Ｐ＿ＯＦＤ，Ｐ＿ＳＥＬは、コントローラ１１２から出力される同期信号に基づいて垂直走査回路１１３で生成され、画素ＰＸに行単位で供給される。画素ＰＸを構成する各トランジスタは、対応する制御信号を受けて、導通状態（オン）又は非導通状態（オフ）に制御される。各トランジスタがＮ型ＭＯＳトランジスタで構成されている場合、対応する制御信号がハイレベル（Ｈレベル）のときに導通状態（オン）となり、対応する制御信号がローレベル（Ｌレベル）のときに非導通状態（オフ）となる。

【0176】

次に、本実施形態による撮像装置の駆動方法について、図１３乃至図１５を用いて説明する。図１３乃至図１５は、本実施形態による撮像装置の駆動例を示すタイミング図である。

【0177】

図１３は、動画撮影を行う場合の撮像装置の動作の概略を示している。図１３には、「フレーム」、「アクチュエータ」、「蓄積電荷」、「保持信号（Ｃ＿ＭＥＭ＿１１）」、「保持信号（Ｃ＿ＭＥＭ＿ａｂ）」及び「読み出し動作」の時間的変化が示されている。

【0178】

図１３中、「フレーム」は、画素アレイ１１１を構成する複数の画素ＰＸの画素信号に基づいて生成される静止画１枚分の画像データ（フレームデータ）を取得するための期間（期間Ｔ＿ＦＲ）である。図１３には、ｎ－１フレームからｎ＋２フレームまでの連続する４フレームの動作を示している。図１３において、ｎ－１フレームのフレームデータＦＲ（ｎ－１）を取得するための期間が期間Ｔ＿ＦＲ（ｎ－１）である。また、ｎフレームのフレームデータＦＲ（ｎ）を取得するための期間が期間Ｔ＿ＦＲ（ｎ）である。また、ｎ＋１フレームのフレームデータＦＲ（ｎ＋１）を取得するための期間が期間Ｔ＿ＦＲ（ｎ＋１）である。また、ｎ＋２フレームのフレームデータＦＲ（ｎ＋２）を取得するための期間が期間Ｔ＿ＦＲ（ｎ＋２）である。本実施形態では、期間Ｔ＿ＦＲの各々を、便宜的に、第１期間Ｔ１＿ＦＲと、第２期間Ｔ２＿ＦＲと、第３期間Ｔ３＿ＦＲと、第４期間Ｔ４＿ＦＲと、第５期間Ｔ５＿ＦＲと、第６期間Ｔ６＿ＦＲと、に分けている。

【0179】

図１３中、「アクチュエータ」は、アクチュエータ１３の駆動状態を示している。アクチュエータ１３は、レンズの軸上色収差を補正するために画素アレイ１１１を光軸方向に位置制御するためのものであり、例えば、可視光の像を合焦、赤外光の像を合焦、インアクティブ、の３種類の駆動状態を取り得る。図４中、λ１，１（ｎ），λ１，１（ｎ＋１），λ１，１（ｎ＋２）は、画素ＰＸ（λ１，１）が感度を有する波長帯域の光の像を合焦するためにアクチュエータ１３により画素アレイ１１１を光軸方向に移動させている状態を示している。また、λａ，ｂ（ｎ），λａ，ｂ（ｎ＋１）は、画素ＰＸ（λａ，ｂ）が感度を有する波長帯域の光の像を合焦するためにアクチュエータ１３により画素アレイ１１１を光軸方向に移動させている状態を示している。図１３中、斜線を付した期間は、アクチュエータ１３を駆動していない期間を示している。この斜線を付した期間において、アクチュエータ１３は、直前の期間に設定された状態を維持している。

【0180】

図１３中、「蓄積電荷」は、光電変換部ＰＤにおける電荷保持期間を示している。ここでは、ｎ－１フレームの第５期間Ｔ５＿ＦＲ（ｎ－１）の間に光電変換部ＰＤに蓄積された電荷量をＱａ，ｂ（ｎ－１）、ｎフレームの第１期間Ｔ１＿ＦＲ（ｎ）の間に光電変換部ＰＤに蓄積された電荷量をＱ１，１（ｎ）と表すものとする。また、ｎフレームの第３期間Ｔ３＿ＦＲ（ｎ）の間に光電変換部ＰＤに蓄積された電荷量をＱａ，ｂ－１（ｎ）、ｎフレームの第５期間Ｔ５＿ＦＲ（ｎ）の間に光電変換部ＰＤに蓄積された電荷量をＱａ，ｂ（ｎ）と表すものとする。また、ｎ＋１フレームの第１期間Ｔ１＿ＦＲ（ｎ＋１）の間に光電変換部ＰＤに蓄積された電荷量をＱ１，１（ｎ＋１）、ｎ＋１フレームの第３期間Ｔ３＿ＦＲ（ｎ＋１）の間に光電変換部ＰＤに蓄積された電荷量をＱａ，ｂ－１（ｎ＋１）と表すものとする。また、ｎ＋１フレームの第５期間Ｔ５＿ＦＲ（ｎ＋１）の間に光電変換部ＰＤに蓄積された電荷量をＱａ，ｂ（ｎ＋１）、ｎ＋２フレームの第１期間Ｔ１＿ＦＲ（ｎ＋２）の間に光電変換部ＰＤに蓄積された電荷量をＱ１，１（ｎ＋２）と泡和すものとする。図４中、斜線を付した期間は、オーバーフロードレイン（ＯＦＤ）動作が行われる期間であり、光電変換部ＰＤにおける電荷の蓄積は行われない。

【0181】

図１３中、「保持信号（Ｃ＿ＭＥＭ＿１１）」は、画素ＰＸ（λ１，１）のキャパシタＣ＿ＭＥＭに保持される信号ＭＥＭ１，１を示している。また、「保持信号（Ｃ＿ＭＥＭ＿ａｂ）」は、画素ＰＸ（λａ，ｂ）のキャパシタＣ＿ＭＥＭに保持される信号ＭＥＭａ，ｂを示している。キャパシタＣ＿ＭＥＭに保持される信号ＭＥＭ１，１，ＭＥＭａ，ｂのレベルは、トランジスタＴ＿ＧＳによって光電変換部ＰＤからキャパシタＣ＿ＭＥＭに転送された電荷の量に対応する電圧値である。なお、図１３には保持信号（Ｃ＿ＭＥＭ＿１１）及び保持信号（Ｃ＿ＭＥＭ＿ａｂ）のみを示しているが、単位画素ブロック１１１１を構成する画素ＰＸの各々に対して保持信号（Ｃ＿ＭＥＭ＿ｘｙ）は存在する。

【0182】

図１３中、「読み出し動作」は、複数の画素ＰＸからの信号の読み出しが行単位で順次行われることを視覚的に示している。図１３では、画素アレイ１１１が第１行から第Ｘ行のＸ行で構成されており（Ｘは２以上の整数）、第１行、第２行、第３行、…、第Ｘ行の順に読み出し動作を行う場合を想定している。図１３に示される読み出し動作ＲＯ（ｍ）は、第ｍ行の画素ＰＸからの信号の読み出し動作を表している（ｍは１～Ｘの整数）。

【0183】

各フレームにおける動作は基本的には同じであるため、ここではフレームデータＦＲ（ｎ）の読み出し動作に着目して説明を行う。なお、前のフレーム（ｎ－１フレーム）の第６期間Ｔ６＿ＦＲ（ｎ－１）では、アクチュエータ１３を駆動し（アクチュエータ：λ１，１（ｎ））、画素ＰＸ（λ１，１）に入射する光の像が合焦するように画素アレイ１１１が光軸方向に移動されている。

【0184】

【0185】

第１期間Ｔ１＿ＦＲ（ｎ）においては、アクチュエータ１３を駆動しない状態（アクチュエータ：インアクティブ）で、画素ＰＸ（λ１，１）の光電変換部ＰＤへの電荷の蓄積を行う。第１期間Ｔ１＿ＦＲ（ｎ）の間に光電変換部ＰＤに蓄積される電荷量Ｑ１，１（ｎ）は、画素アレイ１１１に合焦し、画素ＰＸ（λ１，１）に入射した可視光の光量に基づく。

【0186】

第１期間Ｔ１＿ＦＲ（ｎ）の経過後、光電変換部ＰＤが保持する電荷はキャパシタＣ＿ＭＥＭへと転送される。これにより、画素ＰＸ（λ１，１）のキャパシタＣ＿ＭＥＭには、その容量値及び電荷量Ｑ１，１（ｎ）に応じた信号ＭＥＭ１，１（ｎ）が保持される。画素ＰＸ（λ１，１）のキャパシタＣ＿ＭＥＭは、ｎフレームの第２期間Ｔ２＿ＦＲ（ｎ）からｎ＋１フレームの第１期間Ｔ１＿ＦＲ（ｎ＋１）までの期間にわたって信号ＭＥＭ１，１（ｎ）を保持する。

【0187】

続く第２期間Ｔ２＿ＦＲ（ｎ）においては、ｎ－１フレームの第６期間Ｔ６＿ＦＲ（ｎ－１）及びｎフレームの第１期間Ｔ１＿ＦＲ（ｎ）と同様にして、画素ＰＸ（λ１，２）から画素ＰＸ（λａ，ｂ－２）の各々における電荷蓄積及び電荷転送を実行する。

【0188】

続く第３期間Ｔ３＿ＦＲ（ｎ）においては、アクチュエータ１３を駆動しない状態（アクチュエータ：インアクティブ）で、画素ＰＸ（λａ，ｂ－１）の光電変換部ＰＤへの電荷の蓄積を行う。第３期間Ｔ３＿ＦＲ（ｎ）の間に光電変換部ＰＤに蓄積される電荷量Ｑａ，ｂ－１（ｎ）は、画素アレイ１１１に合焦し、画素ＰＸ（λａ，ｂ－１）に入射した可視光の光量に基づく。

【0189】

第３期間Ｔ３＿ＦＲ（ｎ）の経過後、光電変換部ＰＤが保持する電荷はキャパシタＣ＿ＭＥＭへと転送される。これにより、画素ＰＸ（λａ，ｂ－１）のキャパシタＣ＿ＭＥＭには、その容量値及び電荷量Ｑａ，ｂ－１（ｎ）に応じた信号ＭＥＭａ，ｂ－１（ｎ）が保持される。画素ＰＸ（λａ，ｂ－１）のキャパシタＣ＿ＭＥＭは、ｎフレームの第４期間Ｔ４＿ＦＲ（ｎ）からｎ＋１フレームの第３期間Ｔ３＿ＦＲ（ｎ＋１）までの期間にわたって信号ＭＥＭａ，ｂ－１（ｎ）を保持する。

【0190】

続く第４期間Ｔ４＿ＦＲ（ｎ）においては、アクチュエータ１３を駆動し（アクチュエータ：λａ，ｂ（ｎ））、画素ＰＸ（λａ，ｂ）に入射する光の像が合焦するように画素アレイ１１１を光軸方向に移動させる。詳細は後述するが、第４期間Ｔ４＿ＦＲ（ｎ）では、光電変換部ＰＤへの電荷の蓄積は行わない。具体的には、第４期間Ｔ４＿ＦＲ（ｎ）の間に光電変換部ＰＤで発生した電荷は、トランジスタＴ＿ＯＦＤにより排出される（ＯＦＤ動作）。

【0191】

続く第５期間Ｔ５＿ＦＲ（ｎ）においては、アクチュエータ１３を駆動しない状態（アクチュエータ：インアクティブ）で、画素ＰＸ（λａ，ｂ）の光電変換部ＰＤへの電荷の蓄積を行う。第５期間Ｔ５＿ＦＲ（ｎ）の間に光電変換部ＰＤに蓄積される電荷量Ｑａ，ｂ（ｎ）は、画素アレイ１１１に合焦し、画素ＰＸ（λａ，ｂ）に入射した赤外光の光量に基づく。

【0192】

第５期間Ｔ５＿ＦＲ（ｎ）の経過後、光電変換部ＰＤが保持する電荷はキャパシタＣ＿ＭＥＭへと転送される。これにより、画素ＰＸ（λａ，ｂ）のキャパシタＣ＿ＭＥＭには、その容量値及び電荷量Ｑａ，ｂ（ｎ）に応じた信号ＭＥＭａ，ｂ（ｎ）が保持される。キャパシタＣ＿ＭＥＭは、ｎフレームの第６期間Ｔ６＿ＦＲ（ｎ）からｎ＋１フレームの第５期間Ｔ５＿ＦＲ（ｎ＋１）までの期間にわたって信号ＭＥＭａ，ｂ（ｎ）を保持する。

【0193】

続く第６期間Ｔ６＿ＦＲ（ｎ）においては、アクチュエータ１３を駆動し（アクチュエータ：λ１，１（ｎ＋１））、画素ＰＸ（λ１，１）に入射する可視光の像が合焦するように画素アレイ１１１を光軸方向に移動させる。また、詳細は後述するが、第６期間Ｔ６＿ＦＲ（ｎ）では、複数の画素ＰＸからの信号の読み出し動作を行単位で順次行う。具体的には、第１行の読み出し動作ＲＯ（１）から第Ｘ行の読み出し動作ＲＯ（Ｘ）までの読み出し動作を行単位で順次行う。この読み出し動作は、信号ＭＥＭ１，１（ｎ）から信号ＭＥＭａ，ｂ（ｎ）がキャパシタＣ＿ＭＥＭに保持されている第６期間Ｔ６＿ＦＲ（ｎ）の間に行われる。

【0194】

プロセッサ１２は、以上のようにして読み出された信号ＭＥＭ１，１（ｎ）から信号ＭＥＭａ，ｂ（ｎ）に基づいて、複数の画素ＰＸの各々に対して合焦された光に基づく画像信号を１フレームの間に取得することができる。取得した画像信号は、画像情報として画像情報保持部１４に格納される。

【0195】

図１４及び図１５は、図１３の動作を行う際に垂直走査回路１１３から画素アレイ１１１の画素ＰＸに供給される制御信号の波形を示している。図１４及び図１５には説明の簡略化のため第ｍ行及び第（ｍ＋ｂ）行の画素ＰＸに供給される制御信号のみを示しているが、他の行の画素ＰＸに供給される制御信号についても同様である。

【0196】

図１４には、第ｍ行の画素ＰＸ（λ１，１）～画素ＰＸ（λａ，１）の制御信号Ｐ＿ＯＦＤ（ｍ），Ｐ＿ＧＳ＿λ１，１（ｍ）を示している。また、図１４には、第（ｍ＋ｂ）行の画素ＰＸ（λ１，ｂ）～画素ＰＸ（λａ，ｂ）の制御信号Ｐ＿ＯＦＤ（ｍ＋ｂ），Ｐ＿ＧＳ＿λａ－１，ｂ（ｍ＋ｂ），Ｐ＿ＧＳ＿λａ，ｂ（ｍ＋ｂ）を示している。また、図１４には、読み出し動作ＲＯ（ｍ），ＲＯ（ｍ＋ｂ）を、制御信号と同様のパルス波形で表現している。読み出し動作ＲＯ（ｍ），ＲＯ（ｍ＋ｂ）をＨレベルで示している期間が読み出しを行う期間であり、読み出し動作ＲＯ（ｍ），ＲＯ（ｍ＋ｂ）をＬレベルで示している期間が読み出しを行わない期間である。

【0197】

ｎ－１フレームの第６期間Ｔ６＿ＦＲ（ｎ－１）には、画素ＰＸ（λ１，１）に入射する光の像が合焦するように、アクチュエータ１３による画素アレイ１１１の光軸方向の位置調整が行われる。ｎ－１フレームの第６期間Ｔ６＿ＦＲ（ｎ－１）の終期には、垂直走査回路１１３により、制御信号Ｐ＿ＯＦＤ（ｍ）～Ｐ＿ＯＦＤ（ｍ＋ｂ）がＬレベルからＨレベルに制御される。これにより、第ｍ行から第（ｍ＋ｂ）行の画素ＰＸのトランジスタＴ＿ＯＦＤがオンになり、画素ＰＸ（λ１，１）～ＰＸ（λａ，ｂ）の光電変換部ＰＤがリセットされる。

【0198】

垂直走査回路１１３により制御信号Ｐ＿ＯＦＤ（ｍ）～Ｐ＿ＯＦＤ（ｍ＋ｂ）がＨレベルからＬレベルに制御されることにより、画素ＰＸ（λ１，１）～ＰＸ（λａ，ｂ）における光電変換部ＰＤのリセットが解除される。これにより、画素ＰＸ（λ１，１）～ＰＸ（λａ，ｂ）の光電変換部ＰＤにおいて電荷の蓄積が開始される。制御信号Ｐ＿ＯＦＤ（ｍ）～Ｐ＿ＯＦＤ（ｍ＋ｂ）がＨレベルからＬレベルに遷移するタイミングが、ｎ－１フレームの第６期間Ｔ６＿ＦＲ（ｎ－１）の終了タイミングであり、ｎフレームの第１期間Ｔ１＿ＦＲ（ｎ）の開始タイミングである。

【0199】

第１期間Ｔ１＿ＦＲ（ｎ）の終期には、垂直走査回路１１３により、制御信号Ｐ＿ＧＳ＿λ１，１（ｍ）がＬレベルからＨレベルに制御される。これにより、第ｍ行の画素ＰＸ（λ１，１）のトランジスタＴ＿ＧＳがオンになり、第ｍ行の画素ＰＸ（λ１，１）の光電変換部ＰＤに蓄積された電荷がキャパシタＣ＿ＭＥＭに転送される。

【0200】

垂直走査回路１１３により制御信号Ｐ＿ＧＳ＿λ１，１（ｍ）がＨレベルからＬレベルに制御されることにより、光電変換部ＰＤからキャパシタＣ＿ＭＥＭへの電荷の転送動作が終了する。制御信号Ｐ＿ＧＳ＿λ１，１（ｍ）がＨレベルからＬレベルに遷移するタイミングが、第１期間Ｔ１＿ＦＲ（ｎ）の終了タイミングであり、第２期間Ｔ２＿ＦＲ（ｎ）の開始タイミングである。

【0201】

このように、第１期間Ｔ１＿ＦＲ（ｎ）は、第ｍ行の画素ＰＸ（λ１，１）の光電変換部ＰＤにおける電荷の蓄積期間（露光期間）である。第１期間Ｔ１＿ＦＲ（ｎ）に、第ｍ行の画素ＰＸ（λ１，１）の光電変換部ＰＤには、電荷量Ｑ１，１（ｎ）の電荷が蓄積される。また、電荷量Ｑ１，１（ｎ）の電荷が転送されることにより、キャパシタＣ＿ＭＥＭには、画素ＰＸ（λ１，１）に合焦された光に基づく画像信号として、電荷量Ｑ１，１（ｎ）に相当する信号ＭＥＭ１，１（ｎ）が保持される。

【0202】

続く第２期間Ｔ２＿ＦＲ（ｎ）においては、ｎ－１フレームの第６期間Ｔ６＿ＦＲ（ｎ－１）及びｎフレームの第１期間Ｔ１＿ＦＲ（ｎ）と同様にして、画素ＰＸ（λ１，２）におけるアクチュエータ１３の調整及び電荷蓄積並びに電荷転送を実行する。更に、画素ＰＸ（λ１，２）と同様にして、画素ＰＸ（λ１，３）から画素ＰＸ（λａ，ｂ－２）の各々におけるアクチュエータ１３の調整及び電荷蓄積並びに電荷転送を順次実行する。第２期間Ｔ２＿ＦＲ（ｎ）の終期には、垂直走査回路１１３により、制御信号Ｐ＿ＯＦＤ（ｍ）～Ｐ＿ＯＦＤ（ｍ＋ｂ）がＬレベルからＨレベルに制御される。これにより、第ｍ行から第（ｍ＋ｂ）行の画素ＰＸのトランジスタＴ＿ＯＦＤがオンになり、画素ＰＸ（λ１，１）～ＰＸ（λａ，ｂ）の光電変換部ＰＤがリセットされる。

【0203】

垂直走査回路１１３により制御信号Ｐ＿ＯＦＤ（ｍ）～Ｐ＿ＯＦＤ（ｍ＋ｂ）がＨレベルからＬレベルに制御されることにより、画素ＰＸ（λ１，１）～ＰＸ（λａ，ｂ）における光電変換部ＰＤのリセットが解除される。これにより、画素ＰＸ（λ１，１）～ＰＸ（λａ，ｂ）の光電変換部ＰＤにおいて電荷の蓄積が開始される。制御信号Ｐ＿ＯＦＤ（ｍ）～Ｐ＿ＯＦＤ（ｍ＋ｂ）がＨレベルからＬレベルに遷移するタイミングが、第２期間Ｔ２＿ＦＲ（ｎ）の終了タイミングであり、第３期間Ｔ３＿ＦＲ（ｎ）の開始タイミングである。

【0204】

第３期間Ｔ３＿ＦＲ（ｎ）の終期には、垂直走査回路１１３により、制御信号Ｐ＿ＧＳ＿λａ－１，ｂ（ｍ）がＬレベルからＨレベルに制御される。これにより、第（ｍ＋ｂ）行の画素ＰＸ（λａ－１，ｂ）のトランジスタＴ＿ＧＳがオンになり、第（ｍ＋ｂ）行の画素ＰＸ（λａ－１，ｂ）の光電変換部ＰＤに蓄積された電荷がキャパシタＣ＿ＭＥＭに転送される。

【0205】

垂直走査回路１１３により制御信号Ｐ＿ＧＳ＿λａ－１，ｂ（ｍ＋ｂ）がＨレベルからＬレベルに制御されることにより、光電変換部ＰＤからキャパシタＣ＿ＭＥＭへの電荷の転送動作が終了する。制御信号Ｐ＿ＧＳ＿λａ－１，ｂ（ｍ＋ｂ）がＨレベルからＬレベルに遷移するタイミングが、第３期間Ｔ３＿ＦＲ（ｎ）の終了タイミングであり、第４期間Ｔ４＿ＦＲ（ｎ）の開始タイミングである。

【0206】

このように、第３期間Ｔ３＿ＦＲ（ｎ）は、第（ｍ＋ｂ）行の画素ＰＸ（λａ－１，ｂ）の光電変換部ＰＤにおける電荷の蓄積期間（露光期間）である。第３期間Ｔ３＿ＦＲ（ｎ）に、第（ｍ＋ｂ）行の画素ＰＸ（λａ－１，ｂ）の光電変換部ＰＤには、電荷量Ｑａ－１，ｂ（ｎ）の電荷が蓄積される。また、電荷量Ｑａ－１，ｂ（ｎ）の電荷が転送されることにより、キャパシタＣ＿ＭＥＭには、画素ＰＸ（λａ－１，ｂ）に合焦された光に基づく画像信号として電荷量Ｑａ－１，ｂ（ｎ）に相当する信号ＭＥＭａ－１，ｂ（ｎ）が保持される。

【0207】

続く第４期間Ｔ４＿ＦＲ（ｎ）においては、画素ＰＸ（λａ，ｂ）に入射する光の像が合焦するように、アクチュエータ１３による画素アレイ１１１の光軸方向の位置調整が行われる。第４期間Ｔ４＿ＦＲ（ｎ）の終期には、垂直走査回路１１３により、制御信号Ｐ＿ＯＦＤ（ｍ）～Ｐ＿ＯＦＤ（ｍ＋ｂ）がＬレベルからＨレベルに制御される。これにより、第ｍ行から第（ｍ＋ｂ）行の画素ＰＸのトランジスタＴ＿ＯＦＤがオンになり、画素ＰＸ（λ１，１）～ＰＸ（λａ，ｂ）の光電変換部ＰＤがリセットされる。

【0208】

垂直走査回路１１３により制御信号Ｐ＿ＯＦＤ（ｍ）～Ｐ＿ＯＦＤ（ｍ＋ｂ）がＨレベルからＬレベルに制御されることにより、画素ＰＸ（λ１，１）～ＰＸ（λａ，ｂ）における光電変換部ＰＤのリセットが解除される。これにより、画素ＰＸ（λ１，１）～ＰＸ（λａ，ｂ）の光電変換部ＰＤにおいて電荷の蓄積が開始される。制御信号Ｐ＿ＯＦＤ（ｍ）～Ｐ＿ＯＦＤ（ｍ＋ｂ）がＨレベルからＬレベルに遷移するタイミングが、第４期間Ｔ４＿ＦＲ（ｎ）の終了タイミングであり、第５期間Ｔ５＿ＦＲ（ｎ）の開始タイミングである。

【0209】

第５期間Ｔ５＿ＦＲ（ｎ）の終期には、垂直走査回路１１３により、制御信号Ｐ＿ＧＳ＿λａ，ｂ（ｍ＋ｂ）がＬレベルからＨレベルに制御される。これにより、第（ｍ＋ｂ）行の画素ＰＸ（λａ，ｂ）のトランジスタＴ＿ＧＳがオンになり、第（ｍ＋ｂ）行の画素ＰＸ（λａ，ｂ）の光電変換部ＰＤに蓄積された電荷がキャパシタＣ＿ＭＥＭに転送される。

【0210】

垂直走査回路１１３により制御信号Ｐ＿ＧＳ＿λａ，ｂ（ｍ＋ｂ）がＨレベルからＬレベルに制御されることにより、光電変換部ＰＤからキャパシタＣ＿ＭＥＭへの電荷の転送動作が終了する。制御信号Ｐ＿ＧＳ＿λａ，ｂ（ｍ＋ｂ）がＨレベルからＬレベルに遷移するタイミングが、第５期間Ｔ５＿ＦＲ（ｎ）の終了タイミングであり、第６期間Ｔ６＿ＦＲ（ｎ）の開始タイミングである。

【0211】

このように、第５期間Ｔ５＿ＦＲ（ｎ）は、第（ｍ＋ｂ）行の画素ＰＸ（λａ，ｂ）の光電変換部ＰＤにおける電荷の蓄積期間（露光期間）である。第５期間Ｔ５＿ＦＲ（ｎ）に、第（ｍ＋ｂ）行の画素ＰＸ（λａ，ｂ）の光電変換部ＰＤには、電荷量Ｑａ，ｂ（ｎ）の電荷が蓄積される。また、電荷量Ｑａ，ｂ（ｎ）の電荷が転送されることにより、キャパシタＣ＿ＭＥＭには、画素ＰＸ（λａ，ｂ）に合焦された光に基づく画像信号として電荷量Ｑａ，ｂ（ｎ）に相当する信号ＭＥＭａ，ｂ（ｎ）が保持される。

【0212】

第６期間Ｔ６＿ＦＲ（ｎ）には、第１行から第Ｘ行までの読み出し動作、すなわち読み出し動作ＲＯ（１）～ＲＯ（Ｘ）が順に実行される。なお、総ての画素ＰＸについて電荷の蓄積時間が均一化され、また、総ての画素ＰＸにおいて蓄積電荷がキャパシタＣ＿ＭＥＭに保持されているため、読み出し動作ＲＯ（１）～ＲＯ（Ｘ）はどのような順序で実行されてもよい。また、図１４において、読み出し動作ＲＯ（ｍ）は第６期間Ｔ６＿ＦＲ（ｎ）の開始タイミングから開始しているが、第６期間Ｔ６＿ＦＲ（ｎ）の間であれば何れのタイミングで実行されてもよい。

【0213】

図１５は、図１４の読み出し動作ＲＯ（ｍ），ＲＯ（ｍ＋ｂ）における具体的な動作を示すタイミング図である。図１５には、第ｍ行の画素ＰＸの制御信号Ｐ＿ＳＥＬ（ｍ），Ｐ＿ＲＥＳ（ｍ），Ｐ＿ＴＸ（ｍ）と、第（ｍ＋ｂ）行の画素ＰＸの制御信号Ｐ＿ＳＥＬ（ｍ＋ｂ），Ｐ＿ＲＥＳ（ｍ＋ｂ），Ｐ＿ＴＸ（ｍ＋ｂ）と、を示している。

【0214】

また、図１５には、信号読み出し部１１４におけるサンプリング動作を、制御信号と同様のパルス波形で表現している。「信号読み出し部のサンプリング」をＨレベルで示している期間がサンプリングを行う期間であり、「信号読み出し部のサンプリング」をＬレベルで示している期間がサンプリングを行わない期間である。前述の通り、信号読み出し部１１４は行ごとに画素ＰＸから信号を読み出す。そのため、ある行の画素ＰＸから信号を読み出す場合には、「信号読み出し部のサンプリング」のＨレベルはその行の画素ＰＸからの信号をサンプリングすることを示す。

【0215】

本実施形態においては、第１行から第Ｘ行までの読み出し動作ＲＯ（１）～ＲＯ（Ｘ）を順に実行する。第（ｍ－１）行から第（ｍ＋ｂ＋１）行に着目すると、図６に示すように、読み出し動作ＲＯ（ｍ－１），ＲＯ（ｍ），…，ＲＯ（ｍ＋ｂ），ＲＯ（ｍ＋ｂ＋１）がこの順に実行される。図１５において、読み出し動作ＲＯ（ｍ）を行う期間が期間Ｔ＿ＲＯ（ｍ）であり、読み出し動作ＲＯ（ｍ＋ｂ）を行う期間が期間Ｔ＿ＲＯ（ｍ＋ｂ）である。期間Ｔ＿ＲＯ（ｍ）は、期間Ｔ０＿ＲＯ（ｍ）と、期間Ｔ１＿ＲＯ（ｍ）と、期間Ｔ２＿ＲＯ（ｍ）とを含む。期間Ｔ＿ＲＯ（ｍ＋ｂ）は、期間Ｔ０＿ＲＯ（ｍ＋ｂ）と、期間Ｔ１＿ＲＯ（ｍ＋ｂ）と、期間Ｔ２＿ＲＯ（ｍ＋ｂ）とを含む。

【0216】

【0217】

【0218】

次いで、制御信号Ｐ＿ＲＥＳ（ｍ）がＬレベルに遷移した後の期間Ｔ１＿ＲＯ（ｍ）において、信号読み出し部１１４は、各列の列信号線ＬＣに出力された信号をサンプリングする。このようにして画素ＰＸ（λ１，１）～ＰＸ（λａ，１）から得られる信号が、信号ＭＥＭ１，１（ｍ）＿Ｎ～ＭＥＭａ，１（ｍ）＿Ｎである。

【0219】

【0220】

次いで、制御信号Ｐ＿ＴＸ（ｍ）がＬレベルに遷移した後の期間Ｔ２＿ＲＯ（ｍ）において、信号読み出し部１１４は、各列の列信号線ＬＣに出力された信号をサンプリングする。このようにして画素ＰＸ（λ１，１）～ＰＸ（λａ，１）から得られる信号が、信号ＭＥＭ１，１（ｍ）＿Ｓ～ＭＥＭａ，１（ｍ）＿Ｓである。

【0221】

信号読み出し部１１４では、このようにして取得された信号ＭＥＭ１，１（ｍ）＿Ｎ～ＭＥＭａ，１（ｍ）＿Ｎ及び信号ＭＥＭ１，１（ｍ）＿Ｓ～ＭＥＭａ，１（ｍ）＿Ｓに対し、ＣＤＳ処理が施される。すなわち、信号ＭＥＭ１，１（ｍ）＿Ｓ～ＭＥＭａ，１（ｍ）＿Ｓの各々から、対応する信号ＭＥＭ１，１（ｍ）＿Ｎ～ＭＥＭａ，１（ｍ）＿Ｎを差し引く。これにより、信号ＭＥＭ１，１（ｍ）＿Ｓ～ＭＥＭａ，１（ｍ）＿Ｓに重畳する回路構成や特性ばらつき等に起因するオフセット成分を除去する。

【0222】

続く期間Ｔ＿ＲＯ（ｍ＋１）から期間Ｔ＿ＲＯ（ｍ＋ｂ－１）の各々における動作は、期間Ｔ＿ＲＯ（ｍ）における動作と同様である。

【0223】

次に、期間Ｔ＿ＲＯ（ｍ＋ｂ）における動作について説明する。
期間Ｔ＿ＲＯ（ｍ＋ｂ）の開始のタイミングにおいて、垂直走査回路１１３は、制御信号Ｐ＿ＳＥＬ（ｍ＋ｂ）をＬレベルからＨレベルに制御する。これにより、第（ｍ＋ｂ）行の画素ＰＸのトランジスタＴ＿ＳＥＬがオンになり、第（ｍ＋ｂ）行の画素ＰＸから信号読み出し部１１４への信号の読み出しが可能な状態となる。垂直走査回路１１３は、期間Ｔ＿ＲＯ（ｍ＋ｂ）の間、制御信号Ｐ＿ＳＥＬ（ｍ＋ｂ）をＨレベルのまま維持する。

【0224】

次いで、垂直走査回路１１３は、期間Ｔ０＿ＲＯ（ｍ＋ｂ）の間に、一時的に制御信号Ｐ＿ＲＥＳ（ｍ＋ｂ）をＨレベルに制御する。これにより、第（ｍ＋ｂ）行の画素ＰＸのトランジスタＴ＿ＲＥＳがオンになり、ＦＤノード（キャパシタＣ＿ＦＤ）がリセットされる。そして、ＦＤノードのリセット電位に応じた信号が、トランジスタＴ＿ＳＥＬを介して対応する列の列信号線ＬＣに出力される。

【0225】

次いで、制御信号Ｐ＿ＲＥＳ（ｍ＋ｂ）がＬレベルに遷移した後の期間Ｔ１＿ＲＯ（ｍ＋ｂ）において、信号読み出し部１１４は、各列の列信号線ＬＣに出力された信号をサンプリングする。このようにして画素ＰＸ（λ１，ｂ）～ＰＸ（λａ，ｂ）から得られる信号が、信号ＭＥＭ１，ｂ（ｍ＋ｂ）＿Ｎ～ＭＥＭａ，ｂ（ｍ＋ｂ）＿Ｎである。

【0226】

次いで、垂直走査回路１１３は、一時的に制御信号Ｐ＿ＴＸ（ｍ＋ｂ）をＨレベルに制御する。これにより、第（ｍ＋ｂ）行の画素ＰＸのトランジスタＴ＿ＴＸがオンになり、キャパシタＣ＿ＭＥＭが保持する電荷がキャパシタＣ＿ＦＤに転送される。これにより、ＦＤノードは、キャパシタＣ＿ＭＥＭから転送された電荷の量に応じた電位となる。そして、ＦＤノードの電位に応じた信号が、トランジスタＴ＿ＳＥＬを介して対応する列の列信号線ＬＣに出力される。

【0227】

次いで、制御信号Ｐ＿ＴＸ（ｍ＋ｂ）がＬレベルに遷移した後の期間Ｔ２＿ＲＯ（ｍ＋ｂ）において、信号読み出し部１１４は、各列の列信号線ＬＣに出力された信号をサンプリングする。このようにして画素ＰＸ（λ１，ｂ）～ＰＸ（λａ，ｂ）から得られる信号が、信号ＭＥＭ１，ｂ（ｍ＋ｂ）＿Ｓ～ＭＥＭａ，ｂ（ｍ＋ｂ）＿Ｓである。

【0228】

信号読み出し部１１４では、このようにして取得された信号ＭＥＭ１，ｂ（ｍ＋ｂ）＿Ｎ～ＭＥＭａ，ｂ（ｍ＋ｂ）＿Ｎ及び信号ＭＥＭ１，ｂ（ｍ＋ｂ）＿Ｓ～ＭＥＭａ，ｂ（ｍ＋ｂ）＿Ｓに対し、ＣＤＳ処理が施される。すなわち、信号ＭＥＭ１，ｂ（ｍ＋ｂ）＿Ｓ～ＭＥＭａ，ｂ（ｍ＋ｂ）＿Ｓの各々から、対応する信号ＭＥＭ１，ｂ（ｍ＋ｂ）＿Ｎ～ＭＥＭａ，ｂ（ｍ＋ｂ）＿Ｎを差し引く。これにより、信号ＭＥＭ１，ｂ（ｍ＋ｂ）＿Ｓ～ＭＥＭａ，ｂ（ｍ＋ｂ）＿Ｓに重畳する回路構成や特性ばらつき等に起因するオフセット成分を除去する。

【0229】

本実施形態では、レンズ１６に軸上色収差補正がなされているか否かに関係なく、合焦した複数の波長帯域の光による画像信号を１フレーム内（総ての画素ＰＸの光電変換部ＰＤにおける電荷の蓄積開始から信号の読み出し完了まで）に取得することができる。したがって、軸上色収差補正をされたレンズを用いる場合よりも低コストで、マルチスペクトルの高画質画像を高速に取得可能な撮像装置を構成することが可能である。例えば単位画素ブロック１１１１が紫外光、赤外光及び７種類の可視光の波長帯域に感度を有する９種類の画素で構成される場合にも、軸上色収差補正がされていない単レンズを用い、各波長帯域で合焦された光に基づく画像を１フレームで取得することができる。これにより、低コストでマルチスペクトル撮像システムを構築することが可能になる。

【0230】

【0231】

［第４実施形態］
本発明の第４実施形態による撮像装置について、図１６及び図１７を用いて説明する。第１乃至第３実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図１６は、本実施形態による撮像装置の構成例を示すブロック図である。図１７は、本実施形態による撮像装置における軸上色収差情報の取得方法を示すフローチャートである。

【0232】

本実施形態による撮像装置は、プロセッサ１２の内部構成が異なるほかは、第１実施形態による撮像装置と同様である。すなわち、本実施形態による撮像装置のプロセッサ１２は、図１６に示すように、コントラスト算出部１２１と、コントラスト判定部１２２と、アクチュエータ移動量・方向決定部１２３と、測定画素選択部１２４と、を含んで構成され得る。本実施形態による撮像装置は、プロセッサ１２の内部構成が異なることに応じて、第１実施形態において説明した機能に加え、後述する機能を更に備え得る。

【0233】

コントラスト算出部１２１は、撮像部１１から静止画の画像情報を取得し、感度を有する波長帯域が異なる画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３），ＰＸ（ＩＲ）の各々におけるコントラストＣを算出する機能を備える。

【0234】

コントラスト判定部１２２は、コントラスト算出部１２１から取得したコントラストＣが所定の条件を満たしているか否かを判定する機能を備える。コントラストＣの判定条件は適宜設定されうるが、本実施形態ではコントラストＣが最大値であるか否かを判定条件であるものとする。判定の結果、コントラストＣが所定条件を満たしていない場合、コントラスト判定部１２２は、コントラストＣに関する情報をアクチュエータ移動量・方向決定部１２３に出力する。一方、コントラストＣが所定条件を満たしている場合、コントラスト判定部１２２は、画像を取得したときのアクチュエータ１３の位置情報（移動量・方向）、つまり画素ＰＸに合焦する条件に関する情報を測定画素選択部１２４に出力する。

【0235】

アクチュエータ移動量・方向決定部１２３は、コントラスト算出部１２１からコントラスト判定部１２２を介して取得したコントラストＣの値に基づき、コントラストＣを最大値にするためのアクチュエータ１３の移動量及び方向を推定する機能を備える。また、アクチュエータ移動量・方向決定部１２３は、推定したアクチュエータ１３の移動量及び方向に関する情報を、コントローラ１１２を介してアクチュエータ１３に送信する機能を備える。なお、アクチュエータ１３の移動量及び方向の推定方法は、特に限定されるものではない。一般的なコントラストオートフォーカス法のように、フォーカスの方向と移動量を変えながらコントラストＣの取得を行い、コントラストＣが最大値になるフォーカスの方向と移動量からアクチュエータ１３の移動量及び方向を推定してもよい。

【0236】

測定画素選択部１２４は、画素ＰＸのコントラストＣが最大値のときのアクチュエータ１３の移動量・方向（位置）に関する情報をコントラスト判定部１２２から取得する機能を備える。また、測定画素選択部１２４は、レンズ１６からそのレンズの種類や焦点距離に関する情報を取得し、軸上色収差情報保持部１５に送信する機能を備える。また、測定画素選択部１２４は、感度を有する波長帯域が異なる画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３），ＰＸ（ＩＲ）の総てが合焦したか否かを判定し、総ての画素ＰＸが合焦していない場合は判定結果をコントローラ１１２に送信する機能を備える。

【0237】

コントローラ１１２は、アクチュエータ移動量・方向決定部１２３及び測定画素選択部１２４から取得した情報をもとにアクチュエータ１３、垂直走査回路１１３及び信号読み出し部１１４を制御し、静止画や動画の撮像を実施する。

【0238】

軸上色収差情報保持部１５は、レンズの種類及び焦点距離に関する情報と画素ＰＸのコントラストＣが最大値になるときのアクチュエータ１３の移動量・方向（位置）に関する情報とが紐づけられた情報（軸上色収差情報）を保持する。

【0239】

以上の構成により、本実施形態の撮像装置では、本撮影の前にレンズの種類や焦点距離毎に軸上色収差情報を取得し、軸上色収差情報保持部１５に保存しておくことが可能である。例えば、解像度チャートなどのコントラストが測定できる被写体を、任意の移動量でアクチュエータ１３を駆動しながら撮影し、コントラストが最大になるときのアクチュエータ１３の移動量を軸上色収差情報として軸上色収差情報保持部１５に保存する。この操作を、感度を有する波長帯域が異なる画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３），ＰＸ（ＩＲ）の各々に対して繰り返し行うことで、任意の種類、焦点距離のレンズの軸上色収差情報を取得することができる。

【0240】

なお、画素アレイ１１１を構成する複数の画素ＰＸの少なくとも一部を、複数の光電変換部を有する瞳分割画素で構成し、画像データから得た位相差情報を用いて当該画素ＰＸに合焦させるためのアクチュエータ１３の移動量・方向に関する情報を取得してもよい。この場合、コントラスト算出部１２１及びコントラスト判定部１２２は不要であり、コントローラ１１２からプロセッサ１２へと送られる位相差情報に基づき、測定画素選択部１２４により総ての画素ＰＸが合焦しているか否かを判定する。判定の結果、総ての画素ＰＸが合焦していなければ、合焦していない画素ＰＸに対するアクチュエータ１３の移動量・方向をアクチュエータ移動量・方向決定部１２３により決定する。

【0241】

次に、本実施形態による撮像装置における軸上色収差情報の取得方法について、図１７を用いてより具体的に説明する。図１７は、本実施形態による撮像装置における軸上色収差情報の取得方法を示すフローチャートである。

【0242】

まず、プロセッサ１２は、軸上色収差情報を取得するための予備撮影として、静止画画像を撮影するようにコントローラ１１２に命令する。コントローラ１１２は、プロセッサ１２からの命令に応じて垂直走査回路１１３及び信号読み出し部１１４を制御し、レンズ１６を介して画素アレイ１１１に入射する光学像の静止画画像を取得する（ステップＳ１００）。撮像された静止画画像は、コントローラ１１２からプロセッサ１２のコントラスト算出部１２１へと送られる。

【0243】

次いで、コントラスト算出部１２１は、取得した静止画画像から画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３），ＰＸ（ＩＲ）のデータをそれぞれ抜き出し、各々が１種類の画素ＰＸのデータで構成された４種類の画像データに再構成する。このように再構成された画像データを、画像データＩＭ（λ１），ＩＭ（λ２），ＩＭ（λ３），ＩＭ（ＩＲ）と呼ぶものとする。

【0244】

次いで、コントラスト算出部１２１は、画像データＩＭ（λ１），ＩＭ（λ２），ＩＭ（λ３），ＩＭ（ＩＲ）の各々において、任意の演算領域におけるコントラストを算出する（ステップＳ１１０）。コントラストの算出方法は、特に限定されるものではないが、例えば以下の演算式に基づいて算出することができる。ここで、Ｃは画像データ中の任意の演算領域のコントラストであり、Ｏｍａｘは画像データ中の任意の演算領域における出力レベルの最大値であり、Ｏｍｉｎは画像データ中の任意の演算領域における出力レベル最小値である。
Ｃ＝（Ｏｍａｘ－Ｏｍｉｎ）／（Ｏｍａｘ＋Ｏｍｉｎ）

【0245】

次いで、コントラスト算出部１２１は、ステップＳ１１０で算出した画像データＩＭ（λ１），ＩＭ（λ２），ＩＭ（λ３），ＩＭ（ＩＲ）の各々におけるコントラストＣが所定の条件を満たしているか否かを判定する（ステップＳ１２０）。所定の条件とは、コントラストＣの値が各画素ＰＸに合焦しているときの値であることであり、具体的には、コントラストＣの値がアクチュエータ１３の可動範囲内で得られる最大値であることである。

【0246】

ステップＳ１２０における判定の結果、少なくとも１つのコントラストＣが所定の条件を満たしていない場合（図１７の「ＮＯ」）には、ステップＳ１３０ヘと移行する。ステップＳ１３０において、アクチュエータ移動量・方向決定部１２３は、コントラストＣが所定の条件を満たしていない画素ＰＸについて、コントラストＣが最大値となるアクチュエータ１３の移動量及び方向を推定する。コントローラ１１２は、アクチュエータ移動量・方向決定部１２３の推定結果に基づいてアクチュエータ１３を駆動する。その後、ステップＳ１００へと戻り、静止画画像の撮影から繰り返す。

【0247】

一方、画像データＩＭ（λ１），ＩＭ（λ２），ＩＭ（λ３），ＩＭ（ＩＲ）の総てのコントラストＣが所定の条件を満たしている場合（図１７の「ＹＥＳ」）には、ステップＳ１４０ヘと移行する。ステップＳ１４０において、測定画素選択部１２４は、コントラスト判定部１２２から画素ＰＸのコントラストＣが最大値になるアクチュエータの移動量・方向（位置）情報をコントラスト判定部１２２から取得する。また、測定画素選択部１２４は、レンズの種類及び焦点距離に関する情報をレンズ１６から取得する。測定画素選択部１２４は、レンズ１６及びコントラスト判定部１２２から取得したこれら情報を互いに紐付け、軸上色収差情報として軸上色収差情報保持部１５に保存する。

【0248】

画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３），ＰＸ（ＩＲ）の各々に対応する軸上色収差情報が軸上色収差情報保持部１５に保存されることにより、レンズ１６の軸上色収差情報の取得のための一連のフローは終了する。

【0249】

本実施形態において説明した軸上色収差情報の取得方法は、レンズ１６の軸上色収差情報が事前にわかっていない場合に特に有用である。例えば、レンズ開発技術の進歩により、可視光領域の範囲内の軸上色収差が限りなく０に近いセンサが開発されたとする。その場合、可視光と赤外光との間の軸上色収差が従来のレンズとは異なってしまい、第１実施形態のように事前に軸上色収差情報が保存されている撮像装置では、各画素ＰＸにおける合焦の精度が低下してしまう。この点、本実施形態による軸上色収差情報の取得方法を適用すれば、本撮影の前の予備撮影により、レンズ１６に好適な軸上色収差情報を構築することができる。

【0250】

したがって、本実施形態によれば、既存のレンズだけでなく将来に開発されるレンズにも対応して各波長帯域において合焦が可能な撮像装置を実現することが可能である。

【0251】

［第５実施形態］
本発明の第５実施形態による撮像装置について、図１８及び図１９を用いて説明する。第１乃至第４実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図１８は、本実施形態による撮像装置の構成例を示すブロック図である。図１９は、本実施形態による撮像装置におけるフォーカス制御方法を示すフローチャートである。

【0252】

本実施形態による撮像装置は、プロセッサ１２の内部構成が異なるほかは、第１実施形態による撮像装置と同様である。すなわち、本実施形態による撮像装置のプロセッサ１２は、図１７に示すように、軸上色収差取得部１２５と、合焦判定部１２６と、アクチュエータ・レンズ制御切替部１２７と、を含んで構成され得る。本実施形態による撮像装置は、プロセッサ１２の内部構成が異なることに応じて、第１実施形態において説明した機能に加え、後述する機能を更に備え得る。

【0253】

軸上色収差取得部１２５は、事前に保存されたレンズ１６の軸上色収差情報を軸上色収差情報保持部１５から取得し、合焦判定部１２６へと出力する機能を備える。

【0254】

合焦判定部１２６は、軸上色収差取得部１２５から取得した軸上色収差情報が、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３），ＰＸ（ＩＲ）の各々に合焦させるための所定条件を満たしているか否かを判定する機能を備える。また、合焦判定部１２６は、その判定結果をアクチュエータ・レンズ制御切替部１２７に出力する機能を備える。

【0255】

アクチュエータ・レンズ制御切替部１２７は、合焦判定部１２６から取得した判定結果に応じて、フォーカス制御の方法として、アクチュエータ１３による画素アレイ１１１の移動及びレンズ１６によるオートフォーカス制御のいずれかを選択する機能を備える。

【0256】

コントローラ１１２は、アクチュエータ・レンズ制御切替部１２７による選択結果に応じて、アクチュエータ１３又はレンズ１６にフォーカス制御を命令する機能を備える。

【0257】

次に、本実施形態による撮像装置におけるフォーカス制御方法について、図１９を用いてより具体的に説明する。図１９は、本実施形態による撮像装置におけるフォーカス制御方法を示すフローチャートである。

【0258】

まず、軸上色収差取得部１２５は、事前に保存されたレンズ１６の軸上色収差情報を軸上色収差情報保持部１５から取得し、合焦判定部１２６へと出力する（ステップＳ２００）。

【0259】

次いで、合焦判定部１２６は、軸上色収差取得部１２５から取得した軸上色収差情報が、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３），ＰＸ（ＩＲ）の各々に合焦させるための所定条件を満たしているか否かを判定する（ステップＳ２１０）。判定の基準となる所定条件としては、例えば、アクチュエータ１３による合焦に要する時間がレンズ１６による合焦に要する時間よりも短いこと、軸上色収差がアクチュエータ１３の移動可能領域の最大量以下であること、などが挙げられる。これらは、焦点距離が長いレンズ１６を用いて遠方撮影を行う場合に、アクチュエータ１３による合焦に要する時間がレンズ１６による合焦に要する時間よりも長くなり、或いは、そもそもアクチュエータ１３だけでは合焦しきれない可能性を考慮したものである。ステップＳ２１０は、アクチュエータ１３の制御のみによって画素ＰＸに対して合焦できるか否かを判定するステップである。

【0260】

ステップＳ２１０における判定の結果、軸上色収差取得部１２５から取得した軸上色収差情報が所定条件を満たしていない場合（図１９の「ＮＯ」）には、ステップＳ２２０ヘと移行する。例えば、上述した２つの例のうちのいずれか１つでも成立しない場合に、軸上色収差情報が所定条件を満たしていないと判定することができる。或いは、上述した２つの例が同時に成立しない場合に、軸上色収差情報が所定条件を満たしていないと判定することができる。ステップＳ２２０では、アクチュエータ１３による合焦の制御からレンズ１６による合焦の制御に切り替えることを決定し、その結果をコントローラ１１２に出力する。この場合、フォーカス制御にはレンズ１６によるオートフォーカス機能が用いられる。

【0261】

一方、軸上色収差取得部１２５から取得した軸上色収差情報が所定条件を満たしている場合（図１９の「ＹＥＳ」）には、フォーカス制御方法の選択のための一連のフローは終了する。この場合、第１実施形態において説明したように、フォーカス制御にはアクチュエータ１３のみが用いられる。

【0262】

なお、フォーカス制御の切り替えは、画素ＰＸ（λ１），ＰＸ（λ２），ＰＸ（λ３），ＰＸ（ＩＲ）毎に行うことができる。或いは、いずれか１種類の画素ＰＸに対して所定条件を満たしていない場合に、総ての画素ＰＸに対してレンズフォーカス制御に切り替えるようにフォーカス制御を行ってもよい。

【0263】

本実施形態において説明したフォーカス制御方法は、レンズ１６の軸上色収差情報が事前にわかっていない場合に特に有用である。例えば、レンズ開発技術の進歩により、可視光領域の範囲内の軸上色収差が限りなく０に近いセンサが開発されたとする。その場合、可視光と赤外光との間の軸上色収差が従来のレンズとは異なってしまい、第１実施形態のように事前に軸上色収差情報が保存されている撮像装置では、各画素ＰＸにおける合焦の精度が低下してしまう。この点、本実施形態によるフォーカス制御方法を適用すれば、レンズ１６に応じた最適なフォーカス制御を行うことが可能となる。

【0264】

【0265】

［第６実施形態］
本発明の第６実施形態による撮像システムについて、図２０を用いて説明する。図２０は、本実施形態による撮像システムの概略構成を示すブロック図である。

【0266】

上記第１乃至第５実施形態で述べた撮像装置１は、種々の撮像システムに適用可能である。適用可能な撮像システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。図２０には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。

【0267】

図２０に例示した撮像システム２００は、撮像装置２０１、被写体の光学像を撮像装置２０１に結像させるレンズ２０２、レンズ２０２を通過する光量を可変にするための絞り２０４、レンズ２０２の保護のためのバリア２０６を有する。レンズ２０２及び絞り２０４は、撮像装置２０１に光を集光する光学系である。撮像装置２０１は、第１乃至第５実施形態のいずれかで説明した撮像装置１の構成要素のうちの少なくとも撮像部１１とアクチュエータ１３と、を含み、レンズ２０２により結像された光学像を画像データに変換する。レンズ２０２は、第１乃至第５実施形態のいずれかで説明した撮像装置１におけるレンズ１６であり得る。

【0268】

撮像システム２００は、また、撮像装置２０１より出力される出力信号の処理を行う信号処理部２０８を有する。信号処理部２０８は、撮像装置２０１が出力するデジタル信号から画像データの生成を行う。また、信号処理部２０８は必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。撮像装置２０１は、信号処理部２０８で処理されるデジタル信号を生成するＡＤ変換部を備えうる。ＡＤ変換部は、撮像装置２０１の光電変換部が形成された半導体層（半導体基板）に形成されていてもよいし、撮像装置２０１の光電変換部が形成された半導体層とは別の半導体基板に形成されていてもよい。また、信号処理部２０８が撮像装置２０１と同一の半導体基板に形成されていてもよい。

【0269】

撮像システム２００は、更に、画像データを一時的に記憶するためのメモリ部２１０、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）２１２を有する。第１乃至第５実施形態において説明した画像情報保持部１４及び軸上色収差情報保持部１５は、メモリ部２１０に構成してもよい。更に撮像システム２００は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体２１４、記録媒体２１４に記録又は読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）２１６を有する。なお、記録媒体２１４は、撮像システム２００に内蔵されていてもよく、着脱可能であってもよい。

【0270】

更に撮像システム２００は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部２１８、撮像装置２０１と信号処理部２０８に各種タイミング信号を出力するタイミング発生部２２０を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム２００は少なくとも撮像装置２０１と、撮像装置２０１から出力された出力信号を処理する信号処理部２０８とを有すればよい。信号処理部２０８、全体制御・演算部２１８及びタイミング発生部２２０のうちの少なくとも一部は、第１乃至第５実施形態において説明したプロセッサ１２であり得る。

【0271】

撮像装置２０１は、撮像信号を信号処理部２０８に出力する。信号処理部２０８は、撮像装置２０１から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部２０８は、撮像信号を用いて、画像を生成する。

【0272】

このように、本実施形態によれば、第１乃至第５実施形態による撮像装置１を適用した撮像システムを実現することができる。

【0273】

［第７実施形態］
本発明の第７実施形態による撮像システム及び移動体について、図２１を用いて説明する。図２１は、本実施形態による撮像システム及び移動体の構成を示す図である。

【0274】

図２１（ａ）は、車載カメラに関する撮像システムの一例を示したものである。撮像システム３００は、撮像装置３１０を有する。撮像装置３１０は、上記第１乃至第５実施形態のいずれかに記載の撮像装置１である。撮像システム３００は、撮像装置３１０により取得された複数の画像データに対し、画像処理を行う画像処理部３１２と、撮像システム３００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差取得部３１４を有する。また、撮像システム３００は、算出された視差に基づいて対象物までの距離を算出する距離取得部３１６と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部３１８と、を有する。ここで、視差取得部３１４や距離取得部３１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部３１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

【0275】

撮像システム３００は車両情報取得装置３２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム３００は、衝突判定部３１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ３３０が接続されている。また、撮像システム３００は、衝突判定部３１８での判定結果に基づいて、ドライバーへ警報を発する警報装置３４０とも接続されている。例えば、衝突判定部３１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ３３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置３４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

【0276】

本実施形態では、車両の周囲、例えば前方又は後方を撮像システム３００で撮像する。図２１（ｂ）に、車両前方（撮像範囲３５０）を撮像する場合の撮像システムを示した。車両情報取得装置３２０が、撮像システム３００ないしは撮像装置３１０に指示を送る。このような構成により、測距の精度をより向上させることができる。

【0277】

上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

【0278】

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

【0279】

また、上記第１実施形態では、ＲＧＢ配列のカラーフィルタを示したが、シアン色のカラーフィルタを備えたＣ画素と、マゼンダ色のカラーフィルタを備えたＭ画素と、黄色のカラーフィルタを備えたＹ画素と、を含むＣＭＹ配列のカラーフィルタであってもよい。また、ＲＧＢやＣＭＹ等の色画素のほかに、入射光を色分離せず直接検出する画素（ホワイト画素）を更に含んでもよい。

【0280】

また、上記第４実施形態では、第１実施形態による撮像装置における軸上色収差情報の取得方法を示したが、第２及び第３実施形態による撮像装置においても同様の軸上色収差情報の取得方法を適用可能である。

【0281】

また、上記第５実施形態では、第１実施形態による撮像装置におけるフォーカス制御方法を示したが、第２及び第３実施形態による撮像装置においても同様のフォーカス制御方法を適用可能である。

【0282】

また、上記第１乃至第５実施形態では、画像の取得を目的とした装置、すなわち撮像装置を例示したが、本発明の適用例は必ずしも撮像装置に限定されるものではない。例えば、上記第７実施形態で説明したような測距を主たる目的とする装置に適用する場合にあっては、必ずしも画像を出力する必要はない。このような場合、当該装置は、光情報を所定の電気信号に変換する光電変換装置と言うことができる。撮像装置は、光電変換装置の１つである。

【0283】

また、上記第６及び第７実施形態に示した撮像システムは、本発明の光電変換装置を適用しうる撮像システム例を示したものであり、本発明の光電変換装置を適用可能な撮像システムは図２０及び図２１に示した構成に限定されるものではない。

【0284】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0285】

なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0286】

１…撮像装置
１１…撮像部
１１１…画素アレイ
１１２…コントローラ
１１３…垂直走査回路
１１４…信号読み出し部
１２…プロセッサ
１２１…コントラスト算出部
１２２…コントラスト判定部
１２３…アクチュエータ移動量・方向決定部
１２４…測定画素選択部
１２５…軸上色収差取得部
１２６…合焦判定部
１２７…アクチュエータ・レンズ制御切替部
１３…アクチュエータ
１４…画像情報保持部
１５…軸上色収差情報保持部
１６…レンズ

【図1】