特許 7384226 撮像素子及び撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-13

(45)【発行日】2023-11-21

(54)【発明の名称】撮像素子及び撮像装置

(51)【国際特許分類】

   H04N 25/771 20230101AFI20231114BHJP

   H04N 25/583 20230101ALI20231114BHJP

   H04N 25/59 20230101ALI20231114BHJP

   H04N 23/54 20230101ALI20231114BHJP

【ＦＩ】

H04N25/771

H04N25/583

H04N25/59

H04N23/54

【請求項の数】 9

(21)【出願番号】P 2022000251

(22)【出願日】2022-01-04

(62)【分割の表示】P 2020081357の分割

【原出願日】2015-12-14

(65)【公開番号】P2022050517

(43)【公開日】2022-03-30

【審査請求日】2022-01-06

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(72)【発明者】

【氏名】村田 寛信

【審査官】松永 隆志

(56)【参考文献】

【文献】特開２０１５－１９８３６１（ＪＰ，Ａ）

【文献】特開２００９－０４７６６２（ＪＰ，Ａ）

【文献】特開２００６－２１７４１０（ＪＰ，Ａ）

【文献】国際公開第２０１４／０８０６２５（ＷＯ，Ａ１）

【文献】特開２００９－２７７７３８（ＪＰ，Ａ）

【文献】特開２０１２－０８３２１４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／００－２５／７９

(57)【特許請求の範囲】

【請求項1】

光を光電変換して電荷を生成する光電変換部と、
前記光電変換部で生成された電荷を保持する第１電荷保持部と、
前記光電変換部で生成された電荷を保持する第２電荷保持部と、
前記第１電荷保持部で保持された電荷が転送される第１電荷電圧変換部と、
前記第２電荷保持部で保持された電荷が転送される第２電荷電圧変換部と、
前記第１電荷保持部で保持された電荷を前記第１電荷電圧変換部に転送する第１転送部と、
前記第２電荷保持部で保持された電荷を前記第２電荷電圧変換部に転送する第２転送部と、
前記第１電荷電圧変換部に転送された電荷に基づく信号を出力する第１出力部と、
前記第２電荷電圧変換部に転送された電荷に基づく信号を出力する第２出力部と、
前記第１電荷保持部で保持された電荷および前記第２電荷保持部で保持された電荷をリセットするリセット部と、を備え、
前記第１電荷電圧変換部と前記第１出力部とは第１方向に配置され、
前記第２電荷電圧変換部と前記第２出力部とは前記第１方向と交差する第２方向に配置され、
前記リセット部は、前記第１方向において、前記第２電荷保持部と前記第１出力部との間に設けられ、前記第２方向において、前記第１電荷保持部と前記第２出力部との間に設けられる撮像素子。

【請求項2】

請求項１に記載の撮像素子において、
前記第１電荷保持部と前記第１電荷電圧変換部と前記第１転送部とは、前記第２方向に配置され、
前記第２電荷保持部と前記第２電荷電圧変換部と前記第２転送部とは、前記第１方向に配置される撮像素子。

【請求項3】

請求項１または２に記載の撮像素子において、
前記第１転送部は、前記第２方向において、前記第１電荷保持部と前記第１電荷電圧変換部との間に配置され、
前記第２転送部は、前記第１方向において、前記第２電荷保持部と前記第２電荷電圧変換部との間に配置される撮像素子。

【請求項4】

請求項１から３のいずれか一項に記載の撮像素子において、
前記第１電荷保持部と前記第１出力部とは前記第２方向に配置され、
前記第２電荷保持部と前記第２出力部とは前記第１方向に配置される撮像素子。

【請求項5】

請求項１から４のいずれか一項に記載の撮像素子において、
前記光電変換部で生成された電荷を前記第１電荷保持部に転送する第３転送部と、
前記光電変換部で生成された電荷を前記第２電荷保持部に転送する第４転送部と、
を備え、
前記光電変換部と前記第１電荷保持部と前記第３転送部とは前記第１方向に配置され、
前記光電変換部と前記第２電荷保持部と前記第４転送部とは前記第２方向に配置される撮像素子。

【請求項6】

請求項５に記載の撮像素子において、
前記第３転送部は、前記第１方向において、前記光電変換部と前記第１電荷保持部との間に配置され、
前記第４転送部は、前記第２方向において、前記光電変換部と前記第２電荷保持部との間に配置される撮像素子。

【請求項7】

請求項１から請求項６のいずれか一項に記載の撮像素子において、
前記第１電荷保持部は、前記光電変換部が第１期間に生成した電荷を保持し、
前記第２電荷保持部は、前記光電変換部が前記第１期間と重複しない第２期間に生成した電荷を保持する撮像素子。

【請求項8】

請求項１から請求項７のいずれか一項に記載の撮像素子と、
前記第１電荷保持部に保持された電荷に基づく信号から第１画像を作成し、前記第２電荷保持部に保持された電荷に基づく信号から第２画像を作成する作成部と、を備える撮像装置。

【請求項9】

請求項８に記載の撮像装置において、
前記第１画像と前記第２画像とを交互に表示する画像表示部を備える撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像素子及び撮像装置に関する。

【背景技術】

【0002】

グローバルシャッタ方式の撮像素子が知られている（例えば、特許文献１）。従来技術には、フォトダイオードで生じた電荷を有効利用できていないという問題があった。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００４－２９７０８９号公報

【発明の概要】

【0004】

請求項１に記載の撮像素子は、光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷を保持する第１電荷保持部と、前記光電変換部で生成された電荷を保持する第２電荷保持部と、前記第１電荷保持部で保持された電荷が転送される第１電荷電圧変換部と、前記第２電荷保持部で保持された電荷が転送される第２電荷電圧変換部と、前記第１電荷保持部で保持された電荷を前記第１電荷電圧変換部に転送する第１転送部と、前記第２電荷保持部で保持された電荷を前記第２電荷電圧変換部に転送する第２転送部と、前記第１電荷電圧変換部に転送された電荷に基づく信号を出力する第１出力部と、前記第２電荷電圧変換部に転送された電荷に基づく信号を出力する第２出力部と、前記第１電荷保持部で保持された電荷および前記第２電荷保持部で保持された電荷をリセットするリセット部と、を備え、前記第１電荷電圧変換部と前記第１出力部とは第１方向に配置され、前記第２電荷電圧変換部と前記第２出力部とは前記第１方向と交差する第２方向に配置され、 前記リセット部は、前記第１方向において、前記第２電荷保持部と前記第１出力部との間に設けられ、前記第２方向において、前記第１電荷保持部と前記第２出力部との間に設けられる撮像素子である。

【図面の簡単な説明】

【0005】

【図1】本発明の第１の実施の形態に係る撮像装置の構成を示す模式図である。

【図2】撮像素子１２０の撮像面１０を模式的に示す平面図である。

【図3】撮像画素２０の回路図である。

【図4】撮像面１０上の撮像画素２０を拡大した模式図である。

【図5】撮像画素２０の断面図およびポテンシャル図である。

【図6】ライブビュー動作のタイミングチャートである。

【図7】ライブビュー動作のタイミングチャートである。

【図8】本撮影のタイミングチャートである。

【図9】本撮影のタイミングチャートである。

【図10】ライブビュー動作のタイミングチャートである。

【図11】ライブビュー動作のタイミングチャートである。

【図12】本撮影のタイミングチャートである。

【図13】本撮影のタイミングチャートである。

【図14】露出オートブラケッティング撮影動作のタイミングチャートである。

【図15】ハイダイナミックレンジ合成の露光時間を模式的に示す図である。

【図16】本発明の第４の実施の形態に係る撮像装置の構成を示す模式図である。

【図17】測距動作のタイミングチャートである。

【発明を実施するための形態】

【0006】

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置の構成を示す模式図である。撮像装置１００は、結像光学系１１０と、撮像素子１２０と、制御回路１３０と、メカニカルシャッター１４０と、表示装置１５０と、記録媒体１６０とを有している。

【0007】

結像光学系１１０は、撮像素子１２０の撮像面に被写体像を結像させる。制御回路１３０は、撮像装置１００の全体を制御する。メカニカルシャッター１４０は、いわゆるフォーカルプレーンシャッターであり、撮像素子１２０の撮像面近傍に設けられている。表示装置１５０は、例えば液晶ディスプレイ等の表示装置である。記録媒体１６０は、例えばメモリカード等の可搬性の記録媒体である。

【0008】

図２は、撮像素子１２０の撮像面１０を模式的に示す平面図である。撮像面１０には、複数の撮像画素２０が二次元状に多数配列されている。撮像画素２０は、それぞれ赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかの色成分に対応している。例えば赤（Ｒ）の色成分に対応する撮像画素２０は、入射光のうち赤の色成分の光を光電変換した光電変換信号（撮像信号）を出力する。これら３種類の撮像画素２０は、いわゆるベイヤー配列を成している。

【0009】

制御回路１３０は、記録用画像を撮影する場合（いわゆる本撮影時）には、全ての撮像画素から撮像信号を読み出す。これに対し、ライブビュー用画像を撮影する場合には、制御回路１３０は、表示装置１５０の表示画素数に合わせて、撮像画素２０の間引き読み出しを行う。つまり、全ての撮像画素２０から撮像信号を読み出すのではなく、表示装置１５０の表示画素数に合わせて、例えば３行おきの撮像画素２０からのみ撮像信号を読み出す（３行のうち１行のみを読み出し残りの２行は飛ばす）。

【0010】

次に、図３～図５を参照して、撮像画素２０の構成について詳述する。図３は、撮像画素２０の回路図である。撮像画素２０は、光電変換部ＰＤと、第１読出部２１と、第２読
出部２２と、リセットトランジスタＲとを有する。

【0011】

光電変換部ＰＤは、フォトダイオードであり、入射光を光電変換して電荷を生成する。撮像画素２０には、不図示のマイクロレンズが設けられており、撮像画素２０への入射光はマイクロレンズによって光電変換部ＰＤに集光される。光電変換部ＰＤのカソード端子には、第１読出部２１と第２読出部２２とが並列に接続されている。

【0012】

第１読出部２１は、第１電荷保持部ＳＧ１と、第１転送トランジスタＴＸ１と、第１電荷電圧変換部ＦＤ１と、第１増幅トランジスタＳＦ１と、第１出力トランジスタＳ１と、第１出力部２３とを有する。第１出力トランジスタＳ１と第１出力部２３との間には、第１定電流源２５が接続されている。この第１定電流源２５は、１列ごとに１つ存在し、１つの列に存在する全行分の撮像画素２０について並列に接続されている。

【0013】

第１電荷保持部ＳＧ１は、Ｎ型のＭＯＳＦＥＴである。詳細は後述するが、第１電荷保持部ＳＧ１は、光電変換部ＰＤで生成された電荷を一時的に保持できるよう、大きな容量を有している。第１転送トランジスタＴＸ１は、Ｎ型のＭＯＳＦＥＴであり、第１電荷保持部ＳＧ１に保持されている電荷を、第１電荷電圧変換部ＦＤ１に転送する機能を有する。

【0014】

第１電荷電圧変換部ＦＤ１は、いわゆるフローティングディフュージョンであり、第１転送トランジスタＴＸ１によって第１電荷保持部ＳＧ１から転送された電荷を一時的に保持することで、第１電荷保持部ＳＧ１に保持されていた電荷量に応じた電位をとる。つまり、第１電荷保持部ＳＧ１に保持されていた電荷を、電圧に変換する。第１増幅トランジスタＳＦ１は、Ｎ型のＭＯＳＦＥＴであり、第１電荷電圧変換部ＦＤ１に保持されている電荷量（第１電荷電圧変換部ＦＤ１の電位）に応じた出力信号を第１出力トランジスタＳ１に出力する。第１出力トランジスタＳ１は、Ｎ型のＭＯＳＦＥＴであり、第１増幅トランジスタＳＦ１から出力された出力信号を第１出力部２３に出力する。つまり第１出力部２３には、第１電荷電圧変換部ＦＤ１に保持されている電荷量に応じた出力信号が出力される。

【0015】

第１電荷保持部ＳＧ１のドレイン端子は、光電変換部ＰＤのカソード端子に接続されている。第１電荷保持部ＳＧ１のソース端子は、第１転送トランジスタＴＸ１のドレイン端子に接続されている。第１転送トランジスタＴＸ１のソース端子は、リセットトランジスタＲのソース端子と、第１増幅トランジスタＳＦ１のゲート端子と、第１電荷電圧変換部ＦＤ１に接続されている。リセットトランジスタＲのドレイン端子と、第１増幅トランジスタＳＦ１のドレイン端子は、電源ＶＤＤに接続されている。第１増幅トランジスタＳＦ１のソース端子は、第１出力トランジスタＳ１のドレイン端子に接続されている。第１出力トランジスタＳ１のソース端子は、第１定電流源２５の出力端子と、第１出力部２３に接続されている。残りの端子、すなわち第１電荷保持部ＳＧ１のゲート端子と、第１転送トランジスタＴＸ１のゲート端子と、第１出力トランジスタＳ１のゲート端子は、それぞれ不図示の走査回路に接続され、不図示の走査回路により制御される。

【0016】

なお、以下の説明では、本来は撮像素子１２０内の走査回路により行われる制御動作を、便宜上、制御回路１３０により行われるものとして説明している。以下の説明において制御回路１３０により行われるものとして説明される種々の動作は、撮像素子１２０内の回路（例えば不図示の走査回路）によって行うようにしてもよいし、撮像素子１２０外の回路（例えば制御回路１３０やそれ以外の回路）によって行うようにしてもよい。

【0017】

第２読出部２２は、第２電荷保持部ＳＧ２と、第２転送トランジスタＴＸ２と、第２電荷電圧変換部ＦＤ２と、第２増幅トランジスタＳＦ２と、第２出力トランジスタＳ２と、第２出力部２４とを有する。第２出力トランジスタＳ２と第２出力部２４との間には、第２定電流源２６が接続されている。この第２定電流源２６は、１列につき１つ存在し、１つの列に存在する全行分の撮像画素２０について並列に接続されている。これらの各部は、第１読出部２１と同一であるため説明を省略する。リセットトランジスタＲは、Ｎ型のＭＯＳＦＥＴであり、光電変換部ＰＤ、第１電荷保持部ＳＧ１、第２電荷保持部ＳＧ２、第１電荷電圧変換部ＦＤ１、第２電荷電圧変換部ＦＤ２をリセットする機能を有する。

【0018】

図４は、撮像面１０上の撮像画素２０を拡大した模式図である。光電変換部ＰＤは、撮像画素２０の右上隅に配置されており、生成した電荷を一定程度保持できるよう、撮像画素２０全体に対して比較的大きな面積を占めている。第１読出部２１と、第２読出部２２は、それぞれ光電変換部ＰＤの下側および左側に配置される。

【0019】

第１電荷保持部ＳＧ１および第２電荷保持部ＳＧ２は、それぞれ光電変換部ＰＤの下端および左端に隣接して配置される。第１電荷保持部ＳＧ１および第２電荷保持部ＳＧ２は、光電変換部ＰＤにおいて生成された電荷を保持できるよう、比較的大きな静電容量（例えば、光電変換部ＰＤよりも大きな静電容量）を持たせる必要がある。そのため、第１電荷保持部ＳＧ１および第２電荷保持部ＳＧ２は、光電変換部ＰＤに近い面積を有している。なお、第１電荷電圧変換部ＦＤ１および第２電荷電圧変換部ＦＤ２は、第１電荷保持部ＳＧ１および第２電荷保持部ＳＧ２よりも更に大きな静電容量を有している。

【0020】

撮像画素２０全体のうち、残りの約４分の１程度の面積の領域に、残りの部分、すなわち、第１転送トランジスタＴＸ１、第２転送トランジスタＴＸ２、第１電荷電圧変換部ＦＤ１、第２電荷電圧変換部ＦＤ２、第１増幅トランジスタＳＦ１、第２増幅トランジスタＳＦ２、第１出力トランジスタＳ１、第２出力トランジスタＳ２、リセットトランジスタＲが配置される。

【0021】

図５（ａ）は、図３のＡ－Ａ’断面を模式的に示す図であり、図５（ｂ）はそのポテンシャル図である。図５（ａ）に示すように、光電変換部ＰＤは、受光面側（絶縁膜３０側）のｐ＋型領域３１と、基板側のｎ型領域３２とにより構成されている。

【0022】

第１電荷保持部ＳＧ１は、絶縁膜３０上に形成されたゲート３３と、絶縁膜３０下に形成されたｎ－型領域３４およびｎ型領域３５とにより構成されている。第１電荷保持部ＳＧ１の面積の大部分にはｎ型領域３５が形成されており、ｎ－型領域３４は、光電変換部ＰＤと隣接する一部のみに形成されている。なお、図５（ａ）では省略しているが、ゲート３３の表面を金属等によって形成された遮光層で覆い、光漏れを防止することが望ましい。

【0023】

第１転送トランジスタＴＸ１は、絶縁膜３０上に形成されたゲート３６と、絶縁膜３０下に形成されたｎ型領域３７とにより構成されている。第１電荷保持部ＳＧ１と第１転送トランジスタＴＸ１との間にはｎ－型領域３８が形成されている。第１転送トランジスタＴＸ１に隣接する第１電荷電圧変換部ＦＤ１は、絶縁膜３０下に形成されたｎ＋型領域３９により構成される。その隣にはリセットトランジスタＲとして機能するゲート４０がある。ゲート４０、すなわちリセットトランジスタＲのゲート端子に所定レベル以上の電圧が印加されると、第１電荷電圧変換部ＦＤ１であるｎ＋型領域３９から、ゲート４０の反対側に形成されているｎ＋型領域４１に電流が流れる。

【0024】

次に、図５（ｂ）のポテンシャル図を用いて、これら各部の動作について説明する。なお、図５（ｂ）のポテンシャル図では、紙面下側ほど電位が高くなっている。

【0025】

第１電荷保持部ＳＧ１のゲート３３には、所定のハイ（Ｈ）レベルの電圧か、所定のロー（Ｌ）レベルの電圧が印加される。第１電荷保持部ＳＧ１のゲート３３にＬレベルの電圧が印加されている場合、第１電荷保持部ＳＧ１のｎ－型領域３４の電位は、光電変換部ＰＤのｎ型領域３２の電位よりも低いため、光電変換部ＰＤにおいて生成された電荷は、光電変換部ＰＤのｎ型領域３２に蓄積される。第１電荷保持部ＳＧ１のゲート３３にＨレベルの電圧が印加されると、第１電荷保持部ＳＧ１のｎ－型領域３４およびｎ型領域３５の電位は光電変換部ＰＤのｎ型領域３２の電位よりも高くなるので、光電変換部ＰＤのｎ型領域３２に蓄積されていた電荷は、第１電荷保持部ＳＧ１のｎ型領域３５に転送される。

【0026】

第１転送トランジスタＴＸ１のゲート３６にＬレベルの電圧が印加されている場合、第１電荷保持部ＳＧ１のｎ型領域３５の電位は、第１転送トランジスタＴＸ１のｎ型領域３７の電位よりも高くなるので、第１電荷保持部ＳＧ１のｎ型領域３５に転送された電荷は、第１電荷保持部ＳＧ１のｎ型領域３５に保持される。

【0027】

第１電荷保持部ＳＧ１のゲート３３にＬレベルの電圧が印加されているときに、第１転送トランジスタＴＸ１のゲート３６にＨレベルの電圧が印加されると、第１転送トランジスタＴＸ１のｎ型領域３７の電位は、第１電荷保持部ＳＧ１のｎ型領域３５の電位よりも高くなる。これにより、第１電荷保持部ＳＧ１のｎ型領域３５に保持されていた電荷は、第１電荷電圧変換部ＦＤ１に転送される。第１電荷電圧変換部ＦＤ１の電位は、転送された電荷量に応じて決定される。このとき、第１出力トランジスタＳ１のゲートにＨレベルの電圧を印加すると、第１出力部２３には、第１電荷電圧変換部ＦＤ１が保持している電荷量（第１電荷電圧変換部ＦＤ１の電位）に応じた大きさの出力信号が現れる。

【0028】

以上のように構成された撮像画素２０は、光電変換部ＰＤにより生成された電荷を一時的に保持する、第１電荷保持部ＳＧ１と第２電荷保持部ＳＧ２とを有している。従って、いわゆるグローバルシャッタ動作を行う際に、３枚分の撮影画像に相当する電荷を同時に保持することが可能である。ここでグローバルシャッタ動作とは、光電変換部ＰＤによる電荷の生成開始（すなわちシャッタ開動作）と、電荷の生成終了（すなわちシャッタ閉動作）との両方を、全ての撮像画素２０において同時に行う動作を指す。

【0029】

以下、３枚分の撮影画像に相当する電荷を同時に保持する方法について具体的に説明する。なお、以下ではメカニカルシャッター１４０を構成に含めずに説明する。まず、１回目のグローバルシャッタ動作の完了時、全ての撮像画素２０において、光電変換部ＰＤに蓄積されている電荷を第１電荷保持部ＳＧ１に転送する。以下の説明では、この動作をグローバル転送と称する。次に、全ての撮像画素２０の第１電荷保持部ＳＧ１から出力信号を読み出し終わる前に、更に２回目のグローバルシャッタ動作を行う。２回目のグローバルシャッタ動作において光電変換部ＰＤで生成された電荷は、グローバル転送により第２電荷保持部ＳＧ２に転送する。その後、全ての撮像画素２０の第１電荷保持部ＳＧ１および第２電荷保持部ＳＧ２から出力信号を読み出し終わる前、すなわち、第１電荷保持部ＳＧ１と第２電荷保持部ＳＧ２が共に転送された電荷を保持している間に、更に３回目のグローバルシャッタ動作を行う。この３回目のグローバルシャッタ動作により光電変換部ＰＤが生成した電荷は、光電変換部ＰＤに保持することができる。以上のように、撮像画素２０は、３枚分の撮影画像に相当する電荷を、それぞれ、第１電荷保持部ＳＧ１と、第２電荷保持部ＳＧ２と、光電変換部ＰＤの３カ所に同時に保持することが可能である。

【0030】

次に、撮像装置１００のライブビュー機能について説明する。図６は、ライブビュー動作のタイミングチャートである。なお、以下に説明するライブビュー動作において、「ライブビュー画像の作成に用いられる全ての撮像画素２０」とは、間引き読み出しの対象となる撮像画素２０を意味する。つまり、間引き読み出しを行う場合、ライブビュー画像に関与しない撮像画素２０が存在することになるが、そのような撮像画素２０は以下の処理から除外されている。

【0031】

制御回路１３０は、まず時刻ｔ１に、ライブビュー画像の作成に用いられる全ての撮像画素２０において、光電変換部ＰＤと第１電荷保持部ＳＧ１と第２電荷保持部ＳＧ２とを同時にリセットする（シャッタ開動作に相当）。制御回路１３０は、その後の時刻ｔ２に、ライブビュー画像の作成に用いられる全ての撮像画素２０において、光電変換部ＰＤの電荷を第１電荷保持部ＳＧ１に同時に転送する（シャッタ閉動作、兼、グローバル転送、兼、次の撮像におけるシャッタ開動作に相当）。

【0032】

ここで転送される電荷は、時刻ｔ１から時刻ｔ２までの期間に光電変換部ＰＤが光電変換により生成したものである。つまり、時刻ｔ１から時刻ｔ２までの期間を露光時間とした撮像信号に相当する。換言すると、以上の動作は、時刻ｔ１にシャッタ開を行い、時刻ｔ２にシャッタ閉を行ったグローバルシャッタ動作に相当する。

【0033】

制御回路１３０は、その後、１行目の撮像画素２０の第１読出部２１から順に、行毎に撮像信号を読み出す。全ての行から撮像信号を読み出し終わると、制御回路１３０は、読み出した撮像信号に基づくライブビュー画像を作成して表示装置１５０に表示する。

【0034】

読み出し対象となる全ての行からの撮像信号の読み出しには、読み出し時間Ｔ１を要することになる。例えば第１読出部２１から読み出した撮像信号に基づき、６０ｆｐｓでライブビュー画像の表示を行いたい場合には、この読み出し時間Ｔ１を６０分の１秒以下にする必要がある。

【0035】

時刻ｔ２から読み出し時間Ｔ１だけ後の時刻ｔ４に、制御回路１３０は、再び、ライブビュー画像の作成に用いられる全ての撮像画素２０において、光電変換部ＰＤの電荷を第１電荷保持部ＳＧ１に同時に転送する（シャッタ閉動作、兼、グローバル転送、兼、次の撮像におけるシャッタ開動作に相当）。制御回路１３０は、その後、１行目の撮像画素２０の第１読出部２１から順に、行毎に撮像信号を読み出してライブビュー画像の作成および表示を行う。

【0036】

制御回路１３０は、以上の動作を読み出し時間Ｔ１ごとに繰り返し行う。これにより、第１読出部２１から読み出された撮像信号に基づくライブビュー画像が、例えば６０分の１秒ごとに作成および表示される。

【0037】

以上の動作と並行して、制御回路１３０は、時刻ｔ２から読み出し時間Ｔ１の半分だけ後の時刻ｔ３に、ライブビュー画像の作成に用いられる全ての撮像画素２０において、光電変換部ＰＤの電荷を第２電荷保持部ＳＧ２に同時に転送する（シャッタ閉動作、兼、グローバル転送、兼、次の撮像におけるシャッタ開動作に相当）。ここで転送される電荷は、時刻ｔ２から時刻ｔ３までの期間に光電変換部ＰＤが光電変換により生成したものである。つまり、時刻ｔ２から時刻ｔ３までの期間を露光時間とした撮像信号に相当する。換言すると、以上の動作は、時刻ｔ２にシャッタ開を行い、時刻ｔ３にシャッタ閉を行ったグローバルシャッタ動作に相当する。

【0038】

制御回路１３０は、その後、１行目の撮像画素２０の第２読出部２２から順に、行毎に撮像信号を読み出す。全ての行から撮像信号を読み出し終わると、制御回路１３０は、読み出した撮像信号に基づくライブビュー画像を作成して表示装置１５０に表示する。

【0039】

制御回路１３０は、以上の動作を読み出し時間Ｔ１ごとに繰り返し行う。これにより、第２読出部２２から読み出された撮像信号に基づくライブビュー画像が、例えば６０分の１秒ごとに作成および表示される。

【0040】

以上のように、制御回路１３０は、第１読出部２１からの撮像信号の読み出し並びにライブビュー画像の作成および表示と、第２読出部２２からの撮像信号の読み出し並びにライブビュー画像の作成および表示とを、半周期だけずれたタイミングで並行して行う。従って、ライブビュー画像は、第１読出部２１および第２読出部２２の一方のみを用いて行う場合の倍のフレームレートで表示されることになる。

【0041】

また、ライブビュー表示の開始時を除き、光電変換部ＰＤのリセットは行われていない。つまり、ライブビュー表示中に光電変換部ＰＤで生成された全ての電荷を、余すところなく利用していると言える。

【0042】

図７は、ある１つの撮像画素２０に注目したライブビュー動作のタイミングチャートである。制御回路１３０は、まず時刻ｔ１１に、第１電荷保持部ＳＧ１と第２電荷保持部ＳＧ２と第１転送トランジスタＴＸ１と第２転送トランジスタＴＸ２とリセットトランジスタＲとをオンオフする（ゲートに印加する電圧をＨレベルとＬレベルとで切り替える）ことにより、光電変換部ＰＤと第１電荷保持部ＳＧ１と第２電荷保持部ＳＧ２とを同時にリセットする。その後の時刻ｔ１２に、制御回路１３０は、第１電荷保持部ＳＧ１をオンオフすることにより、光電変換部ＰＤから第１電荷保持部ＳＧ１に電荷を転送する。なお、図７に図示した通り、第１転送トランジスタＴＸ１と第２転送トランジスタＴＸ２とリセットトランジスタＲとをオフするタイミングは、第１電荷保持部ＳＧ１および第２電荷保持部ＳＧ２をオフするタイミングよりも遅らせることが望ましい。

【0043】

時刻ｔ１３に、制御回路１３０は、第１読出部２１から撮像信号を読み出す。制御回路１３０は、まず第１出力トランジスタＳ１をオンする。そして、第１出力トランジスタＳ１をオンした状態のまま、リセットトランジスタＲをオンオフし、その後、第１転送トランジスタＴＸ１をオンオフする。これにより、第１電荷保持部ＳＧ１に保持されている電荷が、第１電荷電圧変換部ＦＤ１に転送され、その電荷量に応じた大きさの出力信号が、第１出力部２３に出力される。その後、制御回路１３０は、第１出力トランジスタＳ１をオフする。

【0044】

時刻ｔ１３より後の時刻ｔ１４に、制御回路１３０は、第２電荷保持部ＳＧ２をオンオフすることにより、光電変換部ＰＤから第２電荷保持部ＳＧ２に電荷を転送する。時刻ｔ１５に、制御回路１３０は、第２読出部２２から撮像信号を読み出す。制御回路１３０は、まず第２出力トランジスタＳ２をオンする。そして、第２出力トランジスタＳ２をオンした状態のまま、リセットトランジスタＲをオンオフし、その後、第２転送トランジスタＴＸ２をオンオフする。これにより、第２電荷保持部ＳＧ２に保持されている電荷が、第２電荷電圧変換部ＦＤ２に転送され、その電荷量に応じた大きさの出力信号が、第２出力部２４に出力される。その後、第２出力トランジスタＳ２をオフする。

【0045】

制御回路１３０は、以上の動作を繰り返し行うことで、第１読出部２１および第２読出部２２から撮像信号を交互に読み出す。

【0046】

次に、ライブビュー動作中の本撮影（記録画像を作成するための撮影）について説明する。図８は、本撮影のタイミングチャートである。時刻ｔ２１において、所定の本撮影操作（例えばレリーズスイッチの全押し操作）が為されたものとする。

【0047】

制御回路１３０は、時刻ｔ２３に現在実行している第１読出部２１からの撮像信号の読み出しが終了すると、その直近の第２電荷保持部ＳＧ２への電荷転送が行われた時刻ｔ２２から所定の露光時間Ｔ２が経過した時刻ｔ２４に、全ての撮像画素２０において、光電変換部ＰＤの電荷を第１電荷保持部ＳＧ１に同時に転送する。

【0048】

更に制御回路１３０は、時刻ｔ２４から所定の露光時間Ｔ３（露光時間Ｔ２とは異なる時間）が経過した時刻ｔ２５に、全ての撮像画素２０において、光電変換部ＰＤの電荷を第２電荷保持部ＳＧ２に同時に転送する。

【0049】

制御回路１３０は、その後、１行目の撮像画素２０の第１読出部２１から順に、行毎に撮像信号を読み出す。それと並行して、制御回路１３０は、１行目の撮像画素２０の第２読出部２２から順に、行毎に撮像信号を読み出す。これにより、撮像素子１２０からは、露光時間Ｔ２に対応する撮像信号と、露光時間Ｔ３に対応する撮像信号とが同時に得られる。

【0050】

全ての行から撮像信号を読み出し終わると、制御回路１３０は、読み出した撮像信号に基づく記録画像を作成して記録媒体１６０に記録する。例えば、第１読出部２１から読み出した撮像信号に基づく第１記録画像と、第２読出部２２から読み出した撮像信号に基づく第２記録画像とを記録媒体１６０に記録してもよいし、それら２つの撮像信号を合成して単一の記録画像を作成し記録媒体１６０に記録してもよい。記録画像の記録が終了すると、制御回路１３０は、図６の時刻ｔ１からの動作を再度実行開始し、ライブビュー表示を再開する。

【0051】

図９は、ある１つの撮像画素２０に注目した本撮影のタイミングチャートである。時刻ｔ３１において、ライブビュー表示のため、光電変換部ＰＤから第２電荷保持部ＳＧ２に電荷が転送されたものとする。制御回路１３０は、時刻ｔ３１から所定の露光時間Ｔ２が経過した時刻ｔ３２において、第１電荷保持部ＳＧ１をオンオフすることにより、光電変換部ＰＤから第１電荷保持部ＳＧ１に電荷を転送する。制御回路１３０は、時刻ｔ３２から所定の露光時間Ｔ３が経過した時刻ｔ３３において、第２電荷保持部ＳＧ２をオンオフすることにより、光電変換部ＰＤから第２電荷保持部ＳＧ２に電荷を転送する。

【0052】

その後の時刻ｔ３４に、制御回路１３０は、第１読出部２１および第２読出部２２から撮像信号を同時に読み出す。制御回路１３０は、まず第１出力トランジスタＳ１と第２出力トランジスタＳ２を同時にオンする。制御回路１３０は、第１出力トランジスタＳ１と第２出力トランジスタＳ２をオンした状態のまま、リセットトランジスタＲをオンオフし、その後、第１転送トランジスタＴＸ１と第２転送トランジスタＴＸ２をオンオフする。これにより、第１電荷保持部ＳＧ１に保持されている電荷が第１電荷電圧変換部ＦＤ１に転送されると共に、第２電荷保持部ＳＧ２に保持されている電荷が第２電荷電圧変換部ＦＤ２に転送され、各々の電荷量に応じた大きさの出力信号が、第１出力部２３と第２出力部２４に出力される。制御回路１３０は、その後、第１出力トランジスタＳ１と第２出力トランジスタＳ２をオフする。

【0053】

上述した第１の実施の形態による撮像装置によれば、次の作用効果が得られる。
（１）撮像素子１２０は、入射光を光電変換して電荷を生成する光電変換部ＰＤと、光電変換部ＰＤに接続された、第１読出部２１および第２読出部２２とを有する撮像画素２０を複数備える。第１読出部２１は、光電変換部ＰＤから転送された電荷を一時的に保持する第１電荷保持部ＳＧ１と、第１電荷保持部ＳＧ１から転送された電荷を電圧に変換する第１電荷電圧変換部ＦＤ１と、第１電荷電圧変換部ＦＤ１の電圧に応じた出力信号を出力する第１出力部２３とを有する。同様に、第２読出部２２は、光電変換部ＰＤから転送された電荷を一時的に保持する第２電荷保持部ＳＧ２と、第２電荷保持部ＳＧ２から転送された電荷を電圧に変換する第２電荷電圧変換部ＦＤ２と、第２電荷電圧変換部ＦＤ２の電圧に応じた出力信号を出力する第２出力部２４とを有する。このようにしたので、フォトダイオード（光電変換部ＰＤ）で生じた電荷を有効利用することができる。

【0054】

（２）第１電荷電圧変換部ＦＤ１の静電容量は、第１電荷保持部ＳＧ１の静電容量よりも多い。同様に、第２電荷電圧変換部ＦＤ２の静電容量は、第２電荷保持部ＳＧ２の静電容量よりも多い。つまり、光電変換部ＰＤで生成された電荷が転送されていく順に従って、静電容量が多くなっている。このようにしたので、光電変換部ＰＤで生成された電荷を損なうことなく取り扱うことができる。

【0055】

（３）第１読出部２１は、第２電荷保持部ＳＧ２に光電変換部ＰＤから電荷が転送された第１時刻から、当該電荷に対応する出力信号が第２出力部２４から出力される第２時刻までの期間内に光電変換部ＰＤで生成された電荷を、第１電荷保持部ＳＧ１に転送する。第２読出部２２は、第１電荷保持部ＳＧ１に光電変換部ＰＤから電荷が転送された第３時刻から、当該電荷に対応する出力信号が第１出力部２３から出力される第４時刻までの期間内に光電変換部ＰＤで生成された電荷を、第２電荷保持部ＳＧ２に転送する。このようにしたので、一方の読出部において読み出し動作が行われている間に光電変換部ＰＤで生成された電荷を廃棄することなく、他方の読出部に転送して活用することができる。

【0056】

（４）制御回路１３０は、第１出力部２３から出力された出力信号に基づき第１表示画像を作成すると共に、第２出力部２４から出力された出力信号に基づき第２表示画像を作成する画像作成部として機能する。表示装置１５０は、第１表示画像と第２表示画像とを交互に表示する画像表示部として機能する。このようにしたので、撮像信号（出力信号）の読み出し速度等により規定されるフレームレートの倍のフレームレートで、ライブビュー画像を表示することができる。

【0057】

（５）第１電荷保持部ＳＧ１および第２電荷保持部ＳＧ２は、いわゆる埋め込みチャネル構造を有している。これにより、通常のいわゆるフローティングディフュージョンとは異なり、第１電荷保持部ＳＧ１および第２電荷保持部ＳＧ２には、光電変換部ＰＤで生成された電荷を、比較的長期間、損なわれずに蓄積しておくことが可能になる。

【0058】

（第２の実施の形態）
第２の実施の形態に係る撮像装置は、第１の実施の形態に係る撮像装置１００と同一の構成を有しているが、撮像素子１２０の駆動方式が、第１の実施の形態と異なっている。以下、特に第１の実施の形態との差異を中心として、第２の実施の形態に係る撮像装置を説明する。

【0059】

第１の実施の形態では、ライブビュー表示のフレームレート（例えば６０ｆｐｓ）に応じた露光時間（例えば約６０分の１秒）でライブビュー画像の撮影を行っていた。本実施の形態では、第１の実施の形態と同様に倍速でのライブビュー表示を行うが、各々のライブビュー画像の露光時間は任意に設定する。

【0060】

図１０は、ライブビュー動作のタイミングチャートである。制御回路１３０は、まず時刻ｔ４１に、ライブビュー画像の作成に用いられる全ての撮像画素２０において、光電変換部ＰＤおよび第１電荷保持部ＳＧ１を同時にリセットする。制御回路１３０は、時刻ｔ４１から所定の露光時間Ｔ４だけ後の時刻ｔ４２に、ライブビュー画像の作成に用いられる全ての撮像画素２０において、光電変換部ＰＤの電荷を第１電荷保持部ＳＧ１に同時に転送する。

【0061】

制御回路１３０は、その後、１行目の撮像画素２０の第１読出部２１から順に、行毎に撮像信号を読み出す。全ての行からの撮像信号の読み出しには、読み出し時間Ｔ１が必要になる。時刻ｔ４２から読み出し時間Ｔ１が経過した時刻ｔ４５に、全ての行からの撮像信号の読み出しが完了する。制御回路１３０は、読み出した撮像信号に基づくライブビュー画像を作成して表示装置１５０に表示する。

【0062】

撮像信号を読み出し終えた時刻ｔ４５に、制御回路１３０は、光電変換部ＰＤおよび第１電荷保持部ＳＧ１をリセットする。時刻ｔ４５から露光時間Ｔ４だけ後の時刻ｔ４６において、制御回路１３０は、ライブビュー画像の作成に用いられる全ての撮像画素２０について、光電変換部ＰＤの電荷を第１電荷保持部ＳＧ１に同時に転送する。制御回路１３０は、その後、１行目の撮像画素２０の第１読出部２１から順に、行毎に撮像信号を読み出してライブビュー画像の作成および表示を行う。

【0063】

制御回路１３０は、以上の動作を読み出し時間Ｔ１＋露光時間Ｔ４ごとに繰り返し行う。これにより、第１読出部２１から読み出された撮像信号に基づくライブビュー画像が、Ｔ１＋Ｔ４の時間ごと（例えば６０分の１秒ごと）に作成および表示される。このライブビュー画像は、露光時間Ｔ４で撮影された画像である。

【0064】

以上の動作と並行して、制御回路１３０は、第２読出部２２でも同様に、ライブビュー画像の作成および表示を行う。いま、時刻ｔ４１～ｔ４５までの期間の中央に相当する時刻ｔ４３を考える。この時刻ｔ４３に、制御回路１３０は、光電変換部ＰＤおよび第２電荷保持部ＳＧ２をリセットする。時刻ｔ４３から露光時間Ｔ４だけ後の時刻ｔ４４において、制御回路１３０は、ライブビュー画像の作成に用いられる全ての撮像画素２０について、光電変換部ＰＤの電荷を第２電荷保持部ＳＧ２に同時に転送する。制御回路１３０は、その後、１行目の撮像画素２０の第２読出部２２から順に、行毎に撮像信号を読み出してライブビュー画像の作成および表示を行う。

【0065】

制御回路１３０は、以上の動作を読み出し時間Ｔ１＋露光時間Ｔ４ごとに繰り返し行う。これにより、第２読出部２２から読み出された撮像信号に基づくライブビュー画像が、例えば６０分の１秒ごとに作成および表示される。このライブビュー画像は、露光時間Ｔ４で撮影された画像である。

【0066】

以上のように、制御回路１３０は、第１読出部２１からの撮像信号の読み出し並びにライブビュー画像の作成および表示と、第２読出部２２からの撮像信号の読み出し並びにライブビュー画像の作成および表示とを、半周期（（Ｔ１＋Ｔ４）／２）だけずれたタイミングで並行して行う。従って、ライブビュー画像は、第１読出部２１および第２読出部２２の一方のみを用いて行う場合の倍のフレームレートで表示されることになる。

【0067】

図１１は、ある１つの撮像画素２０に注目したライブビュー動作のタイミングチャートである。制御回路１３０は、まず時刻ｔ５１に、第１電荷保持部ＳＧ１と第１転送トランジスタＴＸ１とリセットトランジスタＲとをオンする（ゲートに印加する電圧をＬレベルからＨレベルに切り替える）ことにより、光電変換部ＰＤおよび第１電荷保持部ＳＧ１を同時にリセットする。

【0068】

時刻ｔ５１から露光時間Ｔ４だけ後の時刻ｔ５２に、制御回路１３０は、第１電荷保持部ＳＧ１をオンすることにより、光電変換部ＰＤから第１電荷保持部ＳＧ１に電荷を転送する。

【0069】

時刻ｔ５５に、制御回路１３０は、第１読出部２１から撮像信号を読み出す。制御回路１３０は、まず第１出力トランジスタＳ１をオンする。制御回路１３０は、第１出力トランジスタＳ１をオンした状態のまま、リセットトランジスタＲをオンオフし、その後、第１転送トランジスタＴＸ１をオンオフする。これにより、第１電荷保持部ＳＧ１に保持されている電荷が、第１電荷電圧変換部ＦＤ１に転送され、その電荷量に応じた大きさの出力信号が、第１出力部２３に出力される。その後、制御回路１３０は第１出力トランジスタＳ１をオフする。

【0070】

時刻ｔ５２より後の時刻ｔ５３に、制御回路１３０は、第２電荷保持部ＳＧ２と第２転送トランジスタＴＸ２とリセットトランジスタＲとをオンする（ゲートに印加する電圧をＬレベルからＨレベルに切り替える）ことにより、光電変換部ＰＤおよび第２電荷保持部ＳＧ２を同時にリセットする。

【0071】

時刻ｔ５３から露光時間Ｔ４だけ後の時刻ｔ５４に、制御回路１３０は、第２電荷保持部ＳＧ２をオンすることにより、光電変換部ＰＤから第２電荷保持部ＳＧ２に電荷を転送する。

【0072】

時刻ｔ５６に、制御回路１３０は、第２読出部２２から撮像信号を読み出す。制御回路１３０は、まず第２出力トランジスタＳ２をオンする。制御回路１３０は、第２出力トランジスタＳ２をオンした状態のまま、リセットトランジスタＲをオンオフし、その後、第２転送トランジスタＴＸ２をオンオフする。これにより、第２電荷保持部ＳＧ２に保持されている電荷が、第２電荷電圧変換部ＦＤ２に転送され、その電荷量に応じた大きさの出力信号が、第２出力部２４に出力される。その後、制御回路１３０は第２出力トランジスタＳ２をオフする。

【0073】

制御回路１３０は、以上の動作を繰り返し行うことで、第１読出部２１および第２読出部２２から露光時間Ｔ４に対応する撮像信号を交互に読み出す。

【0074】

次に、ライブビュー動作中の本撮影について説明する。図１２は、本撮影のタイミングチャートである。時刻ｔ６１において所定の本撮影操作（例えばレリーズスイッチの全押し操作）が為されたものとする。

【0075】

制御回路１３０は、時刻ｔ６２に現在実行している第１読出部２１からの撮像信号の読み出しが終了すると、全ての撮像画素２０について、光電変換部ＰＤおよび第１電荷保持部ＳＧ１を同時にリセットする。制御回路１３０は、時刻ｔ６２から所定の露光時間Ｔ５だけ後の時刻ｔ６３に、全ての撮像画素２０について、光電変換部ＰＤの電荷を第１電荷保持部ＳＧ１に同時に転送する。

【0076】

制御回路１３０は、時刻ｔ６３よりも後の時刻ｔ６４に、全ての撮像画素２０について、光電変換部ＰＤおよび第２電荷保持部ＳＧ２を同時にリセットする。制御回路１３０は、時刻ｔ６４から所定の露光時間Ｔ６だけ後の時刻ｔ６５に、全ての撮像画素２０について、光電変換部ＰＤの電荷を第２電荷保持部ＳＧ２に同時に転送する。

【0077】

その後、制御回路１３０は、１行目の撮像画素２０の第１読出部２１から順に、行毎に撮像信号を読み出す。それと並行して、制御回路１３０は、１行目の撮像画素２０の第２読出部２２から順に、行毎に撮像信号を読み出す。これにより、撮像素子１２０からは、露光時間Ｔ５に対応する撮像信号と、露光時間Ｔ６に対応する撮像信号とが同時に得られる。

【0078】

全ての行から撮像信号を読み出し終わると、制御回路１３０は、読み出した撮像信号に基づく記録画像を作成して記録媒体１６０に記録する。例えば、第１読出部２１から読み出した撮像信号に基づく第１記録画像と、第２読出部２２から読み出した撮像信号に基づく第２記録画像とを記録媒体１６０に記録してもよいし、それら２つの撮像信号を合成して単一の記録画像を作成し記録媒体１６０に記録してもよい。

【0079】

記録画像の記録が終了すると、制御回路１３０は、図１１の時刻ｔ５１からの動作を再度実行開始し、ライブビュー表示を再開する。

【0080】

図１３は、ある１つの撮像画素２０に注目した本撮影のタイミングチャートである。制御回路１３０は、時刻ｔ７１において、リセットトランジスタＲと第１電荷保持部ＳＧ１と第１転送トランジスタＴＸ１とをオンすることにより、光電変換部ＰＤと第１電荷保持部ＳＧ１をリセットする。

【0081】

制御回路１３０は、時刻ｔ７１から所定の露光時間Ｔ５が経過した時刻ｔ７２において、第１電荷保持部ＳＧ１をオンすることにより、光電変換部ＰＤから第１電荷保持部ＳＧ１に電荷を転送する。

【0082】

制御回路１３０は、時刻ｔ７２より後の時刻ｔ７３において、リセットトランジスタＲと第２電荷保持部ＳＧ２と第２転送トランジスタＴＸ２とをオンすることにより、光電変換部ＰＤと第２電荷保持部ＳＧ２をリセットする。

【0083】

制御回路１３０は、時刻ｔ７３から所定の露光時間Ｔ６が経過した時刻ｔ７４において、第２電荷保持部ＳＧ２をオンすることにより、光電変換部ＰＤから第２電荷保持部ＳＧ２に電荷を転送する。

【0084】

その後の時刻ｔ７５に、制御回路１３０は、第１読出部２１および第２読出部２２から撮像信号を同時に読み出す。制御回路１３０は、まず第１出力トランジスタＳ１と第２出力トランジスタＳ２を同時にオンする。制御回路１３０は、第１出力トランジスタＳ１と第２出力トランジスタＳ２をオンした状態のまま、リセットトランジスタＲをオンオフし、その後、第１転送トランジスタＴＸ１と第２転送トランジスタＴＸ２をオンオフする。これにより、第１電荷保持部ＳＧ１に保持されている電荷が第１電荷電圧変換部ＦＤ１に転送されると共に、第２電荷保持部ＳＧ２に保持されている電荷が第２電荷電圧変換部ＦＤ２に転送され、それぞれの電荷量に応じた大きさの出力信号が、第１出力部２３と第２出力部２４に出力される。制御回路１３０は、その後、第１出力トランジスタＳ１と第２出力トランジスタＳ２をオフする。

【0085】

上述した第２の実施の形態による撮像装置によれば、第１の実施の形態と同様の作用効果が得られる。

【0086】

（第３の実施の形態）
第３の実施の形態に係る撮像装置は、第１の実施の形態に係る撮像装置１００と同一の構成により、露出オートブラケッティング撮影を行う機能と、ハイダイナイミックレンジ合成（ＨＤＲ合成）を行う機能とを有している。以下、これら２つの機能のうち、まず露出オートブラケッティング撮影機能について詳述する。

【0087】

図１４は、露出オートブラケッティング撮影動作のタイミングチャートである。時刻ｔ８１において所定の本撮影操作（例えばレリーズスイッチの全押し操作）が為されたものとする。また、時刻ｔ８１より後の時刻ｔ８３に、現在実行している第１読出部２１からのライブビュー用の撮像信号の読み出しが終了するものと仮定する。

【0088】

制御回路１３０は、時刻ｔ８３から所定時間Ｔ７だけ前の時刻ｔ８２に、１行目の撮像画素２０における光電変換部ＰＤのリセットを行う。制御回路１３０は、その後、時刻ｔ８２から時刻ｔ８３にかけて、２行目、３行目、…のように、行毎に、光電変換部ＰＤのリセットを順次行う。ここで、所定時間Ｔ７は、メカニカルシャッター１４０の走行に要する時間、すなわち、メカニカルシャッター１４０を完全に開いた状態である開放状態から完全に閉じた状態である遮光状態に切り替えるために必要な時間である。その後、制御回路１３０は、第１読出部２１からのライブビュー用の撮像信号の読み出しが完了次第、全ての撮像画素２０について第１電荷保持部ＳＧ１のリセットを行う。第２電荷保持部ＳＧ２についても同様に、第２読出部２２からのライブビュー用の撮像信号の読み出しが完了次第、全ての撮像画素２０について第２電荷保持部ＳＧ２のリセットを行う。

【0089】

制御回路１３０は、時刻ｔ８２から所定の露光時間Ｔ８だけ後の時刻ｔ８４に、１行目の撮像画素２０について、光電変換部ＰＤの電荷を第１電荷保持部ＳＧ１に転送する。制御回路１３０は、その後、時刻ｔ８４から所定時間Ｔ７だけ後の時刻ｔ８５にかけて、２行目、３行目、…のように、行毎に、光電変換部ＰＤの電荷を第１電荷保持部ＳＧ１に順次転送する。

【0090】

制御回路１３０は、時刻ｔ８４から所定の露光時間Ｔ９だけ後の時刻ｔ８６に、１行目の撮像画素２０について、光電変換部ＰＤの電荷を第２電荷保持部ＳＧ２に転送する。制御回路１３０は、その後、時刻ｔ８６から所定時間Ｔ７だけ後の時刻ｔ８７にかけて、２行目、３行目、…のように、行毎に、光電変換部ＰＤの電荷を第２電荷保持部ＳＧ２に順次転送する。

【0091】

制御回路１３０は、時刻ｔ８６から所定の露光時間Ｔ１０だけ後の時刻ｔ８８に、メカニカルシャッター１４０の走行を開始し、メカニカルシャッター１４０を閉じた状態（遮光状態）にする。前述の通り、メカニカルシャッター１４０の走行には、所定時間Ｔ７を要する。従って、時刻ｔ８８から所定時間Ｔ７だけ後の時刻ｔ８９に、メカニカルシャッター１４０の走行が完了し、撮像素子１２０はメカニカルシャッター１４０により覆われた状態（遮光状態）になる。

【0092】

時刻ｔ８９において、撮像画素２０の光電変換部ＰＤには、露光時間Ｔ１０に対応する電荷が蓄積されている。メカニカルシャッター１４０は閉じているので、これ以降、撮像画素２０の光電変換部ＰＤに蓄積されている電荷量は変動しない。つまり、光電変換部ＰＤには、露光時間Ｔ１０に対応する電荷が保持される。

【0093】

時刻ｔ８９に、制御回路１３０は、１行目の撮像画素２０の第１読出部２１から順に、行毎に撮像信号を読み出す。それと並行して、制御回路１３０は、１行目の撮像画素２０の第２読出部２２から順に、行毎に撮像信号を読み出す。これにより、撮像素子１２０からは、露光時間Ｔ８に対応する撮像信号と、露光時間Ｔ９に対応する撮像信号とが同時に得られる。

【0094】

これらの撮像信号を読み出し終わった時刻ｔ９０に、制御回路１３０は、光電変換部ＰＤに蓄積されている電荷（露光時間Ｔ１０に対応する電荷）を第１電荷保持部ＳＧ１および第２電荷保持部ＳＧ２に転送する。このとき制御回路１３０は、撮像素子１２０の全行のうち、ある半分の行（例えば奇数行）については第１電荷保持部ＳＧ１に電荷を転送し、残り半分の行（例えば偶数行）については第２電荷保持部ＳＧ２に電荷を転送する。

【0095】

その後、制御回路１３０は、前者の半分の行（例えば奇数行）について、１行目の撮像画素２０の第１読出部２１から順に、行毎に撮像信号を読み出す。それと並行して、制御回路１３０は、後者の半分の行（例えば偶数行）について、１行目の撮像画素２０の第２読出部２２から順に、行毎に撮像信号を読み出す。

【0096】

これにより、撮像素子１２０からは、露光時間Ｔ１０に対応する撮像信号が得られる。また、全行のうち半分の行については第１読出部２１から読み出され、残り半分の行については第２読出部２２から読み出されるので、全行の読み出しに要する時間は、第１読出部２１だけ（または第２読出部２２だけ）を用いる場合に比べて約半分になる。

【0097】

なお、このように第１読出部２１と第２読出部２２とに読み出しを振り分けなくてもよい。つまり、例えば露光時間Ｔ１０に対応する撮像信号を、第１読出部２１のみから読み出してもよい。

【0098】

全ての撮像信号の読み出しを終えると、制御回路１３０は、読み出した３種類の撮像信号に基づく３種類の記録画像を作成して記録媒体１６０に記録する。これら３種類の記録画像は、それぞれ異なる露光時間Ｔ８，Ｔ９，Ｔ１０に基づく記録画像である。例えば、露光時間Ｔ８を適正露出に相当する時間、露光時間Ｔ９を適正露出から１段上に相当する（すなわち露出オーバー気味の）時間、露光時間Ｔ１０を適正露出から１段下に相当する（すなわち露出アンダー気味の）時間とすれば、３種類の記録画像は、いわゆる露出オートブラケッティング撮影により得られる画像となる。

【0099】

なお、以上の説明では、露光時間に基づく露出オートブラケッティングについて説明したが、撮影毎に例えば絞りやＩＳＯ感度等を変更して露出オートブラケッティング撮影を行ってもよい。また、露出以外の撮影設定（例えばフォーカス位置等）が異なる画像を一度に得るオートブラケッティング撮影を行ってもよい。

【0100】

制御回路１３０は、更に、読み出した３種類の撮像信号に基づく３種類の記録画像を作成した後に、それら３種類の記録画像を周知の方法によりＨＤＲ合成して１つの記録画像を作成し記録媒体１６０に記録する機能を有している。例えば、短蓄積の記録画像において黒つぶれしてしまっている部分を、中蓄積の記録画像や長蓄積の記録画像の同一部分で復元する。同様に、長蓄積の記録画像において白飛びしてしまっている部分を、短蓄積の記録画像や中蓄積の記録画像の同一部分で復元する。このような合成方法は周知であるので説明を省略する。

【0101】

図１５は、ハイダイナミックレンジ合成の露光時間を模式的に示す図である。図１５（ａ）に、従来の撮像素子を用いたハイダイナミックレンジ合成の露光時間を示す。従来の撮像素子では、１回目の撮影（短蓄積、すなわち露出アンダー気味の露出設定に基づく撮影）を行ってから１つ目の撮像信号を読み出し、その後、２回目の撮影（中蓄積、すなわち適正露出設定での撮影）と撮像信号の読み出し、３回目の撮影（長蓄積、すなわち露出オーバー気味の露出設定に基づく撮影）と撮像信号の読み出しとを順次行っていた。従って、１～３回目の露光時間はそれぞれ間隔が空いてしまっていた。

【0102】

このように、各々の撮影に間隔が空いてしまうと、例えば動きのある被写体を撮影した場合に、３つの撮像信号において被写体位置が揃わず、ハイダイナミックレンジ合成をうまく行うことができなかった。

【0103】

図１５（ｂ）に、本実施形態に係る撮像装置を用いたハイダイナミックレンジ合成の露光時間を示す。あたかも１回の撮影のように、連続する露光時間で３種類の露出設定に対応する撮像信号が得られている。特に、これら３種類の露出設定による３回の蓄積（露光）は、合計で１回分の画素出力タイミング内に収まっているので、事実上、１回の撮影に要する時間内（すなわち１フレーム期間内）で撮影が完了していることになる。従って、従来の撮像素子を用いた場合のように、被写体位置がずれることがなくハイダイナミックレンジ合成を行うための画像を得ることができる。

【0104】

上述した第３の実施の形態による撮像装置によれば、次の作用効果が得られる。
（１）メカニカルシャッター１４０は、いわゆるシャッター装置であり、撮像素子１２０への入射光を遮らない開放状態と、撮像素子１２０への入射光を遮る遮光状態とを切替可能に構成される。第１読出部２１は、メカニカルシャッター１４０が開放状態である第１期間に光電変換部ＰＤで生成された電荷を、第１電荷保持部ＳＧ１に転送し、その後、当該電荷に対応する出力信号を第１出力部２３から出力する。第２読出部２２は、メカニカルシャッター１４０が開放状態であり第１期間とは重複しない第２期間に光電変換部ＰＤで生成された電荷を、第２電荷保持部ＳＧ２に転送し、その後、当該電荷に対応する出力信号を第２出力部２４から出力する。メカニカルシャッター１４０は、メカニカルシャッター１４０が開放状態であり第１期間および第２期間より後の第３期間に光電変換部ＰＤで生成された電荷を、遮光状態に切り替えて光電変換部ＰＤに保持する。第１読出部２１は、メカニカルシャッター１４０が遮光状態になることで光電変換部ＰＤに保持された電荷を、第１期間に光電変換部ＰＤで生成された電荷に基づく出力信号を第１出力部２３から出力し終わった後に第１電荷保持部ＳＧ１に転送する。このようにしたので、連続撮影を最大で３枚まで一度に行うことができる。これら最大３枚分の連続撮影は、撮影間に信号の読み出しを行う必要がないので、撮影間の間隔が略ゼロである。

【0105】

（２）第１期間に光電変換部ＰＤで生成された電荷に基づく第１出力信号と、第２期間に光電変換部ＰＤで生成された電荷に基づく第２出力信号と、第３期間に光電変換部ＰＤで生成された電荷に基づく第３出力信号と、はそれぞれ異なる露出設定に基づく出力信号である。このようにしたので、いわゆる露出オートブラケッティング撮影を、最大で３枚まで一度に行うことができる。ここで成される露出オートブラケッティング撮影は、通常の露出オートブラケッティング撮影に比べて、各々の撮影の間隔が極めて短い（略ゼロである）。従って、撮影ごとの被写体の位置ずれを極めて小さくすることができる。

【0106】

（３）制御回路１３０は、露出設定が異なる３つの撮像信号（第１出力信号と第２出力信号と第３出力信号）に基づき、いずれか１つの出力信号に基づく画像よりもダイナミックレンジの高い画像を作成するハイダイナミックレンジ合成部として機能する。このようにしたので、撮影ごとの被写体の位置ずれが極めて小さいハイダイナミックレンジ画像を得ることができる。

【0107】

（第４の実施の形態）
図１６は、本発明の第４の実施の形態に係る撮像装置の構成を示す模式図である。なお、図１６において、第１の実施の形態と同一の部位については、第１の実施の形態と同一の符号を付して説明を省略する。

【0108】

撮像装置２００は、結像光学系１１０、撮像素子１２０、制御回路１３０、メカニカルシャッター１４０、表示装置１５０、記録媒体１６０に加えて、更に投影部１７０を備えている。投影部１７０は、パルス光（変調光）を所定画角内の被写体に投影する。

【0109】

制御回路１３０は、デプスマップ作成機能を有している。デプスマップとは、被写体の部分ごとの奥行き（撮像装置２００から当該被写体部分までの距離）を二次元状にマップしたデータである。制御回路１３０は、いわゆる光飛行時間計測法（ＴｏＦ；Time of Flight）を用いて、被写体の部分ごとの奥行き（距離）を測定する。本実施形態において、被写体の部分とは、１つの撮像画素２０、または複数の撮像画素２０から成るブロックに対応する被写体部分である。つまり、制御回路１３０は、撮像画素２０ごと、または複数の撮像画素２０から成るブロックごとに、対応する被写体部分の奥行きを得ることができる。以下、デプスマップ作成時の測距動作について詳述する。

【0110】

図１７は、測距動作のタイミングチャートである。まず時刻ｔ１００において、投影部１７０が、時間Ｔ０だけパルス光を投影する。また、時刻ｔ１００において、制御回路１３０が、全ての撮像画素２０について、光電変換部ＰＤと第１電荷保持部ＳＧ１と第２電荷保持部ＳＧ２とを同時にリセットする。

【0111】

その後、パルス光の投影が終了する時刻ｔ１０２において、制御回路１３０は、全ての撮像画素２０について、光電変換部ＰＤから第１電荷保持部ＳＧ１に電荷を転送する。

【0112】

更に、時刻ｔ１０２から時間Ｔ０だけ後の時刻ｔ１０４に、制御回路１３０は、全ての撮像画素２０について、光電変換部ＰＤから第２電荷保持部ＳＧ２に電荷を転送する。

【0113】

時刻ｔ１００から投影を開始したパルス光（投影光）は、被写体の表面で反射し、時刻ｔ１００から遅れ時間Ｔｄだけ後の時刻ｔ１０１に、撮像素子１２０に向かって返ってくる。ここで、遅れ時間Ｔｄは、撮像画素２０に対応する被写体部分までの距離Ｌに応じた時間である。距離Ｌが長いほど、遅れ時間Ｔｄは長くなる。時刻ｔ１０１から時間Ｔ０だけ後の時刻ｔ１０３近傍において、反射光は途切れる。

【0114】

時刻ｔ１０４以降、制御回路１３０は、１行目の撮像画素２０の第１読出部２１から順に、行毎に撮像信号を読み出す。それと並行して、制御回路１３０は、１行目の撮像画素２０の第２読出部２２から順に、行毎に撮像信号を読み出す。これにより、撮像素子１２０からは、時刻ｔ１００から時刻ｔ１０２までの露光期間に対応する撮像信号と、時刻ｔ１０２から時刻ｔ１０４までの露光期間に対応する撮像信号とが同時に得られる。

【0115】

ここで、第１読出部２１から読み出された撮像信号（出力信号）と、第２読出部２２から読み出された撮像信号（出力信号）との比は、時刻ｔ１０２までに受光した反射光の光量と、時刻ｔ１０２以降に受光した反射光の光量との比である。従って、第１読出部２１から読み出された撮像信号と、第２読出部２２から読み出された撮像信号とから、遅れ時間Ｔｄを決定することができる。

【0116】

例えば、ある撮像画素２０について、第１読出部２１から読み出された撮像信号と、第２読出部２２から読み出された撮像信号との大きさが略等しかった場合、その撮像画素２０に対応する被写体部分における遅れ時間Ｔｄは、時間Ｔ０の半分である。また、第１読出部２１から読み出された撮像信号と、第２読出部２２から読み出された撮像信号との大きさが１対２の比率であった場合、遅れ時間Ｔｄは、時間Ｔ０の３分の２である。

【0117】

光速ｃは既知なので、遅れ時間Ｔｄが分かれば、被写体までの距離Ｌを算出することが可能である。このような距離Ｌの算出方法は周知であるので、説明を省略する。

【0118】

上述した第４の実施の形態による撮像装置によれば、次の作用効果が得られる。
（１）投影部１７０は、被写体に所定の変調光であるパルス光を投影する。第１読出部２１は、光電変換部ＰＤが投影光の反射光の一部を光電変換して生成した電荷を第１電荷保持部ＳＧ１に転送し、当該電荷に基づく出力信号を第１出力部２３から出力する。第２読出部２２は、光電変換部ＰＤが投影光の反射光のうち残りを光電変換して生成した電荷を第２電荷保持部ＳＧ２に転送し、当該電荷に基づく出力信号を第２出力部２４から出力する。制御回路１３０は、第１出力部２３から出力された出力信号と、第２出力部２４から出力された出力信号とに基づき、被写体までの距離を算出する距離算出部として機能する。このようにしたので、被写体のデプスマップを精度よく作成することができる。

【0119】

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

【0120】

（変形例１）
第１電荷保持部ＳＧ１および第２電荷保持部ＳＧ２は、上述した実施の形態とは異なる構成を有していてもよい。例えば、電荷転送用のＭＯＳＦＥＴと、電荷を蓄積する容量成分（例えばダイオード等）と、により第１電荷保持部ＳＧ１および第２電荷保持部ＳＧ２を構成してもよい。また、第１読出部２１および第２読出部２２が、第１電荷保持部ＳＧ１および第２電荷保持部ＳＧ２を有していない構成とすることも可能である。

【0121】

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

【符号の説明】

【0122】

２０…撮像画素、２１…第１読出部、２２…第２読出部、２３…第１出力部、２４…第２出力部、１００、２００…撮像装置、１１０…結像光学系、１２０…撮像素子、１３０…制御回路、１４０…メカニカルシャッター、１５０…表示装置、１６０…記録媒体、１７０…投影部、ＰＤ…光電変換部、ＳＧ１…第１電荷保持部、ＳＧ２…第２電荷保持部、ＦＤ１…第１電荷電圧変換部、ＦＤ２…第２電荷電圧変換部、ＴＸ１…第１転送トランジスタ、ＴＸ２…第２転送トランジスタ、Ｓ１…第１出力トランジスタ、Ｓ２…第２出力トランジスタ、ＳＦ１…第１増幅トランジスタ、ＳＦ２…第２増幅トランジスタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】