特開 2024-175985 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175985

(43)【公開日】2024-12-19

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 25/57 20230101AFI20241212BHJP

   H04N 25/51 20230101ALI20241212BHJP

【ＦＩ】

H04N25/57

H04N25/51

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023094142

(22)【出願日】2023-06-07

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】唐橋 文人

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024CX43

5C024GX02

5C024HX17

(57)【要約】

【課題】 被写体ブレを抑えつつ、ダイナミックレンジを拡大したＨＤＲ画像を取得する。
【解決手段】 画素の各々は、光電変換部と、前記光電変換部により変換された電荷を蓄積する２つの電荷保持部を備え、２つの電荷保持部に蓄積される電荷に基づく信号をそれぞれ複数の異なるゲインで増幅することによって得られる同一フレームの複数の信号をもとにＨＤＲ合成を行う。
【選択図】 図６

【特許請求の範囲】

【請求項1】

各々が光電変換部と、前記光電変換部により変換された電荷を保持する第１の電荷保持部と、前記光電変換部により変換された電荷を蓄積する第２の電荷保持部とを有する複数の画素と、
前記電荷に基づく信号を複数の異なるゲインで増幅可能な増幅手段と、
前記増幅手段により異なるゲインで増幅された複数の信号のＨＤＲ合成処理を行う画像処理手段と、を備え、
１フレーム期間において前記第１の電荷保持部と前記第２の電荷保持部に蓄積される電荷量が異なり、前記第１の電荷保持部および前記第２の電荷保持部に蓄積される電荷に基づく信号の少なくとも一方が前記増幅手段により異なるゲインで増幅されることを特徴とする撮像装置。

【請求項2】

前記第１の電荷保持部と前記第２の電荷保持部における電荷蓄積の開始タイミングが異なることを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記第１の電荷保持部と前記第２の電荷保持部における電荷保持の開始タイミングが同じであることを特徴とする請求項１に記載の撮像装置。

【請求項4】

前記第１の電荷保持部に蓄積された電荷に基づく信号と前記第２の電荷保持部に蓄積された電荷に基づく信号の一方が前記増幅手段により異なるゲインで増幅されることを特徴とする請求項１に記載の撮像装置。

【請求項5】

前記第１の電荷保持部に蓄積された電荷に基づく信号と前記第２の電荷保持部に蓄積された電荷に基づく信号の両方が前記増幅手段により異なるゲインで増幅されることを特徴とする請求項１に記載の撮像装置。

【請求項6】

被写体輝度または撮影モードに応じて、前記画像処理手段によるＨＤＲ合成処理の回数や組み合わせが変更されることを特徴とする請求項１に記載の撮像装置。

【請求項7】

前記画像処理手段によるＨＤＲ合成処理に使用しない信号を被写体に関する所定の検出に用いることを特徴とする請求項１に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関する。

【背景技術】

【0002】

従来、一般的なデジタルカメラに使われているＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を用いて、階調に関するダイナミックレンジを拡大する技術が提案されている。ダイナミックレンジの拡大技術の一つとして、複数の異なる露出で撮影した画像を合成する手法があるが、複数の露出画像を順々に撮影する必要があり、各露出の画像に撮影タイミングの差が生じてしまう。そのため、移動体を撮影する場合には、合成時に被写体ブレが目立つ可能性がある。

【0003】

また、特許文献１には、単位画素毎に２つの電荷保持部を有する画素構成においてダイナミックレンジを拡大する方法が記載されている。すなわち、各画素の光電変換部で蓄積された電荷信号について基準電圧との大小関係を判定する。そして、基準電圧よりも小さければ第１の電荷保持部を使用し、基準電圧よりも大きければ第２の電荷保持部を使用することによってダイナミックレンジの拡大を実現している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１７８１６３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示された技術では、電荷保持部の容量で画像データのダイナミックレンジが決まってしまうため、複数の異なる露出で撮影した画像をＨＤＲ合成する方式に比べるとダイナミックレンジ拡大効果が限定的である。

【0006】

本発明の目的は、被写体ブレが少なくダイナミックレンジが十分に拡大されたＨＤＲ画像の撮影が可能な撮像装置を提供することである。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明に係る撮像装置は、各々が光電変換部と、前記光電変換部により変換された電荷を保持する第１の電荷保持部と、前記光電変換部により変換された電荷を蓄積する第２の電荷保持部とを有する複数の画素と、前記電荷に基づく信号を複数の異なるゲインで増幅可能な増幅手段と、前記増幅手段により異なるゲインで増幅された複数の信号のＨＤＲ合成処理を行う画像処理手段と、を備え、１フレーム期間において前記第１の電荷保持部と前記第２の電荷保持部に蓄積される電荷量が異なり、前記第１の電荷保持部および前記第２の電荷保持部に蓄積される電荷に基づく信号の少なくとも一方が前記増幅手段により異なるゲインで増幅されることを特徴とする。

【発明の効果】

【0008】

本発明によれば、被写体ブレの少なくダイナミックレンジが十分に拡大されたＨＤＲ画像の撮影が可能な撮像装置を提供することができる。

【図面の簡単な説明】

【0009】

【図1】実施例に係る撮像装置の構成を示すブロック図。

【図2】実施例に係る撮像素子の構成を示す図。

【図3】実施例に係る撮像素子の構成を示す図。

【図4】実施例に係る撮像素子の構成を示す図。

【図5】実施例に係る撮像素子の構成を示す図。

【図6】実施例１に係る撮像装置の動作を示すフローチャート。

【図7】実施例に係る蓄積時間制御を示す図。

【図8】実施例１に係る撮像装置の動作を示すフローチャート。

【図9】実施例２に係る撮像装置の動作を示すフローチャート。

【図10】実施例３に係る撮像装置の動作を示すフローチャート。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に掛かる発明を限定するものではない。実施形態には複数の特徴が記載されているが、これら複数の特徴の全てが発明に必須の物とは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成の説明は省略する。

【0011】

（実施例１）
図１は、本発明の実施例１に係る撮像装置の構成を示すブロック図である。

【0012】

図１において、撮影光学系１２０は、第１レンズ１００、絞り１０１、第２レンズ１０２、第３レンズ１０３、フォーカルプレーンシャッタ１０４、光学ローパスフィルタ１０５を備えている。

【0013】

絞り１０１は、その開口径を調節することで撮影時に第１レンズ１００から入射した光の光量調節を行う。第２レンズ１０２、第３レンズ１０３は、後述のフォーカスアクチュエータ１１６によって駆動され、光軸方向に進退することにより、撮影光学系１２０の焦点位置を調節する。

【0014】

フォーカルプレーンシャッタ１０４は、静止画撮影時に開閉することにより撮像素子１０６の露光秒時を調節する。なお、撮像素子１０６が有する電子シャッタ機能により露光秒時を調節する構成でもよい。光学ローパスフィルタ１０５は、撮影画像の偽色やモアレを低減するために設けられている。撮像素子１０６は、撮影光学系１２０で形成された被写体の光学像を光電変換して電気信号を出力する。撮像素子１０６は、後述するＣＰＵ１０９によって制御される。

【0015】

ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１０７は、撮像素子１０６で撮影された画像データの各種補正・ＨＤＲ合成等の画像処理を行う。ＲＡＭ１０８は、撮像素子１０６からの出力データを一時的に保持する信号保持、ＤＳＰ１０７で処理された画像データの記憶、後述するＣＰＵ１０９が動作を行う際のワークメモリの機能を兼備する。

【0016】

なお、本実施形態では、これらの機能はＲＡＭ１０８を用いて実現する構成であるが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。また、本実施形態では、ＲＡＭ１０８は、ＤＳＰ１０７、ＣＰＵ１０９の外部に配置されているが、その一部または全部の機能をＤＳＰ１０７やＣＰＵ１０９に内蔵する構成であってもよい。

【0017】

ＣＰＵ１０９は、撮像装置の各部を制御するためのプログラムを実行し、撮像装置の動作を統括的に制御する。ＣＰＵ１０９は、ＤＳＰ１０７から出力される相関演算の結果を用いてフォーカス駆動回路１１５を制御し、撮影光学系１２０の焦点位置を調節する機能も有する。

【0018】

表示部１１０は、撮影した静止画像や動画像およびメニュー等の表示を行う。操作部１１１は、ユーザによる撮影指示や撮影条件等の設定をＣＰＵ１０９に対して行う。記録媒体１１２は着脱可能な記録媒体であり、撮影された静止画データ及び動画データが記録される。ＲＯＭ１１３には、ＣＰＵ１０９が各部の動作を制御するためにロードして実行するプログラムが格納されている。

【0019】

シャッタ駆動回路１１４は、ＣＰＵ１０９の出力に基づいてフォーカルプレーンシャッタ１０４を駆動制御する。フォーカス駆動回路１１５は、ＣＰＵ１０９の出力に基づいてフォーカスアクチュエータ１１６を制御し、第２レンズ１０２及び第３レンズ１０３を光軸方向に進退駆動して撮影光学系１２０の焦点位置を変更することで焦点調節を行う。絞り駆動回路１１７は、ＣＰＵ１０９の出力に基づいて絞りアクチュエータ１１８を制御して絞り１０１の開口を制御する。

【0020】

図２は、撮像素子１０６の回路構成の一例を示す図である。画素群２５０には、複数の画素２００が画素Ｒ１＿１～Ｂｍ＿ｎ（ｍ、ｎは任意の整数）のように行列状に配置されている。画素２００に付された符号Ｒは赤色、符号Ｇは緑色、符号Ｂは青色のカラーフィルタがそれぞれ画素上に配置されていることを意味する。

【0021】

また、Ｒ（Ｇ，Ｂ）ｉ＿ｊは、画素部２５０における第ｉ行第ｊ列に位置する画素であることを示す。また、同じ列の画素２００のうち奇数行の画素は垂直出力線２０２に接続されており、偶数行の画素は垂直出力線２０６に接続されている。なお、本実施形態では、１つの画素部２００に１本の垂直出力線が接続されているが、１つの画素部２００に対して複数の垂直出力線が接続されていても構わない。

【0022】

列回路スイッチ２０５がオフになっているときは、奇数行の画素からの画素信号は垂直出力線２０２を介して列回路２０３にのみ入力され、列回路スイッチ２０５がオンになっているときは、列回路２０３と列回路２０７にそれぞれ入力される。偶数行の画素も同様に、列回路スイッチ２０５がオフになっているときは、偶数行の画素からの画素信号は垂直出力線２０６を介して列回路２０７にのみ入力される。

【0023】

また、列回路スイッチ２０５がオンになっているときは、列回路２０３と列回路２０７にそれぞれ入力される。列回路スイッチ２０５がオフになっているときは偶奇行の画素信号を同時に読み出すことができ、オンになっているときは偶奇行の画素信号が順次読み出される。列回路スイッチ２０５をオンにすることで、１本の垂直出力線に対して２つの列回路２０３、２０７が接続され、１つの画素部２００から出力される画素信号を列回路２０３、２０７において複数の異なるゲインで増幅可能となる。

【0024】

各駆動信号ＲＥＳ、ＴＸ、ＳＥＬ、ＦＤＩＮＣ、ＧＳは、垂直走査回路２０１から画素部２００にそれぞれ供給される。これらの駆動信号については、行に対応する数字を表す自然数変数ｍ（＝１，２，・・・，ｎ）が付加されたＲＥＳ＿ｍ、ＴＸ＿ｍ、ＳＥＬ＿ｍ、ＦＤＩＮＣ＿ｍ、ＧＳ＿ｍ、と表記する。

【0025】

タイミングジェネレータ（以下、ＴＧ）２１０は、垂直走査回路２０１、列回路２０３，２０７、メモリ２１１のそれぞれに対して駆動信号を供給する。メモリ２１１は、後述するように列回路２０３，２０７においてアナログ－デジタル変換された画像データを、ＴＧ２１０から出力される書き込み信号ｍｅｍｗｒに従って保持する。

【0026】

メモリ２１１に保持された画像データは、水平走査回路２１２の走査によりデータ出力部２１３へ順次転送される。データ出力部２１３は、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）等の伝送方式により、撮像素子１０６の外部へ画像データを出力する。

【0027】

図３は、撮像素子における画素２００の構成を示す図である。図３を用いて画素２００の構成について説明する。フォトダイオード（以下、ＰＤ）３００は入射光を光電変換し、入射光量に応じた電荷を蓄積する。転送スイッチ３０１ａは、信号ｇｓ１のレベルがＨｉｇｈレベルであるときに、ＰＤ３００に蓄積されている電荷を第１の保持部３１０ａに転送する。また、転送スイッチ３０１ｂは、信号ｇｓ２のレベルがＨｉｇｈレベルであるときに、ＰＤ３００に蓄積されている電荷を第２の保持部３１０ｂに転送する。

【0028】

転送スイッチ３０２ａは、信号ｔｘ１のレベルがＨｉｇｈレベルであるときに、第１の保持部３１０ａに蓄積されている電荷をフローティングディフュージョン部（以下、ＦＤ部）３０３に転送する。また、転送スイッチ３０２ｂは、信号ｔｘ２のレベルがＨｉｇｈレベルであるときに、第２の保持部３１０ｂに蓄積されている電荷をＦＤ部３０３に転送する。

【0029】

ＦＤ部３０３は、ＦＤアンプ３０４を構成するトランジスタのゲートに接続されている。ＦＤアンプ３０４は、ＰＤ３０１からＦＤ部３０３に転送される電荷量に応じた電圧値を出力する。ＦＤリセットスイッチ３０５は、ＦＤ部３０３をリセットするためのスイッチ素子であり、信号ｒｅｓのレベルがＨｉｇｈレベルであるときに、ＦＤ部３０３のリセットを行う。

【0030】

ＦＤｉｎｃスイッチ３０７は、信号ｆｄｉｎｃのレベルがＨｉｇｈレベルであるときにオンになり、付加容量３０８をＦＤ部３０３と接続する。また、信号ｆｄｉｎｃのレベルがＬｏｗレベルであるときにはＦＤｉｎｃスイッチ３０７がオフになり、付加容量３０８とＦＤ部３０３とが非接続状態となる。これにより、ＦＤ部３０３に生じる容量が変化する。言い換えるとＦＤｉｎｃスイッチ３０７および付加容量３０８は、入力ノードの容量値を可変とする。

【0031】

ＦＤｉｎｃスイッチ３０７のオン・オフによって、ＦＤ部３０３に転送された電荷に対するＦＤアンプ３０４の出力電圧の変換比、すなわち画素における信号増幅率であるゲイン（ＦＤゲイン）を切り替えることができる。付加容量３０８がＦＤ部３０３に接続された接続状態では静電容量値が増加し、非接続状態の場合と比べてＦＤゲインが小さくなる。逆に、付加容量３０８とＦＤ部３０３とが非接続状態になると静電容量値が減少し、接続状態と比べてＦＤゲインが大きくなる。

【0032】

このように、本実施形態の撮像装置は、信号ｆｄｉｎｃに応じてＦＤ部３０３に保持される電荷量を可変とし、画素部２００のＦＤゲインを切り替えることができるため、複数の異なるゲインで画素信号を出力することが可能である。画素選択スイッチ３０６は、信号ｓｅｌのレベルがＨｉｇｈレベルであるときに、ＦＤアンプ３０４で電圧に変換された画素信号ｖｏｕｔを出力する。

【0033】

ＰＤリセットトランジスタ３０９は、ＰＤに蓄積された電荷をリセットするためのスイッチであり、信号ｏｆｄのレベルがＨｉｇｈレベルであるときに、ＰＤ３００に蓄積された電荷がリセットされる。

【0034】

次に、図４は、撮像素子における列回路２０３の構成を示す図である。図４を参照して、列回路２０３の構成について説明する。なお、列回路２０７は基本的な構成は列回路２０３と同一であるため、ここでは説明を省略する。画素部２００の出力ｖｏｕｔは、その画素２００の出力端子に接続された垂直出力線２０２を介して列回路２０３に入力される。列ごとに設けられた垂直出力線２０２は、電流源２０４を介して接地されている。電流源２０４と垂直出力線２０２に接続された画素部２００のＦＤアンプ３０４とによってソースフォロワ回路が構成される。

【0035】

列回路２０３において、クランプ容量４０１は静電容量Ｃ１を有し、フィードバック容量４０２は静電容量Ｃ２を有する。画素部２００の出力ｖｏｕｔはクランプ容量４０１を介して演算増幅器４０３の反転入力端子に入力される。演算増幅器４０３の非反転入力端子には、基準電圧Ｖｒｅｆが供給される。演算増幅器４０３の反転入力端子と出力端子に接続されたフィードバック容量４０２と並列にスイッチ４０４が接続されている。

【0036】

スイッチ４０４は、フィードバック容量４０２の両端をショートさせるためのスイッチ素子であり、駆動信号ｃｆｓにより制御される。スイッチ４０４のオン・オフ制御によって信号増幅率であるゲインの設定を変更することができるため、複数の異なるゲイン（列アンプゲイン）で増幅した信号の出力が可能となる。

【0037】

Ｓ信号転送スイッチ４０５は、画素部２００から読み出される光電変換された光信号（Ｓ信号）を、Ｓ信号保持容量４０７に転送するためのスイッチ素子であり、駆動信号ｔｓによりオン・オフ制御される。駆動信号ｔｓのレベルをＨｉｇｈレベルにすることにより、演算増幅器４０３で増幅されたＳ信号がＳ信号転送スイッチ４０５を介してＳ信号保持容量４０７に保持される。

【0038】

Ｎ信号転送スイッチ４０６は、画素部２００がリセットされた直後に画素部２００から読み出されるリセット解除信号（Ｎ信号）をＮ信号保持容量４０８に転送するためのスイッチ素子であり、駆動信号ｔｎによりオン・オフ制御される。駆動信号ｔｎのレベルをＨｉｇｈレベルにすることにより、演算増幅器４０３で増幅されたＮ信号がＮ信号転送スイッチ４０６を介してＮ信号保持容量４０８に保持される。なお、駆動信号ｃｆｓ、ｔｓ、ｔｎ等は、ＣＰＵ１０９の制御に応じてＴＧ２１０から供給される。

【0039】

次に、図５は、撮像素子における列回路２０３、２０７に内蔵されているアナログ－デジタル変換回路（ＡＤ変換回路）の構成を示す図である。図５を用いてＡＤ変換回路について説明する。ＡＤ変換回路は、Ｓ信号保持容量４０７およびＮ信号保持容量４０８にそれぞれ保持されているＳ信号ｖｓとＮ信号ｖｎの差分をアナログ－デジタル変換する。

【0040】

ＡＤ変換回路は、比較器５０１、カウンタ回路５０２、ラッチ回路５０３、および演算回路５０４を備えている。ランプ信号生成部５０６（ＲＡＭＰ回路）は、時間の経過とともに信号レベルが変化するランプ信号を生成する回路である。

【0041】

比較器５０１は、図４で説明した列アンプゲインにより増幅された画素信号とランプ信号の出力を比較し、時間変化するランプ信号と画素出力が一致したタイミングで反転信号を出力する。

【0042】

カウンタ回路５０２は、接続されている制御線から供給されるクロック信号ｐＣＮＴに基づいてカウント動作を行う。すなわち、カウンタ回路５０２は、比較器５０１により画素信号とランプ信号との比較を開始したタイミングからカウント動作を開始し、比較器５０１の出力が反転したときのカウント値を出力する。

【0043】

つまり、ランプ信号の時間変化が遅ければ比較器５０１の出力が反転するタイミングも遅れ、カウント値が増える。ランプ信号の時間変化の速度は画素部２００の出力信号の増幅率に相当するので、時間変化の程度を変えることでＡＤ変換回路における信号増幅率であるゲイン（ＲＡＭＰゲイン）を切り替えることができる。

【0044】

ラッチ回路５０３は、カウンタ回路５０２が出力するカウント値を一時的に保持すると共に、ラッチ制御信号ｐＬＴＣによる制御に基づいて保持しているカウント値を出力する。

【0045】

演算回路５０４は、接続されている演算制御信号ｐＣＡＬによる制御に基づいて、ラッチ回路５０３が出力するカウント値を画素のデジタル信号として一時的に記憶し、記憶している画素のデジタル信号を出力する。

【0046】

次に、図６は、実施例１における撮像装置の撮影動作を説明するためのフローチャートである。図６を用いて実施例１における撮像装置の撮影動作について説明する。このフローチャートの動作は、ＣＰＵ１０９がＲＯＭ１１３に記憶されているプログラムを実行することにより実現される。

【0047】

ステップＳ６００において、ＣＰＵ１０９は、操作部１１１からの撮影指示に従ってシャッタ駆動回路１１４を制御し、撮像素子１０６を露光させて撮影を開始する。

【0048】

ステップＳ６０１において、撮像素子１０６のＰＤ３００における電荷蓄積を開始する。

【0049】

ステップＳ６０２において、ＰＤ３００に蓄積された電荷量Ｍの電荷を第１の保持部３１０ａに転送する。この電荷量Ｍは、１回の転送で転送される電荷量である。

【0050】

ステップＳ６０３において、ＰＤ３００に蓄積された電荷量Ｎの電荷を第２の保持部３１０ｂに転送する。この電荷量Ｎは、１回の転送で転送される電荷量である。

【0051】

ステップＳ６０４において、１フレーム期間におけるＰＤ３００に蓄積されたすべての電荷の第１の保持部３１０ａまたは第２の保持部３１０ｂへの転送が完了したか否かを判断する。転送が完了している場合は、ステップＳ６０５へ進み、完了していない場合はステップＳ６０２へ戻る。

【0052】

ステップＳ６０５において、第１の保持部３１０ａに蓄積された電荷をＦＤ部３０３へ転送する。

【0053】

ステップＳ６０６において、第１の保持部３１０ａに蓄積された電荷に基づく信号を第１のゲインと第２のゲインで増幅して読み出す。本実施形態では第１のゲインを高ゲイン、第２のゲインを低ゲインとして説明するが、第１のゲインを低ゲイン、第２のゲインを高ゲインとしても構わない。

【0054】

すなわち、撮像素子１０６の列回路スイッチ２０５をオンにし、１つの画素部２００から出力される画素信号に対して列回路２０３、２０７において異なるゲインで増幅することで、高ゲイン画像と低ゲイン画像の読み出しを行うことができる。なお、前述したようにＡＤ変換回路におけるＲＡＭＰゲインの切り換えにより高ゲイン画像と低ゲイン画像を読み出してもよい。

【0055】

さらに前述したＦＤゲインを切り替えて、高ゲイン画像と低ゲイン画像の読み出しを行うことも可能である。すなわち、ＦＤｉｎｃスイッチ３０７をオンにした状態で第１の保持部３１０ａに電荷を蓄積して読み出し、ＦＤｉｎｃスイッチ３０７をオフにした状態で第１の保持部３１０ａに電荷を蓄積して読み出してもよい。

【0056】

ステップＳ６０７において、第２の保持部３１０ｂに蓄積された電荷をＦＤ部３０３へ転送する。

【0057】

ステップＳ６０８において、第２の保持部３１０ｂに蓄積された電荷に基づく信号を高ゲインと低ゲインで増幅して読み出す。

【0058】

ステップＳ６０９において、ステップＳ６０６とステップＳ６０８で読み出された４つの画像から後述するようにＨＤＲ画像を取得する。

【0059】

ステップＳ６１０において、続けて撮影を行うか否かを判断し、ＨＤＲ撮影を行わない場合は終了し、撮影を続ける場合はステップＳ６０１へ戻る。

【0060】

図７は、第１の保持部３１０ａと第２の保持部３１０ｂの各々における１フレーム期間の電荷蓄積の様子を示す図である。

【0061】

まず、図７（ａ）は、１フレーム期間において、最初に転送スイッチ３０１ａをオンすることで第１の保持部３１０ａへ電荷量Ｍの電荷を転送し、次に転送スイッチ３０１ｂをオンすることで第２の保持部３１０ｂへ電荷量Ｎの電荷を転送する例を示している。

【0062】

例えば、第１の保持部３１０ａに保持される電荷量Ｍ＜第２の保持部３１０ｂに保持される電荷量Ｎとなるように制御することにより、露出（蓄積電荷量）が異なる画像を取得することができる。なお、第１の保持部３１０ａへの電荷転送完了後に転送スイッチ３０１ａをオフし、第２の保持部３１０ｂへの電荷転送完了後に転送スイッチ３０１ｂをオフするように制御される。

【0063】

次に、図７（ｂ）は、１フレーム期間において、第１の保持部３１０ａと第２の保持部３１０ｂへの電荷転送の開始タイミングと終了タイミングをそれぞれ同じにする例を示している。すなわち、転送スイッチ３０１ａと転送スイッチ３０１ｂを同時にオンすることで１フレーム期間における第１の保持部３１０ａと第２の保持部３１０ｂへの電荷転送を開始する。その後、複数回に分割して第１の保持部３１０ａと第２の保持部３１０ｂへそれぞれ電荷を転送する。

【0064】

そして、１フレーム期間の終わりに転送スイッチ３０１ａと転送スイッチ３０１ｂを同時にオフすることによって、１フレーム期間における第１の保持部３１０ａと第２の保持部３１０ｂへの電荷転送を終了する。このような制御により、１フレーム期間における第１の保持部３１０ａと第２の保持部３１０ｂに電荷を保持する期間（電荷保持開始から電荷保持終了までの期間）を一致させることができるため、被写体の動きブレの少ない画像を取得することが可能となる。

【0065】

さらに、図７（ｃ）は、第１の保持部３１０ａに保持される電荷の露光重心と第２の保持部３１０ｂに保持される電荷の露光重心が等しくなるようにする例を示している。ここでも１フレーム期間において、複数回に分割して第１の保持部３１０ａと第２の保持部３１０ｂへそれぞれ電荷を転送する。第１の保持部３１０ａと第２の保持部３１０ｂへの電荷転送の開始タイミングと終了タイミングはそれぞれ異なるものの、蓄積電荷の露光重心を揃えることで、蓄積時間差が大きい場合でも被写体の動きブレの少ない画像を取得することが可能となる。

【0066】

なお、図７（ｂ）、図７（ｃ）においても、第１の保持部３１０ａに保持される電荷量Ｍ＜第２の保持部３１０ｂに保持される電荷量Ｎとなるように制御することにより、露出（蓄積電荷量）が異なる画像を取得することができる。そして、このように、第１の保持部３１０ａと第２の保持部３１０ｂとで異なる電荷量の電荷を蓄積することによって、露出の異なる画像を取得することができる。

【0067】

図８は、露出の異なる４つの画像をＤＳＰ１０７に入力することでＨＤＲ合成処理を行うことでＨＤＲ画像を取得する動作を説明するためのフローチャートである。このフローチャートの動作は、ＣＰＵ１０９がＲＯＭ１１３に記憶されているプログラムを実行することにより実現される。

【0068】

ステップＳ６０６ａにおいて、第１の保持部３１０ａに蓄積されて低ゲインで増幅された第１の画像を読み出し、ステップＳ６０６ｂにおいて、第１の保持部３１０ａに蓄積されて高ゲインで増幅された第２の画像を読み出す。

【0069】

ステップＳ７０１において、ＤＳＰ１０７により第１の画像と第２の画像のＨＤＲ合成処理を行う。ここで、合成後の画像を第５の画像とする。このとき、第１の画像と第２の画像の蓄積時間は同じであるため、高ゲインと低ゲインで増幅する際のゲイン差が合成後のダイナミックレンジ拡大に寄与することになる。ただし、前述したように、ゲイン差分のみでのＨＤＲ合成処理を行う場合、露出を変更して複数枚撮影するＨＤＲ合成処理に比べると、ダイナミックレンジ拡大効果が限定的になる場合がある。

【0070】

ステップＳ６０８ａにおいて、第２の保持部３１０ｂに蓄積されて高ゲインで増幅された第３の画像を読み出し、ステップＳ６０８ｂにおいて、第２の保持部に蓄積されて低ゲインで増幅された第４の画像を読み出す。

【0071】

ステップＳ７０２において、ＤＳＰ１０７により第３の画像と第４の画像のＨＤＲ合成処理を行う。ここで、合成後の画像を第６の画像とする。このとき、第３の画像と第４の画像の蓄積時間は同じであるため、高ゲインと低ゲインで増幅する際のゲイン差が合成後のダイナミックレンジ拡大に寄与することになる。

【0072】

ステップＳ７０３において、ＤＳＰ１０７により第５の画像と第６の画像のＨＤＲ合成処理を行う。前述したように第５の画像は、第１の保持部３１０ａに蓄積された電荷に基づく画像信号をＨＤＲ合成処理した画像であり、第６の画像は、第２の保持部に蓄積された電荷に基づく画像信号をＨＤＲ合成処理した画像である。すなわち、この２つの画像は、蓄積時間が異なる。したがって、第５の画像と第６の画像のＨＤＲ合成処理を行うことによって、１フレーム期間においてゲイン差と蓄積時間差のあるＨＤＲ画像を取得することができる。

【0073】

以上説明したように、実施例１に係る撮像装置によれば、ＨＤＲ撮影を行う場合に、１フレーム期間に光電変換部で生成される電荷を第１の保持部３１０ａと第２の保持部３１０ｂに分割して転送することで、蓄積時間の異なる画像を取得することができる。さらに、蓄積時間の異なる画像に対して異なるゲインで増幅することにより、蓄積時間とゲインが異なる４つの画像をもとにＨＤＲ合成処理を行うことが可能である。そのため、被写体のブレを抑えつつ、ダイナミックレンジが十分に拡大された画像を生成することができる。

【0074】

（実施例２）
図９は、本発明の実施例２における撮像装置の撮影動作を説明するためのフローチャートである。図９を用いて実施例２における撮像装置の撮影動作について、実施例１との差分を中心に説明する。このフローチャートの動作は、ＣＰＵ１０９がＲＯＭ１１３に記憶されているプログラムを実行することにより実現される。

【0075】

ステップＳ９００～ステップＳ９１０は、実施例１の図６で説明したステップＳ６００～ステップＳ６１０と同様の処理であるため、その説明を省略する。

【0076】

ステップＳ９１１において、ステップＳ９０５で第１の保持部３１０ａからＦＤ部３０３に転送された電荷に基づく信号について、ダイナミックレンジの拡大が必要かどうかを判断する。例えば、第１の保持部３１０ａからＦＤ部３０３に転送された電荷の電荷量が十分に多く、被写体の高輝度側のレンジを確保できている場合にはステップＳ９１２へ進む。

【0077】

ステップＳ９１２では、第１の保持部３１０ａに保持された電荷に基づく信号を第１のゲイン（高ゲイン）または第２のゲイン（低ゲイン）のいずれかのみで増幅して読み出す。前述したように高輝度側のレンジを確保できている場合においては、すでに高輝度側のレンジを広げる必要がないため、第２のゲイン（低ゲイン）で増幅して読み出す。そうすることで、高輝度側のレンジを確保しつつも、撮像素子からの画像信号の読み出しにかかる時間を短縮することが可能となる。

【0078】

また、被写体輝度に応じてだけでなく、撮影モードに応じて制御を変更しても構わない。例えば、ＨＤＲ画像を高速に取得したい場合には、処理時間を短縮するために、第１の保持部３１０ａの電荷に基づく信号を一方のゲインのみで増幅して読み出し、第２の保持部３１０ｂの電荷に基づく信号は両方のゲインで増幅して読み出しても構わない。

【0079】

なお、本実施例では、第１の保持部に保持された電荷に基づく信号を一方のゲインのみで増幅して読み出し、第２の保持部に保持された電荷に基づく信号を高ゲインと低ゲインの両方で増幅して読み出す例について説明したが、これに限らない。すなわち、第１の保持部に保持された電荷に基づく信号を高ゲインと低ゲインの両方で増幅して読み出し、第２の保持部に保持された電荷に基づく信号を一方のゲインのみで増幅して読み出しても構わない。

【0080】

以上説明した実施例２によれば、ＨＤＲ撮影において、被写体や撮影モードに応じて、第１の保持部の電荷または第２の保持部の電荷に基づく信号を一方のゲインのみで増幅して読み出すことにより、画像信号の読み出し時間を短縮することが可能である。そのため、画像信号の読み出し時間を短縮させつつ、ダイナミックレンジが十分に拡大されたＨＤＲ画像を取得することができる。

【0081】

（実施例３）
図１０は、本発明の実施例３におけるＨＤＲ画像を取得する動作を説明するためのフローチャートである。図１０を用いて実施例３における動作について、実施例１との差分を中心に説明する。このフローチャートの動作は、ＣＰＵ１０９がＲＯＭ１１３に記憶されているプログラムを実行することにより実現される。

【0082】

ステップＳ６０６ａ、ステップＳ６０６ｂ、ステップＳ６０８ａ、ステップＳ６０８ｂは、実施例１の図８で説明したステップＳ６０６ａ、ステップＳ６０６ｂ、ステップＳ６０８ａ、ステップＳ６０８ｂと同様の処理であるため、その説明を省略する。また、ステップＳ１００１～ステップＳ１００３は、実施例１の図８で説明したステップＳ７０１～ステップＳ７０３と同様の処理であるため、その説明を省略する。

【0083】

ステップＳ１０１０では、第１の画像と第２の画像を比較し、ダイナミックレンジの拡大が必要か否かを判断する。例えば、第１の画像と第２の画像は短秒蓄積時の画像であるため、高輝度側のレンジ拡大に使用するケースが考えられるが、低ゲインで増幅された画像のみで高輝度側のレンジを確保できている場合は、ステップＳ１０１１に進む。

【0084】

ステップＳ１０１１では、ＨＤＲ合成処理を行わずに第１の画像のみを出力する。ここで、ＨＤＲ合成処理に使用しない第２の画像を、被写体に関する所定の検出（例えば、被写体移動方向のベクトル検出等）に使用しても構わない。

【0085】

ステップＳ１０１２では、第３の画像と第４の画像を比較し、ダイナミックレンジの拡大が必要か否かを判断する。例えば、第３の画像と第４の画像は長秒蓄積時の画像であるため、低輝度側のレンジ拡大に使用するケースが考えられるが、高ゲインで増幅された画像のみで低輝度側のレンジを確保できている場合は、ステップＳ１０１３に進む。

【0086】

ステップＳ１０１３では、ＨＤＲ合成処理を行わずに第４の画像のみを出力する。ここで、ＨＤＲ合成処理に使用しない第３の画像を、被写体に関する所定の検出（例えば被写体移動方向のベクトル検出等）に使用しても構わない。

【0087】

ステップＳ１０１４において、ＤＳＰ１０７により第１の画像と第４の画像のＨＤＲ合成処理を行う。実施例１の図８では、ＨＤＲ合成処理を３回行っていたが、本実施例の手法であればＨＤＲ合成処理の回数を減らしつつ、ダイナミックレンジを拡大した画像を取得することが可能となる。

【0088】

また、被写体輝度に応じてだけでなく、撮影モードに応じて制御を変更しても構わない。例えば、ＨＤＲ画像を高速に取得したい場合には、処理時間を短縮するために、前述したようにＨＤＲ合成処理の回数や合成パターンを変更することで合成処理時間を短縮し、ダイナミックレンジを拡大した画像を取得することが可能である。なお、本実施例では第１の画像と第４の画像のＨＤＲ合成処理を行う例について説明したが、これに限らない。

【0089】

以上説明した実施例３によれば、ＨＤＲ撮影において、被写体や撮影モードに応じて、ＨＤＲ合成処理の回数やパターンを変更することで処理時間を短縮しつつ、ダイナミックレンジが十分に拡大されたＨＤＲ画像を取得することができる。

【0090】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0091】

１０６ 撮像素子
１０７ ＤＳＰ
１０９ ＣＰＵ
２０３、２０７ 列回路
２０５ 列回路スイッチ
３０１ａ 第１の保持部
３０１ｂ 第２の保持部
３０８ 付加容量

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】