特許 7444589 撮像装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-27

(45)【発行日】2024-03-06

(54)【発明の名称】撮像装置およびその制御方法

(51)【国際特許分類】

   H04N 25/773 20230101AFI20240228BHJP

【ＦＩ】

H04N25/773

【請求項の数】 20

(21)【出願番号】P 2019219073

(22)【出願日】2019-12-03

(65)【公開番号】P2021090134

(43)【公開日】2021-06-10

【審査請求日】2022-11-21

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】池戸 秀樹

(72)【発明者】

【氏名】佐々木 顯

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２０１９－１１０４０６（ＪＰ，Ａ）

【文献】特開２０１９－００９７６８（ＪＰ，Ａ）

【文献】国際公開第２０１３／１５７４４８（ＷＯ，Ａ１）

【文献】国際公開第２０１３／１２８９９８（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１０／０１８２０１１（ＵＳ，Ａ１）

【文献】特開２０１４－２４１５４３（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／００１４６６０（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０３６９８０２４（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／３０ － ５／３３

Ｈ０４Ｎ ２３／１１

Ｈ０４Ｎ ２３／２０ －２３／３０

Ｈ０４Ｎ ２５／００

Ｈ０４Ｎ ２５／２０ －２５／６１

Ｈ０４Ｎ ２５／６１５－２５／７９

Ｇ０１Ｊ １／００ － １／６０

Ｇ０１Ｊ １１／００

Ｇ０１Ｓ ７／４８ － ７／５１

Ｇ０１Ｓ １７／００ －１７／９５

(57)【特許請求の範囲】

【請求項1】

アバランシェフォトダイオードを有し、フォトンの入射に応じてパルス信号を出力する複数の受光手段と、
前記複数の受光手段が出力する前記パルス信号を計数する複数の計数手段と、
前記複数の計数手段の計数値を補正して、補正した計数値を画像データとして出力する補正手段と、
前記アバランシェフォトダイオードに抵抗または容量を接続するか否かを切り替えることにより、前記パルス信号のパルス幅を制御する制御手段と、を有し、
前記補正手段は、前記パルス信号のパルス幅が異なる状態または、前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値に基づいて補正係数を算出し、前記補正係数を用いて前記補正を行うことを特徴とする撮像装置。

【請求項2】

前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値が、
前記複数の受光手段のうち、第１の複数の受光手段について得られた計数値と、前記第１の複数の受光手段と前記パルス信号の幅が異なる第２の複数の受光手段について得られた計数値であることを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値が、
前記複数の受光手段が第１のパルス幅のパルス信号を出力するように設定された状態で得られた計数値と、前記複数の受光手段が第２のパルス幅のパルス信号を出力するように設定された状態で得られた計数値であることを特徴とする請求項１に記載の撮像装置。

【請求項4】

前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値が、
前記複数の受光手段が出力するパルス信号について得られた計数値と、前記パルス信号のパルス幅を変更した信号について得られた計数値であることを特徴とする請求項１に記載の撮像装置。

【請求項5】

前記補正手段は、前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値の比と、前記パルス幅の差に基づいて前記補正係数を算出することを特徴とする請求項１に記載の撮像装置。

【請求項6】

フォトンの入射に応じてパルス信号を出力する複数の受光手段と、
前記複数の受光手段が出力する前記パルス信号を計数する複数の計数手段と、
前記複数の計数手段の計数値を補正して、補正した計数値を画像データとして出力する補正手段と、を有し、
前記補正手段は、前記パルス信号のパルス幅が異なる状態または、前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値に基づいて補正係数を算出し、前記補正係数を用いて前記補正を行い、
前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値が、
前記複数の受光手段のうち、第１の複数の受光手段について得られた計数値と、前記第１の複数の受光手段と前記パルス信号の幅が異なる第２の複数の受光手段について得られた計数値であることを特徴とする撮像装置。

【請求項7】

フォトンの入射に応じてパルス信号を出力する複数の受光手段と、
前記複数の受光手段が出力する前記パルス信号を計数する複数の計数手段と、
前記複数の計数手段の計数値を補正して、補正した計数値を画像データとして出力する補正手段と、を有し、
前記補正手段は、前記パルス信号のパルス幅が異なる状態または、前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値に基づいて補正係数を算出し、前記補正係数を用いて前記補正を行い、
前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値が、
前記複数の受光手段が第１のパルス幅のパルス信号を出力するように設定された状態で得られた計数値と、前記複数の受光手段が第２のパルス幅のパルス信号を出力するように設定された状態で得られた計数値であることを特徴とする撮像装置。

【請求項8】

フォトンの入射に応じてパルス信号を出力する複数の受光手段と、
前記複数の受光手段が出力する前記パルス信号を計数する複数の計数手段と、
前記複数の計数手段の計数値を補正して、補正した計数値を画像データとして出力する補正手段と、を有し、
前記補正手段は、前記パルス信号のパルス幅が異なる状態または、前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値に基づいて補正係数を算出し、前記補正係数を用いて前記補正を行い、
前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値が、
前記複数の受光手段が出力するパルス信号について得られた計数値と、前記パルス信号のパルス幅を変更した信号について得られた計数値であることを特徴とする撮像装置。

【請求項9】

フォトンの入射に応じてパルス信号を出力する複数の受光手段と、
前記複数の受光手段が出力する前記パルス信号を計数する複数の計数手段と、
前記複数の計数手段の計数値を補正して、補正した計数値を画像データとして出力する補正手段と、を有し、
前記補正手段は、前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値の比と、前記パルス幅の差に基づいて補正係数を算出し、前記補正係数を用いて前記補正を行うことを特徴とする撮像装置。

【請求項10】

フォトンの入射に応じてパルス信号を出力する複数の受光手段と、
前記複数の受光手段が出力する前記パルス信号を計数する複数の計数手段と、
前記複数の計数手段の計数値を補正して、補正した計数値を画像データとして出力する補正手段と、を有し、
前記補正手段は、前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値に基づいて補正係数を算出し、前記補正係数を用いて前記補正を行い、
前記複数の受光手段が、受光面積の異なる第１の受光手段と第２の受光手段とを含み、前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値が、前記第１の受光手段が出力する前記パルス信号の計数値と、前記第２の受光手段が出力する前記パルス信号の計数値であることを特徴とする撮像装置。

【請求項11】

フォトンの入射に応じてパルス信号を出力する複数の受光手段と、
前記複数の受光手段が出力する前記パルス信号を計数する複数の計数手段と、
前記複数の計数手段の計数値を補正して、補正した計数値を画像データとして出力する補正手段と、を有し、
前記補正手段は、前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値に基づいて補正係数を算出し、前記補正係数を用いて前記補正を行い、
前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値が、前記複数の受光手段への入射光量を低減させた状態で得られた計数値と、前記複数の受光手段への入射光量を低減させない状態で得られた計数値であることを特徴とする撮像装置。

【請求項12】

前記複数の受光手段への入射光量を低減させた状態が、光学フィルタを用いた状態であり、前記複数の受光手段への入射光量を低減させない状態が、前記光学フィルタを用いない状態であることを特徴とする請求項１１に記載の撮像装置。

【請求項13】

前記複数の受光手段への入射光量を低減させない状態が、撮影レンズの絞りを第１の絞り値としての撮影であり、前記複数の受光手段への入射光量を低減させる状態が、前記第１の絞り値よりも絞りを絞った第２の絞り値での撮影であることを特徴とする請求項１１に記載の撮像装置。

【請求項14】

前記補正手段は、前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値の比と、前記パルス信号の発生頻度の比に基づいて前記補正係数を算出することを特徴とする請求項１０から１３のいずれか１項に記載の撮像装置。

【請求項15】

フォトンの入射に応じてパルス信号を出力する複数の受光手段と、
前記複数の受光手段が出力する前記パルス信号を計数する複数の計数手段と、
前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値に基づいて露出制御を行う露出制御手段と、を有することを特徴とする撮像装置。

【請求項16】

前記露出制御手段は、動画撮影中、前記露出制御を間欠的に行うことを特徴とする請求項１５に記載の撮像装置。

【請求項17】

前記露出制御手段は、前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値の差が予め定められた値より大きい場合には、露出量が変わらず、前記パルス信号の発生頻度が低下する撮影条件に変更することを特徴とする請求項１５または１６に記載の撮像装置。

【請求項18】

アバランシェフォトダイオードを有し、フォトンの入射に応じてパルス信号を出力する複数の受光部と、
前記複数の受光部が出力する前記パルス信号を計数する複数の計数部と、を有する撮像装置の制御方法であって、
補正手段が、前記複数の計数部の計数値を補正して、補正した計数値を画像データとして出力する補正工程と、
制御手段が、前記アバランシェフォトダイオードに抵抗または容量を接続するか否かを切り替えることにより、前記パルス信号のパルス幅を制御する制御工程と、を有し、
前記補正工程において前記補正手段は、前記パルス信号のパルス幅が異なる状態または、前記パルス信号の発生頻度が異なる条件において前記複数の計数部で得られた計数値に基づいて補正係数を算出し、前記補正係数を用いて前記補正を行うことを特徴とする撮像装置の制御方法。

【請求項19】

フォトンの入射に応じてパルス信号を出力する複数の受光部と、
前記複数の受光部が出力する前記パルス信号を計数する複数の計数部と、を有する撮像装置の制御方法であって、
露出制御手段が、前記パルス信号のパルス幅が異なる状態において前記複数の計数部で得られた計数値に基づいて露出制御を行う露出制御工程と、を有することを特徴とする撮像装置の制御方法。

【請求項20】

フォトンの入射に応じてパルス信号を出力する複数の受光部と、前記複数の受光部が出力する前記パルス信号を計数する複数の計数部と、を有する撮像装置のコンピュータに、請求項１８または１９に記載の撮像装置の制御方法の各工程を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は撮像装置およびその制御方法に関し、特には入射した光子（フォトン）を計数するタイプの撮像装置およびその制御方法に関する。

【背景技術】

【0002】

単一光子を検出可能な受光素子を用い、受光素子ごとに入射した光子を計数することにより、Ａ／Ｄ変換を行うことなく光学像をデジタルデータに変換可能なフォトンカウンティングタイプの撮像素子が知られている。特許文献１には、アバランシェフォトダイオード（ＡＰＤ）とカウンタ回路とを用いたフォトンカウンティングタイプの撮像素子が開示されている。ＡＰＤを、降伏電圧より大きな逆バイアス電圧を印加した状態（ガイガーモード）で動作させることにより、フォトンの入射によってアバランシェ増倍を発生させることができる。

【0003】

アバランシェ増倍によりＡＰＤにはパルス状の大電流が発生するため、この電流を整形したパルス信号をＡＰＤごとに設けられたカウンタ回路で計数することで、ＡＰＤごとに入射したフォトンの数が得られる。露光期間中に得られた計数値は入射光量に応じた値となるため、従前の撮像素子で得られるアナログ画素信号に対応するデジタル画素信号として用いることができる。

【0004】

フォトンカウンティングタイプの撮像素子では、パルス信号の計数値を信号値として出力するため、従前のＣＣＤやＣＭＯＳイメージセンサと比較して、Ａ／Ｄ変換が不要である。また、信号値が回路ノイズに影響を受けづらいため、特に暗い被写体に対して良好な画質が実現できる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開昭６１－１５２１７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、フォトンカウンティングタイプの撮像素子には、アバランシェ増倍に伴う電圧変化が収束する前に次のフォトンが入射した場合、複数のパルス信号が１つに結合し、入射したフォトン数よりも計数値が小さくなるという課題がある。この課題は、特に、高い頻度でフォトンが入射する高照度の環境において大きくなる。

【0007】

本発明はこのような課題に鑑みてなされたものであり、計数値の精度を高めることが可能なフォトンカウンティングタイプの撮像装置およびその制御方法の提供を目的とする。

【課題を解決するための手段】

【0008】

上述の目的は、アバランシェフォトダイオードを有し、フォトンの入射に応じてパルス信号を出力する複数の受光手段と、複数の受光手段が出力するパルス信号を計数する複数の計数手段と、複数の計数手段の計数値を補正して、補正した計数値を画像データとして出力する補正手段と、アバランシェフォトダイオードに抵抗または容量を接続するか否かを切り替えることにより、パルス信号のパルス幅を制御する制御手段と、を有し、補正手段は、パルス信号のパルス幅が異なる状態または、パルス信号の発生頻度が異なる条件において複数の計数手段で得られた計数値に基づいて補正係数を算出し、補正係数を用いて補正を行うことを特徴とする撮像装置によって達成される。

【発明の効果】

【0009】

本発明によれば、計数値の精度を高めることが可能なフォトンカウンティングタイプの撮像装置およびその制御方法を提供することができる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態に係るデジタルカメラの機能構成例を示すブロック図

【図2】第１実施形態における撮像素子の構成例に関する図

【図3】第１実施形態における単位画素の動作に関する図

【図4】第１実施形態におけるフレームメモリと補正部の構成例を示すブロック図

【図5】第１実施形態における補正係数の算出方法を説明するための図

【図6】第１実施形態における画像撮影処理に関するフローチャート

【図7】第１実施形態の変形例における単位画素の構成例に関する図

【図8】第２実施形態における撮像素子の構成例に関する図

【図9】第３実施形態における撮像素子の構成例に関する図

【図10】第３実施形態における単位画素の動作に関する図

【図11】第４実施形態におけるフレームメモリと補正部の構成例を示すブロック図

【図12】第４実施形態における入射フォトンレートと画素データの関係例を示す図

【図13】第４実施形態における画像撮影処理に関するフローチャート

【図14】第５実施形態に係るデジタルカメラの機能構成例を示すブロック図

【図15】第５実施形態における動画撮影中の露出制御動作に関するフローチャート

【発明を実施するための形態】

【0011】

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。また、図面には実施形態の説明に必要な構成要素のみが開示されており、他の構成要素の存在を排除するものではない。

【0012】

なお、以下では、本発明に係る撮像素子をデジタルレフカメラに適用したで実施形態に関して説明する。しかし、本発明に係る撮像素子は撮像機能を搭載可能な任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。

【0013】

●（第１実施形態）
図１は、本発明の第１実施形態に係るデジタルカメラ１の機能ブロック図である。フォトンカウンティングタイプの撮像素子１００には、単一光子を検出可能な受光素子の一例としてのアバランシェフォトダイオード（ＡＰＤ）が複数、二次元的に配列されている。また、撮像素子１００は、各ＡＰＤの出力信号に基づくパルスを計数するカウンタ回路（計数部）を有している。撮像素子１００の動作は制御部１０４が制御する。撮像素子１００は、各ＡＰＤに対する計数値を画像データとして出力する。

【0014】

撮影レンズ１０２は、被写体の光学像を撮像素子１００の撮像面に形成する。便宜上、撮影レンズ１０２は単レンズのように図示しているが、実際には複数のレンズを有し、その中にはフォーカスレンズ、変倍レンズ、ブレ補正レンズなどの可動レンズが含まれる。また、レンズ以外にも、シャッター兼用であってよい絞りなどの可動部材や、可動レンズを含む可動部材を駆動するアクチュエータ、モータ、位置検出回路などの回路も含まれている。レンズ駆動部１０３は、制御部１０４の制御に応じてアクチュエータやモータを動作させてこれら可動部材を駆動する。また、レンズ駆動部１０３は、可動部材の位置や状態を検出して制御部１０４に通知する。

【0015】

撮影レンズ１０２と撮像素子１００の間には、ＮＤ(Neutral Density)フィルタ１１０が設けられている。ＮＤフィルタ１１０は、光量を低減させる光学フィルタであり、光路中の第１の位置と、光路から離脱した第２の位置とを取り得る。ＮＤフィルタ１１０が第１の位置にある場合、撮影レンズ１０２から入射する光はＮＤフィルタ１１０を介して撮像素子１００に入射する。一方、ＮＤフィルタ１１０が第２の位置にある場合は撮影レンズ１０２から入射する光はＮＤフィルタ１１０を介さずに撮像素子１００に入射する。なお、ＮＤフィルタ１１０は撮像素子１００に入射する光量を制御する光学部材の一例であり、他の部材を用いてもよい。また、ＮＤフィルタ１１０の透過率が電気的に制御可能な場合には、ＮＤフィルタ１１０の位置は第１の位置に固定されてもよい。

【0016】

ＮＤフィルタ１１０の位置はレンズ駆動部１０３が制御部１０４（ＮＤフィルタ制御部１０９）の制御に従って変更する。

【0017】

信号処理部１０１は撮像素子１００から出力される画像データに対して予め定められた信号処理を適用し、表示用および／または記録用の画像データを生成したり、各種の情報を取得および／または生成したりする。信号処理部１０１は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰやＧＰＵのようなプログラマブルプロセッサーがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

【0018】

ここで、信号処理部１０１が画像データに適用する信号処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理などが含まれる。前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画素から読み出した画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。補正処理には、ホワイトバランス調整、画像の輝度を補正する処理、撮影レンズ１０２の光学収差の影響を補正する処理、色を補正する処理などが含まれる。

【0019】

検出処理には、特徴領域（たとえば顔領域や人体領域）の検出および追尾処理、人物の認識処理などが含まれる。データ加工処理には、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。評価値算出処理は、自動焦点検出に用いる信号や評価値の生成、自動露出制御に用いる評価値の算出処理などである。なお、これらは信号処理部１０１が画像データに適用可能な信号処理の例示であり、信号処理部１０１が画像データに適用する信号処理の内容を限定するものではない。

【0020】

制御部１０４は、例えばＣＰＵのような、プログラムを実行可能な１つ以上のプロセッサである。制御部１０４は、メモリ部１０５が有するＲＯＭに記憶されたプログラムをメモリ部１０５が有するＲＡＭに読み込んで実行し、デジタルカメラ１の各部の動作を制御する。例えば、制御部１０４は、撮像素子１００の動作を制御する制御信号を生成して撮像素子１００に供給する。ＮＤフィルタ制御部１０９は、制御部１０４がプログラムを実行することによって実現するＮＤフィルタ１１０を制御する機能を、１つの機能ブロックとして記載したものである。したがって、本明細書において説明される、ＮＤフィルタ制御部１０９が実行する動作の実体的な動作主体は制御部１０４である。

【0021】

制御部１０４はまた、信号処理部１０１が生成する評価値などを用い、公知の方法で自動焦点検出や自動露出制御を行い、撮影レンズ１０２の合焦距離や撮像素子１００の露出条件（例えば絞り値、シャッタースピード、および撮影感度）を決定する。制御部１０４は決定した合焦距離に撮影レンズ１０２が合焦するようにレンズ駆動部１０３を通じてフォーカスレンズの位置を制御する。また、制御部１０４は、決定した露出条件で撮影が行われるようにレンズ駆動部１０３や撮像素子１００の動作を制御する。

【0022】

メモリ部１０５は書き換え可能な不揮発性メモリ部（ＲＯＭ）と揮発性メモリ部（ＲＡＭ）とを有する。ＲＯＭには制御部１０４のプロセッサが実行するためのプログラム、デジタルカメラ１の設定値、ＧＵＩデータなどが記憶される。ＲＡＭはＲＯＭから読み出されたプログラムを実行するためのワークメモリ、画像データを一時的に記憶するためのバッファメモリ、表示部１０６のためのビデオメモリなどとして用いられる。

【0023】

表示部１０６は、例えば液晶ディスプレイであり、信号処理部１０１が生成する表示用画像データや、デジタルカメラ１の状態や設定値を示す情報、メニュー画面などのＧＵＩなどを表示する。

【0024】

操作部１０８は、デジタルカメラ１に設けられた複数の入力デバイスの総称である。操作部１０８にはシャッターボタン、駆動モード選択ダイヤル、方向キー、決定ボタン、メニューボタンなどが含まれる。操作部１０８の操作は制御部１０４が検出し、制御部１０４は検出した操作に応じた動作を実行する。表示部１０６がタッチディスプレイである場合、表示部１０６が有するタッチパネルは操作部１０８に含まれる。

【0025】

記録部１０７は、制御部１０４の制御に従って、信号処理部１０１が生成する記録用の画像データを記録媒体に記録したり、記録媒体に記録されたデータを読み出したりする。記録媒体はメモリカードのようにデジタルカメラ１から取り外し可能であってもよいし、取り外し不能であってもよい。また、記録部１０７は、外部の記録装置への記録が可能な構成を有してもよい。

【0026】

図２（ａ）は、撮像素子１００の回路構成例を示すブロック図である。撮像素子１００は画素領域２００、垂直制御回路２０２、水平制御回路２０３、タイミングジェネレータ（ＴＧ）２０４、パルス幅変更回路２０５、フレームメモリ２０６、補正部２０７、デジタル出力部２０８を有する。

【0027】

画素領域２００には、単位画素２０１が行列状に配置されている。図２（ａ）では説明を簡単にするために４行×４列の１６個の単位画素２０１しか記載していないが、一般には数百万個以上の単位画素が配列されている。個々の単位画素２０１は受光素子と計数回路とを有し、計数回路の計数値（デジタル値）を画素データとして出力することができる。

【0028】

パルス幅変更回路２０５は、単位画素２０１が有するクエンチトランジスタ（後述）のオン抵抗を制御することにより、単位画素２０１の受光素子にフォトンが入射した際に受光素子に発生する電流に基づいて生成されるパルス信号のパルス幅を制御する。単位画素２０１の詳細な構成例およびパルス幅の制御方法については後述する。パルス幅変更回路２０５は少なくともパルス幅を２通りに制御することができる。パルス幅変更回路２０５の設定は制御部１０４から行うことができる。

【0029】

垂直制御回路２０２は、画素領域２００に配列されている単位画素２０１のそれぞれと、垂直信号線との間に設けられたスイッチ２０９のオン／オフを１画素行を単位で制御する。本明細書においてある画素行を「選択する」とは、その画素行についてスイッチ２０９をオンにすることである。また、垂直制御回路２０２は、不図示の配線を通じて行単位で単位画素２０１に制御信号を供給する。

【0030】

水平制御回路２０３は、垂直信号線ごとに設けられているスイッチ２１０のオン／オフを制御する。本明細書においてある画素列を「選択する」とは、その画素列が接続されている垂直信号線のスイッチ２１０をオンにすることである。

【0031】

垂直制御回路２０２が１画素行を選択している状態で、水平制御回路２０３が１画素列ごとに順次選択することにより、１画素行分の画素データを読み出すことができる。水平制御回路２０３は読み出した画素データをフレームメモリ２０６に順次記憶する。垂直制御回路２０２が選択する画素行を順次変更することにより、１画面（１フレーム）分の画素データ（画像データ）が読み出され、フレームメモリ２０６に記憶される。なお、垂直制御回路２０２は画素行を間引いて選択してもよい。また、垂直制御回路２０２が複数の画素行を選択できてもよい。本実施形態において、フレームメモリ２０６は、少なくとも２フレーム分の容量を有するものとする。

【0032】

垂直制御回路２０２および水平制御回路２０３の動作は、ＴＧ２０４が垂直制御回路２０２および水平制御回路２０３に与える制御信号によって制御される。また、ＴＧ２０４の動作は制御部１０４から制御可能である。

【0033】

補正部２０７は、フレームメモリ２０６に記憶されている画像データに対し、入射したフォトンの数と計数値との差を抑制するための補正処理を適用する。補正部２０７の構成および動作の詳細については後述する。

【0034】

デジタル出力部２０８は、補正部２０７によって補正処理が適用された画像データを撮像素子１００の外部に出力する。

【0035】

図２（ｂ）は、単位画素２０１の回路構成例を示す図である。単位画素２０１は、単一光子の検出が可能な受光素子の一例としてのアバランシェフォトダイオード（以下、単にフォトダイオードともいう）３０１を有する。フォトダイオード３０１をガイガーモードで動作させるため、フォトダイオード３０１にはクエンチトランジスタ３０２を介して降伏電圧より大きな逆バイアス電圧Ｖｂｉａｓが印加される。

【0036】

フォトダイオード３０１にフォトンが入射するとアバランシェ電流が発生する。クエンチトランジスタ３０２は、アバランシェ電流による電圧降下によって逆バイアス電圧を低下させ、フォトダイオード３０１のアバランシェ増倍現象を停止されるための抵抗素子として機能する。本実施形態では、クエンチトランジスタ３０２はＮＭＯＳトランジスタで構成される。

【0037】

反転バッファ３０３は、アバランシェ電流の発生に起因する電圧変化をパルス信号ＰＬＳとしてカウンタ回路３０４に出力する波形整形回路として機能する。フォトダイオード３０１、クエンチトランジスタ３０２および反転バッファ３０３は、フォトン入射を検知してパルス信号を生成する受光部を構成する。

【0038】

カウンタ回路３０４はパルス信号ＰＬＳがＬレベルからＨレベルに変化した回数を計数する。露光期間中の計数値は、画素データとしてスイッチ２０９を通じて垂直信号線に出力される。計数値を出力したカウンタ回路３０４は、ＴＧ２０４から不図示の配線を通じて供給される制御信号によりリセットされる。

【0039】

クエンチトランジスタ３０２のゲートには、パルス幅変更回路２０５から電圧Ｖｑｎｃが供給される。電圧Ｖｑｎｃを変化させてクエンチトランジスタ３０２のオン抵抗を制御することで、パルス信号ＰＬＳのパルス幅を制御することができる。パルス幅変更回路２０５は少なくとも２種類の電圧を供給可能に構成されている。パルス幅変更回路２０５が供給する電圧は、制御部１０４からの設定によって変更することができる。

【0040】

単位画素２０１のフォトダイオード３０１にフォトンが入射した際に、パルス信号ＰＬＳがどのように生成されるかについて、図３を用いて説明する。図３はフォトダイオード３０１のカソード電圧Ｖｏｕｔと、反転バッファ３０３の出力電圧（パルス信号ＰＬＳ）の経時変化の一例を示す図である。ここで、フォトダイオード３０１のカソード電圧Ｖｏｕｔは、フォトダイオード３０１に印加される逆バイアス電圧でもある。実線４０５はパルス幅変更回路２０５がクエンチトランジスタ３０２のゲートに所定の電圧Ｖｑｎｃ＝ＶＨを供給した状態におけるカソード電圧Ｖｏｕｔの波形である。

【0041】

時刻ｔ０においてフォトダイオード３０１には、降伏電圧Ｖｂｒより大きな逆バイアス電圧Ｖｂｉａｓが印加されており、ガイガーモードで動作している。そして、時刻ｔ４０１でフォトダイオード３０１にフォトンが入射すると、フォトダイオード３０１で生成されたキャリアがアバランシェ増倍現象を引き起こし、アバランシェ電流が発生する。このアバランシェ電流とクエンチトランジスタ３０２による電圧降下により、フォトダイオード３０１のカソード電圧Ｖｏｕｔが低下し始める。

【0042】

時刻ｔ４０２でＶｏｕｔが降伏電圧Ｖｂｒを下回るとアバランシェ増倍現象が停止する。そして、Ｖｂｉａｓを印加している電源からクエンチトランジスタ３０２を介して再充電が行われ、カソード電圧Ｖｏｕｔは上昇し始める。

【0043】

時刻ｔ４０３で再充電が完了すると、Ｖｏｕｔは再び逆バイアス電圧Ｖｂｉａｓに戻り、フォトダイオード３０１はガイガーモードになる。ここで、再充電に掛かる時間（時刻ｔ４０２とｔ４０３との差）は、クエンチトランジスタ３０２の抵抗値と寄生容量に依存する。

【0044】

ここで、一点鎖線４０６で示すＶｏｕｔの波形はパルス幅変更回路２０５がクエンチトランジスタ３０２のゲートにＶＨよりも低い電圧Ｖｑｎｃ＝ＶＬ＜ＶＨを供給した際のＶｏｕｔの電圧波形である。クエンチトランジスタ３０２のゲートに電圧Ｖｑｎｃ＝ＶＬを供給する場合、電圧Ｖｑｎｃ＝ＶＨを供給する場合よりもクエンチトランジスタ３０２のオン抵抗が高くなるため、再充電に掛かる時間が長くなる。そのため、クエンチトランジスタ３０２のゲートにＶｑｎｃ＝ＶＬを供給した場合、一点鎖線４０６に示すように時刻ｔ４０４で再充電が完了する。

【0045】

反転バッファ３０３の出力がＬレベルからＨレベル（またはＨレベルからＬレベル）に切り替わる閾値電圧をＶｔｈとする。そして、パルス信号ＰＬＳの幅は、クエンチトランジスタ３０２のオン抵抗に応じて変化する。具体的には、４０７は、ゲートに供給する電圧Ｖｑｎｃ＝ＶＨの場合に生成されるパルス信号ＰＬＳであり、パルス幅Ｔｄｓを有する。また、４０８は、ゲートに供給する電圧Ｖｑｎｃ＝ＶＬの場合に生成されるパルス信号ＰＬＳであり、パルス幅ＴｄＬを有する。そして、ＴｄＳ＜ＴｄＬの関係がある。このように、パルス幅変更回路２０５により、フォトンが入射した際に生成されるパルス信号ＰＬＳのパルス幅を制御することができる。

【0046】

図４は、フレームメモリ２０６と補正部２０７の機能ブロック図である。
フレームメモリ２０６は、パルス幅変更回路２０５からクエンチトランジスタ３０２に供給する電圧を異ならせて撮影された画像データを一時的に記憶する。ここでは、高い方の電圧（第１の電圧）を供給した状態で撮影した画像データを画像データＳｈｏｒｔ、低い方の電圧（第２の電圧）を供給した状態で撮影した画像データを画像データＬｏｎｇと表記する。画像データＳｈｏｒｔの撮影時におけるパルス信号ＰＬＳのパルス幅は、画像データＬｏｎｇの撮影時におけるパルス信号ＰＬＳのパルス幅よりも短い。図３の例でいえば、第１の電圧がＶＨ、第２の電圧がＶＬである。なお、画像データＳｈｏｒｔおよび画像データＬｏｎｇは例えば連続して撮影するなど、シーン変化の可能性が低い条件で撮影するものとする。

【0047】

補正部２０７は出力比算出部５０１とゲイン補正部５０２を備える。出力比算出部５０１は、フレームメモリ２０６に保持された画像データＳｈｏｒｔおよび画像データＬｏｎｇの対応する位置の画素データを比較し、値の比（出力比）を算出する。ゲイン補正部５０２は、出力比算出部５０１で算出した出力比に応じた補正係数を画像データＳｈｏｒｔに乗算するゲイン補正処理を適用する。ゲイン補正処理により、画像データＳｈｏｒｔを構成する画素データの値と入射光量との線形性が改善され、画質が向上する。なお、補正部２０７は例えばＦＰＧＡなどのハードウェア回路によって実現することができる。

【0048】

次に、補正部２０７の動作について図５および図７を用いてさらに説明する。
図５（ａ）はある単位画素について、フォトダイオード３０１に１秒間に入射するフォトンの数（入射フォトンレートＲｐｈ［ｐｈｏｔｏｎ／ｓ］）と、カウンタ回路３０４の計数値（画素データＯｕｔ）との関係例を示す図である。入射フォトンレートＲｐｈは、フォトダイオードの単位時間当たりの受光量に比例した値を有する。

【0049】

実線６０２は、パルス幅変更回路２０５がＶｑｎｃ＝ＶＨを供給した状態における、入射フォトンレートと画素データとの関係（入出力特性）の例を示している。また、一点鎖線６０３は、パルス幅変更回路２０５がＶｑｎｃ＝ＶＬを供給した状態における、入射フォトンレートと画素データとの関係例を示している。また、破線６０１は、入射フォトンレートと画素データとの理想的な関係を示している。

【0050】

図５（ａ）に示すように、入射フォトンレートが高くなると画素データと入射光量との乖離が大きくなる。これは、入射フォトンレートが高くなり、フォトンの入射間隔が短くなると、複数のパルス信号ＰＬＳが１つのパルス信号として計数される確率が高くなるからである。

【0051】

ここで、破線６０１に示す、入射フォトンレートＲｐｈと画素データＯｕｔ’との理想的な入出力特性は、式（１）のように表すことができる。
Ｏｕｔ’（ｘ，ｙ）＝Ｒｐｈ（ｘ，ｙ）×Ｔａｃｃ …（１）
ここで、ｘ、ｙは画素領域内のある単位画素の水平座標および垂直座標であり、Ｔａｃｃは、露光期間（すなわち、計数期間）の長さである。単位画素の座標は、例えば１フレームの画像データの左上角を原点（０，０）とし、右方向がｘ軸の正方向、下方向がｙ軸の正方向である直交座標系の座標であってよい。

【0052】

一方、実線６０２および一点鎖線６０３に示す入射フォトンレートＲｐｈと画素データＯｕｔとの入出力特性は、式（２）のように表すことができる。
Ｏｕｔ（ｘ，ｙ）＝Ｒｐｈ（ｘ，ｙ）×Ｔａｃｃ×ｅｘｐ（－Ｒｐｈ×Ｔｄ） …（２）
ここで、Ｔｄは、フォトンが入射した際に生成されるパルス信号ＰＬＳのパルス幅を示し、例えば実線６０２はＴｄ＝ＴｄＳ、一点鎖線６０３はＴｄ＝ＴｄＬに対応するものとする。

【0053】

パルス幅が長いほど、連続して発生したパルス信号が結合しやすくなるため、入射フォトンレートが高くなると理想的な関係からの乖離が大きく（理想の計数値と実際の計数値との差が大きく）なる。例えば、実線６０２に示す入出力特性では、６０４、６０５で示すように、異なる入射フォトンレートに対して画素データが同じ値になることがある。そのため、画素データの値から入射フォトンレートを推定し、破線６０１に示す理想的な画素信号値を求めることはできない。

【0054】

出力比算出部５０１は、フォトン１つの入射に対して生成されるパルス信号ＰＬＳの幅が異なる状態で撮影した２種類の画像データＳｈｏｒｔおよび画像データＬｏｎｇに基づいて、画素ごとに式（３）にしたがって出力比ｐ（ｘ，ｙ）を算出する。
ｐ（ｘ，ｙ）＝ＯｕｔＳ（ｘ，ｙ）／ＯｕｔＬ（ｘ，ｙ） …（３）
ここで、ＯｕｔＳ（ｘ，ｙ）、ＯｕｔＬ（ｘ，ｙ）はそれぞれ画像データＳｈｏｒｔ、画像データＬｏｎｇの画素データである。また、式（３）に式（２）を適用すると、以下の式（４）が得られる。
ｐ（ｘ，ｙ）＝ｅｘｐ｛Ｒｐｈ（ｘ，ｙ）×（ＴｄＬ－ＴｄＳ）｝ …（４）

【0055】

図５（ｂ）に式（４）で表される入射フォトンレートＲｐｈと出力比ｐとの関係例を示す。図示のとおり、式（４）は単調増加関数であり、出力比ｐは入射フォトンレートＲｐｈの増加に伴って増加する。これは、画像データの値からは入射フォトンレートＲｐｈが推定できないが、出力比ｐからは入射フォトンレートＲｐｈが推定できることを意味する。

【0056】

したがって、出力比ｐ（ｘ，ｙ）の大きさに応じた所定の補正係数（＞０）を画素データＯｕｔ（ｘ，ｙ）に乗算することにより、入射フォトンレートＲｐｈもしくは露光期間中の入射光量と画素データの値と関係を理想的な状態に近づけることができる。本実施形態では、画像データＳｈｏｒｔおよび画像データＬｏｎｇのうち、画像データＳｈｏｒｔに対して補正処理を適用する。これは、画像データＳｈｏｒｔの方が画像データＬｏｎｇよりも理想的な入出力特性に対する追従性が良好なことによる。

【0057】

画像データＳｈｏｒｔの画素データＯｕｔＳ（ｘ，ｙ）に適用する補正係数（ゲイン）をα（ｘ，ｙ）とすると、補正後の画素信号Ｏｕｔ’は以下の式（５）で表される。
Ｏｕｔ’（ｘ，ｙ）＝α（ｘ，ｙ）×ＯｕｔＳ（ｘ，ｙ） …（５）
なお、補正係数α（ｘ，ｙ）は式（１）～式（５）から、入射フォトンレートＲｐｈを用いずに、以下の式（６）で表すことができる。

【数1】

【0058】

このように、補正係数αは、計数値の比ｐと、パルス幅の差に基づく。したがって、入射フォトンレートＲｐｈが未知の状態であっても、出力比算出部５０１が算出する出力比ｐ（ｘ，ｙ）と、既知のパルス幅ＴｄＳ、ＴｄＬとを式（６）に適用することにより、画素データごとに適切な補正係数を得ることができる。

【0059】

図５（ｃ）に式（６）で示される出力比ｐ（ｘ，ｙ）と補正係数α（ｘ，ｙ）との関係例を示す。図５（ｃ）では、ＴｄＳ＝４ｎｓｅｃ、ＴｄＬ＝８ｎｓｅｃとした。ＴｄＳおよびＴｄＬの値、あるいはＴｄＳ／（ＴｄＬ－ＴｄＳ）の値はゲイン補正部５０２に予め記憶しておくことができる。なお、ＴｄＳおよびＴｄＬの温度依存性を補償するため、画素領域の温度を計測する構成を追加し、ゲイン補正部５０２が予め記憶された温度に応じたＴｄＳおよびＴｄＬを用いるようにしてもよい。

【0060】

なお、本実施形態では、画像データＳｈｏｒｔを補正するものとしたが、画像データＬｏｎｇを補正するための補正係数を以下の式（６）’に従って算出し、補正する構成にしてもよい。

【数2】

あるいは、画像データＳｈｏｒｔおよび画像データＬｏｎｇの両方に対して補正処理を適用したのち、それらを平均化してもよい。この場合、ノイズを低減効果が期待できる。 また、出力比算出部５０１が算出する出力比ｐは、画素ごとに求めた値を所定数の画素単位で平均化して用いてもよい。

【0061】

図６は、第１実施形態に係る撮影動作に関するフローチャートである。この動作は、例えば操作部１０８を通じて記録用の静止画の撮影指示が入力された際に実行することができる。なお、撮影指示の入力前に撮影レンズ１０２の焦点調節や撮影条件の決定が完了しているものとする。

【0062】

Ｓ８０１で制御部１０４は、画像データＳｈｏｒｔを取得するための撮影動作を実行する。具体的には、制御部１０４は、パルス幅変更回路２０５を、各単位画素２０１のクエンチトランジスタ３０２のゲートにＶｑｎｃ＝ＶＨの電圧を供給するように設定してから撮影動作を実行する。

【0063】

露光期間中、各単位画素２０１では、フォトダイオード３０１のカソード電圧の変化に基づいて生成されるパルス信号をカウンタ回路３０４で計数する。露光期間終了後、制御部１０４は撮像素子１００の読み出し制御を実行する。これにより、各単位画素２０１のカウンタ回路３０４から計数値が読み出され、画像データＳｈｏｒｔとしてフレームメモリ２０６に記憶される。その後、各単位画素２０１のカウンタ回路３０４の計数値は初期値にリセットされる。

【0064】

次に、Ｓ８０２で制御部１０４は、画像データＬｏｎｇを取得するための撮影動作を実行する。具体的には、制御部１０４は、パルス幅変更回路２０５を、各単位画素２０１のクエンチトランジスタ３０２のゲートにＶｑｎｃ＝ＶＬの電圧を供給するように設定してから撮影動作を実行する。ここで、撮影条件、特に露出時間（シャッタースピード）はＳ８０１での撮影時と同じである。
Ｓ８０１と同様にして読み出された計数値は、フレームメモリ２０６に画像データＬｏｎｇとして記憶される。

【0065】

制御部１０４は、２種類の画像データの撮影動作が終了すると、補正部２０７に対して補正処理を実行するように指示する。なお、補正部２０７は他のトリガによって補正処理を開始してもよい。

【0066】

Ｓ８０３で補正部２０７は、フレームメモリ２０６に保持された画像データＳｈｏｒｔおよび画像データＬｏｎｇに基づいて、図４～図５（ｃ）を参照して説明した補正係数の算出処理および補正処理を実行する。補正後の画像データがデジタル出力部２０８を通じて撮像素子１００から出力され、信号処理部１０１に供給される。信号処理部１０１は記録用の静止画データを生成する。記録用の静止画データは制御部１０４によって記録部１０７に記録される。

【0067】

なお、フレームメモリ２０６および補正部２０７は撮像素子１００の外部に設けてもよい。例えば、フレームメモリ２０６の代わりに図１のメモリ部１０５に画像データＳｈｏｒｔおよび画像データＬｏｎｇを保持し、制御部１０４が補正部２０７として補正処理を適用してもよい。

【0068】

また、本実施形態では、フォトン入射によって生成されるパルス信号の幅を異ならせた２種類の画像データを用いる構成について説明した。しかし、パルス信号の幅を異ならせた３種類以上の画像データを用いる構成としてもよい。この場合、例えば、異なる組み合わせの２種類の画像データに基づいて補正処理を行った画像データを複数生成し、それらを平均して最終的な画像データを得ることができる。

【0069】

なお、本実施形態では単位画素が有するクエンチトランジスタのゲートに印加する電圧を異ならせることで、フォトン入射ごとに生成されるパルス信号のパルス幅を制御する構成について説明した。しかし、異なる構成によってパルス信号のパルス幅を異ならせてもよい。

【0070】

図７（ａ）、（ｂ）はそれぞれ第１実施形態の変形例による単位画素９０１、９０４の回路図である。例えば、図７（ａ）に示す単位画素９０１では、フォトダイオード３０１のカソードと反転バッファ３０３との間と電源との間に、スイッチとしてのトランジスタ９０３とクエンチ抵抗９０２との直列回路が追加されている。そして、パルス幅変更回路２０５は、トランジスタ９０３のゲートに供給する電圧Ｖｃｏｎｔを制御してトランジスタ９０３のオンオフを制御する。トランジスタ９０３をオンするとクエンチ抵抗９０２がフォトダイオード３０１のカソード（Ｖｏｕｔ）に接続され、トランジスタ９０３がオフの場合よりも、図３のｔ４０２～ｔ４０３で示した再充電時間を短縮することができる。これにより、反転バッファ３０３から出力されるパルス信号ＰＬＳの幅を短くすることができる。このように、パルス信号ＰＬＤの幅を制御することは、逆バイアス電圧が所定の電圧から低下してアバランシェ増倍が停止してから、再び所定の電圧に戻るまでの時間（再充電時間）を制御することともいえる。

【0071】

また、図７（ｂ）に示す単位画素９０４は、容量９０５とスイッチとしてのトランジスタ９０６との直列回路が、フォトダイオード３０１のカソード（Ｖｏｕｔ）と反転バッファ３０３との間とグランドとの間に追加されている。そして、パルス幅変更回路２０５は、トランジスタ９０６のゲートに供給する電圧Ｖｃｏｎｔを制御してトランジスタ９０６のオンオフを制御する。トランジスタ９０６をオンすると容量９０５がフォトダイオード３０１のカソード（Ｖｏｕｔ）に接続され、トランジスタ９０６がオフの場合よりも、図３のｔ４０２～ｔ４０３で示した再充電時間を延長することができる。これにより、反転バッファ３０３から出力されるパルス信号ＰＬＳの幅を長くすることができる。

【0072】

本実施形態では、フォトンカウンティングタイプの撮像素子において、フォトンの入射によって生成されるパルス信号の幅が異なる条件で撮影された複数フレームの画像データの値に基づいて補正係数を算出し、画像データの値を補正するようにした。これにより、精度良くフォトンの入射レートを推定することができ、画像データの値を適切に補正することができる。

【0073】

●（第２実施形態）
次に、本発明の第２実施形態について説明する。第１実施形態では、フォトン入射により生成されるパルス信号の幅が異なる条件で複数フレームの画像データを取得する構成であった。本実施形態では、フォトン入射により生成されるパルス信号の幅を、画素領域内で異ならせることで、１フレーム分の画像データから補正係数を算出する。

【0074】

図８は、本実施形態における撮像素子１００’の回路構成例を示すブロック図である。図８において、第１実施形態における撮像素子１００と同じ構成については図２（ａ）と同じ参照数字を付して説明を省略する。なお、本実施形態の撮像素子１００’も第１実施形態で説明したデジタルカメラ１で用いるものとする。

【0075】

パルス幅変更回路１００１は、画素領域２００に配置された単位画素のうち、奇数行の単位画素１００４（が有するクエンチトランジスタ３０２）には配線１００２を介してＶｑｎｃ＝ＶＨの電圧を供給する。一方、パルス幅変更回路１００１は、画素領域２００に配置された単位画素のうち、偶数行の単位画素１００５（が有するクエンチトランジスタ３０２）には配線１００３を介してＶｑｎｃ＝ＶＬの電圧を供給する。

【0076】

この結果、奇数行の単位画素１００４（Ｓと表記）では、フォトン入射に応じてパルス幅ＴｄＳのパルス信号ＰＬＳが生成され、偶数行の単位画素１００５（Ｌと表記）では、フォトン入射に応じてパルス幅ＴｄＬ（＞ＴｄＳ）のパルス信号ＰＬＳが生成される。

【0077】

したがって、ある露光期間で１フレーム分の撮影を行った場合、単位画素１００４から得られる画像データを画像データＳｈｏｒｔとして、単位画素１００５から得られる画像データを画像データＬｏｎｇとして用いることができる。画像データＳｈｏｒｔおよび画像データＬｏｎｇの露光タイミングは同一（同時に撮影される）ため、撮影シーンの変化の影響を受けない出力比を得ることができる。また、１回の撮影でよいため、撮影時間を短縮し、かつ処理負荷を短縮することができる。

【0078】

したがって、撮像素子１００’を用いた場合、デジタルカメラ１の静止画撮影時の動作は、図６のＳ８０１において行った撮影で得られた１フレーム分の画像データを、画像データＳｈｏｒｔおよび画像データＬｏｎｇに分けてフレームメモリ２０６に保存する。そして、Ｓ８０２は実行せず、Ｓ８０３で第１実施形態と同様に補正処理を実行する。なお、Ｓ８０３での出力比の算出において、画像データＳｈｏｒｔおよび画像データＬｏｎｇで対応する位置の画素データは、実際には行方向に隣接する単位画素で得られたデータであるが、位置の違いが出力比に影響を与える可能性は非常に小さい。

【0079】

なお、本実施形態で得られる画像データＳｈｏｒｔおよび画像データＬｏｎｇは、行方向の解像度が第１実施形態に比べて半分になる。そのため、補正後の画像データについても行方向の解像度が第１実施形態に比べて半分になる。したがって、低照度環境下など、入射フォトンレートと計数値との乖離が問題にならない場合には、補正を行わないように構成してもよい。例えば、信号処理部１０１が生成する自動露出制御用の評価値に基づいて制御部１０４が低照度環境下の撮影か否かを判定し、低照度環境下の撮影と判定される場合には補正を行わないようにしてもよい。補正を行わない場合、制御部１０４はパルス幅変更回路１００１を、すべての単位画素に同一のＶｑｎｃ電圧（例えばＶｑｎｃ＝ＶＨ）を供給するように設定してから１フレーム分の撮影を実行する。あるいは、制御部１０４は、画素数優先の撮影モードが設定されている場合には補正を行わず、ダイナミックレンジ優先の撮影モードが設定されている場合には補正を行うことを決定してもよい。

【0080】

また、制御部１０４は、動画撮影時など、画素領域の解像度よりも低い解像度の画像データを生成する撮影モードや撮影条件が設定されている場合には補正を行うことを決定してもよい。この場合、必要に応じて補正部２０７は、補正後の画像データが指定の解像度となるようにリサイズ処理（基本的には解像度の低減処理）を適用してもよい。

【0081】

また、本実施形態では隣接する画素行ごとにパルス幅を異ならせる構成について説明したが、２行ずつなど、他の単位でパルス幅を異ならせてもよい。また、３種類以上のパルス幅を用いるようにしてもよい。さらに、第１および第２のパルス幅で１フレーム、第２および第３のパルス幅で１フレームといったように、パルス幅の異なる組み合わせで２フレーム以上の撮影を行ってもよい。この場合、複数フレーム分の補正後の画像データから、例えば平均化処理などによって最終的な１フレーム分の補正後の画像データを生成することができる。

【0082】

さらに、本実施形態においても、図７を参照して第１実施形態で説明したように、単位画素が有するクエンチトランジスタのゲートに印加する電圧を異ならせる代わりに、抵抗や容量を選択的に接続する構成を用いることができる。この場合、画像データＳｈｏｒｔを生成するための単位画素についてはトランジスタ９０３をオンし、画像データＬｏｎｇを生成するための単位画素についてはトランジスタ９０３をオフするように、パルス幅変更回路１００１からＶｃｏｎｔを供給すればよい。あるいは、画像データＳｈｏｒｔを生成するための単位画素についてはトランジスタ９０６をオフし、画像データＬｏｎｇを生成するための単位画素についてはトランジスタ９０６をオンするように、パルス幅変更回路１００１からＶｃｏｎｔを供給すればよい。

【0083】

本実施形態では、フォトン入射により生成されるパルス信号の幅を、所定単位の単位画素ごとに異ならせるようにした。そのため、第１実施形態と同様の効果に加え、撮影時間の短縮、処理負荷の軽減といった効果が得られる。

【0084】

●（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態では、フォトン入射により幅の異なる複数のパルス信号を生成するように単位画素を構成することにより、１フレームの撮影によって補正係数を算出可能とした。

【0085】

図９（ａ）は、本実施形態における撮像素子１００”の回路構成例を示すブロック図である。図９（ａ）において、第１実施形態における撮像素子１００と同じ構成については図２（ａ）と同じ参照数字を付して説明を省略する。なお、本実施形態の撮像素子１００”も第１実施形態で説明したデジタルカメラ１で用いるものとする。撮像素子１００”は、パルス幅変更回路２０５を備えておらず、単位画素１１０１が幅の異なるパルス信号を生成可能に構成されている。

【0086】

図９（ｂ）は、本実施形態の単位画素１１０１の回路構成例を示す図であり、第１実施形態の単位画素２０１と同じ構成要素には同じ参照数字を付して説明を省略する。
単位画素１１０１はパルス幅変更回路１２０２を有している。パルス幅変更回路１２０２は反転バッファ３０３の出力であるパルス信号ＰＬＳＳのパルス幅を延長することにより、パルス信号ＰＬＳＳと異なるパルス幅のパルス信号ＰＬＳＬを生成する。パルス幅変更回路１２０２は、例えば、遅延素子としての反転バッファ群１２０６とＯＲ回路１２０７で構成される。パルス信号ＰＬＳＳとその遅延信号の論理和信号を生成することにより、パルス幅を延長したパルス信号ＰＬＳＬを生成する。

【0087】

カウンタ回路３０４は、フォトン入射に応じて反転バッファ３０３から出力されたパルス信号ＰＬＳＳのパルス数を計数する。また、カウンタ回路１２０４は、パルス幅変更回路１２０２が生成するパルス信号ＰＬＳＬのパルス数を計数する。セレクタ１２０５はカウンタ回路３０４および１２０４の計数値のうち、単位画素１１０１から出力する計数値を切り替える。セレクタ１２０５は、ＴＧ２０４から供給される切り替え信号ＳＥＬに応じて、カウンタ回路３０４および１２０４の一方の計数値を出力する。

【0088】

図１０に、単位画素１１０１のフォトダイオード３０１にフォトンが入射した際のカソード電圧Ｖｏｕｔ、およびパルス信号ＰＬＳＳ、ＰＬＳＬの波形の一例を示す。図１０において、時刻ｔ１３０１～１３０４にフォトンが入射したものとする。バイアス電圧Ｖｂｉａｓや閾値電圧Ｖｔｈは第１実施形態（図３）と同じとする。また、クエンチトランジスタ３０２のゲートにはＶｑｎｃ＝ＶＨが例えば垂直制御回路２０２から制御信号線を通じて印加されているものとする。

【0089】

フォトンの入射によって反転バッファ３０３では、パルス幅ＴｄＳのパルス信号ＰＬＳＳが生成される。パルス信号ＰＬＳＳはパルス幅変更回路１２０２入力され、パルス幅ＴｄＬに伸長されたパルス信号ＰＬＳＬとして出力される。そのため、時刻ｔ１３０３およびｔ１３０４のように短い間隔でフォトンが入射した場合、個々のフォトン入射によって生成されるパルス信号が結合する確率は、パルス信号ＰＬＳＬの方がパルス信号ＰＬＳＳよりも高くなる。そのため、単位時間あたりの受光量が大きい、すなわち入射フォトンレートが高い状態では、パルス信号ＰＬＳＳについてカウンタ回路３０４で得られる計数値よりも、パルス信号ＰＬＳＬについてカウンタ回路１２０４で得られる計数値の方が小さくなる。したがって、両者の計数値の比を第１実施形態における出力比として用いることができる。

【0090】

したがって、撮像素子１００”を用いた場合、デジタルカメラ１の静止画撮影時の動作は、図６のＳ８０１において、制御部１０４は、各単位画素１１０１からカウンタ回路３０４の計数値を読み出して画像データＳｈｏｒｔとしてフレームメモリ２０６に保存する。次いで制御部１０４は、各単位画素１１０１からカウンタ１２０４の計数値を読み出して画像データＬｏｎｇとしてフレームメモリ２０６に保存する。そして、制御部１０４はカウンタ回路３０４および１２０４の計数値を初期化する。

【0091】

本実施形態においてもＳ８０２の実行は不要である。したがって、Ｓ８０１が終了すると、Ｓ８０３で補正部２０７が補正処理を実行する。補正処理の内容は第１実施形態と同様であるため、説明を省略する。

【0092】

本実施形態では、フォトンの入射に応答して異なるパルス幅を有するパルス信号の生成ならびに計数を行う構成を各単位画素に設けた。本実施形態の構成によっても、第１実施形態と同様の効果が実現できる。さらに、１回の撮影で画像データＳｈｏｒｔおよび画像データＬｏｎｇが得られるため、第２実施形態の効果も実現できる。さらに、本実施形態では第２実施形態と異なり、画像データＳｈｏｒｔおよび画像データＬｏｎｇの解像度が低下しないため、補正後の画像データの解像度も低下しないというさらなる利点がある。

【0093】

●（第４実施形態）
次に、本発明の第４実施形態について説明する。第１実施形態から第３実施形態では、補正係数の算出に用いる画像データを取得する際の撮影条件は同一もしくは実質的に同一であった。本実施形態では、撮影条件を異ならせて取得した画像データを用いて補正係数を算出する。

【0094】

具体的には、パルス信号の発生頻度が異なる複数の撮影条件で取得した画像データを用いる。ここで、パルス信号の発生頻度とは、単位時間あたりに反転バッファ３０３から出力されるパルス信号ＰＬＳの数（ＬレベルからＨレベル（または逆）への変化回数）である。例えば、単位時間あたりの受光量が大きい（入射フォトンレートが高い）場合、パルス信号の発生頻度は高くなる。

【0095】

本実施形態は、補正部２０７の動作を除いて第１実施形態と共通であってよいため、第１実施形態で用いた図をここでも参照して説明する。

【0096】

図１１は、本実施形態におけるフレームメモリ２０６と補正部１４０２の機能ブロック図である。
フレームメモリ２０６は、所定の撮影条件で撮影することで得られた画像データを画像データＨｉｇｈ、所定の撮影条件よりもパルス信号の発生頻度が低い撮影条件で撮影することで得られた画像データを画像データＬｏｗとして一時的に保持する。なお、撮影時にパルス幅変更回路２０５がクエンチトランジスタ３０２に供給するＶｑｎｃに変化はなく、例えばＶｑｎｃ＝ＶＨであってよい。したがって、本実施形態ではフォトン入射に応じて生成されるパルス信号のパルス幅は撮影条件によらず共通である。

【0097】

例えば制御部１０４は、図６の撮影動作において、Ｓ８０１ではＮＤフィルタを使用せずに撮影を行い、Ｓ８０２ではＮＤフィルタを使用して撮影を行うことで、画像データＨｉｇｈと画像データＬｏｗを得ることができる。ここで、ＮＤフィルタを「使用」した撮影とは、透過率が固定のＮＤフィルタ１１０が第１の位置にある状態、あるいは透過率が可変のＮＤフィルタ１１０の透過率が最小の状態での撮影である。また、ＮＤフィルタを「使用しない」撮影とは、透過率が固定のＮＤフィルタ１１０が第２の位置にある状態、あるいは透過率が可変のＮＤフィルタ１１０の透過率が最小でない状態での撮影である。あるいは、制御部１０４は、Ｓ８０２での撮影が、Ｓ８０１での撮影条件よりもパルス発生頻度が低い撮影条件となるように、絞り値を変更してもよい。また、このときパルス発生頻度が低下した分、シャッタースピードを長くしたり、撮影感度を高くしてＳ８０１での撮影条件と同一の露出量になるように調整してもよい。

【0098】

補正部１４０２は、出力比算出部１４０３とゲイン補正部１４０４を備える。出力比算出部１４０３は、フレームメモリ２０６に保持された画像データＨｉｇｈおよび画像データＬｏｗの対応する位置の画素データを比較し、値の比（出力比）を算出する。ゲイン補正部１４０４は、出力比算出部１４０３で算出した出力比に応じた補正係数を画像データＬｉｇｈに乗算するゲイン補正処理を適用する。

【0099】

次に、補正部１４０２での補正計数の算出方法について図１２を参照して説明する。
図１２は、図５（ａ）と同様に、ある単位画素について、フォトダイオード３０１に１秒間に入射するフォトンの数（入射フォトンレートＲｐｈ［ｐｈｏｔｏｎ／ｓ］）と、カウンタ回路３０４の計数値（画素データＯｕｔ）との関係例を示す図である。

【0100】

実線１５０１はパルス幅変更回路２０５が例えばＶｑｎｃ＝ＶＨを供給した状態における、入射フォトンレートと画素データとの関係（入出力特性）の例を示している。また、破線１５０２は、入射フォトンレートと画素データとの理想的な関係を示している。したがって、実線１５０１の入出力特性は、第１実施形態で述べた式（２）で表すことができる。また、破線１５０２は第１実施形態で述べた式（１）で表すことができる。

【0101】

ここで、図１２に示す入射フォトンレートＲｐｈ１、Ｒｐｈ２はそれぞれ画像データＬｏｗおよび画像データＨｉｇｈを取得する際の撮影条件に対応しているものとする。ここで、例えばＮＤデータの使用時と未使用時とで、入射フォトンレートＲｐｈにｂ倍の差があるとすると、以下の関係が成り立つ。
Ｒｐｈ２（ｘ，ｙ）＝ｂ×Ｒｐｈ１（ｘ，ｙ） …（７）
ここで、ｘ、ｙは第１実施形態で説明したように、画素領域内のある単位画素の水平座標および垂直座標である。

【0102】

単位画素（ｘ，ｙ）において、入射フォトンレートがＲｐｈ１の時に得られる画素データの値（計数値）をＯｕｔ１（ｘ，ｙ）、入射フォトンレートがＲｐｈ２の時に得られる画素データの値（計数値）をＯｕｔ２（ｘ，ｙ）とする。Ｏｕｔ１（ｘ，ｙ）およびＯｕｔ２（ｘ，ｙ）は、式（２）を用いて以下のように表させる。
Ｏｕｔ１（ｘ，ｙ）＝Ｒｐｈ１（ｘ，ｙ）×Ｔａｃｃ×ｅｘｐ（－Ｒｐｈ１×Ｔｄ）…（８）
Ｏｕｔ２（ｘ，ｙ）＝Ｒｐｈ２（ｘ，ｙ）×Ｔａｃｃ×ｅｘｐ（－Ｒｐｈ２×Ｔｄ）…（９）
ここで、Ｔｄは単位画素にフォトンが入射した際に反転バッファ３０３から出力されるパルス信号のパルス幅である。また、Ｔａｃｃは画像データＨｉｇｈおよび画像データＬｏｗの露光時間である。なお、ここでは、画像データＨｉｇｈおよび画像データＬｏｗの露光時間は同一としたが、異なっていてもよい。

【0103】

出力比算出部１４０３は、画像データＨｉｇｈと画像データＬｏｗの対応する画素データの値を用いて、画素ごとに以下の式で示す出力比ｐを算出する。
ｐ（ｘ，ｙ）＝Ｏｕｔ２（ｘ，ｙ）／Ｏｕｔ１（ｘ，ｙ） …（１０）

【0104】

また、ゲイン補正部１４０４が画像データＨｉｇｈの画素値を補正するための補正係数をβとすると、補正後の画素データＯｕｔ’は以下の式で表される。
Ｏｕｔ’（ｘ，ｙ）＝β（ｘ，ｙ）×Ｏｕｔ２（ｘ，ｙ） …（１１）
したがって、補正係数βは式（７）～（１１）を使って以下の式（１２）で表すことができる。

【数3】

【0105】

式（１２）に示すように、補正係数βは、計数値の比ｐと、パルス信号の発生頻度の比ｂに基づく。したがって、入射フォトンレートＲｐｈが未知の状態であっても、出力比算出部１４０３が算出する出力比ｐ（ｘ，ｙ）と、撮影条件によって入射フォトンレートＲｐｈが何倍変化するかを示す値ｂとから、画素データごとに適切な補正係数を得ることができる。なお、入射フォトンレートと入射光量とは比例関係にあるものと考えられるため、例えば、ＮＤフィルタが光量を１／Ｎにする濃度を有する場合、Ｎをｂとして用いることができる。また、画像データＨｉｇｈの撮影条件と、画像データＬｏｗの撮影条件がＡＰＥＸ単位においてＭ段分の差を有する場合、２^Ｍをｂとして用いることができる。ＮＤフィルタの特性や、撮影条件をどのように異ならせるかは既知の情報としてゲイン補正部１４０４に予め記憶しておくことができる。

【0106】

したがって、ゲイン補正部１４０４は、出力比算出部１４０３が算出した出力比ｐと、予め記憶されたｂの値とを用い、式（１２）にしたがって得られる補正係数を画像データＨｉｇｈの各画素値に乗算し、補正後の画像データを生成する。このようにして、入射光量に対する計数値の線形性を改善した画像データを得ることができる。

【0107】

図１３は、本実施形態に係る撮影動作に関するフローチャートである。この動作は、例えば操作部１０８を通じて記録用の静止画の撮影指示が入力された際に実行することができる。なお、撮影指示の入力前に撮影レンズ１０２の焦点調節や撮影条件の決定が完了しているものとする。

【0108】

Ｓ１６０１で制御部１０４は、画像データＨｉｇｈを取得するための撮影動作を実行する。制御部１０４は、例えばＮＤフィルタ１１０を第２の位置に保持して（使用せずに）、所定の撮影条件（例えば自動露出制御によって得られた適正露出条件）で撮影動作を実行する。

【0109】

露光期間中、各単位画素２０１では、フォトダイオード３０１のカソード電圧の変化に基づいて生成されるパルス信号をカウンタ回路３０４で計数する。露光期間終了後、制御部１０４は撮像素子１００の読み出し制御を実行する。これにより、各単位画素２０１のカウンタ回路３０４から計数値が読み出され、画像データＨｉｇｈとしてフレームメモリ２０６に記憶される。その後、各単位画素２０１のカウンタ回路３０４の計数値は初期値にリセットされる。

【0110】

次に、Ｓ１６０２で制御部１０４は、画像データＬｏｗを取得するための撮影動作を実行する。制御部１０４は例えば、撮影条件は変更せずに、ＮＤフィルタ制御部１０９によってＮＤフィルタ１１０を第１の位置に移動させて撮影動作を実行する。あるいは制御部１０４は、ＮＤフィルタ１１０は第２の位置に保持したまま、露出条件を所定段数露出アンダーになるように変更して、撮影動作を実行する。これにより、Ｓ１６０１よりもパルス発生頻度が低い状態での撮影が行われる。Ｓ１６０１と同様にして読み出された計数値は、フレームメモリ２０６に画像データＬｏｗとして記憶される。

【0111】

制御部１０４は、２種類の画像データの撮影動作が終了すると、補正部１４０２に対して補正処理を実行するように指示する。なお、補正部１４０２は他のトリガによって補正処理を開始してもよい。

【0112】

Ｓ１６０３で補正部１４０２は、フレームメモリ２０６に保持された画像データＨｉｇｈおよび画像データＬｏｗに基づいて、図１１および図１２を参照して説明した補正係数の算出処理および補正処理を実行する。補正後の画像データがデジタル出力部２０８を通じて撮像素子１００から出力され、信号処理部１０１に供給される。信号処理部１０１は記録用の静止画データを生成する。記録用の静止画データは制御部１０４によって記録部１０７に記録される。

【0113】

なお、本実施形態においてもフレームメモリ２０６および補正部１４０２は撮像素子１００の外部に設けてもよい。例えば、フレームメモリ２０６の代わりに図１のメモリ部１０５に画像データＨｉｇｈおよび画像データＬｏｗを保持し、制御部１０４が補正部１４０２として補正処理を適用してもよい。

【0114】

なお、ゲイン補正部１４０４は画像データＨｉｇｈに対して補正処理を行う構成であったが、画像データＬｏｗに対して補正処理を行う構成にしてもよい。

【0115】

また、本実施形態では露光量の異なる撮影条件（絞り値、シャッタスピード、撮影感度の１つ以上）を用いたり、ＮＤフィルタの使用・不使用を切り替えたりしてパルス発生頻度または入射フォトンレートの異なる状態を実現した。しかし、他の方法を用いてもよい。

【0116】

例えば、各単位画素のフォトダイオード３０１に印加する逆バイアス電圧Ｖｂｉａｓの大きさを異ならせてもよい。逆バイアス電圧Ｖｂｉａｓを高くすると、フォトダイオード３０１のフォトン検出感度が高まるため、パルス発生頻度を高くすることができる。また、画素領域にフォトダイオード３０１の受光面積の異なる２種類の単位画素を（例えば１行ごとに）配置してもよい。相対的に大きな受光面積を有する単位画素から得られる計数値を画像データＨｉｇｈ、相対的に小さな受光面積を有する単位画素から得られる計数値を画像データＬｏｗとして用いることができる。この場合、第２実施形態と同様、１回の撮影で画像データＨｉｇｈおよび画像データＬｏｗが得られる。出力比の算出についても第２実施形態と同様に行うことができる。

【0117】

また、第１実施形態と同様、パルス発生頻度または入射フォトンレートを異ならせた３種類以上の画像データを用いる構成としてもよい。この場合、例えば、異なる組み合わせの２種類の画像データに基づいて補正処理を行った画像データを複数生成し、それらを平均して最終的な画像データを得ることができる。

【0118】

本実施形態では、パルス発生頻度または入射フォトンレートの異なる状態で撮影された画像データの出力比を用いて補正係数を算出するようにした。本実施形態でも第１実施形態と同様の効果が得られる。ＮＤフィルタや撮影条件を変更する構成では、パルス幅を変更する構成よりも簡便であるという利点がある。

【0119】

●（第５実施形態）
次に、本発明の第５実施形態について説明する。本実施形態では、第１実施形態で説明したパルス幅変更回路２０５を備えた撮像素子１００を用い、動画撮影中に自動露出制御を行うことが可能な撮像装置について説明する。

【0120】

図１４は、本発明の第５実施形態に係るデジタルカメラ１’の機能ブロック図であり、第１実施形態で説明したデジタルカメラ１と同じ構成要素には同じ参照数字を付して説明を省略する。

【0121】

デジタルカメラ１’の制御部１０４’は露出制御部１７０１を備える点で第１実施形態と異なる。露出制御部１７０１は、制御部１０４’がプログラムを実行することによって実現する露出制御に関する機能を、１つの機能ブロックとして記載したものである。したがって、本明細書において説明される、露出制御部１７０１が実行する動作の実体的な動作主体は制御部１０４’である。

【0122】

露出制御部１７０１は撮像素子１００が撮影した動画データを構成するフレーム画像データに基づいて、適正露出量またはユーザーが操作部１０８を介して設定した露出量になるように絞り値、露光時間、撮影感度、ＮＤフィルタの使用・非使用などを決定する。

【0123】

撮像素子１００の回路構成は図２（ａ）を用いて説明した通りである。動画撮影時には、各フレームで補正係数を算出することが困難であるため、所定フレーム数ごとに、パルス幅を変更した状態でも撮影を行い、画素値が本来あるべき値よりも低下しているか否かを判定する。画素値の低下が発生していると判定される場合は、露出条件を変更したりＮＤフィルタを用いたりして、パルス発生頻度または入射フォトンレートを下げ、画素値と理想値との乖離を抑制する。

【0124】

図１５は本実施形態における動画撮影中の露出制御動作に関するフローチャートである。この動作は、ライブビュー表示用もしくは記録用の動画撮影時に実行することができる。
Ｓ１８０１で制御部１０４’は、パルス幅変更回路２０５に対する設定がＶｑｎｃ＝ＶＬとなるよう、必要に応じて変更してから、１フレーム分の撮影動作を実行する。得られた画像データは、画像データＬｏｎｇとしてフレームメモリ２０６に保存する。

【0125】

Ｓ１８０２で制御部１０４’は、撮影したフレームが予め定められた出力低下判定フレームであるか否かを判定する。出力低下判定フレームは予め定められた所定数をｎ（ｎは２以上の整数）とすると、撮影開始からｎ×ｍ（ｍは１以上の整数）番目のフレームであってよい。

【0126】

撮影したフレームが出力低下判定フレームでない場合、制御部１０４’はＳ１８０３を実行し、通常の露出制御を行う。具体的には、露出制御部１７０１がＳ１８０１で得られた画像データＬｏｎｇの所定領域に含まれる画素データの平均値を輝度情報として算出し、輝度情報に基づいて、適正露出もしくはユーザが設定した露出量が得られるような撮影条件を決定する。露出条件はＮＤフィルタの使用有無を含む。ここで、Ｓ１８０２で実施する、画像データＬｏｎｇに基づく露出制御を第１の露出制御モードと呼ぶ。なお、ここでは露出制御部１７０１が輝度情報を取得するものとしたが、信号処理部１０１で生成した評価値を用いてもよい。

【0127】

一方、Ｓ１８０１で撮影したフレームが出力低下判定フレームである場合、制御部１０４’はＳ１８０４を実行する。Ｓ１８０４で制御部１０４’は、パルス幅変更回路２０５に対する設定がＶｑｎｃ＝ＶＨとなるように変更してから、１フレーム分の撮影動作を実行する。得られた画像データは、画像データＳｈｏｒｔとしてフレームメモリ２０６に保存する。このように、Ｓ１８０４での撮影では、Ｓ１８０１での撮影と、パルス幅変更回路２０５が供給するＶｑｎｃを異ならせる。これにより、フォトン入射に応じて生じる電流に基づいて生成されるパルス信号ＰＬＳのパルス幅が異なる状態で露光期間中に計数されたパルス数に基づく１組の画像データが得られる。

【0128】

Ｓ１８０５で制御部１０４’は、Ｓ１８０１で取得した画像データＬｏｎｇとＳ１８０４で取得した画像データＳｈｏｒｔを用いて、画素値の出力低下が発生しているか否かを判定する。制御部１０４’は、例えば画像データＳｈｏｒｔの所定領域に含まれる画素の平均値ａｖｅＳと、画像データＬｏｎｇで同じ所定領域に含まれる画素の平均値ａｖｅＬとを算出し、これら平均値の差を、出力低下判定値Δａｖｅとして算出する。すなわち、Δａｖｅ＝ａｖｅＳ－ａｖｅＬである。画像データＬｏｎｇの方が画像データＳｈｏｒｔよりも画素値の低下が発生しやすいため、ａｖｅＳからａｖｅＬを減じている。なお、所定領域は例えば画像中央部のような固定領域であってもよいし、信号処理部１０１で検出された顔領域やユーザが指定した領域であってもよい。また、画素値の出力低下は高輝度部で発生しやすいため、値が高い画素を多く含んだ領域を設定してもよい。

【0129】

制御部１０４’は、出力低下判定値Δａｖｅが所定の閾値以下であれば、入射フォトンレートが高いことによる画素信号の出力低下が発生していないと判定し、Ｓ１８０７を実行する。一方、制御部１０４’は、出力低下判定値Δａｖｅが所定の閾値より大きい場合は、入射フォトンレートが高いことによる画素信号の出力低下が発生していると判定し、Ｓ１８０６を実行する。

【0130】

Ｓ１８０６で制御部１０４’は、露出量を維持しつつ、入射フォトンレートが低下するように、撮影条件を変更する。例えば制御部１０４’は、ＮＤフィルタを用いるようにしたり、現在の撮影条件から絞り値を大きくしたりする。このとき、露出量を維持するため、同時に露光時間を長くしたり、撮影感度を上げたりする。第４実施形態の画像データＬｏｗの撮影条件とは異なり、画像データＬｏｎｇの撮影と露出量に変更はない。ここで、画像データＬｏｎｇおよび画像データＳｈｏｒｔを用いてＳ１８０５、Ｓ１８０６で行う露出制御を第２の露出制御モードと呼ぶ。

【0131】

ここで、撮影条件をどの程度、またはどのように変更するかは、出力低下判定値Δａｖｅの大きさに応じて予め実験的に決定し、出力低下判定値Δａｖｅの大きさにと関連づけてメモリ部１０５のＲＯＭに記憶しておくことができる。

【0132】

Ｓ１８０７で制御部１０４’は、操作部１０８を通じて動画撮影の終了指示が入力されているか否かを判定し、終了指示の入力が検出されなければＳ１８０１からの処理を繰り返し実行する。一方、終了指示が検出された場合、制御部１０４’は撮影処理を終了する。

【0133】

なお、ここで説明した露出制御処理は、動画の記録や表示処理と並行して実行される。そして、記録用や表示用の動画は画像データＬｏｎｇに基づいて生成される。Ｓ１８０４で撮影される画像データＳｈｏｒｔは記録や表示には用いなくてもよいが、フレームレートを維持するために必要な場合などには記録や表示に用いてもよい。

【0134】

本実施形態によれば、動画撮影時には間欠的に第２の露出制御モードで露出制御を行うことで、シーンの明るさが変化しても、入射フォトンレートが高くなり過ぎないように露出条件が随時調整される。そのため、動画撮影時のように経時的にシーンの明るさが変わりうる撮影においても、明るさの変化に起因する画質の低下を抑制することができる。

【0135】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0136】

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0137】

２００…画素領域、２０１…単位画素、２０２…垂直制御回路、２０３…水平制御回路、２０４…タイミング発生回路、２０５…パルス幅変更回路、２０６…フレームメモリ、２０７…補正部、２０８…デジタル出力部、２０９、２１０…スイッチ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】