特許 7457473 撮像装置及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-19

(45)【発行日】2024-03-28

(54)【発明の名称】撮像装置及びその制御方法

(51)【国際特許分類】

   H04N 25/44 20230101AFI20240321BHJP

   H04N 25/46 20230101ALI20240321BHJP

   H04N 25/445 20230101ALI20240321BHJP

   H04N 25/70 20230101ALI20240321BHJP

   H04N 25/616 20230101ALI20240321BHJP

   H04N 23/54 20230101ALI20240321BHJP

   H04N 23/60 20230101ALI20240321BHJP

【ＦＩ】

H04N25/44

H04N25/46

H04N25/445

H04N25/70

H04N25/616

H04N23/54

H04N23/60

【請求項の数】 8

(21)【出願番号】P 2019166493

(22)【出願日】2019-09-12

(65)【公開番号】P2021044747

(43)【公開日】2021-03-18

【審査請求日】2022-08-31

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】渡邉 忍

【審査官】三沢 岳志

(56)【参考文献】

【文献】米国特許出願公開第２００９／００６６７８２（ＵＳ，Ａ１）

【文献】特開２０１０－１７１６６６（ＪＰ，Ａ）

【文献】特開２０１５－０４１８９０（ＪＰ，Ａ）

【文献】特開２０１７－０６０１５５（ＪＰ，Ａ）

【文献】特開２０１４－１７８６０３（ＪＰ，Ａ）

【文献】特開２０１６－２２４２７８（ＪＰ，Ａ）

【文献】特開２０１７－０９８９０３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／４４

Ｈ０４Ｎ ２５／４６

Ｈ０４Ｎ ２５／４４５

Ｈ０４Ｎ ２５／７０

Ｈ０４Ｎ ２５／６１６

Ｈ０４Ｎ ２３／５４

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

複数の画素が配置された画素部を有する撮像手段と、
前記画素部を複数の分割領域に分割し、前記分割領域ごとに、画素数を減らして得られた信号に基づいて被写体変化を検出する検出手段と、
前記被写体変化に基づいて、前記撮像手段の撮影モードの選択及び変更を行う制御手段と、
を備え、
前記検出手段は、前記分割領域ごとに、前記画素部の信号から前記画素部をリセットしたときの信号を差し引く動作を行わずに得られた信号に基づいて前記被写体変化を検出し、
前記撮像手段と、前記検出手段と、前記制御手段とが、撮像装置が備える撮像素子内に配置されており、
前記制御手段は、前記検出手段が被写体変化を検出する検出モードであって、前記画素部からの信号を前記撮像素子の外部に出力しない検出モードと、前記画素部からの信号を前記撮像素子の外部に出力する撮影モードとをさらに切り替えることを特徴とする撮像装置。

【請求項2】

前記検出手段は、前記分割領域の内部に配置された画素の信号を混合した信号に基づいて前記被写体変化を検出することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記検出手段は、前記分割領域の内部に配置された画素の信号を間引いた信号に基づいて前記被写体変化を検出することを特徴とする請求項１に記載の撮像装置。

【請求項4】

前記検出手段は、前記撮像手段で過去に得られた前記分割領域からの信号と、それに対応する前記分割領域で新たに得られた信号との差に基づいて前記被写体変化を検出することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。

【請求項5】

前記撮像素子は、複数の半導体基板を積層した積層構造を有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。

【請求項6】

前記画素部の画素数を減らさずに得られた信号に基づく画像を記録することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。

【請求項7】

前記画素部の信号から前記画素部をリセットしたときの信号を差し引いて得られた信号に基づく画像を記録することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。

【請求項8】

複数の画素が配置された画素部を有する撮像手段を備える撮像装置を制御する方法であって、
検出手段が、前記画素部を複数の分割領域に分割し、前記分割領域ごとに、画素数を減らして得られた信号に基づいて被写体変化を検出する検出工程と、
制御手段が、前記被写体変化に基づいて、前記撮像手段の撮影モードの選択及び変更を行う制御工程と、
を有し、
前記検出工程では、前記分割領域ごとに、前記画素部の信号から前記画素部をリセットしたときの信号を差し引く動作を行わずに得られた信号に基づいて前記被写体変化を検出し、
前記撮像手段と、前記検出手段と、前記制御手段とが、撮像装置が備える撮像素子内に配置されており、
前記制御工程では、前記検出手段が被写体変化を検出する検出モードであって、前記画素部からの信号を前記撮像素子の外部に出力しない検出モードと、前記画素部からの信号を前記撮像素子の外部に出力する撮影モードとをさらに切り替えることを特徴とする撮像装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及びその制御方法に関するものである。

【背景技術】

【0002】

観測、監視等を目的として自動で撮像を行う撮像装置として、前後フレーム間での輝度値の差分を用いて被写体変化を検出し、被写体が変化したことを判断して、撮影および記憶動作を開始する撮像装置が提案されている。

【0003】

特許文献１には、通常の撮影時とは異なる撮影駆動モードで被写体変化を検出する撮像装置が開示されている。被写体変化の検出を行うモードでは、撮像素子の画素を複数のブロックに分割し、そのブロック単位で画素を混合したアナログ信号をＡＤ変換することにより、ＡＤ変換の回数を減らして消費電力を低減させている。そして、通常の撮影時よりも低いフレームレートでデータ出力を行うことにより消費電力の抑制を実現している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－２２９３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１のようにフレーム間の差分を算出してイベントとしての被写体変化を検出して撮像を行う撮像装置において、さらなる消費電力を削減しながら検出精度を落とすことなく被写体変化の検出を行うことを可能とするように工夫する余地がある。

【0006】

本発明は上述した課題に鑑みてなされたものであり、その目的は、被写体変化を検出して撮像を行う撮像装置において、被写体変化を適切に検出しつつ消費電力の削減も図ることのできる撮像装置を提供することである。

【課題を解決するための手段】

【0007】

本発明に係わる撮像装置は、複数の画素が配置された画素部を有する撮像手段と、前記画素部を複数の分割領域に分割し、前記分割領域ごとに、画素数を減らして得られた信号に基づいて被写体変化を検出する検出手段と、前記被写体変化に基づいて、前記撮像手段の撮影モードの選択及び変更を行う制御手段と、を備え、前記検出手段は、前記分割領域ごとに、前記画素部の信号から前記画素部をリセットしたときの信号を差し引く動作を行わずに得られた信号に基づいて前記被写体変化を検出し、前記撮像手段と、前記検出手段と、前記制御手段とが、撮像装置が備える撮像素子内に配置されており、前記制御手段は、前記検出手段が被写体変化を検出する検出モードであって、前記画素部からの信号を前記撮像素子の外部に出力しない検出モードと、前記画素部からの信号を前記撮像素子の外部に出力する撮影モードとをさらに切り替えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、被写体変化を検出して撮像を行う撮像装置において、被写体変化を適切に検出しつつ消費電力の削減も図ることが可能となる。

【図面の簡単な説明】

【0009】

【図1】本発明の撮像装置の一実施形態であるデジタルカメラの構成を示すブロック図。

【図2】撮像素子の構成例を示すブロック図。

【図3】撮像素子の多層構造を示す図。

【図4】画素部の構成例を示す図。

【図5】画素ブロックの構成例を示す図。

【図6】イベント検出部の構成例を示す図。

【図7】ＡＤ変換回路の構成例を示す図。

【図8】画素部の画素ブロック毎による信号出力の一例を示した図。

【図9】撮影画面上の被写体の一例を示した図。

【図10】画素ブロック毎の出力の一例を模式的に示した図。

【図11】撮影画面上の被写体の一例を示した図。

【図12】画素ブロック毎の出力の一例を模式的に示した図。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0011】

図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の構成を示すブロック図である。

【0012】

図１において、撮影レンズ１０１は、被写体からの光を撮像素子２００へ結像させる。撮像素子２００はＣＭＯＳセンサから成り、撮影レンズ１０１を介して入射した光を光電変換して画像信号として出力する。また、撮像素子２００は、内部に画素出力値の変化量および変化領域の検出結果に応じて、撮像素子２００自身の駆動制御を選択及び変更する制御機能を備えている。この機能を有することにより、撮像素子自身による被写体の変化の検出から好適な撮影モードの選択及び変更を可能としている。

【0013】

画像処理回路１０２は、撮像素子２００から出力される画像信号に対して、フィルタ処理等の各種補正処理や圧縮処理等のデジタル画像処理を行う。また、４ＫモードやＦｕｌｌＨＤモード等の動画信号についても、ここで各モードに応じたリサイズ等の画像処理が行われる。

【0014】

制御回路１０３は、撮像素子２００の駆動タイミングの制御を行うとともに、画像処理回路１０２、表示回路１０６等のデジタルカメラ１００全体の統括的な駆動制御を行う。また、制御回路１０３は、ユーザーの命令を受けて、静止画モード、ＦｕｌｌＨＤモード、４Ｋモード等の複数の撮影モードから選択された撮影モードに応じた駆動制御を行う。また、本実施形態のデジタルカメラ１００においては、撮像素子２００が、被写体の変化検出に基づいて撮影モードの選択及び変更を行う検知モードを備えており、制御回路１０３は、撮像素子２００の検知モードの動作許可の制御も行う。

【0015】

メモリ回路１０４、記録回路１０５は、画像処理回路１０２から出力された画像信号を記録保持する不揮発性メモリやメモリカード等の記録媒体である。表示回路１０６は、撮影画像や各種設定画面等の表示を行う。操作回路１０７は、不図示の操作部材からの信号を受け付けて、制御回路１０３にユーザーの命令を伝達する。

【0016】

図２は、本実施形態における撮像素子２００の構成を示すブロック図である。

【0017】

撮像素子２００は、複数の画素が行列状に配置された画素部２１０を備えており、画素単位に信号を出力する機能、および画素部２１０の面内を所定の大きさに分割した画素ブロック毎で複数画素の出力を混合した信号を出力する機能を有している。

【0018】

画素部２１０から出力された信号は、ＡＤ変換回路２１２により、画素列毎または画素ブロックを単位としたブロック列毎にアナログ－デジタル変換された後、水平走査回路２１３の駆動により、順次イベント検出部２１４へ転送される。

【0019】

イベント検出部２１４は、所定イベント発生の判断基準とする、画素混合ブロック単位の出力信号の変化量を検出するとともに、検出結果の情報を、撮像素子２００の駆動モード制御を行うモード制御部２１６へ送信する。

【0020】

また、イベント検出部２１４は、画素部２１０の出力信号が画素単位で出力されたものである場合には、出力された信号をそのまま信号処理部２１５へ転送する。さらにイベント検出部２１４は、画素混合ブロック単位による出力を積算し、積分データとして露光制御部２１７に供給する。

【0021】

信号処理部２１５では、イベント検出部２１４から出力された信号の前後に、信号レベルの変化量や撮像素子２００の駆動モード等の情報データを付帯して撮像素子２００の外部（画像処理回路１０２）に出力する。

【0022】

モード制御部２１６は、撮像素子２００内のイベント検出部２１４または撮像素子２００外の制御回路１０３からの信号を受けて、垂直走査回路２１１、タイミング制御回路２１８の各々に駆動タイミング制御信号を供給する。これにより、撮像素子２００の撮像モード毎に応じた駆動制御を行う。また、モード制御部２１６は、制御回路１０３から撮像素子２００が検知モードとして動作することを許可されている場合、撮像素子２００を検知モードとして画素ブロック毎に画素を混合する駆動から開始させる。

【0023】

垂直走査回路２１１は、各行ごとに接続される信号線を介して、画素単位または画素ブロック単位で行選択及び駆動を行う。

【0024】

露光制御部２１７は、イベント検出部２１４からの積分データに基づき、撮像素子２００の露光制御のために露光時間の算出を行い、垂直走査回路２１１へ露光制御信号を供給する。

【0025】

タイミング制御回路２１８は、制御回路１０３とモード制御部２１６の制御信号に基づいて、垂直操作回路２１１、ＡＤ変換回路２１２、水平走査回路２１３の動作を制御する。

【0026】

なお、図３（ａ）に示されるように、撮像素子２００は、斜線模様で示される半導体基板２０１と、白色で示される半導体基板２０２とを有する。半導体基板２０１および半導体基板２０２は、図３（ｂ）に示されるように重畳された状態で封止され、モジュール化（一体化）される。

【0027】

つまり、図３（ｃ）に示されるように、半導体基板２０１および半導体基板２０２は、多層構造（積層構造）を形成する。半導体基板２０１に形成される回路と半導体基板２０２に形成される回路は、ビア（ＶＩＡ）等により互いに接続される。

【0028】

このように、撮像素子２００は、半導体基板２０１と半導体基板２０２が多層構造を形成するように一体化されたモジュール（ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）チップとも称する）である。モジュール内部において半導体基板２０１と半導体基板２０２がこのように多層構造を形成することにより、撮像素子２００は、半導体基板のサイズを増大させずに、より大規模な回路の実装を実現することができる。すなわち、撮像素子２００は、コストの増大を抑制しながら、より大規模な回路を実装することができる。

【0029】

半導体基板２０１には、画素部２１０およびＡ／Ｄ変換回路２１２などが形成される。また、半導体基板２０２には、イベント検出部２１４、信号処理部２１５、モード制御部２１６、露光制御部２１７が形成される。

【0030】

図４は、図２に示す画素部２１０の構成例を示す図である。

【0031】

画素部２１０は、画素３０１が行列状に複数配置されている。またイベント検知の画素混合単位としての画素ブロック（分割領域）３０２が破線枠で示されている。なお、説明を分かりやすくするため、ここでは、画素ブロック３０２を２行×２列の画素配列とした例について説明するが、行数、列数および配置については、これに限られるものではない。

【0032】

画素ブロック３０２には、その単位ブロックが並ぶ１ブロック行において、水平信号線として２つのリセット制御信号（例えばＲＳＴ１，ＲＳＴ２）、２つの行選択制御信号（例えばＳＥＬ１，ＳＥＬ２）、２つの転送制御信号（例えばＴＸ１，ＴＸ２）、混合信号ＡＤＤ（例えばＡＤＤ１）、混合後の信号選択制御信号ＡＤＤ＿ＳＥＬ（例えばＡＤＤ＿ＳＥＬ１）が垂直走査回路２１１から供給される。

【0033】

各画素３０１には、リセット制御信号、行選択制御信号、転送制御信号が供給される。さらに画素ブロックごとに混合信号ＡＤＤ、混合後の信号選択制御信号ＡＤＤ＿ＳＥＬが供給される。

【0034】

列方向には、列出力線４１０が配置される。画素３０１からの出力は列出力線４１０を介して、接続先のＡＤ変換回路２１２に入力される。上記の各水平信号線の選択駆動が行われることにより、撮像素子２００から行単位、ブロック行単位で順次、各列出力線４１０を介して信号が出力される。

【0035】

画素部２１０からの信号は、通常モードとなる撮影モードでは各画素３０１から画素単位で順次出力される。それに対し、検知モードでは、画素ブロック３０２内のＦＤごとの混合スイッチを動作させることにより、混合信号（画素数を減らした信号）が特定の画素から出力される。

【0036】

図５は、画素３０１の等価回路図である。画素部２１０の左上の画素ブロック３０２（画素３０１が４個配置された部分）を抜き出して示している。

【0037】

図５の左上の画素３０１を中心に説明する。フォトダイオード４０６－１において発生および蓄積された電荷が、転送制御信号ＴＸ１により制御される転送スイッチ４０５－１を介してフローティングディフュージョン（以後ＦＤ）４０７－１に転送される。ソースフォロアアンプ４０８－１は列出力線４１０－１に接続された定電流源４１１－１と共に構成され、ＦＤ４０７－１に蓄積された電荷に基づく電圧信号を増幅して、画素信号として出力する。ソースフォロアアンプ４０８－１の出力が、行選択制御信号ＳＥＬ１により制御される行選択スイッチ４０９－１により列出力線４１０－１へ出力される。

【0038】

ＦＤ４０７－１に蓄積されている不要電荷をリセットする場合は、リセット制御信号ＲＳＴ１によりリセットスイッチ４０４－１を制御する。さらにフォトダイオード４０６－１をリセットする際は、リセットスイッチ４０４－１と共に、転送制御信号ＴＸ１により転送スイッチ４０５－１をＯＮしてリセットを実行する。転送制御信号ＴＸ１、リセット制御信号ＲＳＴ１、行選択制御信号ＳＥＬ１は垂直走査回路２１１から出力される。

【0039】

撮影モードでは、各画素３０１の信号が画素ごとに独立して読み出される。検知モードでは、混合信号ＡＤＤ１により、水平混合スイッチ４１３、及び垂直混合スイッチ４１４－１，４１４－２がオンされることで、ＦＤ４０７－１，４０７－２，４０７－３，４０７－４が回路的に接続される。これにより、フォトダイオード４０６－１，４０６－２，４０６－３，４０６－４で得られる信号の混合処理が行われる。

【0040】

その後、混合されたデータを画素３０１－３から出力するために、混合後の信号選択制御信号ＡＤＤ＿ＳＥＬ１を制御する。これにより、混合した結果の信号を読み出す。

【0041】

このようにして、２行×２列の画素のＦＤで混合した信号を検知モードの出力とする。なお混合の単位は２行×２列に限るものではない。また、混合データはＦＤでの混合に限らず、列出力線で複数の行をつないで混合し、水平の混合はＡＤ回路の前の混合回路を使用する方法を用いてもよい。

【0042】

図６は、本実施形態におけるイベント検出部２１４の構成例を示す図である。出力切り替え回路５０１は、撮像素子２００の駆動制御として選択された撮影モードに応じて、画素部から出力された信号の出力先を撮像素子２００の内部と外部とに切り替える。

【0043】

出力切り替え回路５０１は、モード制御部２１６からの制御信号を受けて、選択された撮像素子２００の撮影モードが、画素ブロック単位で被写体変化を検出するモードである場合、画素部から出力された信号の出力先を撮像素子内部の積算演算処理回路５０２とする。そして、被写体変化の検出を行わせる。また、画素ブロック単位でない通常の撮影モードである場合、撮像素子２００の外部へと出力するようにイベント検出部２１４から信号処理部２１５へ信号を出力する。

【0044】

積分演算処理回路５０２は、出力切り替え回路５０１からの出力を受け、出力値の積算を行い、露光制御部２１７へ積算データを供給する。また、画素ブロック単位による画素出力を保持するメモリ５０４と、差分検出回路５０３へ出力する。

【0045】

メモリ５０４は、画素ブロック単位の画素出力と、その出力元の撮像素子の面内における２次元の分割位置情報とを過去データとして記憶、保持する。差分検出回路５０３は、直近に読み出された画素ブロック単位の出力値と、メモリ５０４に保持されている同じ画素ブロック（対応する画素ブロック）の過去の出力値とから差分データを作成する。差分データは比較回路５０５に供給される。比較回路５０５は、各差分データと所定閾値を比較する。比較回路５０５において得られた比較結果データは、モード制御回路２１６に送信される。

【0046】

図７は、本実施形態におけるＡＤ変換回路２１２の回路構成を示す図である。

【0047】

図７に示すＡＤ変換回路２１２は、比較器６０１、カウンタ回路６０２、ラッチ回路６０３、演算回路６０４を各列ごとに備えている。また、タイミング制御回路２１８からＡＤ変換回路２１２へ接続される制御線を、ランプ波信号線Ｖｒｍｐ、カウンタ制御線ｐＣＮＴ、ラッチ制御線ｐＬＴＣ、演算制御線ｐＣＡＬとして示す。

【0048】

比較器６０１は、列出力線４１０から入力される信号とタイミング制御回路２１８からランプ波信号線Ｖｒｍｐを介して入力されるランプ波信号の２つの信号の比較結果を出力する比較器である。例えば、入力される２つの信号の大小関係が逆転した時に、ＨｉｇｈからＬｏｗに出力信号が変化することにより、比較結果を出力する。

【0049】

ここで、タイミング制御回路２１８がランプ波信号線Ｖｒｍｐを介して出力するランプ波信号は、初期電圧から徐々に変化する三角波である。そして、徐々に変化したランプ波が、列出力線４１０から入力される信号と交差した（大小関係が逆転した）時点で、比較器６０１が比較結果を出力する。

【0050】

カウンタ回路６０２は、カウンタ制御線ｐＣＮＴに接続され、カウンタ制御線ｐＣＮＴから供給されるクロックに基づいてカウンタを動作させる。このとき、カウンタ回路６０２は、ランプ波の変化開始に合わせてカウント動作を開始し、比較器６０１からの比較結果の信号を受けて、その時のカウント値を出力する。この時のカウント値が、列出力線４１０－１を介して受け取った画素からの信号をデジタル化した信号値となる。

【0051】

ラッチ回路６０３は、ラッチ制御線ｐＬＴＣに接続され、カウンタ回路６０２が出力するカウント値を一時的に保持するとともに、ラッチ制御線ｐＬＴＣを介した制御により保持しているカウント値を出力する。

【0052】

演算回路６０４は、演算制御線ｐＣＡＬに接続され、演算制御線ｐＣＡＬを介した制御によりラッチ回路６０３が出力するカウント値を画素のデジタル信号として記憶するとともに、後述する信号処理動作を実行する。また、演算回路６０４は、信号処理された画素のデジタル信号を、水平走査回路２１３の制御によりイベント検出部２１４へ出力する。

【0053】

このように、図２に示すＡＤ変換回路２１２は、比較器６０１、カウンタ回路６０２、ラッチ回路６０３、演算回路６０４、およびランプ波信号線Ｖｒｍｐを用いてＡＤ変換を実行する。

【0054】

次に、図８を用いて撮像素子２００の信号処理における動作タイミングについて説明する。

【0055】

図８（ａ）は、撮影モード時の動作タイミングを説明する図である。本実施形態では、撮影モード時は、画素出力信号の混合動作を行わない非混合読み出しを行う。そのため、混合信号ＡＤＤと、混合後選択制御信号ＡＤＤ_ＳＥＬは全期間電位状態をＬレベルとする。なお、撮影モードにおいては、非混合読み出しに限らず、ユーザーが許容できる範囲で読み出し行を間引いたり、垂直画素混合、水平画素混合などを行うようにしてもよい。

【0056】

また、図８のタイミングチャートでは、すでにフォトダイオード４０６におけるリセット動作と蓄積動作は完了しており、フォトダイオード４０６から電荷を読み出す動作のタイミングを示している。

【0057】

時刻Ｔ７００では、行選択信号ＳＥＬ１の電位状態をＨレベルにすることにより、画素部２１０内の画素３０１の１行目が選択される。そしてリセット制御信号ＲＳＴ１の電位状態をＨレベルとしてＦＤ４０７－１，４０７－２のリセット動作を行い、時刻Ｔ７０１までその動作を行う。

【0058】

時刻Ｔ７０１では、リセットを解除された各ブロック単位のＦＤのノイズ信号Ｖｎ１がそれぞれの列出力線４１０を介して、ＡＤ変換回路２１２の比較器６０１に入力される。

【0059】

時刻Ｔ７０１からＴ７０２では、比較器６０１においてノイズ信号Ｖｎ１とランプ波信号線Ｖｒｍｐからのランプ波信号とが比較されて、比較器６０１が反転するまでに掛かる期間におけるカウント値が演算回路６０４に記憶される。

【0060】

時刻Ｔ７０２からＴ７０３では転送制御信号ＴＸ１をＨレベルにしてフォトダイオード４０６－１,４０６－２で蓄積した電荷をＦＤ４０７－１，４０７－２へと転送する。そして、列出力線４１０を介して画素信号Ｖｓｉｇ１をＡＤ変換回路２１２の比較器６０１に入力する。

【0061】

時刻Ｔ７０３からＴ７０４では、比較器６０１において画素信号Ｖｓｉｇとランプ波信号とが比較されて、比較器６０１が反転するまでに掛かる期間におけるカウント値が演算回路６０４に記憶される。そして、画素信号Ｖｓｉｇ１と時刻Ｔ７０２～Ｔ７０３間で得たノイズ信号Ｖｎ１との差分を取ることで１行目の画像信号を得る。

【0062】

続けて、時刻Ｔ７０５では、行選択信号ＳＥＬ２の電位状態をＨレベルにすることにより、画素部２１０内の画素３０１の２行目が選択される。そしてリセット制御信号ＲＳＴ２の電位状態をＨレベルとしてＦＤ４０７－３，４０７－４のリセット動作を行い、時刻Ｔ７０６までその動作を行う。

【0063】

時刻Ｔ７０６では、リセットを解除された各ブロック単位のＦＤのノイズ信号Ｖｎ２がそれぞれの列出力線４１０を介して、ＡＤ変換回路２１２の比較器６０１に入力される。

【0064】

時刻Ｔ７０６からＴ７０７では、比較器６０１においてノイズ信号Ｖｎ２とランプ波信号線Ｖｒｍｐからのランプ波信号とが比較されて、比較器６０１が反転するまでに掛かる期間におけるカウント値が演算回路６０４に記憶される。

【0065】

時刻Ｔ７０７からＴ７０８では転送制御信号ＴＸ２をＨレベルにしてフォトダイオード４０６－３，４０６－４で蓄積した電荷をＦＤ４０７－３，４０７－４へと転送する。そして、列出力線４１０を介して画素信号Ｖｓｉｇ２をＡＤ変換回路２１２の比較器６０１に入力する。

【0066】

時刻Ｔ７０８からＴ７０９では、比較器６０１において画素信号Ｖｓｉｇ２とランプ波信号とが比較されて、比較器６０１が反転するまでに掛かる期間におけるカウント値が演算回路６０４に記憶される。そして、画素信号Ｖｓｉｇ２と時刻Ｔ７０６～Ｔ７０７間で得たノイズ信号Ｖｎ２との差分を取ることで画像信号を得る。

【0067】

以降は、同様に画素行単位で、露光および読み出しが行われ、全行分の読み出しが完了する。また全行の読み出しは、垂直同期信号に同期して複数回に亘って実行される。

【0068】

図８（ｂ）は、検出モード時の動作タイミングを説明する図である。図８（ｂ）は、図４で説明した単位画素ブロック（２行ｘ２列の画素）の内、１行目に対するタイミングを説明する図である。また、図８（ｂ）は、検出モード時において、フォトダイオード４０６におけるリセット動作と蓄積動作は完了しており、フォトダイオード４０６からの電荷を読み出す動作のタイミングを示している。

【0069】

時刻Ｔ７１０において、垂直走査回路２１１は、混合信号ＡＤＤ、混合後選択制御信号ＡＤＤ＿ＳＥＬをオン状態として、ブロック単位による読み出しを開始させる。混合信号ＡＤＤおよび混合後選択制御信号ＡＤＤ＿ＳＬをオン状態にすることにより、ブロック単位による混合信号が列出力線４１０から出力されるようになる。

【0070】

また、時刻Ｔ７１０において、リセット信号ＲＳＴ１，ＲＳＴ２をハイレベルに制御する。これにより、混合信号ＡＤＤにより接続状態となったＦＤ４０７－１、ＦＤ４０７－２、ＦＤ４０７－３、ＦＤ４０７－４、およびブロック内が電源電位にリセットされる。この時、行選択信号ＳＥＬの電位状態はＬレベルとする。

【0071】

時刻Ｔ７１１では、撮影モード時のような、ノイズ信号の読み出しを行わず、転送制御信号ＴＸ１，ＴＸ２をハイレベルに制御し、各フォトダイオード４０６－１，４０６－２，４０６－３，４０６－４に蓄積された電荷をそれぞれのＦＤ部４０７ー１，４０７－２，４０７－３，４０７－４に転送する。

【0072】

ＦＤ部に転送されたブロック単位の電荷は、ソースフォロアアンプ４０８－３において電圧信号として増幅され、列出力線４１０－１を介して画素信号ＶｍとしてＡＤ変換回路２１２の比較器６０１に入力される。

【0073】

時刻Ｔ７１２からＴ７１３では、比較器６０１において画素信号Ｖｍとランプ波信号線Ｖｒｍｐからのランプ波信号とが比較されて、比較器６０１が反転するまでに掛かる期間におけるカウント値が画素ブロック信号として演算回路６０４に記憶される。

【0074】

タイミングＴ７１３以降は、同様に順次ブロック行単位で露光および読み出しが行われることにより、全ブロック行の読み出しが完了する。また全ブロック行の読み出しは、垂直同期信号に同期して複数回に亘って実行される。

【0075】

このように、検出モードにおいて、画素信号を読みだす前に、ノイズ信号の読み出しを行わないため、検出モード時の画素信号Ｖｍは、ノイズ信号が混合された状態で出力された信号となる。

【0076】

なお、検出モードにおいては、領域ごとに画素信号の混合読み出しを行うことに限らず、検出可能な範囲で読み出し行や列を間引いて読み出しても構わない。

【0077】

次に、被写体の検出モードでの動作について、図９から図１２を用いて説明する。

【0078】

図９は、撮影画面上の被写体の一例を示した図であり、ここでは画面内を４×４の画素ブロックに分割し、被写体として家屋が右下２×２のブロックに位置することを示している。

【0079】

図中の破線は、画素ブロック単位による領域範囲を示しており、以降、説明の便宜上、画面上における画素ブロックの位置について、画面左上から００、その右隣を０１、以降画面右下３３まで、行を左側の数字、列を右側の数字として表して説明を行う。

【0080】

図１０は、図９に示した被写体に対して、画素部２１０の画素ブロック３０２毎の出力を模式的に表した図である。

【0081】

図１０において、家屋部分に位置する領域からの出力は、画素ブロック２２、２３、３２、３３から得られ、その出力は、家屋およびその背景から混合された画素信号に加え、ノイズ信号も混合された出力となる。

【0082】

なお、本実施形態においては、家屋に対する背景が明るい場合を示しており、画素ブロック２２、２３では、家屋と背景の占める割合から画素ブロック３２、３３に対して低い出力値となる。

【0083】

図１１は、図９と同様に被写体の一例を示した図であり、図９の被写体に加え、人物が左下の１ブロックに加わっている。

【0084】

図１２は、図１１での被写体に対する画素ブロック毎の出力を模式的に表した図である。

【0085】

例えば、図９に示す被写体から図１１に示す被写体へと変化した場合、イベント検出部２１４では、メモリ５０４に過去データとして保持されている図９に示す画素ブロック単位の出力と、直近で読み出された図１１に示す画素ブロック単位の出力から、差分検出回路５０３により、同じ位置の画素ブロック毎での差分データが作成される。このとき、図９、図１１に示す画像は、ともに画素信号に対して同等なノイズ信号が混合された画像となっているため、差分データを作成する際に、ノイズ信号の影響は除去される。作成された差分データは、比較部５０５において所定閾値と比較され、その結果、画素ブロック３０の１ブロックの差分データにより被写体変化が検出される。

【0086】

このように、検出モード時において、ノイズ信号の読み出しを行わないことにより、検出モード時の画素出力は、ノイズ信号が混合された状態で出力されるが、差分データの算出時にノイズ信号の影響を除去できる。

【0087】

以上のように、ノイズ信号の読み出しをやめることにより、精度を落とすことなく画像信号を読み出す時間を短縮することが可能となり、検出モード時の低消費電力化が可能となる。

【0088】

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

【0089】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0090】

１００：デジタルカメラ、１０１：撮像レンズ、１０２：画像処理回路、１０３：制御回路、１０４：メモリ回路、２００：撮像素子、２１４：イベント検出部、２１６：モード制御部、２１０：画素部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】