特許 7433793 撮像装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-09

(45)【発行日】2024-02-20

(54)【発明の名称】撮像装置およびその制御方法

(51)【国際特許分類】

   H04N 25/40 20230101AFI20240213BHJP

   H04N 25/46 20230101ALI20240213BHJP

   H04N 25/76 20230101ALI20240213BHJP

【ＦＩ】

H04N25/40

H04N25/46

H04N25/76

【請求項の数】 11

(21)【出願番号】P 2019134017

(22)【出願日】2019-07-19

(65)【公開番号】P2021019288

(43)【公開日】2021-02-15

【審査請求日】2022-07-12

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】大嶋 孝治

【審査官】松永 隆志

(56)【参考文献】

【文献】特開２０１７－１０８２８６（ＪＰ，Ａ）

【文献】特開２００１－１７５８７６（ＪＰ，Ａ）

【文献】特開２００６－２１５２６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／４０

Ｈ０４Ｎ ２５／４６

Ｈ０４Ｎ ２５／７６

(57)【特許請求の範囲】

【請求項1】

二次元状に配置された複数の画素からなる画素領域における第１の検知領域および第２の検知領域の画素信号に基づいて、前記画素領域における被写体像の変化を検知する検知手段と、
前記検知手段により前記被写体像の変化が検知されたことに応じて、撮影を行って、前記画素領域の画素からの画素信号に基づく撮影画像を出力するように制御する制御手段と、を有し、
前記検知手段により前記被写体像の変化を検出する場合、前記画素領域における第１の部分領域が前記第１の検知領域として予め設定され、前記画素領域における前記第１の部分領域と一部が常に重複する第２の部分領域が前記第２の検知領域として予め設定される、ことを特徴とする撮像装置。

【請求項2】

前記第１の部分領域と前記第２の部分領域の配置は、前記画素領域に配置された画素の行方向または列方向のいずれか一方の方向に位置が異なる配置を含む、ことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記画素領域に配置された画素の行方向または列方向のいずれか一方の方向に位置が異なる前記第１の部分領域と前記第２の部分領域は、前記第１の部分領域の半分の領域が重複する、ことを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記撮影画像は、前記画素領域の画素からの、加算もしくは間引きが行われていない画素信号で構成される画像である、ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。

【請求項5】

前記検知手段は、前記第１の部分領域および前記第２の部分領域の画素信号を一定の周期で取り出して、当該一定の周期の間の画素信号の変化が所定の変化の閾値を超えたかを判定することにより、前記画素領域における被写体像の変化を検知する、ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。

【請求項6】

前記所定の変化の閾値は、前記撮像装置の外部からの指示に応じて変更可能である、ことを特徴とする請求項５に記載の撮像装置。

【請求項7】

前記検知手段は、前記第１の部分領域および前記第２の部分領域の画素からの画素信号を加算する、あるいは、該部分領域の画素の画素信号から所定の画素列又は所定の画素行の画素信号を間引いて得られる画素信号に基づいて前記画素領域における被写体像の変化を検知する、ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。

【請求項8】

第１の半導体基板と第２の半導体基板とを含む積層構造により形成される撮像素子を有する、ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。

【請求項9】

前記第１の半導体基板は、前記二次元状に配置された画素を含み、前記第２の半導体基板は、前記検知手段と前記制御手段とを含む、ことを特徴とする請求項８に記載の撮像装置。

【請求項10】

さらに、前記撮影された画像を記録する記録手段を有することを特徴とする請求項１から９のいずれか１項に記載の撮像装置。

【請求項11】

二次元状に配置された複数の画素からなる画素領域における第１の検知領域および第２の検知領域の画素信号に基づいて、前記画素領域における被写体像の変化を検知する検知工程と、
前記検知工程において前記被写体像の変化が検知されたことに応じて、撮影を行って、前記画素領域の画素からの画素信号に基づく撮影画像を出力するように制御する制御工程と、を有し、
前記検知工程において前記被写体像の変化を検出する場合、前記画素領域における第１の部分領域が前記第１の検知領域として予め設定され、前記画素領域における前記第１の部分領域と一部が常に重複する第２の部分領域が前記第２の検知領域として予め設定される、ことを特徴とする撮像装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置およびその制御方法に関する。

【背景技術】

【0002】

従来、画像を用いて注目対象の観測や監視を行うために撮像装置が用いられている。このような用途に用いられる撮像装置には、所定の時間間隔でフレーム画像を撮像し記録するものと、前後フレーム間での輝度値の差分から被写体像の変化を検出したことに応じて、撮像と記録を開始するものとが知られている。

【0003】

特許文献１では、撮影及び記録を行う通常撮影とは異なる駆動モードにおいて、撮像素子の分割ブロック毎に画素加算した出力を用いて被写体像の変化を検出し、検出に係る画像情報に対する情報処理量を減少させて、消費電力を低減する技術を開示している。

【0004】

また、特許文献２では、撮影中の画像から被写体像の変化を検出し、検出した変化量が所定閾値より小さい場合には画素加算または間引き処理を行うことにより、所望の変化がない場合の画像処理の処理負荷を低減する技術を開示している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－２２９３５号公報

【文献】特開２００６－２１５２６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に開示される固体撮像素子は、分割ブロック毎に画素加算を行って被写体像の変化、分割ブロック単位で検出する。このため、分割ブロック内での被写体像が小さく移動する場合、画素加算された画素信号において変化がないか微小な変化となり、所望の検出結果が得られない場合がある。

【0007】

また、特許文献２に開示される顕微鏡システムでは、被写体像の変化の検出や加算処理は、撮像部（すなわち撮像素子）の外部にある画像処理部や画素数変換部で行われる。すなわち、撮像部からは常に画素信号の多い画像が出力され、撮像部自体の消費電力を低減することについては考慮されていない。

【0008】

本発明は、上記課題に鑑みてなされたものである。その目的は、被写体像の変化の検知に応じて撮影を行うように構成される撮像装置において、被写体像の変化を検知する検知動作における消費電力の低減と検知精度の向上を可能とする技術を実現することである。

【課題を解決するための手段】

【0009】

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、二次元状に配置された複数の画素からなる画素領域における第１の検知領域および第２の検知領域の画素信号に基づいて、画素領域における被写体像の変化を検知する検知手段と、検知手段により被写体像の変化が検知されたことに応じて、撮影を行って、画素領域の画素からの画素信号に基づく撮影画像を出力するように制御する制御手段と、を有し、検知手段により被写体像の変化を検出する場合、画素領域における第１の部分領域が前記第１の検知領域として予め設定され、前記画素領域における前記第１の部分領域と一部が常に重複する第２の部分領域が前記第１の検知領域として予め設定され、前記画素領域における前記第１の部分領域と一部が常に重複する、ことを特徴とする。

【発明の効果】

【0010】

本発明によれば、被写体像の変化の検知に応じて撮影を行うように構成される撮像装置において、被写体像の変化を検知するための動作消費電力の低減と検知精度の向上を図ることが可能になる。

【図面の簡単な説明】

【0011】

【図1】本実施形態における撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図

【図2】本実施形態における撮像素子の機能構成例を示すブロック図

【図3A】本実施形態における画素部の構成例を示す図

【図3B】本実施形態における画素部の画素ブロック（部分領域）の範囲の例を説明する図

【図4A】、

【図4B】本実施形態における画素ブロックの構成例を示す図

【図5】本実施形態におけるイベント検知部の機能構成例を示すブロック図

【図6】本実施形態における、撮像面における被写体像、隣り合う画素ブロックおよび当該被写体像に対して得られる画素信号の例を説明する図

【図7】本実施形態における、撮像面における移動した被写体像、隣り合う画素ブロックおよび当該被写体像に対して得られる画素信号の例を説明する図

【図8】従来技術を用いる場合の、撮像面における被写体像と、当該被写体像に対して得られる画素信号の例を説明する図

【図9】本実施形態における撮像素子の検知モードにおける動作例を説明するタイミングチャート

【図10】本実施形態における撮像素子の通常撮影モードにおける動作例を説明するタイミングチャート

【図11】本実施形態における撮像素子による動作モード制御に係る一連の動作を示すフローチャート

【図12】本実施形態の撮像素子を積層構造で実現する例を説明する図

【発明を実施するための形態】

【0012】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0013】

以下では撮像装置の一例として、被写体像の変化を検知可能な撮像素子を用いて被写体像の変化の検知後に撮影画像を記録可能なデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、被写体像の変化を検知可能な撮像素子を用いて被写体像の変化の検知後に撮影画像を記録可能な他の機器にも適用可能である。これらの機器には、例えばパーソナルコンピュータ、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、医療機器、監視システムや車載用システムの機器などが含まれてよい。

【0014】

（デジタルカメラの構成）
図１は、本実施形態の撮像装置の一例としてデジタルカメラの機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

【0015】

撮像レンズ１０１は撮影光学系を構成し、被写体からの光を撮像素子２００へ集光する。撮像素子２００は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含み、撮像レンズ１０１を通して入射した光を光電変換する。撮像素子２００は、光電変換した信号を後述するＡＤ変換回路によってアナログ・デジタル変換して、画素単位の画像信号を出力する。また、撮像素子２００は、内部の画素部からの出力値の変化量および変化領域の検知結果に応じて、撮像素子２００自身の駆動制御を変更する制御機能を備える。撮像素子２００は、その動作モードとして、例えば通常撮影モードと検知モードとを含む。

【0016】

撮像素子２００は、通常撮影モードでは、画素信号を記録用の撮影画像として出力し、他方、検知モードでは、撮像素子２００が被写体像の変化検知から通常撮影モードへの変更を行う。詳細は後述するが、この制御機能により、撮像素子２００の内部で被写体像の変化を検知する検知モードから、通常撮影モードに制御可能である。撮像素子２００は、例えば、３８４０画素×２１６０画素（いわゆる４Ｋ）で構成される画像信号、或いは、１９２０画素×１０８０画素（いわゆるＦｕｌｌＨＤ）で構成される画像信号を撮影画像として出力することができる。

【0017】

画像処理部１０２は、撮像素子２００から出力される画像信号に対して、フィルタ処理等の各種補正や圧縮等のデジタル画像処理等を行う。また、画像処理部１０２は、４ＫやＦｕｌｌＨＤなどで撮影された画像信号に対して、各モードに応じたリサイズ等の画像処理を行う。

【0018】

制御部１０３は、例えばＣＰＵ（Central Processing Unit）などの１つ以上のプロセッサを含む。制御部１０３は、後述する記録部１０５に記録されたプログラムをメモリ１０４に展開、実行することにより、画像処理部１０２や表示部１０６等を含むデジタルカメラ１００全体の動作を統括的に制御する。また、撮像素子２００が被写体像の変化検知から通常撮影モードへの変更を行う検知モードを備えているため、制御部１０３は、撮像素子２００を検知モードとする動作許可の制御も行う。

【0019】

メモリ１０４は、例えばＳＤＲＡＭなどの揮発性メモリである。メモリ１０４は、画像処理部１０２から出力された画像信号、或いは、制御部１０３の処理に必要なデータ等を一時的に記憶する。記録部１０５は、例えば半導体メモリや磁気ディスクなどの不揮発性の記録媒体を含み、画像処理部１０２から出力された画像信号（すなわち撮影画像）を記録し保持する。

【0020】

表示部１０６は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等の表示デバイスを含み、撮影画像や記録部１０５から読み出された画像を表示する。また、ユーザがデジタルカメラ１００を操作したり設定したりするための操作画面や設定画面等を表示する。

【0021】

操作部１０７は、例えば、電源ボタン、シャッターボタン、動画の記録開始、停止を指示するボタンなどの撮影に関連する各種操作を入力するスイッチ類を含む。また、操作部１０７は、例えば、メニュー表示ボタン、決定ボタン、その他カーソルキー、タッチパネル等を含む。操作部１０７がユーザからこれらのキーやボタンに対する操作を受け付けると、制御部１０３は当該操作内容に応じてデジタルカメラ１００の各部を制御する。

【0022】

（撮像素子２００の構成）
次に、図２を参照して、本実施形態に係る撮像素子２００の機能構成例について、より詳細に説明する。撮像素子２００は、複数の画素が行列状（すなわち２次元状）に配置された画素部２２０を備えている。撮像素子２００は、画素部２２０の画素単位で出力される画素信号からなる画像信号や、画素ブロック（画素部２２０の面内を所定態様で分割したブロック）単位で複数画素の信号を加算された画素信号からなる画像信号を出力する機能を有している。

【0023】

画素部２２０から出力される画素信号は、ＡＤ変換回路２１２により、画素列毎に又は後述する画素ブロック単位としたブロック列毎に、アナログ－デジタル変換される。変換された画素信号は、その後、水平走査回路２１３の駆動により順次、イベント検知部２１４へ転送される。

【0024】

イベント検知部２１４は、撮像素子２００の駆動モード制御を行うモード制御部２１６の制御信号に応じて、入力された画素信号から所定イベントの検知を行ったり、入力された画素信号をそのまま信号処理部２１５に出力したりする。すなわち、イベント検知部２１４は、画素ブロック単位で入力された画素信号に対して、複数の画素ブロックのうち被写体像が変化したブロックを検知する検知手段として機能する。イベント検知部２１４は、画素信号の変化量を検知結果としてモード制御部２１６へ送信し、さらに画素ブロック単位による画素信号を積算し、積算データとして露光制御部２１７に供給する。また、イベント検知部２１４は、画素単位（すなわち画素列毎）で入力された画素信号に対しては、そのまま画素信号を信号処理部２１５へ出力する。

【0025】

信号処理部２１５は、イベント検知部２１４から出力された画素信号の前後の少なくともいずれかに、画素信号の変化量等を示す付加情報を付加した画像信号を撮像素子２００の外部に出力する。撮像素子２００の外部に出力される画像信号は撮影画像として記録部１０５に記録されうる。

【0026】

モード制御部２１６は、撮像素子２００内のイベント検知部２１４、又は撮像素子２００外の制御部１０３からの信号を受信し、ＡＤ変換回路２１２、水平走査回路２１３、垂直走査回路２１１の各々に駆動タイミング制御信号を供給する。これにより、モード制御部２１６は、撮像素子２００の撮像モードに応じた駆動制御を行う。また、モード制御部２１６は、制御部１０３から撮像素子２００が（その動作モードを）検知モードとして動作する動作許可がなされている場合、撮像素子２００を検知モードとして画素ブロック毎に画素信号を加算する駆動を開始する。

【0027】

垂直走査回路２１１は、各行ごとに接続される信号線を介して、画素単位または画素ブロック単位による行選択・駆動を行う。露光制御部２１７は、イベント検知部２１４からの積算データに基づき、撮像素子２００の露光制御として露光時間の算出を行い、モード制御部２１６へ撮像素子２００の露光制御信号を供給する。

【0028】

（画素部２２０の構成）
更に、図３Ａを参照して、本実施形態における画素部２２０の構成例について説明する。画素部２２０は、６×６の画素２３０が行列状（すなわち二次元状）に複数配置されている。図３Ａの例では、例えば６×６の３６個の画素２３０を含むように構成されている。なお、行列数および配置については、これに限られるものではない。また、説明における便宜上、画素２３０には、それぞれの画素行列に位置することを示す番号を記すものとする。

【0029】

画素２３０は、画素ごとに画素信号を出力する。撮像素子２００が通常撮影モードである場合には、画素部２２０から画素単位の画素信号が出力される。一方、撮像素子２００が検知モードである場合は、撮像素子２００の面内の所定の画素ブロック（部分領域）単位で当該ブロック内の複数画素の画素信号が加算され、画素部２２０から出力される。

【0030】

図３Ａに示す例では、ブロック単位となる画素ブロック２４０は、行および列方向にそれぞれ４つの画素（行列４×４）で構成され、各画素ブロック２４０は、隣り合う画素ブロックと（２画素分の）重複領域を有する。すなわち、隣り合う４つの画素ブロック２４０が重複領域を有する。

【0031】

図３Ｂ（ａ）、図３Ｂ（ｂ）、図３Ｂ（ｃ）、図３Ｂ（ｄ）は、４つの画素ブロック２４０のそれぞれを個別に表している。図３Ｂ（ａ）は画素部２２０上の撮像面左上、図３Ｂ（ｂ）は同右上、図３Ｂ（ｃ）は同左下、図３Ｂ（ｄ）は同右下に位置する画素ブロックを表している。

【0032】

撮像面左上の画素ブロック２４０は、図３Ｂ（ａ）に示すとおり、画素部２２０の１行目の画素１１と４行目の画素４４をそれぞれ左上、右下とする領域の画素信号を加算して１ブロック単位の出力とする。

【0033】

撮像面右上の画素ブロック２４０は、図３Ｂ（ｂ）に示すとおり、画素部２２０の１行目の画素３１と４行目の画素６４をそれぞれ左上、右下とする領域の画素信号を加算して１ブロック単位の出力とする。

【0034】

また、撮像面左下の画素ブロック２４０は、図３Ｂ（ｃ）に示すとおり、画素部２２０の３行目の画素１３と６行目の画素４６をそれぞれ左上、右下とする領域の画素信号を加算して１ブロック単位の出力とする。

【0035】

更に、画面右下の画素ブロック２４０は、図３Ｂ（ｄ）に示すとおり、画素部２２０の３行目の画素３３と６行目の画素６６をそれぞれ左上、右下とする領域の画素信号を加算して１ブロック単位の出力とする。

【0036】

それぞれの画素ブロック２４０は、隣り合う画素ブロック２４０と、画素列、画素行に対して２行２列分の重複領域が設けられている。例えば左上に位置する画素ブロック２４０では、右上に位置する画素ブロック２４０に対して、列方向の重複領域が設けられており、この重複領域は画素３１～３４および画素４１～４４を含む。また、左下に位置する画素ブロック２４０に対しては、行方向の重複領域が設けられており、この重複領域は画素１３～４３および画素１４～４４を含む。

【0037】

再び図３Ａを参照すると、１行目の各画素２３０には、その行方向に配線された複数の信号線を介して各種制御信号が供給される。すなわち、リセット制御信号（例えばＲＳＴ１）と、行選択制御信号（例えばＳＥＬ１－１，ＳＥＬ２－１）が供給される。更に、転送制御信号（例えばＴＸ１）と、加算信号（例えばＡＤＤ１）も供給される。２行目以降の各画素２３０にも同様の制御信号が供給される。

【0038】

列方向には、各画素列に対して２つの垂直信号線（例えば垂直信号線４１０－１と４１２－１）が配線される。同じ画素列の各画素２３０からの出力（すなわち画素信号）は垂直信号線を介して、接続先のＡＤ変換回路２１２に入力される。

【0039】

上述した信号線により選択的に各制御信号の供給が行われることで、撮像素子２００から行単位で順次、それぞれの垂直信号線４１０を介して画素信号が出力される。また、動作モードが通常撮影モードである場合には、画素部２２０の各画素２３０から画素信号が順次出力される。これに対し、動作モードが検知モードである場合には、画素ブロック２４０の単位で加算された画素信号が出力される。

【0040】

画素ブロック２４０単位での画素信号の出力は、画素ブロック内の行単位で後述の加算スイッチを動作させてフローティングディフュージョンの信号を加算し、垂直信号線への信号出力を行単位で各行同時に行う。これにより、行単位からブロック単位として加算された画素ブロックの画素信号が出力される。

【0041】

次に、図４Ａ、図４Ｂを参照して、本実施形態における画素部２２０の構成について説明する。図４Ａと図４Ｂは、画素２３０が６×６の構成で配置されている例を示している。

【0042】

左上にある１つの画素２３０に着目すると、フォトダイオード４０６－１にて発生、蓄積された電荷は、転送制御信号ＴＸ１により転送スイッチ４０５－１を制御してフローティングディフュージョン（以後ＦＤ）４０７－１に転送される。

【0043】

ソースフォロアアンプ４０８－１は、ＦＤ４０７－１に蓄積された電荷に基づく電圧信号を増幅して、画素信号として出力する。ソースフォロアアンプ４０８－１は、垂直信号線４１０－１と、垂直信号線４１０－１に接続された定電流源４１１－１と共に構成される。ソースフォロアアンプ４０８－１の出力は、行選択制御信号ＳＥＬ１－１により行選択スイッチ４０９－１を制御して、垂直信号線４１０－１へ接続される。

【0044】

また、ソースフォロアアンプ４０８－１は、上述した垂直信号線４１０－１、定電流源４１１－１とは異なる垂直信号線４１２－１、定電流源４１３－１についても共に構成される。そして、ＦＤ４０７－１に蓄積された電荷に基づく電圧信号を増幅して、画素信号として出力する。ソースフォロアアンプ４０８－１の出力は、行選択制御信号ＳＥＬ１－２により行選択スイッチ４０２－１を制御して、上述の垂直信号線４１０－１とは異なる垂直信号線４１２－１へ接続される。

【0045】

ＦＤ４０７－１に蓄積されている不要電荷をリセットする場合には、リセット制御信号ＲＳＴ１によりリセットスイッチ４０４－１を制御する。さらにフォトダイオード４０６－１の電荷をリセットする場合には、リセットスイッチ４０４－１と共に、転送制御信号ＴＸ１を制御して転送スイッチ４０５－１を制御することにより、当該リセットを実行する。転送制御信号（例えばＴＸ１）とリセット制御信号（例えばＲＳＴ１）と行選択制御信号（例えばＳＥＬ１－１、ＳＥＬ１－２）は、垂直走査回路２１１から供給され、各行においてそれぞれの制御信号値を持つ。

【0046】

撮像素子２００の動作モードが通常撮影モードである場合、各画素２３０においてＦＤ４０７（例えばＦＤ４０７－１）に転送された信号は、各々の画素（例えば２３０－１）ごとに出力される。一方、動作モードが検知モードである場合、加算信号ＡＤＤ１により加算スイッチ４０３－１、４０３－２、４０３－４を制御することにより、ＦＤ（４０７－１、４０７－２、４０７－４）を短絡することで各画素のＦＤに転送された信号を加算平均する。また、同画素ブロック内の他の行についても行単位でＦＤにより加算平均を行う。

【0047】

その後、行単位で加算平均された信号を同一の垂直信号線へと同時に出力し、画素ブロック単位の出力とする。このようにして、画素ブロック単位とした４×４画素分の信号をＦＤと垂直信号線を用いて加算平均した結果を検知モードにおける出力とする。なお、加算する範囲は４×４画素に限るものではない。また、画素信号の水平加算はＦＤでの加算に限らず、例えば垂直信号線に複数行の出力信号を同時に出力することで加算平均し、垂直の加算はＡＤ変換回路の前に加算回路を設けて実施する形態でもよい。

【0048】

（イベント検知部２１４の構成）
次に、図５を参照して、本実施形態におけるイベント検知部２１４の構成例について説明する。出力切り換え回路２６０は、撮像素子２００の動作モードに応じて画素出力先を撮像素子２００の内部と外部とのいずれかに切り換える回路である。

【0049】

出力切り換え回路２６０は、モード制御部２１６からの制御信号を受信して、撮像素子２００の動作モードが検知モードである場合、画素信号の出力先を撮像素子２００の内部の積分演算回路２６１として被写体像の変化を検知させる。一方、撮像素子２００の動作モードが通常撮影モードである場合、画素信号の出力先を撮像素子２００より外部として、画素信号をイベント検知部２１４から信号処理部２１５へ出力する。

【0050】

積分演算回路２６１は、出力切り替え回路２６０からの画素信号の出力を受けて出力値を積算し、露光制御部２１７へ積算データを供給する。また、積分演算回路２６１は、画素ブロック単位による画素出力を保持するメモリ２６２へ出力する。メモリ２６２は、一定の周期で（例えば１フレームごと）取得される画素ブロック単位による画素信号と、当該信号の出力元の撮像素子の面内における行列２次元の分割位置を示す情報とを過去データとして記憶、保持する。

【0051】

差分検出回路２６３は、同一の分割位置の直近にて読み出された画素ブロック単位による画素信号の信号値と、メモリ２６２にて保持されている過去データの画素信号の信号値とを比較して、差分データを作成する。差分検出回路２６３は、作成した差分データを比較回路２６４に供給する。比較回路２６４は、供給された各差分データと所定の閾値とを比較し、得られた比較結果データを、モード制御部２１６に送信する。

【0052】

図６（ａ）および図７（ａ）は、撮影される被写体像の一例を示しており、この例では、被写体である人物が撮像面内における左上のブロックに位置することを示している。

【0053】

図６（ｂ）は、各画素ブロック領域の大きさを示しており、各画素ブロック領域の大きさは同一である。なお、本実施形態では、各画素ブロック領域の大きさを同一にする場合を例に説明するが、ユーザの指示操作に応じて、或いは、被写体の大きさやフレーム間等により、画素ブロック領域の大きさを変更可能にしてもよい。

【0054】

図６（ａ）では、図３Ｂで説明したように、各画素ブロックが隣接する画素ブロックとその領域の一部が重複している。図中の破線は各画素ブロックの領域を示している。以降の説明では、画素ブロックの位置について、左上から１１、その右隣を１２、以降右下２２まで、行を左側の数字、列を右側の数字として表して説明する。

【0055】

また、図６（ｃ）、図６（ｄ）、図６（ｅ）、図６（ｆ）では、図６（ａ）における撮影面に対する被写体像および各画素ブロックの領域を個別に表している。図６（ｃ）は、左上１１となる画素ブロック、図６（ｄ）は、右上１２となる画素ブロック、図６（ｅ）は、左下２１となる画素ブロック、図６（ｆ）は、右下２２となる画素ブロックを表している。ここで、画素ブロック１１に着目すると、右側で画素ブロック１２、下側で画素ブロック２１、右下側にて画素ブロック２２と重複する領域が設けられている。

【0056】

図６（ｇ）は、図６（ａ）に示した被写体像に対する、画素部２２０の各画素ブロック２４０からの出力を模式的に表している。図６（ａ）の人物部分に対応する画素ブロック（ブロック１１）からの出力は、人物およびその背景が位置する画素の信号が加算された出力となる。図６（ａ）に示す例では、人物に対して背景の方が明るい場合を示している。したがって、画素ブロック１１の出力は、人物と背景の占める割合から、他の画素ブロックの出力より低い信号値となる。

【0057】

図７（ａ）は、図６（ａ）と同様に、撮像面内の被写体像の一例を示している。図６（ａ）と比べて、被写体像が画素ブロック１１の領域内において左から右に移動した場合を示している。図７（ａ）に示す例では、被写体像は、画素ブロック１１および１２の重複領域に位置している。すなわち、画素ブロック１１内の領域内ではあるが、同時に画素ブロック１２の領域内における左端にも位置することを示している。

【0058】

図７（ｂ）、図７（ｃ）、図７（ｄ）、図７（ｅ）は、図７（ａ）における撮影面に対する被写体像および各画素ブロックの領域を個別に表している。図７（ｂ）は、左上１１となる画素ブロック、図７（ｃ）は、右上１２となる画素ブロック、図７（ｄ）は、左下２１となる画素ブロック、図７（ｅ）は、右下２２となる画素ブロックを表している。

【0059】

図７（ｆ）は、図７（ａ）での被写体に対する、各画素ブロックからの出力を模式図にて示している。重複領域に被写体が位置することで、画素ブロック１１および１２の双方から、画素ブロック２１、２２に対して低い出力値が得られることになる。

【0060】

ここで、被写体像の位置が図６（ａ）から図７（ａ）へと変化した場合の動作について説明する。差分検出回路２６３は、メモリ２６２に過去データとして保持された図６（ｇ）に示す画素ブロック単位の画素信号と、直近で読み出された図７（ｆ）に示す画素ブロック単位の画素信号から、画素ブロック毎の同一の分割位置における差分データを算出する。

【0061】

次に、比較回路２６４は、算出された差分データと所定の閾値とを比較する。すなわち、比較回路２６４は、算出された差分データと所定の閾値（閾値については後述する）とに基づいて、被写体像の変化が生じたかを判定する。すなわち、図６（ａ）から図７（ａ）に変化した例では、図６（ｇ）に示す画素信号と、図７（ｆ）に示す画素信号との間の差分データが閾値を超える場合、被写体像の変化が検知される。その後、モード制御部２１６では、画素ブロックにおいて被写体像の変化が検知された場合、画像の通常撮影モードへと駆動制御の変更を行う。

【0062】

なお、図８（ａ）と図８（ｂ）は、従来技術を用いて、撮像面を２×２で分割し、重複領域を設けていない画素ブロックを用いる場合の例を示している。この例では、図８（ａ）と図８（ｂ）に示す人物の位置は、上述した図６（ａ）および図７（ａ）とぞれぞれと同位置である。

【0063】

従来技術を用いた場合における画素ブロックからの出力を、図８（ｃ）に模式的に示している。この図では、被写体像の変化から生じる出力は画素ブロック１１において被写体が存在する場合と何ら変わりがない。つまり、上述の本実施形態のように重複領域を設けた場合と異なり、分割ブロック内での被写体の移動に関しては出力の差異が得られず、被写体像の変化を検知することができない。

【0064】

このように、本実施形態では、隣り合う画素ブロックを重複させることで、被写体像の小さな移動が、隣りの画素ブロックの画素信号に現れるようにしている。そして、隣り合う画素ブロックは、その重複領域が大きいほど、被写体像の小さな移動を検知することができるようになる。上述の例では、行方向又は列方向に隣り合う画素ブロック同士が、画素ブロックの領域のうちの半分の領域において重複している。この場合、被写体像が画素ブロックの半分の距離を移動すれば、隣り合う画素ブロックの画素信号に変化が現れる。つまり、図８（ａ）～（ｃ）に示した場合と比較して、半分の距離を移動する被写体像の変化を検知することができる。

【0065】

また、各画素ブロックから読み出される画素信号は、画素加算されて画素数の低減した信号であるから、依然として被写体像の変化を検知するための動作消費電力を低減させることができる。すなわち、被写体像の変化を検知するための動作消費電力を低減させながら、被写体像の変化を検知する検知精度を向上させることができる。

【0066】

他方、隣り合う画素ブロックは、その重複領域が大きいほど、撮像面に配置する画素ブロックの数が増加するため、（被写体像の変化を検知するために）各画素ブロックから読み出される画素信号の数が増加してしまう。したがって、例えば、行方向又は列方向に隣り合う画素ブロックが、画素ブロックの領域のうちの半分の領域で重複するようにすると、被写体像の変化を検知するための動作消費電力の低減と、被写体像の変化を検知する検知精度の向上とがバランスしうる。

【0067】

次に、図９を参照して、検知モードで動作する際の、画素ブロック単位による画素信号の読み出し動作について説明する。

【0068】

タイミングＴ０において、イベントが検知されて制御部１０３から撮像素子２００が検知モードとして動作する動作許可がなされ、検知モードが設定されたものとする。垂直走査回路２１１は、画素ブロックの行単位で信号加算制御を行う加算信号ＡＤＤ１をハイレベルにすることで、ブロック内の行単位でＦＤが短絡され、画素信号が加算平均されるようになる。

【0069】

同じＴ０のタイミングにおいて、垂直走査回路２１１は、リセット制御信号ＲＳＴ１、転送制御信号ＴＸ１をハイレベルに制御する。これにより、加算信号ＡＤＤ１により接続状態となったＦＤ４０７－１、ＦＤ４０７－２、４０７－４が電源電位にリセットされる。また、当該制御信号により、同一の行となる各フォトダイオード４０６－１、４０６－２、４０６－４も電源電位にリセットされる。

【0070】

また、同一画素ブロック内の加算対象となる２行目、４行目についても１行目と同様に動作する。例えば、２行目であれば、垂直走査回路２１１は、リセット制御信号ＲＳＴ２、転送制御信号ＴＸ２をハイレベルに制御する。この場合、加算信号ＡＤＤ２により２行目のＦＤが短絡され、リセットされる。４行目であれば、垂直走査回路２１１は、リセット制御信号ＲＳＴ４、転送制御信号ＴＸ４をハイレベルに制御し、ＡＤＤ４により４行目のＦＤが短絡され、リセットされる。

【0071】

タイミングＴ１において、リセット制御信号ＲＳＴ１、転送制御信号ＴＸ１がローレベルに復帰して、ブロック単位の１行目の画素に対する露光が開始される。同様に、２行目では、リセット制御信号ＲＳＴ２、転送制御信号ＴＸ２がローレベルに復帰して、ブロック単位の２行目の画素に対する露光が開始される。また、４行目についても、リセット制御信号ＲＳＴ４、転送制御信号ＴＸ４がローレベルに復帰して、ブロック単位の４行目の画素に対する露光が開始される。

【0072】

タイミングＴ２において、一定の露光時間経過後、垂直走査回路２１１は、ブロック単位の１行目に対応する転送制御信号ＴＸ１を、ハイレベルに制御して転送スイッチ４０５－１、４０５－２、４０５－４をオン状態とする。これにより、各フォトダイオード４０６－１、４０６－２、４０６－４に蓄積された電荷をＦＤ（フローティングディフュージョン）に転送する。このようにして、電荷が混合されたブロック単位の露光が終了する。

【0073】

同時に、ブロック単位の２行目では、転送制御信号ＴＸ２を、ハイレベルに制御して２行目の転送スイッチをオン状態とし、２行目の各フォトダイオードに蓄積された電荷をＦＤに転送する。ブロック単位の４行目では、転送制御信号ＴＸ４を、ハイレベルに制御して４行目の転送スイッチをオン状態とし、４行目の各フォトダイオードに蓄積された電荷をＦＤに転送する。

【0074】

ＦＤに転送されたブロック単位の電荷は、ソースフォロアアンプ４０８－１にて電圧信号として増幅され、画素出力として垂直信号線４１０－１より出力される。各垂直信号線に出力された画素出力はＡＤ変換回路にてデジタル信号に変換されることになる。

【0075】

これまでの動作により、画素ブロック単位としてのブロック１行目では、２つの垂直信号線のうちの一方の垂直信号線側にて各列の画素信号が出力されることになるが、画素ブロックの画素信号の出力としては、１つのＡＤ変換回路が有効となりデジタル信号への変換を行う。

【0076】

また、画素ブロック単位としてのブロック２行目については、ブロック１行目と同様にブロック内の行単位にて、各列のＦＤが短絡されて画素信号が加算平均される。この行単位の信号を垂直信号線へと出力させることで画素ブロック単位の出力信号となり、当該出力信号はブロック１行目と異なる他方の垂直信号線（例えば４１２－１）に出力されて１つのＡＤ変換回路よりデジタル信号に変換される。ブロック毎に異なる垂直信号線によって画素信号を出力することにより、同時性の高い状態でブロック毎の画素信号の読み出しが可能となっている。

【0077】

タイミングＴ３以降は、同様に順次ブロック単位にて露光および読み出しが行われることで、全ブロックの読み出しが完了する。また全ブロックの読み出しは、垂直同期信号に従って複数回に亘って実行される。

【0078】

次に、図１０を参照して、通常撮影モードで動作する際の、画素単位による画素信号の読み出し動作について説明する。

【0079】

タイミングＴ１０において、イベントが検知されて（例えばイベント検知部２１４において図７（ａ）に示した被写体像の変化が検知される）通常撮影モードが設定されたものとする。

【0080】

垂直走査回路２１１は、１行目の画素行の画素信号を読み出すため、行選択制御信号ＳＥＬ１－１をハイレベルに制御するとともに、リセット制御信号ＲＳＴ１を所定のパルス期間に旦ってハイレベルに制御する。

【0081】

また、同じＴ１０のタイミングにおいて、垂直走査回路２１１は、リセット制御信号ＲＳＴ１、転送制御信号ＴＸ１をハイレベルに制御する。これにより、１行目の画素におけるＦＤ４０７－１～ＦＤ４０７－６およびフォトダイオード４０６－１～４０６－６が電源電位にリセットされる。なお、垂直走査回路２１１は、通常撮影モードではブロック単位で画素信号の読み出しを行わないため、加算信号ＡＤＤ１、ＡＤＤ２はハイレベルにならない。

【0082】

タイミングＴ１１において、垂直走査回路２１１の制御により、リセット制御信号ＲＳＴ１、転送制御信号ＴＸ１がローレベルに復帰して、１行目の画素行に対する露光が開始される。そして、タイミングＴ１２において、一定の露光時間の経過後、垂直走査回路２１１は、転送制御信号ＴＸ１をハイレベルに制御して転送スイッチ４０５－１～転送スイッチ４０５－６をオン状態とする。これにより、フォトダイオード４０６－１～４０６－６に蓄積されたそれぞれの電荷はＦＤ４０７－1～ＦＤ４０７－６にそれぞれ転送され、画素一行単位の露光が終了する。

【0083】

ＦＤに転送された電荷は、接続先となる各ソースフォロアアンプ４０８－１～４０８－６によって電圧信号として増幅され、画素信号として各列の垂直信号線より出力される。各垂直信号線に出力された画素信号は、各列のＡＤ変換回路にてデジタル信号に変換されることになる。

【0084】

次のタイミングＴ１４からＴ１７では、２行目の画素における信号読み出し動作が行われる。信号の読み出しは、２行目の画素に対応する行選制御択信号ＳＥＬ２－１、リセット制御信号ＲＳＴ２、転送制御信号ＴＸ２が、１行目の画素における同信号と同様に駆動制御される。これにより、２行目のフォトダイオードに蓄積された電荷が２行目のＦＤに転送されて２行目の画素における画素単位の露光が終了する。ＦＤに転送された電荷は、接続先となる各ソースフォロアアンプにて電圧信号として増幅され、画素信号として各列の垂直信号線より出力される。

【0085】

以降の画素行については同様に、画素行単位で露光および読み出しが行われ、その後、全行分の読み出しが完了する。また全行の読み出しは、垂直同期信号に従って複数回に亘って実行される。

【0086】

（撮像素子における通常撮影モード制御に係る一連の動作）
次に、図１１を参照して、撮像素子２００における通常撮影モード制御に係る一連の動作について説明する。本処理において、制御部１０３の動作は、制御部１０３が記録部１０５に格納されたプログラムをメモリ１０４に展開、実行することにより実現される。また、特に言及しない限り、各ステップの動作は撮像素子２００において実行される。

【0087】

以下の説明では、撮像素子２００のイベント検知部２１４等の各部によって実行される動作をまとめて撮像素子２００による動作として説明する。なお、本処理は、例えば、デジタルカメラ１００の操作部１０７を介して、撮像素子２００の動作モードを検知モードへ変更させるための直接的又は間接的な所定の操作指示を受けた場合に開始される。

【0088】

Ｓ１１０１において、制御部１０３は、撮像素子２００に対して、検知モードで動作するように制御し、撮像素子２００の動作モードを検知モードに移行させる。撮像素子２００は、制御部１０３から検知モードとして動作する指示を受け付けたことに応じて、撮像素子２００の動作モードを検知モードに設定して、撮像素子２００内の画素ブロック毎に加算された画素信号を出力する。

【0089】

Ｓ１１０２において、撮像素子２００は、画素部２２０から画素ブロック毎に加算された画素信号を取得する。撮像素子２００は、取得した画素信号をメモリ２６２に一時的に格納する。

【0090】

Ｓ１１０３において、撮像素子２００は、取得した画素ブロック毎の画素信号が検知モードとしての動作開始から１枚目の画像の信号であるかを判定する。撮像素子２００は、当該画素信号が動作開始から１枚目の画像の信号であると判定した場合、被写体像の変化を検知するための過去データとの差分が得られないため、処理をＳ１１０２に戻す。撮像素子２００は、処理対象の画素信号が動作開始から１枚目の画像の信号でない（この場合過去データが存在する）と判定した場合、Ｓ１１０４に処理を進める。

【0091】

Ｓ１１０４において、撮像素子２００は、画素ブロック毎の画素信号について、Ｓ１１０２において取得した（ｎ枚目の画像の）画素信号と、メモリ２６２に格納された過去データの（ｎ－１枚目の画像の）画素信号とを比較して、差分データを作成する。このとき、撮像素子２００は、得られた差分データが所定の閾値以上であるか否かを判定したうえで、更に差分データが所定の閾値以上である画素ブロック数をカウントする。

【0092】

すなわち、撮像素子２００は、イベント（すなわち被写体像の変化）を検知したブロックがあるかを画素ブロックごとに判定し、かつ、イベントを検知したブロック数をカウントする。なお、上述の例では、差分データを判定する所定の閾値が固定である場合を例に説明しているが、当該所定の閾値を被写体の種別、撮影条件、或いはユーザ操作に応じて変更可能にしてもよい。

【0093】

例えば、被写体の変化として検知すべき対象ではないが監視対象が小刻みに揺れたりして変化するような場合には、上記所定の閾値の値を上昇させて、被写体像の変化の誤検出を低下させる（検出精度を調節する）ことができる。

【0094】

Ｓ１１０５において、撮像素子２００は、差分データが所定の閾値以上である（すなわちイベントが検知された）画素ブロックの数を判定する。撮像素子２００は、差分データが所定の閾値以上である画素ブロックの数がカウントなし（＝０）であると判定した場合、イベントは検知されていないため、Ｓ１１０２に処理を戻す。この場合、上述したＳ１１０４までの被写体像の変化を検知する動作を繰り返す。一方、撮像素子２００は、カウントが０より大きい場合（すなわちイベントが検知された場合）には、イベントを検知したと判定して、Ｓ１１０６に処理を進める。

【0095】

Ｓ１１０６において、撮像素子２００は、撮像素子２００の動作モードを検知モードから通常撮影モードに変更する。例えば、画素加算を行わずに１画素単位にて画素信号を読み出す通常撮影モードに移行する。

【0096】

Ｓ１１０７において、撮像素子２００は、各通常撮影モードに移行して撮影動作（すなわち撮影した画像を記録部１０５に記録する）を開始する際に、通常撮影モードでの画像データをカウントするカウント値ＣＮＴを０にリセットする。Ｓ１１０８において、撮像素子２００は、画像データが取得される度にカウント値ＣＮＴをインクリメントし、更に、Ｓ１１０９において、カウント値ＣＮＴが、予め決められた数（Ｎ）以上であるか否かを判定する。

【0097】

撮像素子２００は、カウンタ値ＣＮＴがＮ未満であると判定した場合には、処理をＳ１１０８に戻してＳ１１０８以降の処理を繰り返し、通常撮影モードを継続する。一方、撮像素子２００は、カウンタ値ＣＮＴがＮ以上であると判定した場合には、本一連の処理を終了する。なお、撮像素子２００は、カウンタ値ＣＮＴがＮ以上であると判定した場合に、更に処理を繰り返すために、動作モードを検知モードに戻してもよい。この場合、処理をＳ１１０１に戻す。

【0098】

以上説明したように、本実施形態では、撮像素子２００は、検知モードにおいて、画素ブロック毎に加算された画素信号を用いて被写体像の変化を検知するようにした。また、画素ブロック毎によるイベント検知を、重複領域を設けた画素ブロックを用いて行うようにした。このようにすることで、画素ブロック内で被写体が移動するような小さな変化であっても、重複領域によって被写体像の変化を検出可能であり、且つ、イベント検知までの動作消費電力を低減することができる。

【0099】

すなわち、単に画素ブロック数を増大させることなく、消費電力の低減効果を維持したまま検出精度を向上させることが可能となる。換言すれば、被写体像の変化の検知に応じて撮影を行うように構成される撮像装置において、被写体像の変化を検知する検知動作における消費電力の低減と検知精度の向上が可能になる。

【0100】

なお、上述の例では、通常撮影モードは、画素加算されない１画素単位で画素信号を読み出すものとして説明した。しかし、これに限るものではなく、行、列方向における画素信号の加算や画素信号の間引き等を行う読み出しを行うために、必要とする解像度の範囲において画素信号の加算数や間引き数を変更してもよい。加えて、上述の例では、検知モードにおいて、画素信号を加算した画素ブロック毎による画素信号を用いて被写体像の変化を検知する例を説明したが、画素ブロック内の画素信号を所定間隔で間引いたうえで画素信号の加算を行ってもよい。

【0101】

また、上述の実施形態を、撮像素子２００の画素群にカラーフィルタ等が配され、色別の画素信号が出力される場合に適用してもよい。この場合、同色の出力画素が配される行または列により同色の画素信号の加算を行うようにしてもよい。

【0102】

更に、上述の例では、検知モードにおける画素ブロック単位での画素信号の読み出しにおいて、画素ブロック毎に固定の大きさの重複領域を設ける場合を例に説明した。しかし、その重複領域の大きさは、被写体の大きさやフレームレート等或いはユーザによる指示操作によって変更可能であってもよい。また、重複領域の大きさのほか、画素ブロックの領域の大きさについても変更可能にして、適宜条件に応じて検出感度を変えるようにしてもよい。

【0103】

（撮像素子を積層構造により実現する例について）
また、上述の撮像素子２００は、図１２（ａ）～（ｃ）に示すような積層構造を有する撮像素子として実現されてもよい。撮像素子２００は、図１２（ｂ）および図１２（ｃ）に示す半導体基板１２０１と、半導体基板１２０２とを含むように構成されてよい。半導体基板１２０１と半導体基板１２０２とは、重畳された状態で封止され、モジュール化（一体化）される。つまり、図１２（ｃ）に示すように、半導体基板１２０１および半導体基板１２０２は、多層構造（積層構造）を形成する。半導体基板１２０１に形成される回路と半導体基板１２０２に形成される回路とは、ビア（ＶＩＡ）等により互いに接続される。

【0104】

このように、撮像素子２００は、第１の半導体基板１２０１と第２の半導体基板１２０２が多層構造を形成するように一体化されたモジュール（ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）チップとも称する）であってよい。モジュール内部において第１の半導体基板１２０１と第２の半導体基板１２０２がこのように多層構造を形成することにより、撮像素子２００は、半導体基板のサイズを増大させずに、より大規模な回路の実装を実現することができる。すなわち、撮像素子２００は、コストの増大を抑制しながら、より大規模な回路を実装することができる。

【0105】

例えば、上述した撮像素子２００に含まれる各部は、以下のようにそれぞれ第１の半導体基板１２０１と、第２の半導体基板１２０２とのいずれかに形成されてよい。例えば、図１２（ａ）に示すように、第１の半導体基板１２０１には、上述した画素部２２０、垂直走査回路２１１、ＡＤ変換回路２１２、水平走査回路２１３が形成される。また、第２の半導体基板１２０２には、イベント検知部２１４、信号処理部２１５、モード制御部２１６、露光制御部２１７が形成される。

【0106】

なお、図１２に示した配置は一例にすぎず、第１の半導体基板１２０１および第２の半導体基板１２０２への各部の配置は、これらに限定されるものではない。

【0107】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0108】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0109】

１０２…画像処理部、２００…撮像素子、２２０…画素部、２１６…モード制御部、２１４…イベント検知部、２１５…信号処理部

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】