特許 7506468 撮像装置、撮像装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-18

(45)【発行日】2024-06-26

(54)【発明の名称】撮像装置、撮像装置の制御方法

(51)【国際特許分類】

   H04N 25/40 20230101AFI20240619BHJP

   H04N 23/54 20230101ALI20240619BHJP

   H04N 23/65 20230101ALI20240619BHJP

   H04N 25/44 20230101ALI20240619BHJP

   H04N 25/46 20230101ALI20240619BHJP

   H04N 25/76 20230101ALI20240619BHJP

   H04N 25/78 20230101ALI20240619BHJP

【ＦＩ】

H04N25/40

H04N23/54

H04N23/65 100

H04N25/44

H04N25/46

H04N25/76

H04N25/78

【請求項の数】 10

(21)【出願番号】P 2019210624

(22)【出願日】2019-11-21

(65)【公開番号】P2021082994

(43)【公開日】2021-05-27

【審査請求日】2022-11-16

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】神田 陽平

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２０１９－０９２０２２（ＪＰ，Ａ）

【文献】特開２０１８－０２２９３５（ＪＰ，Ａ）

【文献】国際公開第２０１７／０１３８０６（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１５８４７８（ＷＯ，Ａ１）

【文献】国際公開第２０１７／００９９４４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／４０

Ｈ０４Ｎ ２５／４４

Ｈ０４Ｎ ２５／７６

Ｈ０４Ｎ ２５／４６

Ｈ０４Ｎ ２５／７８

Ｈ０４Ｎ ２３／５４

Ｈ０４Ｎ ２３／６５

(57)【特許請求の範囲】

【請求項1】

画素回路が行列に配置されて構成され、複数の画素回路からなるブロックごとの画素信号の加算値および各画素回路の画素信号値をそれぞれ出力可能な撮像素子を備える撮像装置であって、
前記撮像素子における同一位置の前記ブロックから出力された時間的に前後する画素信号の加算値の差分に基づいて被写体変化を検知する検知手段を備え、
前記検知手段が被写体変化を検知した場合に、前記撮像素子から前記被写体変化が検知されたブロックについて該ブロックに含まれる各画素回路の画素信号値を出力し、前記被写体変化が検知されなかったブロックについて該ブロックに含まれる各画素回路の画素信号値を出力せず、
前記画素信号の加算値は、前記ブロックに含まれる前記複数の画素回路からの画素信号うち、複数の色のうちの所定の色の画素信号の加算平均により取得されることを特徴とする撮像装置。

【請求項2】

前記検知手段が、前記撮像素子における全ての前記ブロックのうち所定の割合を超えるブロックについて前記被写体変化を検知した場合、前記撮像素子は、前記全ての前記ブロックのそれぞれに含まれる各画素回路の画素信号値を出力することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記撮像素子は、前記全ての前記ブロックのそれぞれに含まれる各画素回路の画素信号値を出力することにより所定枚数の画像の撮影後に、前記ブロックごとの画素信号の加算値の出力を再開することを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記検知手段は、前記被写体変化の検知に応じて前記各画素回路の画素信号値の出力が開始されると、前記被写体変化の検知を停止することを特徴とする請求項１または２に記載の撮像装置。

【請求項5】

前記検知手段は、前記被写体変化の検知を停止した後、前記各画素回路の画素信号値を出力することにより第１の所定枚数以上の画像の撮影後に、前記被写体変化の検知を再開することを特徴とする請求項４に記載の撮像装置。

【請求項6】

前記検知手段が前記被写体変化の検知を停止した後、前記撮像素子は、前記第１の所定枚数以上の画像の撮影後に、全ての前記ブロックのそれぞれについて前記画素信号の加算値を出力し、
前記検知手段は、前記同一位置の前記ブロックから出力された時間的に前後する画素信号の加算値の差分に基づいて前記被写体変化を更に検知し、
前記検知手段が被写体変化を更に検知した場合に、前記撮像素子は、前記被写体変化が更に検知されたブロックについて、前記ブロックに含まれる各画素回路の画素信号値を出力し、前記被写体変化が検知されなかったブロックについて、該ブロックに含まれる画素回路の画素信号値を出力せず、
前記検知手段が被写体変化を更に検知しない場合に、前記撮像素子は、前記第１の所定枚数よりも大きい第２の所定枚数の画像を撮影するまで前記各画素回路の画素信号値を出力することを特徴とする請求項５に記載の撮像装置。

【請求項7】

前記撮像素子は、前記被写体変化が検知されなかったブロックに含まれる画素回路の画素信号値としてダミーデータを出力することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。

【請求項8】

前記撮像素子は、前記検知手段を備えることを特徴とする請求項１から７のいずれか１項に記載の撮像装置。

【請求項9】

前記撮像素子は複数の基板が積層された構造を有し、
前記画素回路と前記検知手段とは異なる基板に形成されていることを特徴とする請求項８に記載の撮像装置。

【請求項10】

画素回路が行列に配置されて構成され、複数の画素回路からなるブロックごとの画素信号の加算値および各画素回路の画素信号値をそれぞれ出力可能な撮像素子を備える撮像装置の制御方法であって、
検知手段が、前記撮像素子における同一位置の前記ブロックから出力された時間的に前後する画素信号の加算値の差分に基づいて被写体変化を検知する検知工程と、
前記検知工程において被写体変化が検知された場合に、前記撮像素子から前記被写体変化が検知されたブロックについて該ブロックに含まれる各画素回路の画素信号値を出力する出力工程と
を含み、
前記出力工程では、前記被写体変化が検知されなかったブロックについて該ブロックに含まれる各画素回路の画素信号値は出力せず、
前記画素信号の加算値は、前記ブロックに含まれる前記複数の画素回路からの画素信号うち、複数の色のうちの所定の色の画素信号の加算平均により取得されることを特徴とする撮像装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及び撮像装置の制御方法に関する。

【背景技術】

【0002】

観測、監視等を目的として撮像装置が広く利用されている。撮像装置による撮像動作に関しては、所定間隔による撮像だけでなく、前後フレーム間での輝度値の差分を用いて被写体（或いは、被写体の変化）を検知し、被写体変化によるイベント発生の判断を得てから撮影および記憶動作を開始する撮像装置が知られている。

【0003】

特許文献１は、被写体検知を、通常の撮影時とは異なる撮影駆動モードにて行わせており、撮像素子の面内で画素信号が加算された複数の分割ブロック単位の出力に基づいて被写体を検知する。これにより、画像および輝度情報として情報処理量を減少させて消費電力を低減している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－２２９３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述の従来技術では、被写体検知後の撮影および記録動作において消費電力は通常の撮影モードと同様のため、被写体が頻繁に検知される場合は消費電力低減効果が小さくなってしまう。

【0006】

そこで、被写体を検知する撮像装置において、被写体変化が頻繁に検知される場合においても消費電力の低減を可能とする技術を提供する。

【課題を解決するための手段】

【0007】

上記課題を解決するための発明は、画素回路が行列に配置されて構成され、複数の画素回路からなるブロックごとの画素信号の加算値および各画素回路の画素信号値をそれぞれ出力可能な撮像素子を備える撮像装置であって、
前記撮像素子における同一位置の前記ブロックから出力された時間的に前後する画素信号の加算値の差分に基づいて被写体変化を検知する検知手段を備え、
前記検知手段が被写体変化を検知した場合に、前記撮像素子から前記被写体変化が検知されたブロックについて該ブロックに含まれる各画素回路の画素信号値を出力し、前記被写体変化が検知されなかったブロックについて該ブロックに含まれる各画素回路の画素信号値を出力せず、
前記画素信号の加算値は、前記ブロックに含まれる前記複数の画素回路からの画素信号うち、複数の色のうちの所定の色の画素信号の加算平均により取得されることを特徴とする。

【発明の効果】

【0008】

本発明によれば、被写体を検知する撮像装置において、被写体変化が頻繁に検知される場合においても消費電力を低減することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態に対応する撮像装置１００の構成例を示すブロック図。

【図2】実施形態に対応する撮像素子２００の構成例を示すブロック図

【図3】実施形態に対応する画素アレイ部２２０の構成例を示す図。

【図4】実施形態における画素回路２３０の構成例を示す図。

【図5】実施形態におけるイベント検知部２１４の構成例を示す図。

【図6】実施形態に対応する撮像画像及び被写体検知の一例を説明する図。

【図7】実施形態に対応する撮像装置１００の動作の一例を示すフローチャート。

【図8】実施形態に対応する撮像素子２００の構造を説明するための図。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0011】

［実施形態１］
以下、添付の図面を参照して、第１の実施形態について説明する。図１は、典型的な実施形態の一例に対応する撮像装置１００の構成例を示すブロック図である。図１において、撮像レンズ１０１は、被写体からの光を撮像素子２００へ集光する。撮像素子２００は、ＣＭＯＳの撮像センサであって、撮像レンズ１０１を通して入射した光を光電変換して画像信号として出力可能に構成される。また、撮像素子２００は、内部に画素出力値の変化量および変化領域の検知結果に応じて、撮像素子２００自身の駆動制御を選択・変更する制御機能を有している。上記機能を有することにより、撮像素子自身による被写体の変化の検知から好適な撮影モードへの選択・変更を可能としている。また、撮像素子２００は任意の撮像領域にクロップして撮影する機能を有する。

【0012】

画像処理部１０２は、撮像素子２００から出力される画像信号に対して、フィルタ処理等の各種補正や圧縮等のデジタル画像処理等を行う。また、４ＫモードやＦｕｌｌＨＤモード等による画素信号についても、ここで各モードに応じたリサイズ等の画像処理が行われる。制御部１０３は、撮像素子２００の駆動タイミングの制御を行うとともに、画像処理部１０２、表示部１０６等の撮像装置全体の統括的な駆動・制御を行う。また、制御部１０３では、ユーザの命令を受けて、静止画モード、ＦｕｌｌＨＤモード、４Ｋモード等の複数の撮影モードから選択された撮影モードに応じて駆動制御を行う。

【0013】

また、撮像装置１００においては、撮像素子２００が被写体変化の検知に応じて撮影モードの選択・変更を行う検知モードを備えており、撮像素子２００の検知モードへの動作許可の制御も行う。

【0014】

メモリ１０４、記憶部１０５は、画像処理部１０２から出力された画像信号を記憶保持する不揮発性メモリやメモリカード等の記憶媒体である。表示部１０６は、撮影画像や各種設定画面等の表示を行うディスプレイである。操作部１０７は、ボタン、タッチパネル、スイッチ等で構成されユーザからの操作入力を受け付けて、制御部１０３に対してユーザの命令を反映する。

【0015】

図２は、典型的な実施形態に対応する撮像素子２００の構成例を示すブロック図である。撮像素子２００は、複数の画素が行列状に配置された画素アレイ部２２０を備えており、画素単位による出力、及び、画素アレイ部２２０の面内を所定数の複数の画素回路の組からなる画素ブロックに分割し画素ブロック毎に画素信号を加算して出力する機能を有している。画素アレイ部２２０からの画素信号出力は、ＡＤ変換回路２１２にて画素列毎または後述する画素ブロック単位としたブロック列毎にてアナログ－デジタル変換された後、水平走査回路２１３の駆動により順次イベント検知部２１４へ転送される。

【0016】

イベント検知部２１４では、モード制御部２１６の制御信号を受け、画素ブロック単位による出力に対して、所定イベントの判断基準とする画素出力値の変化量を検知するとともに、検知結果の情報を撮像素子２００の駆動モード制御を行うモード制御部２１６へ送信する。また、イベント検知部２１４は、画素アレイ部２２０の出力が画素単位である場合には、出力された画素データをそのまま信号処理部２１５へ転送する。さらにイベント検知部２１４は、画素ブロック単位で出力データを積算し、積分データとして露光制御部２１７に供給する。

【0017】

信号処理部２１５は、イベント検知部２１４から出力される画素データの前後に、画素データの変化量や撮像素子２００の駆動モード等の情報データを付加して撮像素子２００の外部に出力する。モード制御部２１６は、撮像素子内のイベント検知部２１４または撮像素子外の制御部１０３からの信号を受けて、ＡＤ変換回路２１２、水平走査回路２１３、垂直走査回路２１１の各々に駆動タイミング制御信号を供給し、撮像素子２００の撮像モード毎に応じた駆動制御を行う。また、モード制御部２１６は、イベント検知部２１４からの信号に応じてクロップ駆動させるか否かを判断し、クロップ駆動させる場合はイベント検知部２１４からの信号に基づいて駆動させる撮像領域を制御してクロップ駆動を実行する。また、モード制御部２１６は、制御部１０３から撮像素子２００が検知モードとして動作が許可されている場合、撮像素子２００を検知モードとして画素ブロック毎に画素信号を加算する駆動を開始させる。

【0018】

垂直走査回路２１１は、各行ごとに接続される信号線を介して、画素単位または画素ブロック単位による行選択・駆動を行う。露光制御部２１７は、イベント検知部２１４からの積分データに基づき、撮像素子の露光制御として露光時間の算出を行い、モード制御部２１６へ撮像素子の露光制御信号を供給する。

【0019】

図３は、典型的な実施形態に対応する画素アレイ部２２０の構成例を示す図である。画素アレイ部２２０には、画素回路２３０が行列状に複数配置されている。またイベント検知の加算単位として複数の画素回路の組からなる画素ブロックが点線の矩形形状２４０で示されている。なお、説明を簡略化するため、本実施形態においては、２行２列の画素回路の組を画素ブロック２４０とした場合を説明するが、画素ブロックを構成する画素回路の組の行列数は、これに限られるものではない。また、図３では、画素ブロック２４０を２×２に行列配置した場合を説明するが、画素アレイ部２２０を構成する画素ブロックの行列数及び配置はこれに限定されるものではない。

【0020】

画素ブロック２４０は、そのブロック単位に対する行方向に２つのリセット制御信号ＲＳＴ（例えばＲＳＴ１、ＲＳＴ２）、２つの行選択制御信号ＳＥＬ（例えばＳＥＬ１、ＳＥＬ２）、２つの転送制御信号（例えばＴＸ１、ＴＸ２）、加算信号ＡＤＤ（例えばＡＤＤ１）、加算後信号の選択制御信号ＡＤＤ＿ＳＥＬ（例えばＡＤＤ＿ＳＥＬ１）をそれぞれ供給するための水平信号線が配線される。

【0021】

また、各画素回路２３０にはリセット制御信号ＲＳＴ、行選択制御信号ＳＥＬ、転送制御信号ＴＸをそれぞれ供給するための水平信号線が配線されている。さらに画素ブロックごとに加算信号ＡＤＤ、加算後信号の選択制御信号ＡＤＤ＿ＳＥＬをそれぞれ供給するための水平信号線が配線されている。列方向には垂直信号線４１０を供給するための水平信号線が配線されている。画素からの出力は垂直信号線４１０を介して、接続先のＡＤ変換回路２１２に入力される。

【0022】

上記の各水平信号線の選択駆動が行われることで、撮像素子から行単位にて順次、各垂直信号線４１０を介して出力が行われる。画素アレイ部２２０からの出力は、撮像装置１００が検知モードで動作していない場合、各画素回路２３０の画素信号が順次出力されるのに対し、検知モードの場合、後述する画素ブロック２４０内のＦＤごとの加算スイッチを動作させることで、加算結果が特定の画素から出力される。

【0023】

図４は、典型的な実施形態に対応する画素回路２３０の等価回路の一例を示す図である。図４では、説明のため、１つの画素ブロック２４０に対応する画素回路２３０が４つ配置された例を示す。左上の画素回路２３０－１を中心に説明をすると、フォトダイオード４０６－１にて発生および蓄積された電荷を、転送制御信号ＴＸ１を制御して転送スイッチ４０５を介してフローティングディフュージョン（以後ＦＤ）４０７－１に転送する。ソースフォロアアンプ４０８－１は垂直出力線に接続された定電流源４１１－１と共に構成され、ＦＤ４０７－１に蓄積された電荷に基づく電圧信号を増幅して、画素信号として出力する。ソースフォロアアンプの出力を行選択制御信号ＳＥＬ１が行選択スイッチ４０９を制御して垂直出力線４１０－１へ接続する。

【0024】

ＦＤ４０７－１に蓄積されている不要電荷をリセットする場合、リセット制御信号ＲＳＴ１によりリセットスイッチ４０４－１を制御する。さらにフォトダイオード４０６－１のリセットは、リセットスイッチ４０４－１と共に、転送制御信号ＴＸ１により転送スイッチ４０５－１を制御して実行する。転送制御信号ＴＸ１、リセット制御信号ＲＳＴ１、及び、行選択制御信号ＳＥＬ１をそれぞれ供給する水平信号線は垂直走査回路２１１につながっており、各行にそれぞれの制御信号が供給される。

【0025】

撮像装置１００が検知モードで動作していない場合、各画素回路２３０の出力信号を加算せず、各画素回路から画素信号として読み出す。本実施形態では、検知モードでない場合の読み出し方法として、全画素ブロックの各画素回路から画素信号を読み出す撮影モードと、クロップ駆動により一部の画素ブロックに含まれる各画素回路から画素信号を読み出す撮影モードとがある。ここで、「クロップ駆動」をしない撮影モードを「全画面撮影モード」と呼び、クロップ駆動をする撮影モードを「クロップ撮影モード」と呼ぶ。クロップ撮影モードでは、直前の検知モードで被写体変化が検知された画素ブロックの画素回路のみをクロップして撮影する。撮影モード遷移の条件やフローについては別途後述する。

【0026】

クロップ撮影モードでは、モード制御部２１６により選択された特定の画素回路のみを垂直走査回路２１１と水平走査回路２１３によって走査し、各画素回路２３０から転送した画素信号を読み出す。例えば、検知モードによって図３における画素ブロック２４０－１で被写体変化が検知され、クロップ撮影モードに遷移した場合、クロップ撮影モードでは画素ブロック２４０－１以外の画素におけるリセット制御、行選択制御、転送制御、ＡＤ変換を実施しない。このため転送制御信号ＴＸ３、ＴＸ４とリセット制御信号ＲＳＴ３、ＲＳＴ４と行選択制御信号ＳＥＬ３、ＳＥＬ４を供給するための電力は消費されない。また、垂直出力線４１０－３、４１０－４に接続されたAD変換回路も動作しないため、AD変換動作のための電力は消費されない。また、垂直出力線４１０－１、４１０－２に接続されたAD変換回路も画素ブロック２４０－３の画素についてはAD変換動作をしないため、その分の電力は消費されない。

【0027】

クロップ撮影モードにおいては、クロップ駆動によって読み出しをしない画素が多いほど、画素アレイ部２２０においてリセット制御、行選択制御、転送制御のために消費する電流やAD変換回路２１２のAD変換動作が減少するため、撮影時の消費電力が減少する。

【0028】

本実施形態では、クロップ駆動によって読み出しをしない画素回路２３０の出力として、AD変換回路２１２はダミーデータを出力する。このため、全画面撮影モードとクロップ撮影モードとで撮像素子２００から出力される画像サイズは同様となる。このダミーデータの値は、例えば画素におけるゼロ出力と同じ値に設定しても良い。

【0029】

検知モードにおいては、ＦＤ４０７に転送した信号を、加算信号ＡＤＤでスイッチ４１３、スイッチ４１４、スイッチ４１５をオンしてＦＤ（４０７－１、４０７－２、４０７－３、４０７－４）で加算平均する。その後、加算後信号の選択制御信号ＡＤＤ＿ＳＥＬを制御して、加算平均した信号（画素信号の加算値）を２３０－３画素から読み出す。行選択スイッチ４０９－３には、行選択制御信号ＳＥＬ２と、加算後信号の選択制御信号ＡＤＤ＿ＳＥＬとがＯＲ回路４１２を介して入力されているので、いずれかの選択制御信号が入力されるとソースフォロアアンプの出力が垂直出力線４１０－１へ接続される。このようにして、２×２の画素信号を加算平均した加算値を検知モードの出力とする。ここで、画素信号の加算単位は２×２に限るものではない。また、加算値の生成方法はＦＤでの加算に限らない。例えば、複数の行の画素回路を垂直出力線につないで画素信号を加算平均し、水平の加算はＡＤ変換回路の前の加算回路を使用して実施する形でもよい。

【0030】

図５は、典型的な実施形態に対応するイベント検知部２１４の構成例を示す図である。イベント検知部２１４にはＡＤ変換回路２１２の出力信号が入力される。出力切替部２６０は、モード制御部２１６からの制御信号を受けて、撮像素子２００の駆動制御として選択された撮影モードに応じて入力された信号の出力先を切り替える。撮像素子２００の駆動制御として選択された撮影モードが被写体変化を検知する検知モードの場合、出力切替部２６０は、画素信号の出力先を積算演算処理部２６１に切り替える。また、撮影モードが検知モードでない場合、出力切替部２６０は、画素信号の出力先を信号処理部２１５に切り替える。

【0031】

積分演算処理部２６１は、出力切替部２６０から出力された画素信号値の積算を行い、積算データを露光制御部２１７へ供給する。また、画素ブロック単位でデータを保持するメモリ２６２へ出力する。メモリ２６２は、画素ブロック単位で加算平均した信号（画素信号の加算値）と、対応する画素ブロックの撮像素子２００の面内における位置情報とを関連付けて記憶・保持する。

【0032】

差分検知部２６３は、直近に読み出された画素ブロック単位の画素信号の加算値と、メモリ２６２に保持されている同一位置の画素ブロックの過去の画素信号の加算値とから差分値を取得する。ここで、差分値の取得に用いる画素信号の加算値は、同一位置の画素ブロックの時間的に前後する、あるいは、隣接する画素信号の加算値とする。取得された差分値は比較部２６４に供給される。比較部２６４は、取得された差分値を所定の閾値と比較し、イベント検知が有ったか否かを判定する。比較部２６４にて得られた結果はモード制御部２１６を介して制御部１０３に送信される。制御部１０３は結果に基づいて撮像素子２００の面内における分割領域において、被写体変化が検知される等のイベントが発生した領域を判別する。

【0033】

図６は、実施形態に対応する撮像画像及び被写体変化の検知の一例を説明する図である。図６（Ａ）は、画面内を画素ブロックにより４×４に分割した例を示している。図中の破線は画素ブロック単位による領域範囲を示すものであり、以降、説明の便宜上、画面上における画素ブロックの位置について、画面左上から００、その右隣を０１、以降画面右下３３まで、行を左側の数字、列を右側の数字として表して説明を行う。

【0034】

図６（Ｂ）は、撮影画面上の被写体の一例示した図であり、被写体として家屋が右下２×２ブロックに位置することを示している。図６（Ｃ）は、図６（Ｂ）に示した被写体に対して、画素アレイ部２２０の画素ブロック２４０毎による出力を模式的に表した図である。同図において家屋部分に位置する領域からの出力は、画素ブロック２２、２３、３２、３３から得られ、その出力は、家屋およびその背景から画素信号が加算平均された出力となる。なお、本例においては、家屋に対する背景が明るい場合を示しており、画素ブロック２２、２３では、家屋と背景の占める割合から画素ブロック３２、３３に対して低い出力値となる。

【0035】

図６（Ｄ）は、図６（Ｂ）同様に被写体の一例を示した図であり、図６（Ｂ）の撮影状況において被写体の変化として人物が左下の１ブロックに加わるものとなる。図６（Ｅ）は、図６（Ｄ）での被写体に対する画素ブロック毎の出力を表した模式図を示している。ここで、撮影領域の状態が図６（Ｂ）に示す状態から図６（Ｄ）に示す状態に変化した場合を考える。イベント検知部２１４の差分検知部２６３は、メモリ２６２に過去データとして保持されている図６（Ｃ）に示す画素ブロック単位の出力と、直近で読み出された図６（Ｅ）に示す画素ブロック単位の出力から同位置の画素ブロック毎の差分値を取得する。

【0036】

取得された差分値は、比較部２６４にて所定の閾値と比較され、結果、画素ブロック３０の差分値が所定の閾値以上である場合に被写体変化が検知される。この差分値には、撮像素子の面内における位置情報（例えば、行列２次元の分割位置を示す情報。図６（Ｅ）の場合には画素ブロック３０を示す情報）が紐付けられているので、撮像面内のどの位置で被写体変化が検知されたかを判別することができる。

【0037】

次に、図７を参照して典型的な実施形態に対応する撮像装置１００の動作を説明する。図７は、典型的な実施形態に対応する撮像装置１００の動作の一例を示すフローチャートであり、検知モードにおける動作フローを示すものである。以下フローチャートに従い動作説明を行う。

【0038】

撮像装置１００は、起動後、Ｓ７０１において制御部１０３が撮像素子２００に対し検知モード動作の許可制御を行い、検知モードに移行する。次にＳ７０２では、制御部１０３は撮像素子２００を制御して画素ブロック毎に画素信号が加算平均された信号（画素信号の加算値）を出力させ、メモリ２６２に一時に保存する。

【0039】

次にＳ７０３では、制御部１０３は、Ｓ７０２にて得られた画素ブロック毎の画素信号の加算値が動作開始後の２枚目以降のものであるかどうかを判定する。もし、２枚目以降である場合、処理はＳ７０４に進み、２枚目未満の場合、処理はＳ７０２に戻る。２枚目未満の場合、被写体変化検知のための過去データとの差分が得られないためである。Ｓ７０４では、差分検知部２６３が、Ｓ７０２で取得した画素信号の加算値につき、画素ブロック毎に差分値を取得する。すなわち、メモリ２６２に保持されているＳ７０２で取得した画素信号の加算値と同一の画素ブロックにおける時間的に前後の関係にある画素信号の加算値との差分値を取得する。

【0040】

次にＳ７０５では、比較部２６４は、Ｓ７０４にて取得された差分値に基づき、イベント検知の有無を判定する。比較部２６４は、各差分値を所定の閾値と比較し、閾値以上であるか否かを判定する。そして、閾値以上の差分値が存在する場合には、その画素ブロック数をカウントする。カウントなし（＝０）であれば、変化検知のイベントなしとして、処理はＳ７０２に戻り、上述したＳ７０４までの被写体変化の検知の動作を繰り返す。一方、カウントが計数されていれば（＞０）、イベント検知が有ったとして、処理はＳ７０６へ進む。

【0041】

次にＳ７０６では、制御部１０３は、Ｓ７０５でカウントした被写体変化のある画素ブロック数が所定数ｎ以上であるか否かを判定する。ここでは、被写体変化が検知された画素ブロック数を判定しているが、これは、被写体変化が検知された画素ブロックの割合を判定することと等価である。換言すれば、Ｓ７０６では、被写体変化が検知された画素ブロックの割合が所定の割合を超えるかどうかを判定している。もし、カウントされた画素ブロック数がｎ未満であれば撮像面内の限定された範囲のみで被写体変化ありとして、処理はＳ７１１へ進む。また、ｎ以上の場合、撮像面内の広い範囲で被写体変化ありとして、処理はＳ７０７へ進む。このようにして被写体検知に応じて検知モードを一旦停止して、全画面撮影モードまたはクロップ撮影モードに移行する。

【0042】

Ｓ７０７では、制御部１０３より撮像素子２００に対し全画面撮影モード動作の許可制御を行い、全画面撮影モードに移行する。次にＳ７０８では、制御部１０３は、全画面撮影モードに移行した後、全画面撮影モードで出力した画像枚数をカウントするカウント値ＣＮＴを０にリセットする。続くＳ７０９では、制御部１０３は、撮像素子２００を制御して全画面撮影モードにて撮影を行い、画像データを出力してカウント値ＣＮＴをインクリメントする。続くＳ７１０では、制御部１０３は、カウント値ＣＮＴが予め決められた画像枚数（所定枚数）である値Ｎ以上であるか否かを判断する。カウンタ値ＣＮＴがＮ未満である場合、処理はＳ７０９へ戻り全画面撮影モードを継続する。一方、カウンタ値ＣＮＴがＮ以上である場合、全画面撮影モードから再度検知モードに戻って被写体変化を検知するために処理はＳ７０１へ戻る。このＳ７０８からＳ７１０のループによって、全画面撮影モードにおいて所定枚数以上の画像の撮影後、或いは、一定時間継続した後に検知モードが再開されることになる。

【0043】

一方、Ｓ７１１では、制御部１０３より撮像素子２００に対しクロップ撮影モード動作の許可制御を行い、クロップ撮影モードに移行する。次にＳ７１２では、Ｓ７０５で検知した画素ブロックの撮像面内の座標情報をイベント検知部２１４からモード制御部２１６へ送信し、モード制御部２１６はイベント検知された画素ブロックの撮像領域をクロップ領域に指定する。次にＳ７１３、Ｓ７１４では、制御部１０３は、クロップ撮影モードで出力した画像枚数をカウントするカウント値ＣＮＴ、ＣＮＴ２をそれぞれ０にリセットする。カウント値ＣＮＴはイベント検知後に撮影した画像枚数を表す変数であり、カウント値ＣＮＴ２はクロップ撮影モード内における、被写体変化検知用撮影の実行タイミングを判定するための変数である。本実施形態では、一例としてクロップ撮影モードにおいてＭ枚以上の画像データが出力されると、クロップ撮影モードを継続しつつ、被写体変化の検知を行う場合を説明する。

【0044】

Ｓ７１５では、制御部１０３は撮像素子２００を制御してクロップ撮影モードにて撮影を行い、画像データを出力してカウント値ＣＮＴ、ＣＮＴ２をそれぞれインクリメントする。Ｓ７１６では、制御部１０３は、カウント値ＣＮＴ２が予め決められた値Ｍ以上であるか否かを判定する。カウンタ値ＣＮＴ２がＭ未満である場合、処理はＳ７１５へ戻りＳ７１５以降を繰り返し、クロップ撮影モードを継続する。一方、カウンタ値ＣＮＴ２がＭ以上である場合には、クロップ撮影モード内で定期的に被写体変化を検知するために処理はＳ７１７へ進む。

【0045】

Ｓ７１７では、制御部１０３は撮像素子２００を制御して検知用駆動による撮影を実施する。Ｓ７０２と同様に撮像素子２００内の画素ブロック毎に画素信号の加算値の出力を行わせ、メモリ２６２に一時的に保存する。このとき、クロップせず全撮像領域での撮影を実施して、画素信号の加算値を出力する。次にＳ７１８では、差分検知部２６３が、Ｓ７１７で取得した画素信号の加算値につき、画素ブロック毎にメモリ２６２に保持されている過去の画素信号の加算値との差分値を取得する。次にＳ７１９では、比較部２６４がＳ７１８にて得られた差分値に基づき、イベント検知の有無を判定する。ここでの判定の詳細はＳ７０５で記載したのと同様である。判定の結果、変化検知のイベントなしの場合、処理はＳ７２０へ進む。また、イベント検知ありの場合、処理はＳ７２１へ進む。

【0046】

Ｓ７２０では、制御部１０３がカウント値ＣＮＴが予め決められた値Ｎ以上であるか否かを判断する。カウンタ値ＣＮＴがＮ未満である場合、処理はＳ７１４へ戻りクロップ撮影モードを継続する。カウンタ値ＣＮＴがＮ以上である場合、クロップ撮影モードから検知モードに移行するために処理はＳ７０１へ戻る。このＳ７１３からＳ７２０のループによって、クロップ撮影モードを一定時間だけ継続した後に検知モードを再開する動作がなされる。

【0047】

一方、Ｓ７２１では、比較部２６４は、Ｓ７１９でカウントした被写体変化のある画素ブロック数が所定数ｎ以上であるか否かを判定する。もし、カウントされた画素ブロック数がｎ未満であれば撮像面内の限定された範囲のみで被写体変化ありとして、処理はＳ７１２へ進む。また、ｎ以上の場合、撮像面内の広い範囲で被写体変化ありとして、処理はＳ７０７へ進む。

【0048】

このように、被写体変化をイベントとして検知する撮像装置において、イベントが検知された撮像領域のみをクロップして撮影することで、イベントが頻繁に検知される場合においても、消費電力の低減を可能とした撮像装置を提供することができる。また、検知モードにおいて、被写体変化のイベント検知までを画素ブロック毎による画素加算出力される駆動モードにて行うことで、検知モード時の消費電力を低減することができる。また、検知モードにおいて被写体変化を検知し、イベントが検知された領域が撮像面の一部の場合は、被写体変化のある撮像面領域のみをクロップ撮影モードで撮影することで撮影時の消費電力や記憶される画像のデータサイズを低減することができる。

【0049】

また、クロップ撮影モードにおいても、一定間隔で被写体検知用の検知モードでの撮影を実施し、被写体変化のある撮像面領域を再取得してクロップ領域を更新することで、被写体変化にクロップ領域を追従させることができる。このため、イベントが頻繁に検知されて撮影モードに頻繁に遷移する場合であっても、撮影時の消費電力や記憶される画像のデータサイズを低減しつつ、撮影したい被写体の動きを記録することができる。

【0050】

次に、図８を参照して、撮像素子２００の構造について説明する。上記の実施形態において、撮像素子２００は、図８Ａに示されるように斜線で示される半導体基板８０１と、白色で示される半導体基板８０２とを有するように構成することができる。半導体基板８０１および半導体基板８０２は、図８Ｂに示されるように重畳された状態で封止され、モジュール化（一体化）される。これにより、図８Ｃに示されるように、半導体基板８０１および半導体基板８０２は、多層構造（積層構造）を形成する。半導体基板８０１に形成される回路と半導体基板８０２に形成される回路は、ビア（ＶＩＡ）等により互いに接続される。図８では２層の場合を示したが、積層数をより多くしてもよい。

【0051】

このように、撮像素子２００は、半導体基板８０１と半導体基板８０２が多層構造を形成するように一体化されたモジュール（ＬＳＩ（Large Scale Integration）チップとも称する）として形成されてもよい。モジュール内部において半導体基板８０１と半導体基板８０２がこのように多層構造を形成することにより、撮像素子２００は、半導体基板のサイズを増大させずに、より大規模な回路の実装を実現することができる。すなわち、撮像素子２００は、コストの増大を抑制しながら、より大規模な回路を実装することができる。

【0052】

半導体基板８０１には、画素アレイ部２２０およびＡＤ変換回路２１２、垂直走査回路２１１、水平走査回路２１３などが形成される。また、半導体基板８０２には、イベント検知部２１４、信号処理部２１５、モード制御部２１６、露光制御部２１７を形成することができる。

【0053】

また、上述の実施形態において、検知モードを、所定ブロック内の複数の画素信号を加算して読み出すことにより出力画素数を低減する撮影モードとして説明したが、画素数の低減方法はこれに限定されるものではない。例えば、読み出す画素を周期的に間引くことで出力画素数を低減してもよい。その際、画素ブロック内の画素を所定間隔により間引いた後、画素信号を加算して、被写体変化の検知を行ってもよい。

【0054】

また、撮像素子にカラーフィルタ等が配され、色別の画素出力となる場合においては、同色の画素が配される行または列によって同色の画素信号を加算するようにしてもよい。その際、複数の色のうち、一部の色の画素のみの画素信号を加算するようにしてもよい。例えば、ＲＧＢの場合にはＧの画素のみの画素信号を加算してもよい。

【0055】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0056】

１００：撮像装置、２００：撮像素子

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】