特許 7446091 撮像装置、撮像装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-29

(45)【発行日】2024-03-08

(54)【発明の名称】撮像装置、撮像装置の制御方法

(51)【国際特許分類】

   H04N 25/40 20230101AFI20240301BHJP

   H04N 23/54 20230101ALI20240301BHJP

   H04N 23/667 20230101ALI20240301BHJP

   H04N 25/46 20230101ALI20240301BHJP

   H04N 25/70 20230101ALI20240301BHJP

   H04N 25/76 20230101ALI20240301BHJP

   H04N 25/78 20230101ALI20240301BHJP

【ＦＩ】

H04N25/40

H04N23/54

H04N23/667

H04N25/46

H04N25/70

H04N25/76

H04N25/78

【請求項の数】 13

(21)【出願番号】P 2019210625

(22)【出願日】2019-11-21

(65)【公開番号】P2021082995

(43)【公開日】2021-05-27

【審査請求日】2022-11-16

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】上田 敏治

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２０１７－１２３６５８（ＪＰ，Ａ）

【文献】特開２０１８－０２２９３５（ＪＰ，Ａ）

【文献】特開２０１９－０９２０２２（ＪＰ，Ａ）

【文献】特開２０１１－１７２２２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ５／３０ － ５／３３

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／１１

Ｈ０４Ｎ ２３／２０ －２３／７６

Ｈ０４Ｎ ２３／９０ －２３／９５９

Ｈ０４Ｎ ２５／００

Ｈ０４Ｎ ２５／２０ －２５／６１

Ｈ０４Ｎ ２５／６１５－２５／７９

(57)【特許請求の範囲】

【請求項1】

複数の画素回路が行列状に配置されて構成され、前記複数の画素回路からなるブロックごとの画素信号の加算値および各画素回路の画素信号値をそれぞれ出力可能な撮像素子を備える撮像装置であって、
前記撮像素子における同一位置の前記ブロックから出力された時間的に前後する画素信号の加算値の差分に基づいて被写体変化を検知する検知手段と、
前記撮像素子の動作の指定を受け付ける受付手段と、
前記受付手段が受け付けた指定に応じて前記撮像素子の動作を制御する制御手段と、
を備え、
前記ブロックは、第１のブロックと、前記第１のブロックよりも画素回路の数が少なく撮像面の端部に位置する第２のブロックとを含み、前記第１のブロックは前記撮像面において前記第２のブロックよりも内側に配置され、
前記受付手段により、過去の検知履歴に応じて、前記ブロックとして前記第１のブロックと前記第２のブロックとを用いる第１のモードと、前記ブロックとして前記第１のブロック及び前記第２のブロックとは異なる第３のブロックを用いる第２のモードとのいずれかを選択する第１の自動モードが指定された場合、前記制御手段は、過去に被写体変化が検知された回数、及び、検知されたブロックの位置に応じて前記第１のモードまたは前記第２のモードを選択し、前記撮像素子を制御することを特徴とする撮像装置。

【請求項2】

前記制御手段は、前記過去に被写体変化が検知された回数が所定回数よりも多く、かつ、前記被写体変化が検知されたブロックが前記撮像素子の前記撮像面の端部に位置する割合が、所定割合よりも高い場合に、前記第１のモードを選択することを特徴とする請求項１に記載の撮像装置。

【請求項3】

複数の画素回路が行列状に配置されて構成され、前記複数の画素回路からなるブロックごとの画素信号の加算値および各画素回路の画素信号値をそれぞれ出力可能な撮像素子を備える撮像装置であって、
前記撮像素子における同一位置の前記ブロックから出力された時間的に前後する画素信号の加算値の差分に基づいて被写体変化を検知する検知手段と、
前記撮像素子の動作の指定を受け付ける受付手段と、
前記受付手段が受け付けた指定に応じて前記撮像素子の動作を制御する制御手段と、
を備え、
前記ブロックは、第１のブロックと、前記第１のブロックよりも画素回路の数が少なく撮像面の端部に位置する第２のブロックとを含み、前記第１のブロックは前記撮像面において前記第２のブロックよりも内側に配置され、
前記受付手段により、外光の測定結果に基づいて前記ブロックとして前記第１のブロックと前記第２のブロックとを用いる第１のモードと、前記ブロックとして前記第１のブロック及び前記第２のブロックとは異なる第３のブロックを用いる第２のモードとのいずれかを選択する第２の自動モードが指定された場合、前記制御手段は、前記測定結果が所定の輝度よりも高い場合に前記第１のモードを選択し、前記測定結果が前記所定の輝度よりも高くない場合に前記第２のモードを選択して、前記撮像素子を制御することを特徴とする撮像装置。

【請求項4】

前記第２のブロックは、前記撮像素子を構成する画素回路のうち、前記撮像面の端部の画素回路により構成されることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。

【請求項5】

前記検知手段により被写体変化が検知された場合に、該被写体変化を検知したブロックの位置、または、種別を記憶することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。

【請求項6】

前記第１のモードにおいて、前記制御手段は、前記複数の画素回路からなるブロックが前記第１のブロックと前記第２のブロックとで構成されるように、前記撮像素子を制御し、
前記第２のモードにおいて、前記制御手段は、前記複数の画素回路からなるブロックが前記第３のブロックで構成されるように、前記撮像素子を制御し、
前記第３のブロックは水平方向の画素回路の数が、前記第１のブロック及び前記第２のブロックとは異なることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。

【請求項7】

前記第３のブロックは、前記第１のブロックよりも水平方向の画素回路の数が少なく、かつ、前記第２のブロックよりも前記水平方向の画素回路の数が多い、ことを特徴とする請求項６に記載の撮像装置。

【請求項8】

前記第１のモードと前記第２のモードとで、ブロックの総数は同一であることを特徴とする請求項６または７に記載の撮像装置。

【請求項9】

前記画素信号の加算値は、前記ブロックに含まれる前記複数の画素回路の全ての画素信号値の加算平均、または、前記複数の画素回路の少なくとも一部の画素回路の画素信号値の加算平均により取得されることを特徴とする請求項１から８のいずれか１項に記載の撮像装置。

【請求項10】

前記撮像素子は、前記検知手段を備えることを特徴とする請求項１から８のいずれか１項に記載の撮像装置。

【請求項11】

前記撮像素子は複数の基板が積層された構造を有し、
前記画素回路と前記検知手段とは異なる基板に形成されていることを特徴とする請求項１０に記載の撮像装置。

【請求項12】

複数の画素回路が行列状に配置されて構成され、前記複数の画素回路からなるブロックごとの画素信号の加算値および各画素回路の画素信号値をそれぞれ出力可能な撮像素子を備える撮像装置の制御方法であって、
検知手段が、前記撮像素子における同一位置の前記ブロックから出力された時間的に前後する画素信号の加算値の差分に基づいて被写体変化を検知する検知工程と、
受付手段が、前記撮像素子の動作の指定を受け付ける受付工程と、
制御手段が、前記受付手段が受け付けた指定に応じて前記撮像素子の動作を制御する制御工程と、
を含み、
前記ブロックは、第１のブロックと、前記第１のブロックよりも画素回路の数が少なく撮像面の端部に位置する第２のブロックとを含み、前記第１のブロックは前記撮像面において前記第２のブロックよりも内側に配置され、
前記受付工程において、過去の検知履歴に応じて、前記ブロックとして前記第１のブロックと前記第２のブロックとを用いる第１のモードと、前記ブロックとして前記第１のブロック及び前記第２のブロックとは異なる第３のブロックを用いる第２のモードとのいずれかを選択する第１の自動モードが指定された場合、前記制御工程では、過去に被写体変化が検知された回数、及び、検知されたブロックの位置に応じて前記第１のモードまたは前記第２のモードが選択され、前記撮像素子が制御されることを特徴とする撮像装置の制御方法。

【請求項13】

複数の画素回路が行列状に配置されて構成され、前記複数の画素回路からなるブロックごとの画素信号の加算値および各画素回路の画素信号値をそれぞれ出力可能な撮像素子を備える撮像装置の制御方法であって、
検知手段が、前記撮像素子における同一位置の前記ブロックから出力された時間的に前後する画素信号の加算値の差分に基づいて被写体変化を検知する検知工程と、
受付手段が、前記撮像素子の動作の指定を受け付ける受付工程と、
制御手段が、前記受付手段が受け付けた指定に応じて前記撮像素子の動作を制御する制御工程と、
を含み、
前記ブロックは、第１のブロックと、前記第１のブロックよりも画素回路の数が少なく撮像面の端部に位置する第２のブロックとを含み、前記第１のブロックは前記撮像面において前記第２のブロックよりも内側に配置され、
前記ブロックは、第１のブロックと、前記第１のブロックよりも画素回路の数が少なく撮像面の端部に位置する第２のブロックとを含み、前記第１のブロックは前記撮像面において前記第２のブロックよりも内側に配置され、
前記受付工程において、外光の測定結果に基づいて前記ブロックとして前記第１のブロックと前記第２のブロックとを用いる第１のモードと、前記ブロックとして前記第１のブロック及び前記第２のブロックとは異なる第３のブロックを用いる第２のモードとのいずれかを選択する第２の自動モードが指定された場合、前記制御工程では、前記測定結果が所定の輝度よりも高い場合に前記第１のモードが選択され、前記測定結果が前記所定の輝度よりも高くない場合に前記第２のモードが選択され、前記撮像素子が制御されることを特徴とする撮像装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及び撮像装置の制御方法に関する。

【背景技術】

【0002】

観測、監視等を目的として撮像装置が広く利用されている。その中でも、前後フレーム間での輝度値の差分を用いて被写体（或いは、被写体の変化）を検知し、被写体変化の判断を得てから撮影および記憶動作を開始する撮像装置が知られている。

【0003】

特許文献１は、被写体検知を、通常の撮影時とは異なる撮影駆動モードにて行わせており、撮像素子の面内で画素信号が加算された複数の分割ブロック単位の出力に基づいて被写体を検知する。これにより、画像および輝度情報として情報処理量を減少させて消費電力を低減している。

【0004】

特許文献２は、早期に侵入物体を検知する為に、全画面の周辺部分や特定の一辺で被写体変化を検知する技術を開示している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－２２９３５号公報

【文献】特許第４２８６１００号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１の方法では、消費電力低減効果を上げるために加算する画素信号数を増やすと、被写体輝度が平均化されることで、わずかな被写体変化を検知しづらくなるおそれがある。また、特許文献２の方法のように特定位置でのみ被写体検知を行うものでは、使用用途が限られてしまう。

【0007】

そこで、被写体変化を検知する撮像装置において、被写体変化を検知する際の検知性を向上させ、かつ、使用用途の利便性を改善するための技術を提供する。

【課題を解決するための手段】

【0008】

上記課題を解決するための本発明は、複数の画素回路が行列状に配置されて構成され、前記複数の画素回路からなるブロックごとの画素信号の加算値および各画素回路の画素信号値をそれぞれ出力可能な撮像素子を備える撮像装置であって、
前記撮像素子における同一位置の前記ブロックから出力された時間的に前後する画素信号の加算値の差分に基づいて被写体変化を検知する検知手段と、
前記撮像素子の動作の指定を受け付ける受付手段と、
前記受付手段が受け付けた指定に応じて前記撮像素子の動作を制御する制御手段と、
を備え、
前記ブロックは、第１のブロックと、前記第１のブロックよりも画素回路の数が少なく撮像面の端部に位置する第２のブロックとを含み、前記第１のブロックは前記撮像面において前記第２のブロックよりも内側に配置され、
前記ブロックは、第１のブロックと、前記第１のブロックよりも画素回路の数が少なく撮像面の端部に位置する第２のブロックとを含み、前記第１のブロックは前記撮像面において前記第２のブロックよりも内側に配置され、
前記受付手段により、過去の検知履歴に応じて、前記ブロックとして前記第１のブロックと前記第２のブロックとを用いる第１のモードと、前記ブロックとして前記第１のブロック及び前記第２のブロックとは異なる第３のブロックを用いる第２のモードとのいずれかを選択する第１の自動モードが指定された場合、前記制御手段は、過去に被写体変化が検知された回数、及び、検知されたブロックの位置に応じて前記第１のモードまたは前記第２のモードを選択し、前記撮像素子を制御する。

【発明の効果】

【0009】

本発明によれば、被写体変化を検知する撮像装置において、被写体変化を検知する際の検知性を向上させ、かつ、使用用途の利便性を改善することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に対応する撮像装置１００の構成例を示すブロック図。

【図2】実施形態に対応する撮像素子２００の構成例を示すブロック図

【図3】実施形態に対応する第１の被写体検知モードにおける画素アレイ部２２０の構成例を示す図。

【図4】実施形態に対応する第２の被写体検知モードにおける画素アレイ部２２０の構成例を示す図。

【図5】実施形態に対応する第１の被写体検知モードにおける画素ブロック２４０、２５０の構成例を示す図。

【図6】実施形態に対応する第２の被写体検知モードにおける画素ブロック２６０の構成例を示す図。

【図7】実施形態に対応するイベント検知部２１４の構成例を示す図

【図8】実施形態に対応する第１の被写体検知モードのタイミングチャートの一例を示す図。

【図9】実施形態に対応する第２の被写体検知モードのタイミングチャートの一例を示す図。

【図10】実施形態に対応する通常撮影モードのタイミングチャートの一例を示す図。

【図11】実施形態に対応する第２の被写体検知モードにおける被写体検知の様態の一例を説明する図。

【図12】実施形態に対応する第２の被写体検知モードにおける被写体検知の様態の他の一例を説明する図。

【図13】実施形態に対応する第１の被写体検知モードにおける被写体検知の様態の一例を説明する図。

【図14】実施形態に対応する撮像装置１００の動作の一例を示すフローチャート。

【図15】実施形態に対応する第１の被写体検知モードにおける動作の一例、及び、第２の被写体検知モードにおける動作の一例を示すフローチャート。

【図16】実施形態に対応する撮像素子２００の構造を説明するための図。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

以下、添付の図面を参照して、第１の実施形態について説明する。図１は、典型的な実施形態の一例に対応する撮像装置１００の構成例を示すブロック図である。図１において、撮像レンズ１０１は、被写体からの光を撮像素子２００へ集光する。撮像素子２００は、ＣＭＯＳの撮像センサであって、撮像レンズ１０１を通して入射した光を光電変換して画像信号として出力可能に構成される。また、撮像素子２００は、内部に画素出力値の変化量および変化領域の検知結果に応じて、撮像素子２００自身の駆動制御を選択・変更する制御機能を有している。上記機能を有することにより、撮像素子自身による被写体の変化の検知から好適な撮影モードへの選択・変更を可能としている。また、撮像素子２００は任意の撮像領域にクロップして撮影する機能を有する。

【0013】

画像処理部１０２は、撮像素子２００から出力される画像信号に対して、フィルタ処理等の各種補正や圧縮等のデジタル画像処理等を行う。また、４ＫモードやＦｕｌｌＨＤモード等による画素信号についても、ここで各モードに応じたリサイズ等の画像処理が行われる。制御部１０３は、撮像素子２００の駆動タイミングの制御を行うとともに、画像処理部１０２、表示部１０６等の撮像装置全体の統括的な駆動・制御を行う。また、制御部１０３では、ユーザの命令を受けて、静止画モード、ＦｕｌｌＨＤモード、４Ｋモード等の複数の撮影モードから選択された撮影モードに応じて駆動制御を行う。

【0014】

また、撮像装置１００においては、撮像素子２００が被写体変化の検知に応じて撮影モードの選択・変更を行う被写体検知モードを備えており、撮像素子２００の被写体検知モードへの動作許可の制御も行う。

【0015】

メモリ１０４、記憶部１０５は、画像処理部１０２から出力された画像信号を記憶保持する不揮発性メモリやメモリカード等の記憶媒体である。表示部１０６は、撮影画像や各種設定画面等の表示を行うディスプレイである。

【0016】

操作部１０７は、ボタン、タッチパネル、スイッチ等で構成されユーザからの操作入力受付を行い、制御部１０３に対してユーザの命令を反映する。該操作部１０７は、スイッチ１０７１と１０７２とを有する。スイッチ１０７１は、複数の被写体変化検知モードを複数の手動モードや自動モードを切り替えて指定するためのスイッチである。スイッチ１０７１によれば、手動モード設定により、第１の被写体変化検知モードまたは第２の被写体変化検知モードを指定することができ、更に、自動モードを指定することができる。スイッチ１０７１により自動モードが指定されると、モード切替スイッチ１０７２により、後述する優先度学習モード、または、輝度判断モードを選択することができる。これらのスイッチ選択に応じた処理の詳細については後述する。

【0017】

輝度測定部１０８は、外光データとなる被写体輝度を測定する。本実施形態では該輝度測定部１０８は説明便宜上、単独構成として記載しているが、撮像素子２００の出力を利用した像面輝度測定を行なっても構わない。

【0018】

図２は、典型的な実施形態に対応する撮像素子２００の構成例を示すブロック図である。撮像素子２００は、複数の画素が行列状に配置された画素アレイ部２２０を備えており、画素単位による出力、及び、画素アレイ部２２０の面内を所定数の複数の画素回路の組からなる画素ブロックに分割し画素ブロック毎に画素信号を加算（加算平均）して出力する機能を有している。画素アレイ部２２０からの画素信号出力は、ＡＤ変換回路２１２にて画素列毎または後述する画素ブロック単位としたブロック列毎にてアナログ－デジタル変換された後、水平走査回路２１３の駆動により順次イベント検知部２１４へ転送される。

【0019】

イベント検知部２１４では、モード制御部２１６の制御信号を受け、画素ブロック単位による出力に対して、所定イベントの判断基準とする画素出力値の変化量を検知するとともに、検知結果の情報を撮像素子２００の駆動モード制御を行うモード制御部２１６へ送信する。また、イベント検知部２１４は、画素アレイ部２２０の出力が画素単位である場合には、出力された画素データをそのまま信号処理部２１５へ転送する。さらにイベント検知部２１４は、画素ブロック単位で出力データを積算し、積分データとして露光制御部２１７に供給する。

【0020】

信号処理部２１５は、イベント検知部２１４から出力される画素データの前後に、画素データの変化量や撮像素子２００の駆動モード等の情報データを付加して撮像素子２００の外部に出力する。モード制御部２１６は、撮像素子内のイベント検知部２１４または撮像素子外の制御部１０３からの信号を受けて、ＡＤ変換回路２１２、水平走査回路２１３、垂直走査回路２１１の各々に駆動タイミング制御信号を供給し、撮像素子２００の撮像モード毎に応じた駆動制御を行う。また、モード制御部２１６は、イベント検知部２１４からの信号に応じてクロップ駆動させるか否かを判断し、クロップ駆動させる場合はイベント検知部２１４からの信号に基づいて駆動させる撮像領域を制御してクロップ駆動を実行する。また、モード制御部２１６は、制御部１０３から撮像素子２００が検知モードとして動作が許可されている場合、撮像素子２００を検知モードとして画素ブロック毎に画素信号を加算する駆動を開始させる。

【0021】

垂直走査回路２１１は、各行ごとに接続される信号線を介して、画素単位または画素ブロック単位による行選択・駆動を行う。露光制御部２１７は、イベント検知部２１４からの積分データに基づき、撮像素子の露光制御として露光時間の算出を行い、モード制御部２１６へ撮像素子の露光制御信号を供給する。

【0022】

次に図３及び図４を参照して、実施形態に対応する画素アレイ部２２０の構成を説明する。図３は、実施形態の第１の被写体変化検知モードに対応する画素アレイ部２２０の構成の一例を示す図であり、図４は、実施形態の第２の被写体変化検知モードに対応する画素アレイ部２２０の構成の他の一例を示す図である。

【0023】

画素アレイ部２２０には、画素回路２３０が行列状に複数配置されている。また、イベント検知の画素信号の加算単位としての複数の画素回路の組からなる画素ブロックが点線の矩形状で示されている。本実施形態では画素ブロックを構成する画素回路の数を、被写体変化検知モード、及び、撮像素子２００の撮像面における位置に応じて異ならせている。まず、図３に示す第１の被写体変化検知モードの場合、画素ブロックは、その大きさ、特には、水平方向の画素回路の数に基づき、第１の画素ブロック２４０と、第２の画素ブロック２５０とに分類される。第２の画素ブロック２５０は、撮像面の端部に位置する画素回路を含むように構成され、第１の画素ブロック２４０は、撮像面において第２の画素ブロックの内側に配置される。図４に示す第２の被写体変化検知モードの場合、画素ブロックは共通の第３の画素ブロック２６０のみとなる。

【0024】

本実施形態では、説明を簡略化するため、第１の画素ブロック２４０を４行３列の画素回路の組とし、第２の画素ブロック２５０を４行１列の画素回路の組とし、第３の画素ブロック２６０を４行２列の画素回路の組とする場合を説明する。本実施形態では、第３の画素ブロック２６０は、水平方向の画素回路の数が、第１の画素ブロック２４０よりは少なく、かつ、第２の画素ブロック２５０より多くなっている。また、それぞれの画素ブロックは垂直方向にＮブロック（Ｎは任意の数）配置されるものとする。ここで、各モードにおけるブロックの総数は同一とすることができる。但し、行列数および配置については、これに限られるものではない。また、図３では、水平方向に第１の画素ブロック２４０を４つ、第２の画素ブロック２５０を４つ配置した場合を説明し、図４では、水平方向に第３の画素ブロック２６０を８つ配置した場合を説明するが、画素ブロックの数及び配置はこれに限定されるものではない。なお、これ以降に説明する構成は、図３および図４に共通の構成である。

【0025】

制御信号としては、リセット制御信号であるＲＳＴ、行選択制御信号であるＳＥＬ＿１、がある。また、転送制御信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４、列加算信号ＡＤＤ３Ｐ、ＡＤＤ２Ｐ、および、加算後列信号の選択制御信号ＡＤＤ３Ｐ＿ＳＥＬ、ＡＤＤ２Ｐ＿ＳＥＬが垂直走査回路２１１より配線される。図では、同機能の制御信号が、行やブロック毎に配設されているため、上記名称の末尾に＿＊というブロック指定番号を記載している。

【0026】

画素からの出力は垂直信号線４１０を介して、接続先のＡＤ変換回路２１２に入力される。上記の各水平信号線の選択駆動が行われることで、撮像素子から行単位、ブロック行単位にて順次、各垂直信号線４１０を介して出力が行われる。画素アレイ部２２０からの出力は、撮像装置１００が被写体変化検知モードで動作していない場合、各画素回路２３０の画素信号値が順次出力されるのに対し、被写体変化検知モードの場合、後述する画素ブロック２４０、２５０、２６０内のＦＤごとの加算スイッチを動作させることで、加算結果が特定の画素から出力される。

【0027】

なお、図３の出力時に使用される垂直出力線は、ブロック毎に１本であり、第１の画素ブロック２４０が４本と、第２の画素ブロック２５０の画素ブロックが４本であり、合計８本の垂直出力線からの信号を処理することになる。一方、図４の出力時に使用される垂直出力線は、第３の画素ブロック２６０が８本であり、垂直出力線からの信号受信本数としては、図３の第１の被写体変化検知モードと、図４の第２の被写体変化検知モードとで同じである。これにより、出力後の処理を第１の被写体変化検知モードと第２の被写体変化検知モードとで共通にすることができる。

【0028】

次に図５及び図６を参照して、実施形態に対応する各画素ブロックにおける回路構成の一例を説明する。図５は、実施形態に対応する第１の画素ブロック２４０及び第２の画素ブロック２５０の回路構成の一例を示す図であり、図６は、実施形態に対応する第３の画素ブロック２６０の回路構成の一例を示す図である。ここでは、図３および図４のそれぞれの左側にあたる画素回路２３０の４行×５列分である２０個の構成を切り出して説明する。

【0029】

まず、各画素回路に共通の構成を説明する。画素回路２３０には、フォトダイオード４０６およびフローティングディフュージョン（以後ＦＤと称する）４０７と、該フォトダイオード４０６とＦＤ４０７間には、転送スイッチ４０５が配設されている。該転送スイッチ４０５は、フォトダイオード４０６で発生および蓄積された電荷を転送制御信号ＴＸ１＿１の制御で、該ＦＤ４０７に転送するものである。

【0030】

次に１行目の画素回路２３０の領域内に記載されている構成を説明する。以下の構成は列方向に共通もしくは加算動作を行うための構成であるため、本説明では１行目のみに配置されているものとするが、周期的な構成（例えば４行に１行）となっている。リセットスイッチ４０４は、該ＦＤ４０７に蓄積されている電荷を、リセット制御信号ＲＳＴ＿１によりリセットし、接続されている４行のＦＤ４０７を共通で使用されている。

【0031】

ソースフォロアアンプ４０８は、後述する垂直出力線に接続された定電流源４１１と共に構成され、ＦＤ４０７に蓄積された電荷に基づく電圧信号を増幅して、画素信号として出力する。ソースフォロアアンプ４０８の出力は、後述する選択制御信号ＳＥＬ１、ＡＤＤ３Ｐ＿ＳＥＬ＿１、または、ＡＤＤ２Ｐ＿ＳＥＬ＿１により選択スイッチ４０９を制御して、垂直出力線４１０へ接続される。定電流源４１１は、接続される画素の数で必要な電流量が異なることになる。そのため、第１の画素ブロック２４０と第２の画素ブロック２５０の定電流源４１１の電流設定は異なる設定にするものである。

【0032】

次に、図５を参照して本実施形態における第１の被写体変化検知モードにおける回路動作を説明する。第１の被写体変化検知モードでは、ＦＤ４０７に転送した電荷に応じた信号を第１の画素ブロック２４０および第２の画素ブロック２５０ごとに読み出しを行う。このとき、第１の画素ブロック２４０の１列目と２列目とのＦＤは水平加算スイッチ４１２を介して接続され、同１列目と３列目とのＦＤは水平加算スイッチ４１３を介して接続されている。水平加算スイッチ４１２と４１３とは列加算信号ＡＤＤ３Ｐ＿１によりオン／オフが制御される。また、第１の画素ブロック２４０の１列目と２列目とのＦＤ、及び、隣り合う第２の画素ブロック２５０のＦＤは水平加算スイッチ４１４を介して接続されている。この水平加算スイッチ４１４は、列加算信号ＡＤＤ２Ｐ＿１によりオン／オフが制御される。従って、転送制御信号（ＴＸ１＿１、ＴＸ２＿１、ＴＸ３＿１、ＴＸ４＿１）および列加算信号ＡＤＤ３Ｐ＿１により、水平加算スイッチ４１２と４１３とが動作し、第１の画素ブロック２４０は４個×３列で計１２個のＦＤで電荷を加算平均する。一方、第２の画素ブロック２５０は列加算されないため、第１の画素ブロック２４０より少ない４個のＦＤで電荷が加算平均される。その後、加算した電荷に応じた電圧信号を垂直線４１０から出力するために、加算後列信号の選択制御信号として、ＡＤＤ３Ｐ＿ＳＥＬ＿１を制御して、加算した結果を読み出す。

【0033】

このようにして、第１の画素ブロック２４０は行列４×３の画素のＦＤで電荷を加算した結果、第２の画素ブロック２５０は行列４×１の画素のＦＤで電荷を加算した結果を被写体変化検知モードとして出力とする。第１の被写体変化検知モードでは、画面の周辺部（撮像面の端部）に位置する第１の画素ブロック２４０の画素信号の加算数が４であるのに対し、第１の画素ブロック２４０よりも画面内側に位置する第２の画素ブロック２５０の画素信号の加算数が１２となる。このように、画素信号の加算数が少ない画面周辺部の解像度が、画素信号の加算数が多い画面中央部の解像度より高い状態となり、画素信号の加算を行って消費電力の低減を図りつつ、周辺部から侵入してくる被写体のわずかな変化を捉えやすくすることができる。

【0034】

なお、本動作で、第１の画素ブロック２４０における加算結果は垂直線４１０－３から出力され、第２の画素ブロック２５０における加算結果は垂直線４１０－１及び４１０－２から出力されるが、画素の加算数が異なるため、定電流源の駆動電流は４１１－１＝４１１－２＜４１１－３となる。

【0035】

次に、図６を参照して本実施形態における第２の被写体変化検知モードにおける回路動作を説明する。第２の被写体変化検知モードでは、ＦＤ４０７に転送した電荷に応じた信号を第３の画素ブロック２６０ごとに読み出しを行う。このとき、第３の画素ブロック２６０の１列目と２列目とのＦＤは水平加算スイッチ４１４を介して接続されている。この水平加算スイッチ４１４は、列加算信号ＡＤＤ２Ｐ＿１によりオン／オフが制御される。従って、第２の被写体変化検知モードでは、転送制御信号（ＴＸ１＿１、ＴＸ２＿１、ＴＸ３＿１、ＴＸ４＿１）および列加算信号ＡＤＤ２Ｐ＿１により、水平加算スイッチ４１４が動作し、第３の画素ブロック２６０は４個×２列で計８個のＦＤで電荷が加算平均する。この第２の被写体変化検知モードは、第１の被写体変化検知モードと異なり、位置により加算する画素信号数が異ならないモードである。その後、加算した信号を垂直線４１０から出力するために、加算後列信号の選択制御信号として、ＡＤＤ２Ｐ＿ＳＥＬ＿１を制御して、加算した結果を読み出す。

【0036】

このようにして、第３の画素ブロック２６０は行列４×２の画素の電荷をＦＤで加算した結果を第２の被写体変化検知モードとして出力とする。このため、第２の被写体変化検知モードは、画面全域の解像度が同じであり、第１の被写体変化検知モードに比べると周辺部の解像度は下がるが、中央部に対しては、第１の被写体変化検知モードより解像度が高く、面内全域での被写体変化をまんべんなく検知するのに適している。

【0037】

なお、本動作では、第３の画素ブロック２６０における加算結果は垂直線４１０－１、４１０－３、４１０－５から出力されるが、画素信号の加算数が同一であるため、定電流源の駆動電流は４１１－１＝４１１－３＝４１１－５となる。また、第１の被写体変化検知モードでの駆動電流と、第２の被写体変化検知モードでの駆動電流とでは画素信号の加算数が異なるため、駆動電流も異なる設定にし、適正化を図るようにしてもよい。

【0038】

また、図５及び図６の共通動作として、被写体変化検知モードでない通常撮影モードの場合、各画素回路２３０から転送した信号はＦＤで加算せず、列信号選択制御信号ＳＥＬ＿１によって、１画素ごとに読み出す。この通常撮影モードについては、一般的な撮像装置１００の動作に相当する。

【0039】

次に図７は、典型的な実施形態に対応するイベント検知部２１４の構成例を示す図である。イベント検知部２１４にはＡＤ変換回路２１２の出力信号が入力される。出力切替部２７０は、モード制御部２１６からの制御信号を受けて、撮像素子２００の駆動制御として選択された撮影モードに応じて入力された信号の出力先を切り替える。撮像素子２００の駆動制御として選択された撮影モードが被写体変化を検知する被写体変化検知モードの場合、出力切替部２７０は、画素信号の出力先を積算演算処理部２７１に切り替える。また、撮影モードが被写体検知モードでない場合、出力切替部２７０は、画素信号の出力先を信号処理部２１５に切り替える。

【0040】

積分演算処理部２７１は、出力切替部２７０から出力された画素信号値の積算を行い、積算データを露光制御部２１７へ供給する。また、画素ブロック単位でデータを保持するメモリ２７２へ出力する。メモリ２７２は、画素ブロック単位で加算平均した信号（画素信号の加算値）と、対応する画素ブロックの撮像素子２００の面内における位置情報（位置、或いは、画素ブロックの種別を含む）とを関連付けて記憶・保持する。また、該メモリ２７２には過去に検知されたブロックデータを領域分けしたデータ（例えば、画像周辺部と中央部など）が保持される。

【0041】

差分検知部２７３は、直近に読み出された画素ブロック単位の画素信号の加算値と、メモリ２７２に保持されている同一位置の画素ブロックの過去の画素信号の加算値とから差分値を取得する。ここで、差分値の取得に用いる画素信号の加算値は、同一位置の画素ブロックの時間的に前後する、あるいは、隣接する画素信号の加算値とする。取得された差分値は比較部２７４に供給される。比較部２７４は、取得された差分値を所定の閾値と比較し、人物の侵入等によるイベント検知が有ったか否かを判定する。比較部２７４にて得られた結果はモード制御部２１６を介して制御部１０３に送信される。制御部１０３は結果に基づいて撮像素子２００の面内における分割領域において、被写体変化が検知される等のイベントが発生した領域を判別する。

【0042】

次に、図８を参照して、実施形態における撮像装置１００の第１の被写体変化検知モードにおける動作を説明する。図８は、典型的な実施形態に対応する撮像装置１００の動作の一例を説明するためのタイミングチャートであり、撮像装置１００の第１の被写体変化検知モードの１フレーム期間のタイミング動作を示す。

【0043】

まず、タイミングＴ０において、イベントが検知されて第１の被写体変化検知モードが設定されたものとする。垂直走査回路２１１は、第１の画素ブロック２４０および第２の画素ブロック２５０の読み出しとして、まず、リセット信号ＲＳＴ＿１、転送信号ＴＸ１＿１、ＴＸ２＿１、ＴＸ３＿１、ＴＸ４＿１をハイレベルに制御する。また、同タイミングＴ０で、列加算信号ＡＤＤ３Ｐ＿１、列信号選択制御信号ＡＤＤ３Ｐ＿ＳＥＬ＿１をオン状態とする。これにより、接続状態となった第１の画素ブロック２４０、および、第２の画素ブロック２５０として接続されたＦＤ４０７、および、フォトダイオード４０６が電源電位にリセットされる。

【0044】

続くタイミングＴ1にて、リセット信号ＲＳＴ１＿１、転送信号ＴＸ１＿１、ＴＸ２＿１、ＴＸ３＿１、ＴＸ４＿１がローレベルに復帰して、第１の画素ブロック２４０、および、第２の画素ブロック２５０の１行目の露光が開始される。続くタイミングＴ２にて、所定の露光時間後、垂直走査回路２１１は、第１の画素ブロック２４０、および、第２の画素ブロック２５０の１行目に対応する転送信号ＴＸ１＿１、ＴＸ２＿１、ＴＸ３＿１、ＴＸ４＿１をハイレベルに制御して転送スイッチ４０５をオン状態とし、各フォトダイオード４０６に蓄積された電荷を接続状態となったＦＤ部４０７に転送する。これにより電荷が加算されて第１の画素ブロック２４０、および、第２の画素ブロック２５０の露光が終了する。ＦＤ部に転送された第１の画素ブロック２４０、および、第２の画素ブロック２５０の電荷は、ソースフォロアアンプ４０８にて電圧信号として増幅され、画素出力として垂直出力線４１０より出力される。各垂直出力線に出力された画素出力はＡＤ変換回路２１２にて読み出されることになる。

【0045】

その後、タイミングＴ３以降は、同様に順次第１の画素ブロック２４０、および、第２の画素ブロック２５０のブロック行単位にて露光および読み出しが行われることで、全画素ブロック行の読み出しが完了する（１ブロック行～Ｎブロック行）。各フレーム期間の読み出しは、垂直同期信号ＶＤに同期して複数回に亘って実行される。

【0046】

次に、図９を参照して、実施形態における撮像装置１００の第２の被写体変化検知モードにおける動作を説明する。図９は、典型的な実施形態に対応する撮像装置１００の動作の一例を説明するためのタイミングチャートであり、撮像装置１００の第２の被写体変化検知モードの１フレーム期間のタイミング動作を示す。

【0047】

まず、タイミングＴ１０において、イベントが検知されて第２の被写体変化検知モードが設定されたものとする。垂直走査回路２１１は、第３の画素ブロック２６０の読み出しとして、まず、リセット信号ＲＳＴ＿１、転送信号ＴＸ１＿１、ＴＸ２＿１、ＴＸ３＿１、ＴＸ４＿１をハイレベルに制御する。また、同タイミングＴ１０で、列加算信号ＡＤＤ２Ｐ＿１、列信号選択制御信号ＡＤＤ２Ｐ＿ＳＥＬ＿１をオン状態とする。これにより、接続状態となった第３の画素ブロック２６０として接続されたＦＤ４０７、および、フォトダイオード４０６が電源電位にリセットされる。

【0048】

続くタイミングＴ１１にて、リセット信号ＲＳＴ１＿１、転送信号ＴＸ１＿１、ＴＸ２＿１、ＴＸ３＿１、ＴＸ４＿１がローレベルに復帰して、第３の画素ブロック２６０の１行目の露光が開始される。続くタイミングＴ１２にて、所定の露光時間後、垂直走査回路２１１は、第３の画素ブロック２６０の１行目に対応する転送信号ＴＸ１＿１、ＴＸ２＿１、ＴＸ３＿１、ＴＸ４＿１をハイレベルに制御して転送スイッチ４０５をオン状態とし、各フォトダイオード４０６に蓄積された電荷を接続状態となったＦＤ部４０７に転送する。これにより電荷が加算されて第３の画素ブロック２６０の露光が終了する。ＦＤ部に転送された第１の画素ブロック２４０、および、第２の画素ブロック２５０の電荷は、ソースフォロアアンプ４０８にて電圧信号として増幅され、画素出力として垂直出力線４１０より出力される。各垂直出力線４１０に出力された画素出力はＡＤ変換回路２１２にて読み出されることになる。

【0049】

その後、タイミングＴ１３以降は、同様に順次第１の画素ブロック２４０、および、第２の画素ブロック２５０のブロック行単位にて露光および読み出しが行われることで、全画素ブロック行の読み出しが完了する。（１ブロック行～Ｎブロック行）。各フレーム期間の読み出しは、垂直同期信号ＶＤに同期して連続実行される。

【0050】

次に、図１０を参照して、実施形態における撮像装置１００の通常撮影モードにおける動作を説明する。図１０は、典型的な実施形態に対応する撮像装置１００の動作の一例を説明するためのタイミングチャートであり、撮像装置１００の通常撮影モードの１フレーム期間のタイミング動作を示す。

【0051】

まず、タイミングＴ２０において、イベントが検知されて撮影モードとして通常撮影モードが設定されたものとする。垂直走査回路２１１は、画素行１行目の読み出しとして、行選択制御信号ＳＥＬ＿１をハイレベルにするとともに、リセット信号ＲＳＴ１＿１を所定のパルス期間にハイレベルに制御する。また同タイミングＴ２０にて、リセット信号ＲＳＴ１＿１、転送信号ＴＸ１＿１をハイレベルに制御する。これにより、画素１行目となるＦＤ４０７およびフォトダイオード４０６が電源電位をリセットする。なお、垂直４画素毎に結線されている画素２行目乃至４行目のＦＤ４０７は同時にリセットされる。

【0052】

次に、タイミングＴ２１にて、リセット信号ＲＳＴ１＿１、転送信号ＴＸ１＿１がローレベルに復帰して、画素行の1行目に対する露光が開始される。続くタイミングＴ２２にて、所定の露光時間後、垂直走査回路２１１は、転送信号ＴＸ１＿１について、ハイレベルに制御して転送スイッチ４０５をオン状態とし、フォトダイオード４０６に蓄積された電荷はＦＤ４０７に転送して、画素単位の露光が終了する。ＦＤ部に転送された電荷は、接続先となる各ソースフォロアアンプ４０８にて電圧信号として増幅され、画素出力として各列の垂直出力線より出力される。各垂直出力線に出力された画素出力は、各列のＡＤ変換回路２１２にて読み出されることになる。

【0053】

続くタイミングＴ２３にて、転送信号ＴＸ１＿１をローレベルに復帰して画素１行目の読み出しが終了する。タイミングＴ２１～Ｔ２３までの期間が、画素１行目の読み出し期間である。これは、画素ブロック２５０（全４画素行）の最初の1画素行の部分に相当するので、ここでは、説明の便宜上、１－１ブロック行と表現する。

【0054】

続くタイミングＴ２４からＴ２７にて、画素２行目の１－２ブロック行の読み出し動作が行われる。ここでの動作は、Ｔ２０からＴ２３において画素１行目について行った動作と同様である。画素２行目の場合、転送信号がＴＸ１＿１からＴＸ２＿１に置き換わる。その後にタイミングＴ２８からＴ３１にて、画素３行目の１－３ブロック行の読み出し動作が行われる。ここでの動作も、Ｔ２０からＴ２３において画素１行目について行った動作と同様である。画素３行目の場合、転送信号がＴＸ１＿１からＴＸ３＿１に置き換わる。その後にタイミングＴ３２からＴ３４にて、画素４行目の１－４ブロック行の読み出し動作が行われる。ここでの動作も、Ｔ２０からＴ２３において画素１行目について行った動作と同様である。画素４行目の場合、転送信号がＴＸ１＿１からＴＸ４＿１に置き換わる。

【0055】

これ以降、同様に画素行単位にて、露光および読み出しが行われ、全（４×Ｎ）行分の読み出しが完了する（１－１ブロック行～Ｎ－４ブロック行）。各フレーム期間の読み出しは、垂直同期信号にＶＤ同期して連続実行される。

【0056】

次に、図１１から図１３を参照して、被写体変化検知モードにおける被写体変化検知の態様を説明する。図１１及び図１２は、実施形態に対応する、第２の被写体変化検知モードで被写体変化の検知を行う場合を説明するための図である。図１３は、実施形態に対応する、第１の被写体変化検知モードで被写体変化の検知を行う場合を説明するための図である。

【0057】

まず、図１１では、画面１１００内に新たな被写体である人物が侵入してくる場合を想定している。ここでは、新たな被写体の大きさは、第２の被写体変化検知モードにおける第３の画素ブロック２６０に対して十分に大きい（少なくとも、被写体は複数の画素ブロックに跨って撮影される）ものとする。これ以降、点線で囲った部分を拡大して説明する。時間Ｔ１のフレーム１１０１では未だ人物が画面内に侵入しておらず、このときの各画素ブロックにおける加算結果は１１０２に示すようになる。ここでは、画素ブロックで被写体の変化が検知されていないため、各画素ブロックの加算結果を白色で示している。

【0058】

続く時間Ｔ２において、フレーム１１０３内に人物が侵入し、これにより各画素ブロックにおける加算結果は１１０４に示すようになる。ここで、各画素ブロックの加算結果は、画素ブロック内に占める被写体の割合に応じた濃淡により示している。即ち、より被写体の占める率の高いＡ１２が濃く、Ａ１１、Ａ１３は被写体の占める割合が低いので薄く示している。まだ被写体が侵入していないＡ２１からＡ２３は白色のままである。加算結果１１０２と加算結果１１０４とを比較すると、時間的に前後する同一位置の画素ブロック間の加算結果の差分により、差分１１０５が得られる。

【0059】

本実施形態では、差分１１０５を構成する各差分値を閾値と比較して、被写体の変化に基づくイベント検知を行う。図１１の例では、侵入してきた被写体が画面左端の第３の画素ブロックの範囲（４行×２列＝８画素）で捉えられており、閾値を超える差分値が検出された画素ブロックは画面左端のＡ１１、Ａ１２、Ａ１３となる。閾値の設定の仕方によっては、Ａ１２のみが検出されることもある。図１１では被写体のサイズを画素ブロックに対して大きめに想定しているため、被写体侵入直後のフレームでも被写体による大きな出力変化が発生し、被写体変化検知の閾値を十分に超えるため、即座に被写体侵入をとらえることができている。

【0060】

次に、図１２では、図１１と同様第２の被写体変化検知モードにおける被写体変化検知の態様を説明するが、図１２では、図１１よりも小さな被写体が新たに出現する場合を想定する。ここでは、新たな被写体の大きさは、第２の被写体変化検知モードにおける第３の画素ブロック２６０の高さ（４画素回路分）とほぼ同じか、そこに含まれる大きさとする。これ以降、点線で囲った部分を拡大して説明する。時間Ｔ１のフレーム１２０１では未だ人物が画面内に侵入しておらず、このときの各画素ブロックにおける加算結果は１２０２に示すようになる。ここでは、画素ブロックで被写体が検知されていないため、各画素ブロックの加算結果を白色で示している。

【0061】

続く時間Ｔ２において、フレーム１２０３内に人物が侵入し、これにより各画素ブロックにおける加算結果は１２０４に示すようになる。ここで、各画素ブロックの加算結果は、画素ブロック内に占める被写体の割合に応じた濃淡により示している。即ち、より被写体が存在するＡ１２にだけ加算結果が変化し、まだ被写体が侵入していないＡ１１、Ａ１３、Ａ２１からＡ２３は白色のままである。加算結果１２０２と加算結果１２０４とを比較すると、時間的に前後する同一位置の画素ブロック間の加算結果の差分により、差分１２０５が得られる。

【0062】

本実施形態では、差分１２０５を構成する各差分値を閾値と比較して、被写体の変化に基づくイベント検知を行う。図１２の例では、侵入してきた被写体が画面に対して小さいため、画面左端の１つの第３の画素ブロックＡ１２のみで捉えられており、被写体が検知された画素ブロックＡ１２の差分値は閾値を超えない場合がある。その場合には、実際には画面内に被写体が侵入しているのにも関わらず、被写体が検知できないこととなる。

【0063】

続く時間Ｔ３において、フレーム１２０６内で被写体が第３の画素ブロックＡ１２の内側まで移動すると、これにより各画素ブロックにおける加算結果は１２０７に示すようになる。ここでも各画素ブロックの加算結果は、画素ブロック内に占める被写体の割合に応じた濃淡により示している。加算結果１２０７におけるブロックＡ１２の加算結果は加算結果１２０４における同ブロックの加算結果よりも濃度が濃くなっており、被写体が画素ブロック内に占める割合が大きくなっている。これにより加算結果１２０４と加算結果１２０７とを比較すると、時間的に前後する同一位置の画素ブロック間の加算結果の差分により、差分１２０８が得られる。差分１２０８を構成する各差分値を閾値と比較すると、被写体が検知された画素ブロックＡ１２の差分値が閾値を超え、その結果として被写体の変化が検知されることとなる。

【0064】

このように、画素ブロックに対して被写体の十分な大きさが確保できない場合には、画面内への被写体の侵入を適切に検知できない、あるいは、被写体の侵入検知に対する反応が遅れるおそれがある。

【0065】

そこで、本実施形態では第１の被写体変化検知モードにおいて、画面端部における画素ブロックのサイズを、画面の内側に位置する画素ブロックのサイズとは異ならせるようにしている。以下、図１３を参照して、第１の被写体変化検知モードにおいて、図１２と同様の小さな被写体を検知する場合の被写体検知の態様を説明する。

【0066】

図１３でも、画面１３００内に図１２の場合と同様の被写体である人物が侵入してくる場合を想定している。ここで被写体の大きさは、第１の被写体変化検知モードにおける第２の画素ブロック２５０の高さ（４画素回路分）とほぼ同じか、そこに含まれる大きさとする。これ以降、点線で囲った部分を拡大して説明する。

【0067】

時間Ｔ１のフレーム１３０１では未だ人物が画面内に侵入しておらず、このときの各画素ブロックにおける加算結果は１３０２に示すようになる。ここでは、画素ブロックで被写体が検知されていないため、各画素ブロックの加算結果を白色で示している。

【0068】

続く時間Ｔ２において、フレーム１３０３内に人物が侵入し、これにより各画素ブロックにおける加算結果は１３０４に示すようになる。ここで、各画素ブロックの加算結果は、画素ブロック内に占める被写体の割合に応じた濃淡により示している。即ち、より被写体の占める率の高いＡ１２が濃く、まだ被写体が侵入していないＡ１１、Ａ１３、Ａ２１からＡ２３、Ａ３１からＡ３３は白色のままである。加算結果１３０２と加算結果１３０４とを比較すると、時間的に前後する同一位置の画素ブロック間の加算結果の差分により、差分１３０５が得られる。

【0069】

差分１３０５を構成する各差分値を閾値と比較すると、閾値を超える差分値が検出された画素ブロックは画面左端のＡ１２となる。このように、画素ブロックのサイズを画面の端部において小さくすることで、加算結果に対する被写体が撮影されていない画素の影響を低減することができ、小さな被写体であっても、その出現をとらえやすくなり、被写体変化の検知によるイベント検知がなされる。

【0070】

以上のように、第１の被写体変化検知モードは、画面周辺部の侵入物をとらえやすいという特徴があり、第２の被写体変化検知モードは画面全体のどこから侵入するかわからない被写体でも一定の感度で反応できるという特徴がある。以下、第１の被写体変化検知モードと第２の被写体変化検知モードとの切り替えについて図１４と図１５のフローチャートを参照して説明する。

【0071】

図１４は、被写体変化検知モードが設定された際の処理の一例を示すフローチャートである。まず、Ｓ１４０１において制御部１０３は、操作部１０７の手動／自動切替スイッチ１０７１に対する操作を検出し、手動モードと自動モードのいずれが指定されたかを判定する。手動モードの場合、処理はＳ１４０２に移行し、自動モードの場合、処理はＳ１４０５へ移行する。

【0072】

本実施形態において、手動モード設定の場合には、上述の第１の被写体変化検知モードと、第２の被写体変化検知モードのいずれを実行するかを更に指定することができる。そこで、Ｓ１４０２において制御部１０３は、手動設定が「第１の被写体変化検知モード（手動１）」に指定されているか、又は「第２の被写体変化検知モード（手動２）」に指定されているかを判定する。制御部１０３が手動１が指定されていると判定すると処理はＳ１４０３へ移行し、手動２が指定されていると判定すると、処理はＳ１４０４へ移行する。

【0073】

Ｓ１４０３では、前述した「第１の被写体変化検知モード」を駆動するサブルーチンを実行する。詳細は、図１５（Ａ）のフローチャートを参照して後述する。また、Ｓ１４０４では、前述した「第２の被写体変化検知モード」を駆動するサブルーチンを実行する。詳細は、図１５（Ｂ）のフローチャートを参照して後述する。Ｓ１４０３、Ｓ１４０４の処理が終わると、処理はＳ１４１３に移行する。

【0074】

次に、Ｓ１４０５において、制御部１０３は、自動モード設定を切り替えるためのモード切替スイッチ１０７２の設定をチェックする。制御部１０３が、「優先度学習モード」が選択されていると判定すると処理はＳ１４０６へ移行し、「輝度判断モード」が選択されていると判定すると処理はＳ１４１１へ移行する。

【0075】

本実施形態において、優先度学習モードとは、過去に被写体変化が検知（イベント検知）された回数と、その検知位置に基づいて、第１の被写体変化検知モードと第２の被写体変化検知モードとのいずれかを選択して実行するモードである。輝度判断モードとは、輝度測定部１０８による輝度測定結果に基づいて、第１の被写体変化検知モードと第２の被写体変化検知モードとのいずれかを選択して実行するモードである。

【0076】

まず、優先度学習モードが選択された場合を説明する。Ｓ１４０６にて、制御部１０３は、メモリ１０４の記憶情報のうちから、過去のイベント検知動作で被写体変化が検知（被写体の侵入が検知）された回数と、該被写体変化が検知された場合の検知位置の情報を含む検知履歴情報を取得する。続くＳ１４０７において制御部１０３は、Ｓ１４０６で取得した検知履歴情報のうち、検知回数が所定回数ｎよりも多いか否かを判定する。検知回数がｎ回よりも大きくなければ処理はＳ１４０９へ移行し、ｎ回より多ければ処理はＳ１４０８へ移行する。

【0077】

Ｓ１４０８は、検知履歴情報のうちの検知位置の情報に更に基づき、すべての検知回数のうちで検知位置が画面周辺部である割合（比率）を算出する。算出した割合（比率）が所定割合（所定比率）Ｘ％を上回っていれば、処理はＳ１４１０へ移行する。なお、該Ｓ１４０６からＳ１４０８では簡単に、過去の検知回数及び比率を学習データとしているが、より詳細に侵入した画素ブロックをＡＩなどで学習させ、探索精度を上げるようにしてもよい。

【0078】

Ｓ１４０９では、過去のイベント検知（侵入物の検出）が画面周辺部には偏っていないとして、制御部１０３は撮像素子２００を制御して、全域を同性能で検知できる「第２の被写体変化検知モード」を実行する。当該処理の詳細は図１５（Ｂ）を参照して後述する。Ｓ１４１０では、過去のイベント検知（侵入物の検知）が画面周辺部に多いとして、制御部１０３は撮像素子２００を制御して、周辺部の検知敏感度の高い「第１の被写体変化検知モード」を実行する。当該処理の詳細は図１５（Ａ）を参照して後述する。

【0079】

このように、Ｓ１４０５で「優先度学習モード」が選ばれた場合、まずは「第２の被写体変化検知モード」にてイベント検知（被写体侵入検知）データを収集することとなる。そして、収集された過去のイベント検知回数が所定回数よりも多い場合、イベント検知が画面周辺に多いか否かを学習情報として使用することが可能となる。もし、画面の外から被写体が侵入してくるなど、画面周辺でのイベント検知が多い場合、「第１の被写体変化検知モード」に切り替えることで検知精度を上げることができる。

【0080】

次に、輝度判断モードが選択された場合を説明する。まずＳ１４１１において制御部１０３は、輝度測定部１０８が観察した外光データである被写体輝度を取得し、被写体輝度が所望の明るさＬＶより明るいか否かを判定する。被写体輝度がＬＶよりも高ければ、処理はＳ１４１２へ移行し、ＬＶ以下であれば処理はＳ１４０９へ移行する。

【0081】

被写体輝度が暗い場合、画像全体が暗めになるため局所的な検知が行いにくくなる。そこでＳ１４０９では、制御部１０３が撮像素子を制御して、画面全面を均一の敏感度で処理する「第２の被写体変化検知モード」を実行する。被写体輝度が明るい場合、画像全体が明るめであり、局所的な検知が行いやすい。そこで、Ｓ１４１２では、制御部１０３が撮像素子２００を制御して、周辺部の検知敏感度の高い「第１の被写体変化検知モード」を実行する。

【0082】

上記Ｓ１４０３、Ｓ１４０４、Ｓ１４０９、Ｓ１４１０、Ｓ１４１２で各被写体変化検知モードの動作を行い、侵入物を検出すると、処理はＳ１４１３に移行する。Ｓ１４１３では、制御部１０３は撮像素子２００を制御して、図１０にて説明した通常撮影モードで駆動し、後段の画像処理部１０２及び記憶部１０５により、生成した画像データを記憶する。

【0083】

以上が一連の動作の流れであり、当該動作を不図示の電源スイッチがＯＦＦされるまで繰り返すことができる。

【0084】

次に、図１５（Ａ）を参照して第１の被写体変化検知モードにおける処理の流れを説明する。図１５（Ａ）は第１の被写体変化検知モードの処理の一例を示すフローチャートであり、被写体変化検知モードの選択の結果によって、本ルーチンに入る。まず、Ｓ１５０１では、制御部１０３が撮像素子２００に対し第１の被写体変化検知モード動作の許可制御を行い、第１の被写体変化検知モードに移行する。モード制御部２１６は、画素アレイ部２２０の各画素ブロックが、第１の画素ブロック２４０と、第２の画素ブロック２５０とになるように、垂直走査回路２１１、ＡＤ変換回路２１２及び、水平走査回路２１３を設定し、撮影動作を開始する。続くＳ１５０２では、制御部１０３は撮像素子２００を制御して画素ブロック毎に画素信号を加算平均された画素信号の加算値を出力させ、メモリ２７２に一時に保存する。

【0085】

次にＳ１５０３では、制御部１０３は、Ｓ１５０２にて得られた画素ブロック毎の画素信号の加算値が動作開始後の２枚目以降のものであるかどうかを判定する。もし、２枚目以降である場合、処理はＳ１５０４に進み、２枚目未満の場合、処理はＳ１５０２に戻る。２枚目未満の場合、被写体変化検知のための過去データとの差分が得られないためである。Ｓ１５０４では、差分検知部２７３が、Ｓ１５０２で取得した画素信号の加算値につき、画素ブロック毎に差分値を取得する。すなわち、メモリ２７２に保持されている取得した画素信号の加算値と同一の画素ブロックにおける時間的に前後の関係にある画素信号の加算値との差分値を取得する。該動作は図１３にて説明済みのため、ここでの説明は割愛する。

【0086】

次にＳ１５０５において比較部２７４は、Ｓ１５０４にて取得された差分値に基づき、イベント検知の有無を判定する。比較部２７４は、各差分値を所定の閾値と比較し、閾値以上であるか否かを判定する。そして、閾値以上の差分値が存在する場合には、その画素ブロック数をカウントする。カウントなし（＝０）であれば、変化検知のイベントなしとして、処理はＳ１５０２に戻り、上述したＳ１５０４までの被写体変化の検知の動作を繰り返す。一方、カウントが計数されていれば（＞０）、イベント検知が有ったとして、処理はＳ１５０６へ進む。

【0087】

続くＳ１５０６では、比較部２７４は、イベント検知の判定に応じて、イベント検知に関わる画素ブロックが画面周辺部であったか否かを判定し、メモリ２７２に、判定結果の情報を検知履歴情報として保存する。例えば、画面周辺部を１とし、画面周辺部でなかった（画面周辺部よりも内側であった場合）を０として保存する。ここで、画面周辺部に属する画素ブロックは予め決めておくことができる。画面の端部に位置する画素回路を含んで、或いは、当該画素回路で構成される画素ブロックが画面周辺部に属する画素ブロックに該当するものとし、それらの画素ブロックの位置情報を予め比較部２７４は保持しておく。このようにして、イベント検知に関わる画素ブロックの位置、または、種別を検知履歴として保持しておくことができる。メモリ２７２に記憶された検知履歴情報は、制御部１０３により随時読み出され、メモリ１０４に保持される。

【0088】

次に、図１５（Ｂ）を参照して第２の被写体変化検知モードにおける処理の流れを説明する。図１５（Ｂ）は第２の被写体変化検知モードの処理の一例を示すフローチャートであり、被写体変化検知モードの選択の結果によって、本ルーチンに入る。

【0089】

まず、Ｓ１５１１では、制御部１０３が撮像素子２００に対し第２の被写体変化検知モード動作の許可制御を行い、第２の被写体変化検知モードに移行する。モード制御部２１６は、画素アレイ部２２０の各画素ブロックが、第３の画素ブロック２６０になるように、垂直走査回路２１１、ＡＤ変換回路２１２及び、水平走査回路２１３を設定し、撮影動作を開始する。続くＳ１５１２では、制御部１０３は撮像素子２００を制御して画素ブロック毎に画素信号が加算された画素信号の加算値を出力させ、メモリ２７２に一時に保存する。

【0090】

次にＳ１５１３では、制御部１０３は、Ｓ１５１２にて得られた画素ブロック毎の画素信号の加算値が動作開始後の２枚目以降のものであるかどうかを判定する。もし、２枚目以降である場合、処理はＳ１５１４に進み、２枚目未満の場合、処理はＳ１５１２に戻る。２枚目未満の場合、被写体変化検知のための過去データとの差分が得られないためである。Ｓ１５１４では、差分検知部２７３が、Ｓ１５１２で取得した画素信号の加算値につき、画素ブロック毎に差分値を取得する。すなわち、メモリ２７２に保持されている取得した画素信号の加算値と同一の画素ブロックにおける時間的に前後の関係にある画素信号の加算値との差分値を取得する。該動作は図１１、図１２にて説明済みのため、ここでの説明は割愛する。

【0091】

次にＳ１５１５において比較部２７４は、Ｓ１５１４にて取得された差分値に基づき、イベント検知の有無を判定する。比較部２７４は、各差分値を所定の閾値と比較し、閾値以上であるか否かを判定する。そして、閾値以上の差分値が存在する場合には、その画素ブロック数をカウントする。カウントなし（＝０）であれば、変化検知のイベントなしとして、処理はＳ１５１２に戻り、上述したＳ１５１４までの被写体変化の検知の動作を繰り返す。一方、カウントが計数されていれば（＞０）、イベント検知が有ったとして、処理はＳ１５１６へ進む。

【0092】

続くＳ１５１６では、比較部２７４は、イベント検知の判定に応じて、イベント検知に関わる画素ブロックが画面周辺部であったか否かを判定し、メモリ２７２に、判定結果の情報を検知履歴情報として保存する。例えば、画面周辺部を１とし、画面周辺部でなかった（画面周辺部よりも内側であった場合）を０として保存する。ここで、画面周辺部に属する画素ブロックは予め決めておくことができる。画面の端部を構成する画素ブロックが画面周辺部に属する画素ブロックに該当するものとし、それらの画素ブロックの位置情報を予め比較部２７４は保持しておく。このようにして、イベント検知に関わる画素ブロックの位置を検知履歴として保持しておくことができる。メモリ２７２に記憶された検知履歴情報は、制御部１０３により随時読み出され、メモリ１０４に保持される。

【0093】

以上、説明したように、被写体変化をイベントとして検知する撮像装置において、被写体変化のイベント検知を行う際に、画素ブロックの大きさを可変することにより、検知性を向上させることができる。更に、検知する被写体や設置個所の特徴により、画素ブロックの設定を変更することにより、利便性がよい撮像装置を提供することができる。

【0094】

次に、図１６を参照して、撮像素子２００の構造について説明する。上記の実施形態において、撮像素子２００は、図１６（Ａ）に示されるように斜線で示される半導体基板１６０１と、白色で示される半導体基板１６０２とを有するように構成することができる。半導体基板１６０１および半導体基板１６０２は、図１６（Ｂ）に示されるように重畳された状態で封止され、モジュール化（一体化）される。これにより、図１６（Ｃ）に示されるように、半導体基板１６０１および半導体基板１６０２は、多層構造（積層構造）を形成する。半導体基板１６０１に形成される回路と半導体基板１６０２に形成される回路は、ビア（ＶＩＡ）等により互いに接続される。図１６では２層の場合を示したが、積層数をより多くしてもよい。

【0095】

このように、撮像素子２００は、半導体基板１６０１と半導体基板１６０２が多層構造を形成するように一体化されたモジュール（ＬＳＩ（Large Scale Integration）チップとも称する）として形成されてもよい。モジュール内部において半導体基板１６０１と半導体基板１６０２がこのように多層構造を形成することにより、撮像素子２００は、半導体基板のサイズを増大させずに、より大規模な回路の実装を実現することができる。すなわち、撮像素子２００は、コストの増大を抑制しながら、より大規模な回路を実装することができる。

【0096】

半導体基板１６０１には、画素アレイ部２２０およびＡＤ変換回路２１２、垂直走査回路２１１、水平走査回路２１３などが形成される。また、半導体基板１６０２には、イベント検知部２１４、信号処理部２１５、モード制御部２１６、露光制御部２１７を形成することができる。

【0097】

また、上述の実施形態において、検知モードを、所定ブロック内の複数の画素信号を加算平均して読み出すことにより出力画素数を低減する撮影モードとして説明したが、画素数の低減方法はこれに限定されるものではない。例えば、読み出す画素を周期的に間引くことで出力画素数を低減してもよい。その際、画素ブロック内の画素を所定間隔により間引いた後、画素信号を加算平均して、被写体変化の検知を行ってもよい。

【0098】

また、撮像素子にカラーフィルタ等が配され、色別の画素出力となる場合においては、同色の画素が配される行または列によって同色の画素信号を加算するようにしてもよい。その際、複数の色のうち、一部の色の画素のみの画素信号を加算するようにしてもよい。例えば、ＲＧＢの場合にはＧの画素のみの画素信号を加算してもよい。

【0099】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0100】

１００ 撮像装置、２００ 撮像素子

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】