特許 7492345 撮像素子及びその制御方法、及び、撮像装置及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-21

(45)【発行日】2024-05-29

(54)【発明の名称】撮像素子及びその制御方法、及び、撮像装置及びその制御方法

(51)【国際特許分類】

   H04N 25/70 20230101AFI20240522BHJP

   H04N 23/60 20230101ALI20240522BHJP

【ＦＩ】

H04N25/70

H04N23/60

【請求項の数】 19

(21)【出願番号】P 2020032191

(22)【出願日】2020-02-27

(65)【公開番号】P2021136604

(43)【公開日】2021-09-13

【審査請求日】2023-02-22

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】大下内 和樹

(72)【発明者】

【氏名】池戸 秀樹

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２００６－０３３４５３（ＪＰ，Ａ）

【文献】特許第６６３５２２１（ＪＰ，Ｂ１）

【文献】特開２０１７－１８３９５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／００－２５／７９

Ｈ０４Ｎ ２３／００－２３／９５９

(57)【特許請求の範囲】

【請求項1】

行列状に配置された複数の画素を有する画素アレイと、
前記複数の画素から信号の読み出し制御を行う読み出し手段と、
前記読み出された信号を、画像信号として出力する第１の出力手段と、
前記読み出された信号を用いて、特徴量を抽出する畳み込みニューラルネットワーク処理を行う抽出手段と、
前記特徴量を出力する第２の出力手段と、を有し、
前記読み出し手段による信号の読み出しと、前記抽出手段による前記畳み込みニューラルネットワーク処理を並列処理することを特徴とする撮像素子。

【請求項2】

前記抽出手段は、前記複数の画素から、少なくとも前記畳み込みニューラルネットワーク処理に必要な信号が読み出されてから、前記画素アレイの全体から信号が読み出される前に、前記畳み込みニューラルネットワーク処理を開始することを特徴とする請求項１に記載の撮像素子。

【請求項3】

前記読み出し手段は、行単位で前記信号を読み出し、
前記抽出手段は、前記畳み込みニューラルネットワーク処理で用いるカーネルの行サイズ以上の行数の信号が読み出されると、前記畳み込みニューラルネットワーク処理を開始することを特徴とする請求項２に記載の撮像素子。

【請求項4】

前記読み出し手段は、複数行単位で前記信号を読み出し、
前記カーネルの行サイズは、前記複数行の整数倍であることを特徴とする請求項３に記載の撮像素子。

【請求項5】

請求項１乃至４のいずれか１項に記載の撮像素子と、
前記撮像素子から出力された信号を処理する信号処理手段と
を有することを特徴とする撮像装置。

【請求項6】

前記信号処理手段は、前記抽出手段により抽出された特徴量に基づいて、前記画素アレイの領域に第１の領域と第２の領域を含む複数の領域を設定することを特徴とする請求項５に記載の撮像装置。

【請求項7】

行列状に配置された複数の画素を有する画素アレイと、前記複数の画素から信号の読み出し制御を行う読み出し手段と、前記読み出された信号を、画像信号として出力する出力手段と、を有する撮像素子と、
前記読み出された信号を用いて、特徴量を抽出する特徴量抽出処理を行う抽出手段と、
前記抽出手段により抽出された特徴量に基づいて、前記画素アレイの領域に第１の領域と第２の領域を含む複数の領域を設定する信号処理手段と、を有し、
前記読み出し手段による信号の読み出しと、前記抽出手段による前記特徴量抽出処理を並列処理し、
前記抽出手段は、前記第１の領域と前記第２の領域とで、異なる特徴量抽出処理を行うことを特徴とする撮像装置。

【請求項8】

行列状に配置された複数の画素を有する画素アレイと、前記複数の画素から信号の読み出し制御を行う読み出し手段と、前記読み出された信号を、画像信号として出力する出力手段と、を有する撮像素子と、
前記読み出された信号を用いて、特徴量を抽出する特徴量抽出処理を行う抽出手段と、
前記抽出手段により抽出された特徴量に基づいて、前記画素アレイの領域に第１の領域と第２の領域を含む複数の領域を設定する信号処理手段と、を有し、
前記読み出し手段による信号の読み出しと、前記抽出手段による前記特徴量抽出処理を並列処理し、
前記抽出手段は、前記第１の領域と前記第２の領域とで、前記特徴量抽出処理を行う優先度を異ならせることを特徴とする撮像装置。

【請求項9】

行列状に配置された複数の画素を有する画素アレイと、前記複数の画素から信号の読み出し制御を行う読み出し手段と、前記読み出された信号を、画像信号として出力する出力手段と、を有する撮像素子と、
前記読み出された信号を用いて、特徴量を抽出する特徴量抽出処理を行う抽出手段と、
前記抽出手段により抽出された特徴量に基づいて、前記画素アレイの領域に第１の領域と第２の領域を含む複数の領域を設定する信号処理手段と、を有し、
前記読み出し手段による信号の読み出しと、前記抽出手段による前記特徴量抽出処理を並列処理し、
前記読み出し手段は、前記第１の領域と前記第２の領域とで、間引き読み出しを行う場合の間引き率、加算平均して読み出す場合の加算平均数、フレームレートの少なくともいずれかを異ならせることを特徴とする撮像装置。

【請求項10】

前記抽出手段は、前記複数の画素から、少なくとも前記特徴量抽出処理に必要な信号が読み出されてから、前記画素アレイの全体から信号が読み出される前に、前記特徴量抽出処理を開始することを特徴とする請求項７乃至９のいずれか１項に記載の撮像装置。

【請求項11】

前記特徴量抽出処理は、畳み込みニューラルネットワークを用いた処理であって、
前記読み出し手段は、行単位で前記信号を読み出し、
前記抽出手段は、前記畳み込みニューラルネットワークで用いるカーネルの行サイズ以上の行数の信号が読み出されると、前記特徴量抽出処理を開始することを特徴とする請求項１０に記載の撮像装置。

【請求項12】

前記読み出し手段は、複数行単位で前記信号を読み出し、
前記カーネルの行サイズは、前記複数行の整数倍であることを特徴とする請求項１１に記載の撮像装置。

【請求項13】

前記特徴量抽出処理は、畳み込みニューラルネットワークを用いた処理であって、
前記抽出手段は、前記第１の領域と前記第２の領域とで、前記畳み込みニューラルネットワークで用いるカーネルの種類の数、前記カーネルのサイズ、前記カーネルのスライド量、プーリング層におけるプーリング法の少なくともいずれかを異ならせることを特徴とする請求項７に記載の撮像装置。

【請求項14】

前記信号処理手段は、前記特徴量に基づいて予め決められた被写体を検出し、
前記抽出手段は、更に、前記被写体の領域を表すマーキングデータを生成することを特徴とする請求項６乃至１３のいずれか１項に記載の撮像装置。

【請求項15】

行列状に配置された複数の画素を有する画素アレイと、前記複数の画素から信号の読み出し制御を行う読み出し手段と、前記読み出された信号を、画像信号として出力する第１の出力手段と、前記読み出された信号を用いて、特徴量を抽出する畳み込みニューラルネットワーク処理を行う抽出手段と、前記特徴量を出力する第２の出力手段と、を有する撮像素子の制御方法であって、
前記読み出し手段による信号の読み出しと、前記抽出手段による前記畳み込みニューラルネットワーク処理を並列処理するように制御することを特徴とする撮像素子の制御方法。

【請求項16】

行列状に配置された複数の画素を有する画素アレイと、前記複数の画素から信号の読み出し制御を行う読み出し手段と、前記読み出された信号を、画像信号として出力する出力手段と、を有する撮像素子と、前記読み出された信号を用いて、特徴量を抽出する特徴量抽出処理を行う抽出手段と、前記抽出手段により抽出された特徴量に基づいて、前記画素アレイの領域に第１の領域と第２の領域を含む複数の領域を設定する信号処理手段と、を有する撮像装置の制御方法であって、
前記読み出し手段による信号の読み出しと、前記抽出手段による前記特徴量抽出処理を並列処理するように制御し、前記抽出手段は、前記第１の領域と前記第２の領域とで、異なる特徴量抽出処理を行うことを特徴とする撮像装置の制御方法。

【請求項17】

行列状に配置された複数の画素を有する画素アレイと、前記複数の画素から信号の読み出し制御を行う読み出し手段と、前記読み出された信号を、画像信号として出力する出力手段と、を有する撮像素子と、前記読み出された信号を用いて、特徴量を抽出する特徴量抽出処理を行う抽出手段と、前記抽出手段により抽出された特徴量に基づいて、前記画素アレイの領域に第１の領域と第２の領域を含む複数の領域を設定する信号処理手段と、を有する撮像装置の制御方法であって、
前記読み出し手段による信号の読み出しと、前記抽出手段による前記特徴量抽出処理を並列処理するように制御し、前記抽出手段は、前記第１の領域と前記第２の領域とで、前記特徴量抽出処理を行う優先度を異ならせることを特徴とする撮像装置の制御方法。

【請求項18】

行列状に配置された複数の画素を有する画素アレイと、前記複数の画素から信号の読み出し制御を行う読み出し手段と、前記読み出された信号を、画像信号として出力する出力手段と、を有する撮像素子と、前記読み出された信号を用いて、特徴量を抽出する特徴量抽出処理を行う抽出手段と、前記抽出手段により抽出された特徴量に基づいて、前記画素アレイの領域に第１の領域と第２の領域を含む複数の領域を設定する信号処理手段と、を有する撮像装置の制御方法であって、
前記読み出し手段による信号の読み出しと、前記抽出手段による前記特徴量抽出処理を並列処理するように制御し、
前記読み出し手段は、前記第１の領域と前記第２の領域とで、間引き読み出しを行う場合の間引き率、加算平均して読み出す場合の加算平均数、フレームレートの少なくともいずれかを異ならせることを特徴とする撮像装置の制御方法。

【請求項19】

コンピュータに、請求項１５乃至１８のいずれか１項に記載の制御方法の各工程を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像素子及びその制御方法、及び、撮像装置及びその制御方法に関し、特に、画像信号の読み出しと画像の特徴を抽出する技術に関するものである。

【背景技術】

【0002】

近年、画像を認識する分野において、ディープラーニング技術が応用されている。例えば、撮像した画像データに対して、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク）を用いることで特徴量の抽出を行う技術がある。

【0003】

特許文献１では、ＣＮＮにおける畳み込み処理の一部をイメージセンサチップ内で行う撮像装置が開示されている。一例として、特許文献１では、畳み込み処理に用いるフィルタに応じて、各画素が所望の感度に設定された各画素ブロック内の画素の信号を加算読み出しすることで、積和演算を実施することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１２５８４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載された撮像装置では、画素ごとに感度を変えたり、画素からの信号を加算読み出しする処理が行われるため、読み出した信号から観賞用の画像を生成しようとすると、画質が低下することになる。

【0006】

また、１フレーム分の画像信号を撮像素子から読み出してから、読み出した画像信号に対して特徴量の抽出処理を行う場合、得られた特徴量を次のフレームの撮影や次の特徴量抽出処理に利用しようとすると、フレームレートの低下を招くという課題があった。

【0007】

本発明は上記問題点を鑑みてなされたものであり、画像信号の読み出しと特徴量の抽出処理とを、効率的に実施することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明の撮像素子は、行列状に配置された複数の画素を有する画素アレイと、前記複数の画素から信号の読み出し制御を行う読み出し手段と、前記読み出された信号を、画像信号として出力する第１の出力手段と、前記読み出された信号を用いて、特徴量を抽出する畳み込みニューラルネットワーク処理を行う抽出手段と、前記特徴量を出力する第２の出力手段と、を有し、前記読み出し手段による信号の読み出しと、前記抽出手段による前記畳み込みニューラルネットワーク処理を並列処理することを特徴とする。

【発明の効果】

【0009】

本発明によれば、画像信号の読み出しと特徴量の抽出処理とを、効率的に実施することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施形態における撮像素子の概略構成を示したブロック図。

【図2】第１の実施形態における特徴量抽出処理の一例を示したフローチャート。

【図3】（ａ）第１の実施形態における画素信号の読み出し駆動と特徴量抽出処理とのタイミングを示した図、（ｂ）画素信号の読み出し後に特徴量抽出処理を行う場合のタイミングの一例を示す図。

【図4】第１の実施形態における画素信号の読み出し駆動と特徴量抽出処理との別のタイミングを示した図。

【図5】第２の実施形態における撮像素子の概略構成を示したブロック図。

【図6】第２の実施形態における画素信号の読み出し駆動と特徴量抽出処理とのタイミングを示した図。

【図7】第３の実施形態における領域毎に異なる設定をする際の一例を示した図。

【図8】第４の実施形態における撮像装置の全体構成を示すブロック図。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像素子１０の概略構成を示したブロック図である。
画素アレイ１００は、行列状に並べて配置された複数の画素１０１で構成される。なお、図１では、画素アレイ１００を５行×４列分の画素１０１により表しているが、実際には、数千行、数千列に亘って画素１０１が配置される。

【0013】

垂直走査回路１０２は、タイミングジェネレータ（ＴＧ）１０３から出力された水平同期信号（ＨＤ）に基づいて、１ＨＤ毎に１行または複数行単位で画素１０１を順次走査する。このように、画素アレイ１００を行単位で順次走査することで１フレーム分の画像信号を得ることができる。

【0014】

例えば、画素アレイ１００がｍ行で構成され、１ＨＤあたり１行ずつ順次走査する場合は、１フレーム分の画素信号の読み出しにはｍＨＤの時間を要する。垂直走査回路１０２による制御により、画素１０１からは、ノイズレベルのアナログ信号であるノイズ信号と、入射光を光電変換して生成した電荷に基づくアナログ信号である光電変換信号とが、各列に配線された垂直信号線１０４を介して出力される。

【0015】

読み出し回路１０５は、各垂直信号線１０４に対応して列毎に設けられた複数のＡ／Ｄ変換器を有し、垂直信号線１０４を介して画素１０１から読み出されたアナログ信号をデジタル信号へとＡ／Ｄ変換する。また、読み出し回路１０５には、垂直信号線１０４を介して画素１０１に電流を供給する電流供給部や、アナログ信号を一時的に保持するメモリ部、画素１０１からのアナログ信号を増幅する列アンプ部等が含まれていても良い。

【0016】

信号保持部１０６は、読み出し回路１０５から出力される各列の信号を保持する。水平走査回路１０７は、信号保持部１０６を順次走査することで、信号保持部１０６に保持された各列の信号を、順次、出力切り替え部１０８に転送する。

【0017】

出力切り替え部１０８は、画像データ出力部１０９と信号変換部１１０へ、信号保持部１０６から出力された各列の信号を切り替えながら出力する。

【0018】

画像データ出力部１０９は、信号保持部１０６から出力された各列の信号を処理し、処理した信号を画像データとして撮像素子１０の外部に出力する。

【0019】

信号変換部１１０は、信号保持部１０６から出力された各列の信号を、特徴量の抽出に適した信号に変換し、メモリ部１１１へ出力する。ここで行われる変換処理としては、例えば、Ａ／Ｄ変換で変換されたデジタル信号のｂｉｔ数を変えたり、解像度を変えたりすることが挙げられるが、これらの処理に限定されるものでは無い。

【0020】

特徴量抽出回路１１２は、メモリ部１１１に保持された信号に対して特徴量抽出処理を施し、メモリ部１１１に処理後の信号を出力する。なお、特徴量抽出回路１１２で行われる特徴量抽出処理については、図２を参照して後述する。

【0021】

特徴量データ出力部１１３は、メモリ部１１１に保持された特徴量抽出処理により得られた信号を、特徴量データとして撮像素子１０の外部に出力する。この特徴量データは、例えば被写体の判別や被写体の識別に用いることができる。

【0022】

ＴＧ１０３は、垂直走査回路１０２、読み出し回路１０５、信号保持部１０６、水平走査回路１０７、出力切り替え部１０８、画像データ出力部１０９、信号変換部１１０、メモリ部１１１、特徴量抽出回路１１２、特徴量データ出力部１１３のそれぞれにタイミング信号を供給する。

【0023】

次に、特徴量抽出回路１１２で行われる特徴量抽出処理について、図２を用いて説明する。本実施形態では、特徴量抽出処理として、畳み込みニューラルネットワークを実行する場合について説明する。

【0024】

畳み込みニューラルネットワークでは、畳み込み層やプーリング層が主に使われる。畳み込み層では、カーネル（もしくはフィルタ）と呼ぶデータと、画像データの一部でカーネルと同じサイズの（ウィンドウ）のデータとの間で、各要素の積の和を演算し、１つの数値に変換する処理を行う。この変換処理を、ウィンドウを少しずつスライドさせながら行う。

【0025】

カーネルと画像データが似たようなデータだった場合は、演算した積和が高くなるため、画像の特徴量を抽出できる。この処理において、抽出したい特徴量に応じた様々なカーネルを適用することで、所望の特徴量を取り出すことができる。

【0026】

プーリング層では、畳み込み層と同じようにウィンドウを持ち、カーネルを画像全体に対して適用する統計的な処理が行われる。例えば、Ｍａｘプーリング層では、カーネル内の最大値を取り、Ａｖｅｒａｇｅプーリング 層では、カーネル内の画像の値の平均値を取る。

【0027】

また、畳み込み層の後、活性化関数演算されることもある。例えば、正のデータはそのままとし、０未満の負のデータは０に置き換える正規化線形関数（Rectified Liner Units）が挙げられる。

【0028】

畳み込み層、活性化関数演算、プーリング層を任意の回数繰り返すことで、特徴量データが生成される。生成された特徴量データは、全結合層により１次元化され、特徴量データ出力部１１３より撮像素子１０の外部に出力される。なお、全結合層は通さずに、特徴量データを特徴量データ出力部１１３から外部に出力してもよい。

【0029】

このように、入力された画像データに対して、畳み込み、活性化関数演算、プーリング、全結合が実行され、特徴量が抽出された特徴量データが形成される。

【0030】

図３（ａ）は、第１の実施形態において、任意のフレーム（第ｎフレーム）における、画素アレイ１００からの画素信号の読み出し駆動と、特徴量抽出処理とのタイミングを示した図である。なお、特徴量抽出回路１１２で用いられるカーネル（フィルタ）のサイズが３×３であるものとして説明する。また、画素アレイ１００の行数はｍ行とし、ローリングシャッタ方式により、１行毎に画素１０１の画素信号を順次読み出すものとする。

【0031】

フレームの先頭において、画素アレイ１００の１行目の画素１０１から画素信号が読み出され、読み出し回路１０５においてデジタル信号に変換された画素信号が、信号保持部１０６に保持される。

【0032】

１行目の画素信号の読み出し終了後、２行目の画素信号の読み出しと並行して、信号保持部１０６に保持された１行目の画素信号は、出力切り替え部１０８を介し、画像データ出力部１０９から画像データとして撮像素子１０の外部に出力される。また、信号保持部１０６に保持された１行目の画素信号は、出力切り替え部１０８を介して信号変換部１１０にも入力され、特徴量抽出処理に適した信号に変換されて、メモリ部１１１に保持される。

【0033】

続いて、３行目の画素信号の読み出しと並行して、信号保持部１０６に保持された２行目の画素信号は、出力切り替え部１０８を介し、画像データ出力部１０９から画像データとして撮像素子１０の外部に出力される。また、信号保持部１０６に保持された２行目の画素信号は、出力切り替え部１０８を介して信号変換部１１０にも入力され、特徴量抽出処理に適した信号に変換されて、メモリ部１１１に保持される。

【0034】

更に、４行目の画素信号の読み出しと並行して、信号保持部１０６に保持された３行目の画素信号は、出力切り替え部１０８を介し、画像データ出力部１０９から画像データとして撮像素子１０の外部に出力される。また、信号保持部１０６に保持された３行目の画素信号は、出力切り替え部１０８を介して信号変換部１１０にも入力され、特徴量抽出処理に適した信号に変換されて、メモリ部１１１に保持される。ここで、特徴量抽出処理に用いられるカーネルと同じ行サイズの信号が得られるので、特徴量抽出処理を開始する。

【0035】

同様にして、５行目の画素信号の読み出しと並行して、４行目の画素信号に基づく画像データの出力と、２～４行目の画像信号に基づく特徴量抽出処理を行うことができる。

【0036】

以降、同様の動作を繰り返し、ｍ行目の画素信号の読み出しと並行して、信号保持部１０６に保持されたｍ－１行目の画素信号は、出力切り替え部１０８を介し、画像データとして画像データ出力部１０９でセンサ外部に出力される。また、信号保持部１０６に保持されたｍ－１行目の信号は、出力切り替え部１０８を介して信号変換部１１０にも入力され、特徴量抽出処理に適した信号に変換され、メモリ部１１１に保持される。そして、ｍ－３行目、ｍ－２行目の信号と共に、特徴量抽出処理に用いられる。

【0037】

更に、ｍ行目の画素信号の処理を行って、１フレーム分の画像データと特徴量データが撮像素子１０の外部に出力される。

【0038】

なお、上述した説明では、特徴量抽出回路１１２において、特徴量抽出処理に用いるカーネルの行サイズと同じ行数の信号がメモリ部１１１に保持されると、特徴量抽出処理を開始するものとして説明した。しかしながら、本発明はこれに限られるものでは無く、カーネルの行サイズ以上の行数の信号がメモリ部１１１に保持されてから、１フレーム分の信号が全て読み出されるより前に特徴量抽出処理を開始すればよい。このようにすることで、サイズの異なる様々なカーネルを適用した場合にも、信号の読み出しと並行して、特徴量抽出処理を行うことができる。

【0039】

また、本実施形態では、画像データと特徴量データとを共に撮像素子１０の外部に出力する期間を有する。その際に、画像データと特徴量データを並列に出力しても良いし、画像データと特徴量データとを重畳して出力しても良い。これは、撮像素子１０内に特徴量抽出回路１１２を設ける構成を生かした協調動作である。

【0040】

ここで、比較のために、画素信号の読み出しと特徴量抽出処理とを並列処理しない場合のタイミングを、図３（ｂ）に示す。図３（ｂ）から分かるように、並列処理しない場合には、すべての行の画像データを読み出した後に、特徴量抽出処理と特徴量データ出力が行われるため、フレームの読み出しを開始してから、特徴量データを得るまでの時間が長くかかる。従って、得られた特徴量データを用いて次の信号の読み出しや処理を制御したい場合に、フレームレートが低下したり、制御の適用開始タイミングが遅くなってしまう。

【0041】

上記の通り第１の実施形態によれば、画素信号の読み出しと特徴量抽出処理とを並行して行うことで、画素信号の読み出しと特徴量抽出処理とを効率的に実施することができる。

【0042】

なお、上述した例では、フレームごとに画像データと特徴量データとを出力したが、特徴量処理の演算規模が大きい場合には、フレームにまたがって特徴量データを出力することも可能である。その場合の処理のタイミングを図４に示す。図４のように、第ｎフレームで開始した特徴量抽出処理は、第ｎ＋１フレームで終了すると共に、第ｎ＋１フレームでは、第ｎ＋１フレームの画像データと第ｎフレームの特徴量データとが、撮像素子１０の外部に出力される。

【0043】

また、垂直走査回路１０２は、フレーム間で解像度やフレームレートを変えて画素アレイ１００からの信号の読み出しを制御することも考えられる。一般的に画素信号の読み出しにおいて、画素信号を加算平均して読み出す技術が知られている。例えば、垂直信号線１０４上で行方向に画素信号を加算平均したり、読み出し回路１０５において、水平方向に加算平均したりする駆動がある。いずれも、解像度、フレームレートのトレードオフ関係にある。

【0044】

また、特徴量抽出処理において、カーネルの種類が多いほど、カーネルのサイズが小さいほど、カーネルのスライド量が小さいほど、特徴量抽出の精度があがる。

【0045】

例えば、抽出された特徴量から被写体の有無を判別し、次のフレームから詳細に被写体の識別をしたい、というような用途が挙げられる。その場合には、被写体の有無を判別するときには、カーネルの種類を少なく、カーネルサイズを大きくし、特徴量抽出処理の演算負荷を小さくする。

【0046】

被写体が有ることを判別し、被写体を識別する際には、カーネルの種類を多くし、カーネルサイズを小さくし、特徴量抽出の精度を上げるといった方法でよい。さらに、被写体が有ることを判別した場合、次のフレーム以降で解像度を上げても良い。
なお、解像度の変更は、信号変換部１１０で解像度を落としてもよい。その場合には、特徴量抽出回路への入力データは低解像となるが、画像データは高解像度となる。

【0047】

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
第１の実施形態では、画素信号を１行ずつ順次読み出す場合について説明したが、第２の実施形態では、複数行単位で同時に読み出す場合について説明する。

【0048】

図５は、第２の実施形態における撮像素子２０の概略構成を示したブロック図である。図１に示す構成との差は、各列に複数の垂直信号線１０４が配線され、この垂直信号線１０４の数に対応する複数行の画素信号を、同時に読み出す点である。それ以外は図１と同様であるため、説明を省略する。なお、図５では、一例として、各列に３本の垂直信号線１０４が配線され、１ＨＤ毎に３行ずつ同時に画素信号を読み出すと共に、３行分の画素信号がメモリ部１１１に保持される。

【0049】

図６は、第２の実施形態における画素信号の読み出し駆動と、特徴量抽出処理とのタイミングを示した図である。図６では、上述したように、１ＨＤの間に、画素信号の読み出しを３行ずつ行う場合について示す。この場合、カーネルのサイズを３×３とする。カーネルの行サイズが３行であるため、メモリ部１１１に３行分のデータが保持された時点から、特徴量抽出処理を開始することができる。

【0050】

これに対し、例えば、１ＨＤにおける画素信号の読み出し行数が３行でカーネルの行サイズが５行である場合、特徴量抽出処理を開始できるのは、６行分の画素信号を読み出した２ＨＤ後である。また、１行分の信号を余分にメモリ部１１１に確保する必要がある。

【0051】

また、次の１ＨＤで３行分の画素信号を読み出したとしても、処理に必要な５行分の画素信号は得られないため、更に次の１ＨＤで３行分の画素信号が読み出されるのを待たなければならない。その際には、２行分の画素信号が余分にメモリ部１１１に保持されることになる。

【0052】

従って、カーネルの行サイズを、１ＨＤにおける画素信号の読み出し行数の整数倍とすると、効率よく特徴量抽出処理を開始することができる。また、メモリ部１１１の回路規模を削減することができる。

【0053】

なお、上述した第１及び第２の実施形態では、特徴量抽出処理を撮像素子１０または２０の内部で行うものとして説明したが、本発明はこれに限られるものでは無い。例えば、信号変換部や特徴量抽出回路を撮像素子１０または２０の外部に構成した場合、画素信号を撮像素子１０または２０の外部に出力し、特徴量抽出処理に必要な行数以上の信号が揃った時点で、特徴量抽出処理を開始すればよい。即ち、特徴量抽出回路が撮像素子１０または２０の内部にあるか外部にあるかに関わらず、撮像素子１０または２０における画素の読み出し処理と、特徴量抽出処理を並列処理することで、読み出し処理と特徴量抽出処理とを効率的に実施することができる。

【0054】

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
上述したように、特徴量抽出回路１１２により抽出された特徴量データは、被写体の有無の判別や、被写体の識別等に用いることができる。第３の実施形態では、特徴量データを利用して、例えば被写体を含む領域とそれ以外の領域とに分け、更に、異なる特徴量抽出処理を行う場合について説明する。

【0055】

図７（ａ）は、画素アレイ１００と被写体２００とを重ねて表した模式図、図７（ｂ）は、特徴量抽出処理を異ならせる領域を示す図である。特徴量データを用いて、図７（ａ）のように被写体２００があることを検出した場合に、画素アレイ１００の領域に対して、図７（ｂ）の被写体２００に対応する被写体領域２０１と、被写体２００以外に対応する非被写体領域２０２とを設定する。

【0056】

そして、本第３の実施形態では、被写体領域２０１と非被写体領域２０２とで異なる特徴量抽出処理を行って、特徴量データを出力する。異なる特徴量抽出処理としては、例えば畳み込み層としては、カーネルの種類、カーネルのサイズ、カーネルのスライド量等を変えることが挙げられる。また、例えばプーリング層としては、ｍａｘプーリング法、Ａｖｅｒａｇｅプーリング法等が挙げられる。

【0057】

具体的には、被写体領域２０１では、非被写体領域２０２よりも、使用するカーネルの種類を多くし、カーネルのサイズを小さくし、カーネルのスライド量を小さくすることで、被写体の特徴量の抽出精度を上げる。

【0058】

また、被写体領域２０１と非被写体領域２０２とで、特徴量抽出処理の順番の優先度を変えても良い。例えば、被写体領域２０１を非被写体領域２０２より優先して、特徴量抽出処理を行う。

【0059】

また、被写体領域２０１と非被写体領域２０２とで、画素アレイ１００から異なる駆動方法により画素信号を読み出しても良い。例えば、間引き率や、画素信号を加算平均する行数または列数、フレームレート等が挙げられる。

【0060】

ここで、間引き率とは、領域の全単位画素数に対する画素信号の読み出しを行う画素数の割合をいう。例えば、ある画素領域の間引き率が１である場合は、その画素領域内の全単位画素から画素信号の読み出しを行うことを意味する。また、ある画素領域の間引き率が０．２５である場合は、その画素領域内の１／４の画素から画素信号の読み出しを行うことを意味する。従って、間引き率が大きいほど、被写体２００を鮮明に撮影することができる。

【0061】

また、加算平均数とは、行方向や列方向に近接する単位画素の画素信号を加算平均する場合の、その加算平均する単位画素数のことを表す。このような加算平均の処理は、例えば近接する単位画素１０１の画素信号を、垂直信号線１０４で混合することで行われる。このような近接する単位画素の画素信号を加算平均することにより、ある間引き率で間引いて単位画素の画素信号を読み出す処理と同じような効果がある。

【0062】

従って、被写体領域２０１では、非被写体領域２０２よりも間引き率等を大きくしたり、加算平均する行数や列数を少なくする。

【0063】

また、フレームレートとは、単位時間あたりに読み出されるフレーム数を表す。フレームレートが高いほど、被写体２００の動きが滑らかになり、像ぶれが発生しにくくなる。従って、被写体領域２０１では、非被写体領域２０２よりもフレームレート（画素信号を読み出す回数）を高くする。

【0064】

また、被写体２００を認識したときに、特徴量抽出回路１１２は、被写体２００の部分画像に枠を付けるマーキングデータを形成しても良い。その場合は、画像データ出力あるいは特徴量データ出力と共に、マーキングデータもセンサ外部に出力される。

【0065】

上記の通り本第３の実施形態によれば、被写体２００を含まない非被写体領域２０２に対応する特徴量抽出処理の演算負荷を下げることで、全領域を同一の特徴量抽出処理をした場合と比較して、特徴量抽出時間と特徴量データの低減を図ることが可能となる。

【0066】

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。
図８は、第４の実施形態における撮像装置８００（デジタルカメラ、車載カメラ、スマートフォン等）の概略構成を示すブロック図である。

【0067】

図８において、撮像装置８００の撮像光学系は、撮像レンズ８０１及び絞り８０２を備える。撮像レンズ８０１及び絞り８０２を通過した光は、撮像レンズ８０１の焦点位置近傍にある撮像素子８０３の撮像面上に結像する。なお、撮像レンズ８０１は、１枚のレンズとして図示しているが、実際には複数のレンズから成るレンズ群で構成される。撮像素子８０３は、撮像レンズ８０１により結像された被写体像を信号として取り込む機能を有する。本実施形態では、撮像素子８０３は、第１及び第２の実施形態で説明した撮像素子１０または撮像素子２０の構成を有する。

【0068】

信号処理回路８０４は、撮像素子８０３から出力される信号に対して、信号増幅、基準レベル調整等の各種の補正や、データの並べ替え等を行う。なお、基準レベル調整等、一部の信号処理機能は、撮像素子８０３の中に設けても良い。逆に、撮像素子１０または撮像素子２０内に構成された特徴量抽出回路１１２における処理を、信号処理回路８０４で行うように構成してもよい。

【0069】

タイミング発生回路８０５は撮像素子８０３や信号処理回路８０４に駆動タイミング信号を出力する。
全体制御・演算回路８０６は、撮像素子８０３や信号処理回路８０４等を含む撮像装置８００全体の統括的な駆動及び制御を行う。また、信号処理回路８０４から出力された画像信号に対して、所定の画像処理や欠陥補正等を施す。メモリ回路８０７及び記録回路８０８は、全体制御・演算回路８０６から出力された画像信号等を記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。

【0070】

操作回路８０９は、撮像装置８００に備え付けられた操作部材からの信号を受け付け、全体制御・演算回路８０６に対してユーザーの命令を反映する。表示回路８１０は撮影後の画像やライブビュー画像、各種設定画面等を表示する。
＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

【0071】

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0072】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0073】

１０，２０：撮像素子、１００：画素アレイ、１０１：画素、１０２：垂直走査回路、１０３：タイミングジェネレータ、１０５：読み出し回路、１０６：信号保持部、１０７：水平走査回路、１０８：出力切り替え部、１０９：画像データ出力部、１１０：信号変換部、１１１：メモリ部、１１２：特徴量抽出回路、１１３：特徴量データ出力部、８００：撮像装置、８０３：撮像素子、８０４：信号処理回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】