特許 6809565 特徴抽出素子、特徴抽出システム、および判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6809565

(24)【登録日】2020年12月14日

(45)【発行日】2021年1月6日

(54)【発明の名称】特徴抽出素子、特徴抽出システム、および判定装置

(51)【国際特許分類】

   H04N 5/369 20110101AFI20201221BHJP

【ＦＩ】

   H04N5/369

【請求項の数】16

【全頁数】14

(21)【出願番号】特願2019-110274(P2019-110274)

(22)【出願日】2019年6月13日

(62)【分割の表示】特願2018-507965(P2018-507965)の分割

【原出願日】2016年3月30日

(65)【公開番号】特開2019-161665(P2019-161665A)

(43)【公開日】2019年9月19日

【審査請求日】2019年6月17日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】松本 繁

(72)【発明者】

【氏名】中西 奏太

(72)【発明者】

【氏名】石田 知久

(72)【発明者】

【氏名】宮本 敦史

(72)【発明者】

【氏名】内川 清

【審査官】 松永 隆志

(56)【参考文献】

【文献】 特開平１０−２９４８９９（ＪＰ，Ａ）

【文献】 米国特許第６６１７５６５（ＵＳ，Ｂ２）

【文献】 国際公開第２０１５／０７８０１８（ＷＯ，Ａ１）

【文献】 国際公開第２００６／０２２０７７（ＷＯ，Ａ１）

【文献】 国際公開第２００６／１２９７６２（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５−５／３７８

Ｈ０４Ｎ ９／００−９／１１

(57)【特許請求の範囲】

【請求項1】

被写体から受光した光を光電変換する複数の受光素子と、
前記複数の受光素子から出力された信号に基づき、前記被写体の特徴量を抽出する特徴抽出部と、
前記複数の受光素子が二次元的に配列される受光基板と、
前記受光基板に積層され、前記特徴抽出部を有する少なくとも一つの他の基板と、
を備え、
前記特徴抽出部は、前記複数の受光素子から出力された信号を畳み込み演算する畳み込み処理部を有し、
前記畳み込み処理部は、前記受光素子ごとまたは複数の前記受光素子からなるブロックごとに対応して設けられる複数の乗算回路を有し、前記複数の乗算回路を用いて畳み込み演算する、特徴抽出素子。

【請求項2】

前記特徴抽出部は、前記複数の受光素子から出力された信号をフィルタリングすることにより、前記特徴量を抽出する請求項１に記載の特徴抽出素子。

【請求項3】

前記特徴抽出部は、前記畳み込み処理部から出力された信号を予め定められた条件に基づいてサンプリングするプーリング処理部を有する請求項１または２に記載の特徴抽出素子。

【請求項4】

前記サンプリングされた信号を前記畳み込み処理部に受け渡す接続配線を備える請求項３に記載の特徴抽出素子。

【請求項5】

前記複数の受光素子が二次元的に配列される受光基板と、
前記受光基板に積層され、前記畳み込み処理部および前記プーリング処理部を有する少なくとも一つの他の基板と、
を備える請求項４に記載の特徴抽出素子。

【請求項6】

複数の前記他の基板を備え、前記畳み込み処理部と前記プーリング処理部は、前記複数の他の基板のうち互いに異なる基板にそれぞれ設けられ、
前記接続配線は、前記互いに異なる基板同士を接続する貫通電極を含む請求項５に記載の特徴抽出素子。

【請求項7】

前記他の基板は、複数の乗算回路基板を有し、
前記複数の乗算回路は、それぞれが異なる前記乗算回路基板に設けられる請求項５または６に記載の特徴抽出素子。

【請求項8】

前記複数の乗算回路基板は、互いに異なる畳み込み演算用のフィルタ係数が設定される請求項７に記載の特徴抽出素子。

【請求項9】

前記畳み込み処理部は、前記複数の乗算回路からの出力を加算する加算回路を有し、
前記加算回路は、前記他の基板である加算回路基板に設けられる請求項５から８のいずれか一項に記載の特徴抽出素子。

【請求項10】

前記受光素子からの信号を保持するラッチ回路と、
前記接続配線は、前記プーリング処理部と前記ラッチ回路との間を接続する請求項５から９のいずれか一項に記載の特徴抽出素子。

【請求項11】

前記他の基板は、前記畳み込み演算された信号を活性化関数に入力して、その出力信号を前記プーリング処理部に出力する活性化関数演算処理部を有する請求項５から１０のいずれか一項に記載の特徴抽出素子。

【請求項12】

前記畳み込み処理部の畳み込み演算、および、前記プーリング処理部のサンプリングを繰り返すように制御する制御部を備え、
前記制御部は、前記畳み込み演算を繰り返し行う際に、それぞれ予め定められたフィルタ係数を用いるように前記畳み込み処理部を制御する請求項３、５から１１のいずれか１項に記載の特徴抽出素子。

【請求項13】

前記特徴量を外部へ出力する請求項１から１２のいずれか一項に記載の特徴抽出素子。

【請求項14】

前記受光素子ごと、または、複数の前記受光素子からなるブロックごとに対応して設けられる複数のＡＤ変換回路を備え、
前記複数のＡＤ変換回路は、前記複数の受光素子が設けられた基板に積層された他の基板に設けられている請求項１から１３のいずれか一項に記載の特徴抽出素子。

【請求項15】

請求項３、４、５から１１のいずれか一項に記載の特徴抽出素子と、
前記畳み込み処理部の畳み込み演算と、前記プーリング処理部のサンプリングを繰り返すように制御する制御部と
を備え、
前記制御部は、前記畳み込み演算を繰り返し行う際に、それぞれ予め定められたフィルタ係数を用いるように前記畳み込み処理部を制御する特徴抽出システム。

【請求項16】

請求項１から請求項１４のいずれか一項に記載の特徴抽出素子と、
抽出された前記特徴量により前記被写体を判定する判定部と、
を備える判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特徴抽出素子、特徴抽出システム、および判定装置に関する。

【背景技術】

【0002】

画像をブロックに分割してブロック毎に特徴抽出することにより処理を高速化する方法がある（例えば、特許文献１参照）。
特許文献１ 特開２００８−１４８２９８号公報

【0003】

画像として取り込んだデータを処理して特徴抽出するので、画像を生成する処理、生成した画像を転送する処理等に時間がかかり、十分に高速化できたとはいえなかった。

【発明の概要】

【0004】

本発明の第１の態様においては、受光した光を光電変換する複数の受光素子が二次元的に配列される受光基板と、受光基板に積層される１または複数の他の基板を備え、他の基板は、受光素子ごと、または複数の受光素子からなるブロックごとに対応して設けられる複数の乗算回路を有し、複数の乗算回路を用いて複数の受光素子から出力された信号を畳み込み演算する畳み込み処理部と、畳み込み処理部から出力された信号を予め定められた条件に基づいてサンプリングするプーリング処理部と、サンプリングされた信号を複数の乗算回路へ受け渡すための接続配線とを有する特徴抽出素子が提供される。

【0005】

本発明の第２の態様においては、上記特徴抽出素子と、畳み込み処理部の畳み込み演算と、プーリング処理部のサンプリングを繰り返すように制御する制御部とを備え、制御部は、畳み込み演算を繰り返し行う際に、それぞれ予め定められたフィルタ係数を用いるように畳み込み処理部を制御する特徴抽出システムが提供される。

【0006】

本発明の第３の態様においては、上記の特徴抽出素子と、プーリング処理部からの出力に基づいて抽出される特徴量により撮像対象を判定する判定部とを備える判定装置が提供される。

【0007】

上記の発明の概要は、本発明の特徴の全てを列挙したものではない。これら特徴群のサブコンビネーションもまた発明となり得る。

【図面の簡単な説明】

【0008】

【図1】特徴抽出装置１００の模式的断面図である。

【図2】特徴抽出装置１００が実行する処理のフローチャートである。

【図3】特徴抽出装置１００の模式的断面図である。

【図4】特徴抽出装置１００の模式的断面図である。

【図5】特徴抽出装置１００のタイミングチャートである。

【図6】撮像装置５００のブロック図である。

【図7】他の特徴抽出装置１０１の模式的断面図である。

【図8】特徴抽出装置１０１の模式的断面図である。

【図9】特徴抽出装置１０１の部分的なタイミングチャートである。

【発明を実施するための形態】

【0009】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0010】

図１は、特徴抽出装置１００の模式的断面図である。特徴抽出装置１００は、順次積層されたマイクロレンズ１１０、画素基板１２０、ＡＤ変換回路基板１３０、乗算回路基板１４０、加算回路基板１５０、畳み込み演算結果加算基板１６０、活性化関数演算回路基板１７０、プーリング回路基板１８０、および結合回路基板１９０を備える単体の素子である。

【0011】

なお、特徴抽出装置１００は、受光した被写体光束から被写体を判定する場合に用いる特徴量を抽出する。被写体の判定は、一例として、被写体が何かを判別したり、被写体のカテゴリを判別することや、被写体の度合い（例えば夕景度など）を判定することなどが挙げられるが、これらに限らない。ここで抽出される特徴量は、深層学習またはディープラーニングと呼ばれる多層ニューラルネットワークで抽出される特徴に対応する。換言すれば、特徴抽出装置１００は、深層学習により特徴抽出をする学習処理にも用いることができる。

【0012】

特徴抽出装置１００における基板の各々は、下地基板１１上にフォトリソグラフィにより形成された配線層１２を有する。それぞれの配線層１２には、配線、素子等により形成された回路が含まれる。即ち、画素基板１２０、ＡＤ変換回路基板１３０、乗算回路基板１４０、加算回路基板１５０、畳み込み演算結果加算基板１６０、活性化関数演算回路基板１７０、プーリング回路基板１８０、結合回路基板１９０は、それぞれ、画素１２１、ＡＤ変換回路１３１、乗算回路１４１、加算回路１５１、ラッチＢ付き加算回路１６１、活性化関数演算回路１７１、プーリング回路１８１、結合回路１９１を有する。

【0013】

また、上記の基板は、それぞれの下地基板１１を貫通した貫通電極１３を介して、隣接して積層された他の基板と電気的に接続される。更に、一部の基板は、複数の基板を貫通して形成された貫通電極１４により、隣接していない基板に対しても直接に電気的に接続される。この点については、図３および図４を参照して説明する。

【0014】

特徴抽出装置１００において、画素基板１２０は、二次元的且つ周期的に配された複数の画素１２１を有する。画素１２１のそれぞれは、入射した光を光電変換するフォトダイオード等の受光素子を有する。なお、図示の例では、画素基板１２０は、画素１２１を形成する場合の下地となった基板を除去または薄化して、当該下地基板側から入射光を受光する裏面照射型となっている。

【0015】

また、画素基板１２０は、個々の受光素子に、リセット、転送、選択を指示するトランジスタと、出力信号を増幅する素子とを有してもよい。画素基板１２０に積層されたマイクロレンズ１１０は、個々の画素１２１に対する入射光を集光して、入射効率を向上させている。

【0016】

ＡＤ変換回路基板１３０は、画素基板１２０の画素１２１に個々に対応した複数のＡＤ変換回路１３１、ラッチ１３２および切替スイッチ１３３を有する。これにより、ＡＤ変換回路基板１３０は、画素基板１２０の画素１２１から取得したひとつひとつの画素値を離散化した値か、ラッチ１３２が保持している値かのいずれかを他の基板に出力する。ＡＤ変換回路１３１、ラッチ１３２および切替スイッチ１３３は、外部から受けたタイミングトリガ２１０を受信したタイミングで動作する。

【0017】

乗算回路基板１４０は、画素基板１２０のそれぞれの画素１２１に個別に対応した乗算回路１４１を有する。すなわち、乗算回路基板１４０は、画素基板１２０に設けられる複数の画素１２１と同じ数の複数の乗算回路１４１を有する。乗算回路１４１は、デジタル乗算器であり、例えば、シフトレジスタにより形成してもよい。乗算回路１４１は、乗算処理を実行する場合のフィルタ係数を外部から取得して保持する。

【0018】

換言すれば、乗算回路１４１は、外部から読み込んだフィルタ係数の値に応じて異なる乗算処理を実行できる。図１では、例としてフィルタ係数ａを取得した場合を示す。乗算回路基板１４０における乗算回路１４１も、外部から受けたタイミングトリガ２１０を受信したタイミングで動作する。

【0019】

なお、乗算回路基板１４０は、画素基板１２０の複数の画素１２１からなるブロックごとに１つの乗算回路１４１を有してもよい。例えば、画素１２１の二次元方向に隣接する４画素を１つのブロックとすると、ブロック内の４つの画素１２１のいずれにも接続する１つの乗算回路１４１を有してもよい。この場合、乗算回路１４１は、ブロック内の４つの画素１２１からの出力に対してそれぞれ順番に乗算処理を行う。

【0020】

加算回路基板１５０の加算回路１５１は、乗算回路基板１４０における複数の乗算回路１４１から取得した値を加算して出力する。加算回路１５１の出力は、図中下層の畳み込み演算結果加算基板１６０に出力することができる。加算回路基板１５０における加算回路１５１は、外部から受けたタイミングトリガ２１０を受信したタイミングで動作する。

【0021】

畳み込み演算結果加算基板１６０は、ラッチＢ付き加算回路１６１、ラッチＡ１６２、およびマルチプレクサ１６３を有する。ラッチＢ付き加算回路１６１、ラッチＡ１６２、およびマルチプレクサ１６３は、相互に接続されると共に、ラッチＢ付き加算回路１６１は貫通電極１３を通じて活性化関数演算回路基板１７０に、マルチプレクサ１６３は貫通電極１３を通じて加算回路基板１５０に、それぞれ接続されている。畳み込み演算結果加算基板１６０は、加算回路基板１５０から出力される複数の信号を加算した後、活性化関数演算回路基板１７０に出力する。

【0022】

活性化関数演算回路基板１７０は、加算回路基板１５０の加算回路１５１に対応した数の活性化関数演算回路１７１を有する。活性化関数演算回路基板１７０は、加算回路基板１５０の出力受けて活性化関数演算を実行した後、プーリング回路基板１８０に出力する。活性化関数演算回路基板１７０における活性化関数演算回路１７１は、外部から受けたタイミングトリガ２１０を受信したタイミングで動作する。

【0023】

プーリング回路基板１８０のプーリング回路１８１および結合回路基板１９０の結合回路１９１は、前段からの入力を順次処理する。結合回路基板１９０における結合回路１９１の出力値は、特徴抽出装置１００の外部に特徴量として出力することができる。プーリング回路１８１および結合回路１９１も、外部から受けたタイミングトリガ２１０を受信したタイミングで動作する。

【0024】

なお、上記の特徴抽出装置１００において、画素１２１、ＡＤ変換回路１３１、ラッチ１３２、切替スイッチ１３３、乗算回路１４１、加算回路１５１、ラッチＢ付き加算回路１６１、活性化関数演算回路１７１、プーリング回路１８１、結合回路１９１等の各々は、供給されるタイミングトリガ２１０により、図示していない制御部から動作のタイミングを制御される。制御部は、特徴抽出装置１００が備えてもよいし、特徴抽出装置１００を装備した他の装置、例えば、撮像装置の制御部が兼用されてもよい。単体の素子である特徴抽出装置１００と、制御部とによって、特徴抽出システムが構成される。

【0025】

上記のように、特徴抽出装置１００は、画像の特徴抽出処理に関与する乗算回路基板１４０、加算回路基板１５０、畳み込み演算結果加算基板１６０、活性化関数演算回路基板１７０、プーリング回路基板１８０、結合回路基板１９０を、受光素子を含む画素基板１２０に積層した構造を有する。これにより、画素値を直接に処理して特徴抽出ができるので、画像をデータ化して格納する処理、格納した画像データを転送する処理が不要になり、処理時間を短縮できる。

【0026】

また、画像データのための記憶装置、転送装置等のハードウエアリソースも省くことができるので、特徴抽出装置１００を備えた機器の小型化にも寄与する。更に、画素基板１２０の画素に対応した処理基板を積層するので、画素基板１２０の画素数が増加しても処理速度が低下することが防止される。

【0027】

なお、上記の特徴抽出装置１００は、二次元的に配列された複数の画素１２１により入射光を受光するので、画像データを生成する場合に元いる二次元的な輝度分布情報を画素基板１２０から取得することもできる。よって、特徴抽出装置１００は、イメージセンサとして用いることもできる。

【0028】

図２は、特徴抽出装置１００において実行する特徴抽出処理の流れ図である。図示のように、特徴抽出処理においては、画素値生成処理Ｓ１０１により生成された画素値に対して、畳み込み処理Ｓ１０２、活性化関数演算処理Ｓ１０３、プーリング処理Ｓ１０４、および結合処理Ｓ１０５が実行され、抽出された特徴量が外部に出力される（ステップＳ１０６）。

【0029】

ここで、深層学習に対応した特徴抽出処理において、画素値生成処理Ｓ１０１および特徴量出力Ｓ１０６の実行は、１回の特徴抽出についてそれぞれ１回ずつ実行される。しかしながら、畳み込み処理Ｓ１０２におけるフィルタ関数の読み込み、乗算処理および加算処理は、読み込むフィルタ係数を変化させながら何度も繰り返し実行される。更に、畳み込み処理後の活性化関数演算処理Ｓ１０３及びプーリング処理Ｓ１０４の処理結果は、再び畳み込み処理Ｓ１０２に供され、畳み込み処理Ｓ１０２からプーリング処理Ｓ１０４までの処理が更に繰り返される。なお、活性化関数演算処理Ｓ１０３だけを繰り返したり、畳み込み処理Ｓ１０２と活性化関数演算処理Ｓ１０３を繰り返す場合や、画素値生成処理Ｓ１０１の後に畳み込み処理Ｓ１０２、活性化関数演算処理Ｓ１０３のいずれかまたは両方を省略してプーリング処理Ｓ１０４を行う場合もある。

【0030】

図３は、図１に示した特徴抽出装置１００の動作を説明する図である。同図に示す特徴抽出装置１００においては、隣接する基板を接続する貫通電極１３の機能が、ハッチングを施した太線により強調して示される。

【0031】

図中で太線により示すように、特徴抽出装置１００において、画素基板１２０における画素１、画素２および画素３の各々は、ＡＤ変換回路基板１３０において対応するＡＤ変換回路１３１、および切替スイッチ１３３を介して、乗算回路基板１４０において対応する乗算回路１４１に接続される。

【0032】

一方、乗算回路基板１４０は、画素１から３のそれぞれに対応する乗算回路１４１のフィルタ係数ａ、ｂ、ｃを取得する。画素基板１２０における画素１が出力した画素値は、乗算回路基板１４０において画素１に対応する乗算回路１４１によりフィルタ係数ａを用いて乗算処理された後、貫通電極１３を通じて加算回路基板１５０に入力される。

【0033】

同様に、画素基板１２０における画素２が出力した画素値は、乗算回路基板１４０において画素２に対応する乗算回路１４１によりフィルタ係数ｂを用いて乗算処理された後、貫通電極１３を通じて加算回路基板１５０に入力される。更に、画素基板１２０における画素３が出力した画素値は、乗算回路基板１４０において画素３に対応する乗算回路１４１によりフィルタ係数ｃを用いて乗算処理された後、貫通電極１３を通じて加算回路基板１５０に入力される。

【0034】

加算回路基板１５０における加算回路１５１は、入力された複数の乗算処理結果を加算し、畳み込み演算結果加算基板１６０に出力する。こうして、平滑化等のフィルタリングと同様な処理が実行される。ただし、乗算回路１４１におけるフィルタ係数が事前の学習により予め定められることにより、一連の処理は畳み込み処理として実行される。

【0035】

畳み込み演算結果加算基板１６０におけるラッチＡ１６２は、加算回路１５１から出力された信号を、マルチプレクサ１６３を介して保持する。その後、前回とは異なるフィルタ係数が設定された乗算回路１４１により乗算処理され、乗算処理結果が加算回路１５１で加算されると、ラッチＢ付き加算回路１６１は、加算回路１５１の加算処理結果を、マルチプレクサ１６３を介して保持する。

【0036】

ラッチＢ付き加算回路１６１は、ラッチＡ１６２に保持されている前回の加算処理結果を読み出して新たな加算処理結果と加算し、その加算結果はラッチＡ１６２によってふたたび保持される。この処理を予め定められた所定の回数だけ繰り返すことで、同じ画素群（画素１〜３）に対して異なるフィルタ係数により畳み込み演算された複数の処理結果を足し合わせることができる。すなわち、これは図２に示す畳み込み処理Ｓ１０２の繰り返しに該当する。このような畳み込み演算は、画素基板１２０におけるすべての画素、すなわち入力画像全体に対して実行される。

【0037】

特徴抽出装置１００においては、畳み込み演算結果加算基板１６０による処理結果は、貫通電極１３を通じて活性化関数演算回路基板１７０の活性化関数演算回路１７１に入力される。活性化関数演算回路１７１は、畳み込み処理からプーリング処理へ伝播する情報を変換する。そのような関数としては、下記の式１に示すように、０未満の入力値をすべて０とし、正の値はそのまま返すＲｅＬ Ｕ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）関数を例示できる。
ｆ（ｘ）＝ｍａｘ（０，ｘ）・・・（式１）

【0038】

活性化関数演算回路１７１の出力は、貫通電極１３を通じてプーリング回路基板１８０のプーリング回路１８１に伝播される。プーリング回路１８１においては、予め定められた条件に基づいてサブサンプリングを実行する。ここで実行されるサブサンプリングの条件としては、あるウインドウサイズで最大の値を代表値とするＭａｘ Ｐｏｏｌｉｎｇ法を例示できる。

【0039】

予め定められる条件は、活性化関数演算回路１７１からの複数の出力をまとめる処理であればよく、平均値を出力するＡｖｅｒａｇｅ Ｐｏｏｌｉｎｇ法などでもよい。こうして畳み込み処理（ステップＳ１０２）、活性化関数演算処理（ステップＳ１０３）、およびプーリング処理（ステップＳ１０４）までの処理が実行され、画素値から生成されたサブサンプリング値が生成される。

【0040】

図４は、図１に示した特徴抽出装置１００の他の動作を説明する図である。図示の特徴抽出装置１００においては、次に説明する動作に関与する貫通電極が、ハッチングを施した太線により強調して示される。

【0041】

図中の太線により示すように、特徴抽出装置１００においては、互いに隣接していない基板の間でも信号を送受信できる。よって、例えば、プーリング回路基板１８０の出力を、貫通電極１４を通じて、ＡＤ変換回路基板１３０のラッチ１３２に格納して、再び乗算回路１４１において乗算処理に付すことができる。これにより、サブサンプリングされた値が再び畳み込み処理される。このような畳み込み処理の繰り返しは、フィルタ係数ａ、ｂ、ｃを変えながら、予め定められた回数、例えば２０００回以上実行される。

【0042】

更に、ＡＤ変換回路基板１３０、乗算回路基板１４０、加算回路基板１５０、畳み込み演算結果加算基板１６０、活性化関数演算回路基板１７０、およびプーリング回路基板１８０までの間で既定の回数まで処理された信号は、結合回路基板１９０における結合回路１９１により１次元化される。これにより、成分ごとに画像のある特徴量を示す値が得られる。

【0043】

図５は、特徴抽出装置１００の動作を示すタイミングチャートである。図中のパルスは、タイミングトリガ２１０として各基板に供給される信号を意味する。

【0044】

図示のように、特徴抽出装置１００における各回路は、図１における上層から順に準備タイミングトリガ２１０が供給されることにより、図２に示した処理を、同図に示す順序で実行する特徴抽出装置１００においては、乗算回路基板１４０が、画素１２１の各々に対応した乗算回路１４１を有するので、個々の画素値に対して畳み込み処理を実行できる。これにより、判定精度の高い特徴量を効率よく抽出できる。

【0045】

なお、区間Ｐは畳み込み処理Ｓ１０２を繰り返す区間を示す。そして、点線Ａで囲って示す領域は、複数の画素からなる画素群（たとえば３×３画素）に対して、同じサイズのフィルタによって畳み込み演算する区間を示す。さらに、点線Ｂで囲って示す領域は、同じ画素群に対して他のフィルタによって畳み込み演算する区間を示す。

【0046】

また、区間Ｑは、畳み込み処理Ｓ１０２からプーリング処理Ｓ１０４を繰り返す区間を示す。なお、実際には、畳み込み処理Ｓ１０２の演算結果加算処理では、加算回路からの信号を入力するたびにラッチＡまたはラッチＢ付き加算回路のタイミングトリガが供給されるが、説明の簡略化のため、最終的な加算処理のタイミングトリガのみを示している。

【0047】

なお、結合回路１９１における結合処理は、他の基板における処理に比較すると処理負荷が小さい。よって、特徴抽出装置１００は、結合回路１９１のための結合回路基板１９０を設けなくてもよい。この場合、特徴抽出装置１００は、既定の回数まで繰り返されて最終的にプーリング回路１８１でプーリング処理された信号を外部へ出力する。そして、外部の基板において結合処理が実行される。

【0048】

図６は、特徴抽出装置１００を備えた撮像装置５００のブロック図である。撮像装置５００は、特徴抽出装置１００、システム制御部５０１、駆動部５０２、測光部５０３、ワークメモリ５０４、記録部５０５、表示部５０６、および主電源５０７を備える。

【0049】

また、撮像装置５００は、被写体光束を特徴抽出装置１００に導く主光学系５２０を備える。主光学系５２０は、撮像装置５００に対して着脱できる交換式であってもよい。

【0050】

主光学系５２０は、複数の光学レンズ群から構成され、その焦点面近傍に被写界からの被写体光束を結像させる。なお、図中では瞳近傍に配置された仮想的な１枚のレンズで主光学系５２０を代表して表している。

【0051】

駆動部５０２は、システム制御部５０１からの指示に従って特徴抽出装置１００のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。駆動部５０２は、例えば、特徴抽出装置１００に対して、入射光を光電変換して生成した電荷を蓄積させて画素値を出力させる一連の制御を担う。また、駆動部５０２は、特徴抽出装置１００にタイミングトリガ２１０を供給する。

【0052】

特徴抽出装置１００から出力された被写体の特徴量は、システム制御部５０１の判定部５１３に渡される。これにより、システム制御部５０１においては、被写体を判定する判定処理が実行される。なお、特徴抽出装置１００は、その画素基板１２０から、システム制御部５０１の画像処理部５１１に被写体の輝度分布を含む情報を送信して、被写体の画像データが生成させてもよい。画像処理部５１１は、ワークメモリ５０４をワークスペースとして処理を実行する。

【0053】

測光部５０３は、特徴抽出装置１００が入射光を光電変換することにより画素値を生成する一連のシーケンスに先立ち、被写体の輝度分布を検出する。測光部５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部５０１の演算部５１２は、測光部５０３の出力を受けてシーンの領域ごとの輝度を算出する。

【0054】

更に、演算部５１２は、算出した輝度分布に従ってシャッタ速度、絞り値、ＩＳＯ感度を決定する。測光部５０３は特徴抽出装置１００で兼用してもよい。なお、演算部５１２は、撮像装置５００を動作させる場合に必要な各種演算も実行する。

【0055】

このように、撮像装置５００は、特徴抽出装置１００から取得した特徴量により被写体を判定する判定機能を有する。ここで、特徴抽出装置１００は、それ自体において抽出した特徴量をシステム制御部５０１に送信する。よって、システム制御部５０１は、特徴量抽出処理の負荷を負わずに特徴量を取得して被写体を判定できる。また、システム制御部５０１は、抽出結果としての特徴量を受信するので、特徴抽出装置１００とシステム制御部５０１との間の通信量増加が防止される。

【0056】

図７は、他の特徴抽出装置１０１の模式的断面図である。特徴抽出装置１０１は、次に説明する部分を除くと、図１に示した特徴抽出装置１００と同じ構造を有する。そこで、共通の要素には同じ参照番号を付して重複する説明を省く。

【0057】

特徴抽出装置１０１は、ＡＤ変換回路基板１３０と加算回路基板１５０との間に、複数の乗算回路基板１４００、１４０１、１４０２・・・１４０ｎを備える点で、特徴抽出装置１００と異なる構造を有する。複数の乗算回路基板１４００、１４０１、１４０２・・・１４０ｎは、特徴抽出装置１００の乗算回路基板１４００と同様に、画素基板１２０の複数の画素１２１に個別に対応した複数の乗算回路１４１を有し、外部から受けたタイミングトリガ２１０を受信したタイミングで動作する。

【0058】

乗算回路１４１は、乗算処理を実行する場合のフィルタ係数を外部から取得して保持する。また、乗算回路１４１は、基板毎に値が異なるフィルタ係数を保持して乗算処理を実行できる。よって、乗算回路基板１４００〜１４０ｎは、互いに異なる条件の下に乗算処理を実行できる。

【0059】

図８は、特徴抽出装置１０１の動作を説明する模式的断面図である。図中にハッチングを施した太線により示すように、画素基板１２０における画素１が出力した画素値は、図中上段の乗算回路基板１４００に形成された乗算回路１４１により乗算処理された後、貫通電極１３を通じて加算回路基板１５０に入力される。また、画素基板１２０における画素２が出力した画素値は、図中上段の乗算回路基板１４０１に形成された乗算回路１４１により乗算処理された後、貫通電極１３を通じて加算回路基板１５０に入力される。更に、画素基板１２０における画素３が出力した画素値は、図中上段の乗算回路基板１４０２に形成された乗算回路１４１により乗算処理された後、貫通電極１３を通じて加算回路基板１５０に入力される。

【0060】

なお、乗算回路基板１４００に設けられた複数の乗算回路１４１の各々におけるフィルタ係数ａ１は、同じ乗算回路基板１４００に設けられた乗算回路１４１相互の間で同じ値をとる。同様に、他の乗算回路基板１４０１、１４０２・・・１４０ｎの各々においても、各基板における複数の乗算回路１４１は共通のフィルタ係数ｂ１、ｃ１・・・ｎ１を有する。よって、畳み込み処理を実行する場合は、乗算処理を実行する基板を選択することにより、フィルタ係数ａ１、ｂ１、ｃ１・・・ｎ１を選ぶことができる。すなわち、図８に示す例では、画素１が出力した画素値はフィルタ係数ａ１で乗算処理され、画素２が出力した画素値はフィルタ係数ｂ１で乗算処理され、画素３が出力した画素値はフィルタ係数ｃ１で乗算処理される。

【0061】

図９は、特徴抽出装置１０１の部分的なタイミングチャートである。特徴抽出装置１０１においては、画素１２１毎に異なる乗算回路基板１４００〜１４０ｎにより乗算処理される。よって、ある画素群に対する１回のフィルタリングに相当する畳み込み処理において何度も実行される乗算処理を、最初にすべてのフィルタ係数を取得した後は、図中に点線Ａ、Ｂで囲って示すように、並列的且つ同時に連続して処理できる。

【0062】

よって、乗算処理を行うたびにフィルタ係数を取得、設定する必要がないため、フィルタ係数を取得、設定する時間が短縮され、特徴抽出装置１０１全体のスループットを向上できる。このような特徴抽出装置１０１は、例えば、特徴抽出装置１００に換えて、撮像装置５００に組み込んで、特徴抽出機能付きのイメージセンサとしても使用することができる。

【0063】

本実施の形態で説明した特徴抽出装置は、乗算回路基板１４０、加算回路基板１５０、活性化関数演算回路基板１７０、プーリング回路基板１８０、および結合回路基板１９０のそれぞれに、乗算回路１４１、加算回路１５１、活性化関数演算回路１７１、プーリング回路１８１、結合回路１９１が配置されている。ただし、特徴抽出装置は、必ずしも一つの基板に対して一つの回路だけが設けられなくてもよい。すなわち、一つの基板に複数の回路が配置されていたり、一つの回路が複数の基板に亘って配置されてもよい。

【0064】

また、特徴抽出装置における複数基板の積層順は、貫通電極を用いて配置可能であれば、上記の例に限らない。さらに、畳み込み演算結果加算基板１６０は、複数の値を加算し、保持できる構成であれば、上記の例に限らない。

【0065】

また、本実施の形態で説明した特徴抽出装置は、多層ニューラルネットワークのなかでも、畳み込み処理を行う畳み込みニューラルネットワークを用いた特徴抽出を、積層構造の単体のセンサで実現している。なお、複数回行う畳み込み処理のフィルタ係数に同一の値を用いることで、再帰型畳み込みニューラルネットワークを実現することも可能である。なお、本実施の形態における特徴抽出装置で実現できる特徴抽出であれば、これらの手法に限定されることはない。

【0066】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0067】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0068】

１１ 下地基板、１２ 配線層、１３、１４ 貫通電極、１００、１０１ 特徴抽出装置、１１０ マイクロレンズ、１２０ 画素基板、１２１ 画素、１３０ ＡＤ変換回路基板、１３１ ＡＤ変換回路、１３２ ラッチ、１３３ 切替スイッチ、１４０、１４００、１４０１、１４０２、１４０ｎ 乗算回路基板、１４１ 乗算回路、１５０ 加算回路基板、１５１ 加算回路、１６０ 畳み込み演算結果加算基板、１６１ ラッチＢ付き加算回路、１６２ ラッチＡ、１６３ マルチプレクサ、１７０ 活性化関数演算回路基板、１７１ 活性化関数演算回路、１８０ プーリング回路基板、１８１ プーリング回路、１９０ 結合回路基板、１９１ 結合回路、２１０ タイミングトリガ、５００ 撮像装置、５０１ システム制御部、５０２ 駆動部、５０３ 測光部、５０４ ワークメモリ、５０５ 記録部、５０６ 表示部、５０７ 主電源、５１１ 画像処理部、５１２ 演算部、５１３ 判定部、５２０ 主光学系

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】