特表2023-505822ニューラルアンプ、ニューラルネットワーク及びセンサ装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-13
(54)【発明の名称】ニューラルアンプ、ニューラルネットワーク及びセンサ装置
(51)【国際特許分類】
G06N 3/063 20230101AFI20230206BHJP
H03F 3/70 20060101ALI20230206BHJP
【ＦＩ】
G06N3/063
H03F3/70
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022535167
(86)(22)【出願日】2020-11-16
(85)【翻訳文提出日】2022-08-04
(86)【国際出願番号】 EP2020082235
(87)【国際公開番号】W WO2021121820
(87)【国際公開日】2021-06-24
(31)【優先権主張番号】19216510.8
(32)【優先日】2019-12-16
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】521548733
【氏名又は名称】アーエムエス インターナショナル アーゲー
【氏名又は名称原語表記】ＡＭＳ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＡＧ
【住所又は居所原語表記】Ｅｉｃｈｗｉｅｓｓｔｒａｓｓｅ １８ｂ， Ｊｏｎａ， Ｓｗｉｔｚｅｒｌａｎｄ
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】マイケル フリドリン
【テーマコード（参考）】
5J500
【Ｆターム（参考）】
5J500AA01
5J500AA48
5J500AC92
5J500AH29
5J500AH38
5J500AK05
(57)【要約】
差動スイッチトキャパシタニューラルアンプは、複数の入力電圧を受信する複数の差動入力及び前記複数の入力電圧をサンプリングする少なくとも１対のデジタル調整可能な電荷蓄積部を含むサンプリングステージ（ＳＭＰ）と、前記サンプリングステージ（ＳＭＰ）の下流に接続され、前記サンプリングされた複数の入力電圧による電荷を加算して加算信号を生成する加算ステージ（ＳＭ）と、前記加算信号に基づいて、活性化機能を適用し、かつ差動出力でのバッファされた出力電圧を生成するバッファ及び活性化ステージ（ＡＣＢ）とを含む。
【選択図】図３
【選択図】図３
【特許請求の範囲】
【請求項1】
特にアナログ人工ニューラルネットワークに用いられる差動スイッチトキャパシタニューラルアンプであって、－ 複数の入力電圧を受信する複数の差動入力及び前記複数の入力電圧をサンプリングする少なくとも１対のデジタル調整可能な電荷蓄積部を含むサンプリングステージ（ＳＭＰ）と、
－ 前記サンプリングステージ（ＳＭＰ）の下流に接続され、前記サンプリングされた複数の入力電圧による電荷を加算して加算信号を生成する加算ステージ（ＳＭ）と、
－前記加算信号に基づいて、活性化機能を適用し、かつ差動出力にバッファされた出力電圧を生成するバッファ及び活性化ステージ（ＡＣＢ）と
を含む、ニューラルアンプ。
【請求項2】
前記差動入力の数が、前記デジタル調整可能な電荷蓄積部の対の数に対応する、請求項１に記載のニューラルアンプ。
【請求項3】
前記サンプリングステージ（ＳＭＰ）が、前記複数の差動入力を前記少なくとも１対のデジタル調整可能な電荷蓄積部に選択的に接続するマルチプレクサ（ＭＵＸ）を少なくとも１つ含む、請求項１に記載のニューラルアンプ。
【請求項4】
前記マルチプレクサの数が、前記デジタル調整可能な電荷蓄積部の対の数に対応する、請求項３に記載のニューラルアンプ。
【請求項5】
前記加算ステージ（ＳＭ）が、作動積分アンプ（ＯＴＡ１）の差動フィードバック経路に１対の積分電荷蓄積部（Ｃｆｂ１ａ、Ｃｆｂ１ｂ）を有する前記作動積分アンプを含み、前記ニューラルアンプはさらに、－ 前記少なくとも１つのマルチプレクサのそれぞれについて、前記それぞれのマルチプレクサの出力と前記接続された１対の電荷蓄積部との間に結合された第１の差動チョッピングブロック（ｃｈ１）と、
－ 前記フィードバック経路の第１の端部を前記積分アンプの入力側に結合する第２の差動チョッピングブロック（ｃｈ２）と、
－ 前記フィードバック経路の第２の端部を前記積分アンプの出力側に結合する第３の差動チョッピングブロック（ｃｈ３）と、
を含む、請求項３又は４のいずれか１項に記載のニューラルアンプ。
【請求項6】
前記加算ステージ（ＳＭ）の前記差動積分アンプが、前記積分アンプの前記入力側での第１のオフセット電圧及び前記バッファ及び活性化ステージ（ＡＣＢ）の入力側での第２のオフセット電圧で前記１対の積分電荷蓄積部を選択的に充電するためのスイッチング回路を含み、特に、加算中に、前記積分アンプの前記出力側での前記積分アンプのオフセットが除去され及び前記バッファ及び活性化ステージ（ＡＣＢ）のオフセットを相殺するために前記バッファ及び活性化ステージ（ＡＣＢ）の前記オフセットが適用される、請求項５に記載のニューラルアンプ。
【請求項7】
前記バッファ及び活性化ステージ（ＡＣＢ）が、容量性アンプのさらなる差動フィードバック経路にさらなる１対の電荷蓄積部（Ｃｆｂ２ａ、Ｃｆｂ２ｂ）を有する前記作動容量性アンプ（ＯＴＡ２）を含むバッファステージ（ＢＵＦ）を含む、請求項５又は６に記載のニューラルアンプ。
【請求項8】
前記活性化機能が、前記容量性アンプ及び／または前記バッファステージの供給電圧を制限することで実現される、請求項７に記載のニューラルアンプ。
【請求項9】
前記バッファ及び活性化ステージ（ＡＣＢ）が、前記バッファステージ（ＢＵＦ）の上流又は下流に接続されたクリッピングステージをさらに含み、かつ前記活性化機能が、前記クリッピングステージによって実現される、請求項７に記載のニューラルアンプ。
【請求項10】
前記クリッピングステージ（ＡＣＴ）が、－ 前記バッファステージ（ＢＵＦ）の下流に接続され、
－ かつ
－ 前記バッファステージの出力での差動電圧を差動基準電圧と比較し、
－ 前記バッファステージの前記出力での前記差動電圧が正又は負の方向のいずれかで前記差動基準電圧を超える場合に、前記差動出力での前記差動基準電圧を出力し、かつ
－ そうでなければ、前記差動出力で、前記バッファステージの前記出力での前記差動電圧を出力するように構成される、
請求項９に記載のニューラルアンプ。
【請求項11】
前記加算ステージ（ＳＭ）が、作動積分アンプの差動フィードバック経路の１対の積分電荷蓄積部（Ｃｆｂ１ａ、Ｃｆｂ１ｂ）及び前記積分アンプの下流にスイッチ可能に接続される１対の二重サンプリング電荷蓄積部（ＣＣＤＳａ、ＣＣＤＳｂ）、を有する前記作動積分アンプ（ＯＴＡ１）を含み、前記ニューラルアンプはさらに、－第１の二重サンプリング位相中に、特に、少なくとも１対のデジタル調整可能な電荷蓄積部をゼロ値に設定することにより、前記１対の二重サンプリング電荷蓄積部（ＣＣＤＳａ、ＣＣＤＳｂ）上のゼロ入力信号をサンプルし、かつ
－前記サンプルされたゼロ入力信号から得られる前記電荷を前記１対の積分電荷蓄積部（Ｃｆｂ１ａ、Ｃｆｂ１ｂ）に蓄積された電荷とともに前記バッファ及び活性化ステージ（ＡＣＢ）に提供するように構成される、
請求項２－４のいずれか１項に記載のニューラルアンプ。
【請求項12】
前記少なくとも１対のデジタル調整可能な電荷蓄積部の各デジタル調整可能な電荷蓄積部が、第１及び第２の充電端子、及び前記第１の充電端子に接続される第１の端部及びデジタル調整ワードに応じて前記第２の充電端子又は共通モード端子に選択的に接続される第２の端部を有する複数の重み付け電荷蓄積部を含む、請求項１－１１のいずれか１項に記載のニューラルアンプ。
【請求項13】
前記ニューラルアンプのスイッチトキャパシタ機能を制御し及び／又は前記少なくとも１対のデジタル調整可能な電荷蓄積部を調整する制御回路をさらに含む、請求項１－１２のいずれか１項に記載のニューラルアンプ。
【請求項14】
前記加算ステージが、アナログ領域における前記加算信号をアナログ加算信号として生成する、請求項１－１３のいずれか１項に記載のニューラルアンプ。
【請求項15】
リカレントニューラルネットワークであるアナログ人工ニューラルネットワークであって、請求項１－１４のいずれか１項に記載の複数のニューラルアンプを含み、少なくとも１つの前記ニューラルアンプの前記差動出力が、前記ニューラルアンプの同じ又は別の前記差動入力の１つに接続される、アナログ人工ニューラルネットワーク。
【請求項16】
センサ装置であって、１つ又は複数のセンサと、請求項１５に記載のアナログ人工ニューラルネットワークとを含み、前記１つ又は複数のセンサの出力信号が、前記ニューラルアンプの少なくとも１つに提供される、センサ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えばアナログ人工ニューラルネットワーク(an analog artificial neural network)に用いられる差動スイッチトキャパシタニューラルアンプ(a differential switched capacitor neural amplifier)、１つ又は複数のこのようなニューラルアンプを備えるアナログ人工ニューラルネットワーク、及びこのようなニューラルネットワークを備えるセンサ装置に関する。
【背景技術】
【0002】
ニューラルネットワークは、相互に接続されたニューロン層のカスケードである。人工ニューラルネットワーク（ここでは、単に「ニューラルネットワーク」と呼ばれる）は、機械学習に使用されるコンピューティングシステムである。ニューラルネットワークは、ニューロンと呼ばれる接続ノードの層に基づいて構成することができ、生体脳内のニューロンを疎にモデル化することができる。ニューラルネットワークの基本要素は、その入力の重み和を計算する単一のニューロンである。トレーニングとも呼ばれる個々のニューロンの重みを適宜調整することでニューラルネットワークを介して任意又は大部分の機能を実現できることが示される。
【0003】
各層は、複数のニューロンを有することができる。異なる層の間のニューロンは、生体脳内のシナプスに対応する接続を介して接続される。第１の層におけるニューロンは、これら２つのニューロンの間の接続を介して他の層における他のニューロンに信号を送信することができる。接続上で送信された信号は、実数であってもよい。他の層の他のニューロンは、受信した信号（つまり、実数）を処理し、次に処理後の信号を追加のニューロンに送信することができる。各ニューロンの出力は、そのニューロンの入力に基づいていくつかの非線形関数により算出することができる。
【0004】
ニューロンは、基本的には、その入力に対する複数の積和(multiply accumulate)、ＭＡＣ、演算を行う。このため、大量のニューロン及び高い相互接続性を有するニューラルネットワークは、膨大な数のＭＡＣ演算を行う必要がある。今まで、ニューラルネットワークは大部分がデジタルで実現され、デジタルＭＡＣ演算が計算上非常に高価であるため、かなりの計算能力が必要である。そのため、従来のニューラルネットワークは、典型的には、バッテリ駆動のエッジ装置で実現されない。
【0005】
これに対して、従来のアナログニューロンの実現(implementations)は、より効率的であるが、各ニューロンの入力数に対して指数関数的に増加する高い実装作業(implementation effort)を必要とする。さらに、アナログニューロンのＭＡＣ演算の正確さは、特にニューロンの増加数及び／またはニューロン間の相互接続数に対して、アナログニューラルネットワークの全体の正確さ及び精度に影響を与える。従来のアナログニューロンは、この点で不具合がある。
【0006】
向上の性能及び／または柔軟性を有するアナログニューラルネットワークの改良のコンセプトを提供することを目的とする。
【発明の概要】
【0007】
この目的は、独立請求項の主題によって達成される。改良のコンセプトの実施形態及び発展は、従属請求項に定義される。
【0008】
改良のコンセプトは、異なる実現要件、つまり、いくつかの入力信号の重み付け及びそれらの加算を有するアナログニューロンの２つの基本機能を効率的に実現する必要がある洞察(insight)に基づいている。例えば、電流領域の信号は容易に加算できる一方、重み付け電流信号には、重み数が大きくなるほど大きな実装作業が必要となる。
【0009】
したがって、改良のコンセプトによれば、それぞれ効率的かつ高精度に実現可能な２つの基本ステージのアナログニューラルアンプが提案される。第１のステージは、複数の入力電圧を受信する複数の入力及び複数の入力電圧をサンプリングする１つ又は複数のデジタル調整可能な電荷蓄積部(charge stores)を有するサンプリングステージである。例えば、各デジタル調整可能な電荷蓄積部は、電荷蓄積部をサンプリングする入力電圧の各重みに基づいて調整される。好ましくは、入力電圧は差動電圧として提供され、それにより複数の入力は差動入力である。第２のステージは、サンプリングされた複数の入力電圧による電荷を加算して加算信号を生成する加算ステージである。特に、加算ステージは、サンプリングステージの下流(downstream)に接続される。例えば、加算ステージは、加算された電荷を蓄積する少なくとも１対の電荷蓄積部を含む。
【0010】
アナログニューラルアンプのさらなるステージは、加算信号、それぞれの加算電荷に基づいて、活性化機能(activation function)を適用し、かつ差動出力でのバッファされた出力電圧を生成することができるバッファ及び活性化ステージを含んでもよい。
【0011】
アナログニューラルアンプのスイッチトキャパシタ技術を用いることは、アンプの異なるステージの間に効率的なインタフェースを有することを可能にし、それは合理的な作業(reasonable effort)で実現することができ、かつさらに高精度な演算を確保することができる。差動信号法を用いることは、例えば、計算結果全体の正確さが損なわれる可能性のある電荷注入の影響を低減することで、ニューラルアンプの正確さがさらに向上することができる。
【0012】
改良のコンセプトは、例えば、アナログ人工ニューラルネットワークへの使用に適する差動スイッチトキャパシタニューラルアンプの実現を提供する。ニューラルアンプは、複数の入力電圧を受信する複数の差動入力及び前記複数の入力電圧をサンプリングする少なくとも１対のデジタル調整可能な電荷蓄積部を含むサンプリングステージを含む。ニューラルアンプはさらに、サンプリングされた複数の入力電圧による電荷を加算して加算信号を生成する加算ステージを含む。加算ステージは、サンプリングステージの下流に接続される。バッファ及び活性化ステージは、加算信号に基づいて、活性化機能を適用し、かつ差動出力でのバッファされた出力電圧を生成する。上述したように、各デジタル調整可能な電荷蓄積部は、サンプリング対象の入力電圧に対して実現されるそれぞれの重みに応じて調整されてもよい。
【0013】
加算ステージでは、アナログ領域での加算演算を行うことにより、特にデジタル領域での変換又は演算が不要となることが明らかである。したがって、加算信号はアナログ信号として生成される。
【0014】
差動入力と複数の対のデジタル調整可能な電荷蓄積部との対応(counterparting)及びそれらのそれぞれの相互接続に対していくつかの実施形態がある。例えば、いくつかの実施形態では、差動入力の数は、デジタル調整可能な電荷蓄積部の対の数に対応する。換言すれば、差動入力のそれぞれに対して、特定の対のデジタル調整可能な電荷蓄積部が設けられる。これは、全ての差動入力電圧をそれぞれの関連する対の電荷蓄積部で同時にサンプリングすることができ、加算信号、ひいてはニューラルアンプ全体のより高速な動作を可能にすることを意味する。しかし、これは、電荷蓄積部の対の数が多いため、面積の観点(terms of area)からニューラルアンプの実装作業が増加するという結果になる。
【0015】
代替実施形態において、サンプリングステージは、複数の差動入力を少なくとも１対のデジタル調整可能な電荷蓄積部に選択的に接続するマルチプレクサを少なくとも１つ含む。これにより、時間多重(time multiplex)は、デジタル調整可能な電荷蓄積部の差動入力電圧をサンプリングすることに適用でき、すなわち、同じ対の調整可能な電荷蓄積部をいくつかの異なる入力電圧で再利用することができる。
【0016】
例えば、マルチプレクサの数は、デジタル調整可能な電荷蓄積部の対の数に対応する。このため、例えば、単一対のデジタル調整可能な電荷蓄積部を、差動入力の全てを一対の電荷蓄積部に接続する単一のマルチプレクサと共に設けることができる。その結果、マルチプレクサの合理的な作業でデジタル調整可能な電荷蓄積部を実装するための作業を軽減することができる。また、時間多重により処理時間が延びる場合がある。
【0017】
しかし、デジタル調整可能な電荷蓄積部及び関連するマルチプレクサの対の数が増加すると、電荷蓄積部の作業を少し増やすことで処理時間を短縮することができ、作業と速度のバランスを可能にする。
【0018】
様々な実施形態に係る加算ステージは、例えば、差動積分アンプ(differential integrating amplifier)の差動フィードバック経路に１対の積分電荷蓄積部(integrating charge stores)を有する差動積分アンプを含む。例えば、積分アンプは、演算相互コンダクタンスアンプ（ＯＴＡ：operational transconductance amplifier）として実現される。差動積分アンプは、サンプリングステージにおける蓄積された電荷を加算ステージに効率的に転送して積算電荷蓄積部でそれらを積算、つまり加算する。
【0019】
例えば、このような実施形態のいくつかにおいて、加算ステージはさらに、積分アンプの下流に切替可能に接続された１対の二重サンプリング電荷蓄積部を含む。このような実施形態において、例えば、ニューラルアンプは、例えば少なくとも１対のデジタル調整可能な電荷蓄積部をゼロ値に設定することで、第１の二重サンプリング位相に１対の二重サンプリング電荷蓄積部上でゼロ入力信号をサンプルし、かつサンプリングされたゼロ入力信号による電荷を１対の積分電荷蓄積部に蓄積された電荷と共にバッファ及び活性化ステージに供給する。
【0020】
そのため、例えば、ニューロン信号の加算は、ゼロ入力信号の加算に続き、調整可能な電荷蓄積部を調整することで実現され、それによって各入力電圧をサンプルしないが、例えばゼロ電圧や共通モード電圧を調整する。これにより、バッファ及び活性化ステージへの最終的な電荷転送中にサンプリングステージと積分アンプとのオフセットを抽出して減算することができ、つまり、相関の二重サンプリング方式を実現する。
【0021】
例えば、差動積分アンプを用いるこのような実施形態の他のいくつかにおいて、ニューラルアンプはさらに、様々な成分の残留エラーによる電荷注入エラーを低減することができる加算ステージ内又はその前のチョッピング回路を含む。
【0022】
例えば、ニューラルアンプはさらに、少なくとも１つのマルチプレクサのそれぞれについて、それぞれのマルチプレクサの出力と接続された１対の電荷蓄積部との間に結合された第１の差動チョッピングブロックを含む。ニューラルアンプはさらに、第２及び第３の差動チョッピングブロックを含み、ここで第２の差動チョッピングブロックは、積分アンプのフィードバック経路の第１の端部を積分アンプの入力側に結合し、かつ第３のチョッピングブロックは、フィードバック経路の第２の端部を積分アンプの出力側に接続する。好ましくは、第２及び第３のチョッピングブロックは、連動して制御される。また、各マルチプレクサの第１の差動チョッピングブロックは、第２及び第３のチョッピングブロックと連動して制御されてもよい。例えば、各チョッピングブロックは、差動信号線の直接接続と交差接続との間で切り替えることができる。チョッピングは、全ての入力サンプリングスイッチからの任意の残留オフセットをキャンセルし、ほぼ任意の数のニューラルアンプの入力を可能にしてもよい。
【0023】
いくつかの実施形態において、加算ステージの差動積分アンプは、積分アンプ入力オフセット電圧とバッファ及び活性化ステージの入力オフセットとを加算して１対の積分電荷蓄積部に選択的に充電するスイッチング回路を含む。例えば、スイッチング回路は、積分アンプの入力側での第１のオフセット電圧を、バッファ及び活性化ステージの入力側での第２のオフセット電圧で１対の積分電荷蓄積部に選択的に充電することを可能にする。例えば、このような実施形態は、加算中に積分アンプの出力側での積分アンプのオフセットが除去され、かつバッファ及び活性化ステージ（ＡＣＢ）のオフセットが適用されて前記バッファ及び活性化ステージ（ＡＣＢ）のオフセットを補償することを可能にする。
【0024】
例えば、第１及び第２のオフセット電圧は、加算を行わず、かつスイッチング回路のそれぞれの設定に起因してそれぞれのオフセット電圧のみが存在する期間に、積分電荷蓄積部でサンプリングされる。サンプリングステージの電荷の実際の加算中に、サンプリングされたオフセット電圧は、これらのオフセット電圧がこのような加算位相の間にも存在する一方、キャンセルされる。
【0025】
いくつかの実施形態において、バッファ及び活性化ステージは、差動容量性アンプのさらなる差動フィードバック経路にさらなる１対の電荷蓄積部を有する容量性アンプを含むバッファステージを含む。このような実施形態は、例えば、バッファされた出力電圧の生成を可能とするために、加算されて積分電荷蓄積部に蓄積された電荷をバッファステージに容易に転送することを可能にする。また、バッファステージの差動容量性アンプは、加算ステージと同様に、ＯＴＡとして実現されてもよい。
【0026】
このような実施形態のいくつかにおいて、バッファ及び活性化ステージの活性化機能は、容量性アンプ及び／またはバッファステージの供給電圧を制限することで実現されてもよい。例えば、活性化機能としてクリッピング機能をこのように実現し、それぞれ出力電圧を正負の供給電圧の間に制限してもよい。
【0027】
いくつかの代替実施形態において、バッファ及び活性化ステージは、バッファステージの上流又は下流に接続されたクリッピングステージをさらに含み、ここで活性化機能は、クリッピングステージによって実現される。これは、例えば、より高度なクリッピング機能を実現することができる。
【0028】
例えば、クリッピングステージは、バッファステージの下流に接続され、かつバッファステージの出力での差動電圧と差動基準電圧とを比較する。前記クリッピングステージは、バッファステージの出力での差動電圧が正又は負の方向のいずれかで差動基準電圧を超えた場合に、差動出力での差動基準電圧を出力してもよい。そうでなければ、クリッピングステージは、バッファステージの出力での差動電圧を、例えば、クリッピングせずに、差動出力で出力する。
【0029】
ニューラルアンプの様々な実施形態において、少なくとも１対のデジタル調整可能な電荷蓄積部の各デジタル調整可能な電荷蓄積部は、第１及び第２の充電端子及び複数の重み付け電荷蓄積部(weighted charge stores)を含んでもよく、重み付け電荷蓄積部のそれぞれは、前記第１の充電端子に接続される第１の端部及びデジタル調整ワードに応じて前記第２の充電端子に選択的に接続されるか又は共通モード端子に接続される第２の端部を有してもよい。例えば、デジタル調整ワードは、それぞれの入力電圧に印加される所望の重みに対応する。
【0030】
例えば、複数の重み付け電荷蓄積部は、隣接する電荷蓄積部の容量が２倍異なるように、２進重み付け(binary weighted)される。他の実施形態において、全ての電荷蓄積部は、同じ重量、それぞれの容量を有し、したがって線形重み付け方式を実現してもよい。さらに、線形及び２進重み付けを組み合わせてもよい。好ましくは、１対の調整可能な電荷蓄積部は、互いに対応するように構成され、特に、名目上同一に構成され、かつサンプリング場合に共通容量を有するように共通に制御されてもよい。
【0031】
様々な実施形態において、ニューラルアンプは、ニューラルアンプのスイッチトキャパシタ機能を制御し及び／又は少なくとも１対のデジタル調整可能な電荷蓄積部を調整する制御回路をさらに含んでもよい。これは、適用可能であれば、マルチプレクサ及び／またはチョッパーステージを制御することを含んでもよい。
【0032】
トレーニング実施形態の１つに係るニューラルアンプは、アナログ人工ニューラルネットワーク、例えばリカレントニューラルネットワークにしようされてもよい。このようなニューラルネットワークは、複数のこのようなニューラルアンプを含んでもよく、ここでニューラルアンプの少なくとも１つの差動出力は、同じ又は別の１つのニューラルアンプの差動入力の１つに接続される。ニューラルネットワークは、上述したようにそれぞれがニューラルアンプの１つ以上を含むいくつかの層、例えば、入力層、出力層及び１つ又は複数の隠れ層を含んでもよい。ニューラルネットワークのアナログ実現は、例えば、類似の製造工程によるアナログセンサとの効率的な実現を可能にする。例えばアナログ／デジタル変換器及びニューラルネットワーク処理装置が不要であるため、従来のデジタルニューラルネットワークに比べて消費電力は、低減される。
【0033】
これにより、改良のコンセプトはさらに、センサ装置を提案し、センサ装置は、上記のように、１つ又は複数のセンサ、例えば、アナログセンサ、及びアナログ人工ニューラルネットワークを含み、ここで１つ又は複数のセンサの出力信号は、ニューラルアンプの少なくとも１つに提供される。
【0034】
例えば、ニューラルネットワークのトレーニングは、各重み係数を決定するために、オンラインで行うことができ、つまり、例えば、ニューラルネットワークをシミュレートすること又はオフライントレーニングと次のオンラインキャリブレーションとの組み合わせにより、ネットワークの運用中にオフラインで行うことができる。他の実施形態は、これらの例で除外されない。
【図面の簡単な説明】
【0035】
以下、図面を参照しながら、いくつかの実施形態について、改良のコンセプトをより詳細に説明する。同一の符号を付したものは、同一の機能を有する信号、要素又は成分を示す。以下の図面において、信号、要素又は成分が機能的に互いに対応する場合に、それらの説明は必ずしも繰り返さないものとする。
【図1】アナログニューラルアンプの実施例を示す。
【図2】ニューラルネットワークの実施例を示す。
【図3】改良のコンセプトに係るニューラルアンプの実施例を示す。
【図5】デジタル調整可能な電荷蓄積部の実施例を示す。
【図6】ニューラルアンプのサンプリングステージの実施例を示す。
【図8】改良のコンセプトに係るニューラルアンプのさらなる実施例を示す。
【図10】改良のコンセプトに係るニューラルアンプのさらなる実施例を示す。
【図12】改良のコンセプトに係るニューラルアンプのさらなる実施例を示す。
【図14A】改良のコンセプトに係るニューラルアンプに適用される例示的な位相を示す。
【図14B】改良のコンセプトに係るニューラルアンプに適用される例示的な位相を示す。
【図14C】改良のコンセプトに係るニューラルアンプに適用される例示的な位相を示す。
【図14D】改良のコンセプトに係るニューラルアンプに適用される例示的な位相を示す。
【図15】ニューラルアンプに使用可能な演算相互コンダクタンスアンプの実施例を示す。
【図16】ニューラルアンプに使用可能なクリッピングステージの実施例を示す。
【図18】アナログ人工ニューラルネットワークを用いるセンサ装置の実施例を示す図。
【発明を実施するための形態】
【0036】
図１は、複数の入力Ｉｎ１、Ｉｎ２、Ｉｎ３、・・・、Ｉｎｎが対応する数の重み付け要素ｗ１、ｗ２、ｗ３、・・・、ｗｎに接続されたアナログニューラルアンプの実施例を示す。各重み付け要素の出力は、加算信号を提供するための加算ステージの入力に接続される。基本的には、加算ステージは、重み付け要素とともに、複数の入力Ｉｎ１、Ｉｎ２、Ｉｎ３、…、Ｉｎｎに対する複数の積和、ＭＡＣ、演算を行う。加算ステージでは、アナログ領域での加算演算を行うことにより、特にデジタル領域での変換又は演算が不要となることが明らかである。加算ステージＳＭの出力のアナログ加算信号は、加算信号にクリッピング機能等などの活性化機能を適用する活性化ステージＡＣＴに提供される。活性化ステージＡＣＴの出力は、ニューラルアンプの出力ＯＵＴでの出力電圧などのバッファされた出力信号を提供するバッファステージＢＵＦに提供される。図１は、例えば、アナログニューラルネットワークに用いることができるニューラルアンプの基本機能を説明する。
【0037】
例えば、ニューラルネットワークは、相互に接続されたニューロン層のカスケードである。図２は、複数層にわたって分散し、かつ図２において丸印で表される複数のニューロンを有するこのようなニューラルネットワークの実施例を示す。例えば、ニューラルネットワークは、入力層、出力層及びいくつかの隠れ層を含む。各ニューロンの出力は、それぞれのニューロンに由来する矢印で示すように、ニューラルネットワークの１つ又は複数の他のニューロンに接続されていてもよい。これにより、各ニューロンは、１つ又は複数の他のニューロンの出力又はそれ自体の出力に接続され、それによりリカレント経路(recurrent path)を確立してもよい。
【0038】
前述したように、ニューロン数が大きく相互接続性が高いニューラルネットワークは、膨大な数のＭＡＣ演算を行う必要がある。今のニューラルネットワークが大部分のデジタル的に実現されるため、かなりの量の計算能力を必要とする。一方、アナログＭＡＣ演算は、原則としてワンショット演算である。デジタル領域での値は、アナログの複数のビットで表されるが、解像度に依存しない値を保持するためには、単一の記憶部のみが必要となる。このため、ＭＡＣ演算をアナログ領域にシフトし、アナログニューラルネットワークのフィールドを開放する作業が増加する。アナログニューラルネットワークは、サブナノメーター技術のノードに依存せずに競合性能(competitive performance)を達成する。速度は、技術によく対応しないアナログ特性を活用することで実現される。これにより、より古い低コスト及びアナログ最適化された技術での実現をサポートする。したがって、アナログニューラルネットワークは、例えばアナログセンサ読み出し回路との共集積化(co-integration)のための魅力的なオプションである。
【0039】
リカレントニューラルネットワーク用のアナログニューロンを実現することは、以前の値を保持し他のニューロン入力を同時に駆動しながらその入力を合計することができるアンプが必要となる。また、低オフセット及びゲインエラーを実現することで性能が向上することができ、それは異なるサイクルにわたるエラーの蓄積を防止することができる。例えば、リカレントニューラルネットワークにおいて、図２に示すように、結果はそれぞれのリカレント経路によって先行のニューロンにフィードバックされる。
【0040】
以下では、リカレント経路があり又はなしのアナログニューラルネットワークの効率的な実現に適する改良のコンセプトに係るアナログニューラルアンプのいくつかの実施例を説明する。改良のコンセプトによれば、差動信号処理とスイッチトキャパシタアプローチによるアナログニューロンの実現が可能になり、それは電荷注入の影響を低減されるため、アナログニューロンの位置を改善させ、その結果、このようなニューロンで実現されるアナログニューラルネットワークが改善される。スイッチ電荷注入及び／または増幅器のオフセットキャンセル方式を含むことにより、性能をより向上することができる。つまり、大幅なオフセット蓄積を伴わないリカレント演算においても、大量のニューロンを単一の加算ノードに接続することができる。また、オフセットエラー及びゲインエラーを無視できるようにすることにより、ＰＶＴ上の対応するドリフトは問題ではない。結果として、定期的な再トレーニング又はキャリブレーション(calibration)は不要となる。
【0041】
図３は、サンプリングステージＳＭＰ、加算ステージＳＭ及びバッファ及び活性化ステージＡＣＢを含むアナログニューラルネットワークの実施例を示す。図１に関連して示すように、図３では、概要をわかりやすくするために１つのみの例示的なサンプリング構造が示され、ｎ個の並列サンプリング構造を有するｎ個の入力を有するサンプリングステージが実装される。サンプリング構造は、ｎ個の可能な入力の入力ｉを表す差動入力対Ｖｉｎｉ
＋、Ｖｉｎｉ
－を有する。各構造はさらに、それらの第１の端子が差動信号入力Ｖｉｎｉ
＋、Ｖｉｎｉ
－にそれぞれのスイッチＳ２ａ、Ｓ２ｂを介して接続された１対のデジタル調整可能な電荷蓄積部Ｃｓｉａ、Ｃｓｉｂを含む。また、電荷蓄積部Ｃｓｉａ、Ｃｓｉｂの第１の端子は、スイッチＳ３ａ、Ｓ３ｂを介して共通モード端子ＶＣＭに結合される。
【0042】
電荷蓄積部Ｃｓｉａ、Ｃｓｉｂの第２の端子は、それぞれのスイッチＳ１ａ、Ｓ１Ｂを介して共通モード端子ＶＣＭに、さらにスイッチＳ４ａ、Ｓ４ｂを介して加算ステージＳＭに結合される。１対の電荷蓄積部Ｃｓｉａ、Ｃｓｉｂ及び対応するスイッチＳ２ａ、Ｓ２ｂ、Ｓ３ａ、Ｓ３ｂは、サンプリングステージＳＭＰにおいて複数回、即ちｎ回存在する一方、スイッチＳ１ａ、Ｓ１ｂ、Ｓ４ａ、Ｓ４ｂは、全てのこのようなサンプリング構造に共通し、かつ一回のみ提供されるが、複数の存在の可能性を排除しなくてもよい。
【0043】
電荷蓄積部Ｃｓｉａ、Ｃｓｉｂは、特に差動入力電圧を受けることができる関連する入力Ｖｉｎｉ
＋、Ｖｉｎｉ
－の対するそれぞれの加重を設定するためにデジタル調整可能である。
【0044】
加算ステージＳＭは、例えば、差動積分アンプのフィードバック経路に１対の積分電荷蓄積部Ｃｆｂ１ａ、Ｃｆｂ１ｂを有するアンプ、例えば、演算相互コンダクタンスアンプを含む。それぞれのスイッチは、積分電荷蓄積部Ｃｆｂ１ａ、Ｃｆｂ１ｂに並列に接続されてそれらをリセットする。加算ステージは、アナログ領域で演算し、それにより特にデジタル領域での変換又は演算が不要となり、かつアナログ加算信号が出力される。
【0045】
加算ステージＳＭに生成された加算信号に基づいて、活性化機能を適用し、かつ差動出力でのバッファされた出力電圧Ｖｏｕｔ
＋、Ｖｏｕｔ
－を生成するバッファ及び活性化ステージＡＣＢは、加算ステージＳＭの下流に接続される。
【0046】
図４は、図３に係るニューラルアンプに適用可能な制御信号の例示的な図を示す。特に、図４は、スイッチ制御信号φ１、φ１Ｄ、φ２、φ２Ｄを示す。例えば、φ１及びφ１より少し遅れるφ１Dが共に高い期間に、これらの信号により制御されるそれぞれのスイッチは、調整可能な電荷蓄積部がスイッチＳ１ａ、Ｓ１ｂを介してそれぞれの入力端子Ｖｉｎｉ
＋、Ｖｉｎｉ
－と共通モード端子ＶＣＭとの間にそれぞれ接続されるように、オフにされる。また、積分電荷蓄積部Ｃｆｂ１ａ及びＣｆｂ１ｂはリセットされる。
【0047】
信号φ２及び少し遅れるφ２Ｄを多くスイッチングする間に、調整可能な電荷蓄積部のそれぞれの第１の端子は共通モード端子ＶＣＭに接続され、第２の端子はスイッチＳ４ａ、Ｓ４ｂを介して加算ステージに接続される。これにより、加算信号を生成するために、加算ステージにおいて、サンプリングされた複数の入力電圧による電荷がそれぞれ１対の調整可能な電荷蓄積部に加算される。差動アプローチによれば、異なるスイッチによる電荷不作用の影響を低減する。
【0048】
図５は、例えばサンプリングステージＳＭＰの様々なサンプリング構造に用いることができるデジタル調整可能な電荷蓄積部の実施例を示す。例えば、電荷蓄積部は、第１の充電端子Ｖ１、第２の充電端子Ｖ２及び複数の重み付け電荷蓄積部を含み、複数の重み付け電荷蓄積部のそれぞれは第１の端部が第１の充電端子Ｖ１に接続され、デジタル調整ワードに応じて他端が第２の充電端子Ｖ２又は共通モード端子ＶＣＭに選択的に接続される。図５の例では、電荷蓄積部は、容量値Ｃｕを有する第１の電荷蓄積部で始まり、及び容量値２ｎ－１・Ｃｕを有する第ｎの電荷蓄積部の２進重み付けである。それぞれのスイッチは、１ビットの重み＜０＞、…、重み＜ｎ－２＞、重み＜ｎ－１＞を含むデジタル調整ワードによって制御される。２進重み方式に代えて、他の重み付け方式を用いてもよい。
【0049】
図５の実現は、特に２値加重方式でデジタル調整ワードをアナログ容量値に変換するため、サンプルキャパシタデジタルアナログ変換器（ＤＡＣ）と呼ばれてもよい。
【0050】
図３に戻って、ｎ個のニューロン入力を全てサンプリングして１回のショットで加算する場合、個別の配線の総数は、ｎ＊ｎａｄｊであり、ここでｎａｄｊは調整可能な電荷蓄積部の調整ワードのビット数を示す。
【0051】
実際には、ルーティング複雑度は、差動入力の数及び重み分解能Ｎａｄｊの数に応じて増大する。Ｏ（ｎ）のルーティング複雑度を求めるために、差動ニューラルネットワークの多重化は、例えば異なる差動入力電圧を後に続く位相(subsequent phases)でサンプリングして加算するように行われてもよい。これは、デジタル調整可能な電荷蓄積部又はキャパシタＤＡＣの対がいくつかの差動入力に再利用されることを意味する。
【0052】
今、図６を参照し、サンプリングステージＳＭＰの１部の実施例、特に、サンプリングステージＳＭＰの入力側での並列サンプリング構造の異なる実現を示す。一般に、本実施例は、図３の実現に基づくものであるが、少なくとも１つのマルチプレクサＭＵＸがいくつかの差動入力と関連する電荷蓄積部対Ｃｓｉａ、Ｃｓｉｂとの間に導入される。
【0053】
本実施形態では、ｎｘ入力を１対の調整可能な電荷蓄積部Ｃｓｉａ、Ｃｓｉｂに多重化し、それによりルーティング複雑度を低減する。したがって、並列サンプリング構造の数が図３のｎ個のサンプリング構造に比べてｎ／ｎｘに低減されることを注意すべきである。例えば、重み分解能のｎａｄｊに対して、マルチプレックス係数ｎｘがｎｘ＝ｎａｄｊに設定される場合、ルーティングオーバヘッドはｎａｄｊで線形に増加する。
【0054】
図７を参照し、図６に従ってニューラルアンプに適用可能な制御信号の例示的な図を示す。いずれの説明においても、一般的には、信号φ１、φ１Ｄ、φ２、φ２Ｄによって制御される様々なスイッチ設定の間の基本方式を表すものとする。今、図７において、選択信号ＳＥＬはマルチプレクサＭＵＸを制御し、次にいくつかの入力を調整可能な電荷蓄積部に接続する。例えば、この例では、一般化のロスなしでｎｘを４とするように選択される。
【0055】
これにより、変換時間に対してルーティングの複雑度が取引される。多相変換(multiphase conversion)により、加算信号が加算ステージによって提供されるため、バッファされた出力電圧も連続するサイクル(consecutive cycles)の間に他のニューロンアンプの出力又は差動入力を駆動することに利用できない。したがって、加算ステージの加算信号は、最終の加算位相の後にバッファ及び活性化ステージＡＣＢによってサンプリングされる。次に、バッファされた出力電圧は、次のリカレントサイクル間に、他のニューラルアンプの差動入力又は自体の差動入力の１つを駆動することができる。
【0056】
差動構造は、ニューラルアンプへの入力接続数が多い場合であっても、充電動作エラーを大幅に低減することができる。しかしながら、例えば合計すると無視できない量なる可能性のあるオフセットエラーに由来する残り電荷注入エラー(residual charge injection errors)は、単一のニューラルアンプの差動入力の数及びニューラルネットワークに用いられるニューロンの数に応じて残り、リカレント動作モードでさらに蓄積されるかもしれない。
【0057】
図８を参照し、図３及び図６の実施例に基づくニューラルアンプの改良のコンセプトのさらなる発展を示す。本実施形態では、入力サンプラ及び加算サンプラによるオフセットを解消するために、相関二重サンプリング（ＣＤＳ：correlated double sampling）を採用する。このため、加算ステージＳＭはさらに、二重サンプリング制御信号φＣＤＳにより制御される１対のそれぞれのスイッチを介して積分アンプの出力側に接続された１対の二重サンプリング電荷蓄積部ＣＣＤＳａ、ＣＣＤＳｂを含む。また、１対の二重サンプリング電荷蓄積部ＣＣＤＳａ、ＣＣＤＳｂは、積分電荷蓄積部Ｃｆｂ１ａ及びＣｆｂ１ｂに蓄積された電荷から二重サンプリング電荷蓄積部ＣＣＤＳａ、ＣＣＤＳｂに蓄積された電荷を減算するために、それぞれの差分要素を介してバッファ及び活性化ステージの入力側に接続される。
【0058】
これは、演算中に、ニューラルアンプにおいて、キャパシタＤＡＣの全てのユニットを、例えば、それらを共通モード端子ＶＣＭに接続することにより、選択解除することで実現できるため、ゼロ信号を効果的にサンプリングすることができる。換言すれば、この位相中に、調整可能な電荷蓄積部に対してゼロ加重を選択してもよい。したがって、対応するニューラルアンプの出力は、その出力オフセットに相当し、かつニューラル入力信号を使用する実際のニューラルアンプの出力から減算することができる。しかしながら、ニューラルアンプの出力がアナログであるため、この演算はデジタルで実現できず、かつバッファへの電荷転送中に行われる。これは、追加の二重サンプリング電荷蓄積部ＣＣＤＳａ、ＣＣＤＳｂを加算アンプの出力に設けて、連続するニューラル入力変換中にゼロ入力信号加算出力を保持する必要がある。
【0059】
しかしながら、相関二重サンプリングによる１つの課題は、変換レート２倍の低下である。また、アナログでのオフセットの減算は、追加のエラーソースが導入されるかもしれない。
【0060】
【0061】
図１０を参照し、図３及び図６の実施例に基づくニューラルアンプの改良のコンセプトのさらなる発展を示す。上記実施形態に加えて、特に、ニューラルアンプにいくつかのチョッピングブロック(chopping blocks)ｃｈ１、ｃｈ２、ｃｈ３を含むことにより、チョッピング方式を追加する。マルチプレクサに関する多位相サンプリング方式により、チョッピング（交換(swapping)ともいう）の導入が可能である。
【0062】
例えば、第１のチョッピングブロックｃｈ１は、マルチプレクサＭＵＸと接続された１対の調整可能電荷蓄積部Ｃｓｉａ、Ｃｓｉｂとの間の各並列サンプリング構造に設けられる。また、第２の差動チョッピングブロックｃｈ２は加算ステージＳＭに実現され、かつ積分電荷蓄積部Ｃｆｂ１ａ、Ｃｆｂ１ｂを含む差動フィードバック経路の第１の端部を積分アンプの入力側に結合する。同様に、第３の差動チョッピングブロックｃｈ３は差動フィードバック経路の第２の端部を積分アンプの出力側に結合する。
【0063】
チョッピングブロックｃｈ１、ｃｈ２、ｃｈ３はチョッピング制御信号φｃｈｏｐにより制御され、入力側と出力側との間の差動経路を直接接続するか又は差動経路を相互接続するという機能を有し、これは差動信号の反転に基本的に対応する。チョッピング位相を様々なスイッチング位相に均等に分配すれば、チョッピングは全ての入力サンプリングスイッチからの任意の残りのオフセットをキャンセルすることができ、ほぼ任意の数の差動入力を可能にする。
【0064】
今、図１１を参照し、図１０に係るニューラルアンプに適用可能な制御信号の例示的な図を示す。図４及び図７の例示的な図の上記説明を再び参照する。例えば、図７のスイッチング方式に加えて、チョッピング信号φｃｈｏｐは、積分アンプのオフセットが負に蓄積されるように、加算位相の前半ではゼロであり、後半ではφｃｈｏｐが高い場合に、積分アンプのオフセットが正に蓄積される。したがって、Ｃｆｂ１ａ、Ｃｆｂ１ｂ上の総転送オフセット電荷は、少なくとも理論的にゼロ電荷で互いにキャンセルされる。加算位相中のみに１回のチョッピングは、その寄与が１回だけ加えられるため、チョッパスイッチ自体によって導入される残りのオフセットを低減する。
【0065】
個々のニューロン入力オフセットと積分アンプのオフセットとの和である総当量オフセット(total equivalent offset)が一定であり、したがって全ての位相においてデジタル調整可能な電荷蓄積部を制御する個々のニューロン入力波に依存しない場合、チョッピング方式の有効性は、ニューラルアンプのコンテキストにさらにサポートされる。例えば、図５に戻り、入力サンプリングのために選択されず、即ち、第２の端子Ｖ２に接続されないデジタル調整可能な電荷蓄積部の全ての単位キャパシタは、共通モード端子ＶＣＭに接続される場合を考える。これは、それぞれの単位キャパシタを有効に維持するが、ゼロ入力で効果的である。また、全てのサンプリングスイッチＳ１ａ、Ｓ１ｂからの充電注入(charging injection)は、異なる位相において、異なる重み、それぞれキャパシタ設定に依存せずに追加される。
【0066】
チョッピングにもかかわらず、例えば、ニューラルネットワークの複雑度によって、それぞれのアプリケーションが必要とする場合、ニューラルアンプの正確さをさらに高めるようにしてもよい。例えば、加算ステージＳＭ自体がオフセット補償されない限り、最終の加算位相φ２、即ち最終の入力電圧を加重した後に、加算ステージＳＭの出力に出力オフセットを設けるようにしてもよい。
【0067】
今、図１２を参照し、これは図１０に示す実現に基づく図１２に示す改良のコンセプトに係るニューラルアンプのさらなる発展により達成されてもよい。特に、図１２のサンプリングステージＳＭＰは、図１０のサンプリングステージに対応する。
【0068】
加算ステージＳＭでは、スイッチング信号φ４ｘｎにより制御され、かつ第２のチョッピングブロックｃｈ２を介して積分アンプＯＴＡ１の差動入力を積分電荷蓄積部Ｃｆｂ１ａ、Ｃｆｂ１ｂの第１の端部に接続するスイッチＳ５ａ、Ｓ５ｂのスイッチング対が導入される。スイッチング信号φ４ＤＤにより制御されるスイッチＳ６ａ、Ｓ６ｂは図１０のリセットスイッチに対応する。スイッチング信号φ４Ｄにより制御されるスイッチＳ７ａ、Ｓ７ｂは積分電荷蓄積部Ｃｆｂ１ａ、Ｃｆｂ１ｂの第１の端子をバッファステージＢＵＦの容量性アンプＯＴＡ２の差動入力に結合する。ここでは、概要がわかりやすいために、バッファ及び活性化ステージＡＣＢの１部である活性化ステージは図示されない。
【0069】
バッファステージＢＵＦは、第１の端部が容量性アンプＯＴＡ２の差動入力に接続されたさらなる１対の電荷蓄積部Ｃｆｂ２ａ、Ｃｆｂ２ｂを含む。電荷蓄積部Ｃｆｂ２ａ、Ｃｆｂ２ｂの第２の端部はスイッチング信号φ３によって制御されるスイッチＳ８ａ、Ｓ８ｂを介して共通モード端子ＶＣＭに、かつスイッチング信号φ３ＤＤｎによって制御されるスイッチＳ９ａ、Ｓ９ｂを介してバッファステージＢＵＦの差動出力端子に接続される。アンプＯＴＡ２の入出力は、スイッチング信号φ３Ｄによって制御されるそれぞれのスイッチＳ１０ａ、Ｓ１０ｂによって接続される。差動バッファされた出力電圧Ｖｏｕｔ＿ｂｕｆ＋、Ｖｏｕｔ＿ｂｕｆ－はアンプＯＴＡ２の差動出力に設けられる。
【0070】
図１３は図１２に係るニューラルアンプに適用可能な制御信号の例示的な図を示す。スイッチング信号φｃｈｏｐ、φ１、φ１Ｄ、φ２、φ２Ｄ、ｓｅｌの機能については、図７及び図１１を参照してそれぞれの説明を参照する。スイッチング信号φ３、φ３Ｄ及びφ３ＤＤｎについては、φ３Ｄがφ３の少し遅れたものであり、φ３ＤＤｎがφ３のさらに遅れたものであることに注意すべきである。全体として、それらは、図１４Ａ－１４Ｄと併せて以下でより詳細に説明されるバッファオフセット補償位相に属する。
【0071】
同様に、スイッチング信号φ４ｘｎ、φ４Ｄ、φ４ＤＤは、以下により詳細に説明するバッファ及びオフセットサンプリングへの電荷転送のための位相に対応する。
【0072】
したがって、図１３から分かるように、位相φ１、φ２は、一般的に、サンプリング及び移加算フェーズに対応し、インデックス３、４のスイッチング信号は、バッファへの電荷転送に対応する。図１３の例示的な図において、ｎｘを４に選択して説明しているが、ｎｘの他の値の一般性を損なわないことに注意されたい。
【0073】
今、図１４Ａ－１４Ｄを参照して、前述した各位相について説明する。加算位相は、それぞれ、サンプリング(sampling)位相φ１と電荷転送(charge transfer)位相φ２に分割される。例えば、図１４Ａは、それぞれのスイッチ設定がφ１である図１２に係るニューラルアンプの実際の電気的構成を示す。このため、φ１の間に、ニューロン入力などの差動入力での入力電圧は、対応するデジタル調整ワードに応じて、調整可能な電荷蓄積部の選択された単位キャパシタ又はそれぞれのキャパシタＤＡＣにサンプリングされる。
【0074】
前述したように、選択されない単位キャパシタは、共通モード端子ＶＣＭに接続され、したがってゼロ信号電荷をサンプリングするが、第１の積分アンプＯＴＡ１の電荷注入及びオフセット電荷を導入してもよい。これにより、総入力オフセットを任意の重み及び調整ワードに依存しないようにすることができる。上記のように、チョッピングによってキャンセルされる。スイッチング対Ｓ２ａ、Ｓ２ｂが遅延クロックφ１Ｄによって駆動されるため、電荷注入オフセットに寄与しない。また、チョッピングブロックｃｈ１におけるスイッチングプロセスから転送される電荷がないようにφ１とφ２の非オーバーラップ期間中にスイッチングされるため、第１のチョッピングブロックｃｈ１は寄与しない。第２のチョッピングブロックｃｈ２に関して、第２のチョッピングブロックｃｈ２が接続された内部ノードｎ１ａ、ｎ１ｂに電荷がトラップされたままなので、電荷注入の寄与があり得る。しかしながら、このチョッピングブロックｃｈ２は、全ての加算位相間に１回しかトグルせず、その寄与が小さく無視できる。
【0075】
図１４Ｂを参照し、図１２のニューラルアンプの電荷転送位相φ２間のスイッチング構成を示す。これにより、φ２の間に、サンプリングキャパシタＣｓｉａ、Ｃｓｉｂは放電し、かつそれらの電荷は積分電荷蓄積部Ｃｆｂ１ａ、Ｃｆｂ１ｂに転送される。また、積分アンプＯＴＡ１の入力オフセットに関する電荷Ｑｏｆｆは以下の式に従って転送される。
Ｑｏｆｆ＝Ｃｓ＿ｔｏｔａｌ・Ｖｏｆｆ１。
Ｑｏｆｆ＝Ｃｓ＿ｔｏｔａｌ・Ｖｏｆｆ１。
【0076】
調整可能な電荷蓄積部の選択されない単位サンプルキャパシタがフローティングではなく、共通モード端子ＶＣＭに接続されるため、電荷転送位相φ２の間に見た総サンプル容量は一定であり、したがってＱｏｆｆはチョッピングによって効果的にキャンセルされる。また、スイッチＳ４ａ、Ｓ４ｂはチョッピングによってキャンセルされる電荷注入を追加する。スイッチＳ３ａ、Ｓ３ｂは遅延スイッチング信号φ２Ｄによる電荷注入に寄与しない。
【0077】
今、図１４Ｃを参照し、バッファオフセット補償(buffer offset compensation)位相φ３の間の図１２のニューラルアンプの電気的構成を示す。特に、この位相φ３の間に、電荷蓄積部Ｃｆｂ２ａ、Ｃｆｂ２ｂを有する差動容量性アンプＯＴＡ２はリセットされる。積分アンプＯＴＡ１をユニティフィードバック(unity feedback)にさらに構成することにより、バッファステージＢＵＦの入力側のオフセット電圧にプリチャージされて、位相φ３の後に容量性アンプＯＴＡ２及びその出力でそれをキャンセルする。この位相φ３の間にスイッチＳ７ａ、Ｓ７ｂがオンにされるため、スイッチＳ８ａ、Ｓ８ｂ、Ｓ９ａ、Ｓ９ｂ、Ｓ１０ａ、Ｓ１０ｂからの電荷注入は主にアンプＯＴＡ２の低インピーダンス出力に引き寄せられ、残りの電荷注入を小さくする。また、このような電荷注入は、一回の変換で１回だけ追加され、その寄与をさらに低減する。
【0078】
今、図１４Ｄを参照し、バッファへ電荷転送及びオフセットサンプリング(charge transfer to buffer and offset sampling)位相φ４間の図１２に係るニューラルアンプの電気的構成を示す。特に、この位相φ４の間に、積分電荷蓄積部Ｃｆｂ１ａ、Ｃｆｂ１ｂはそれぞれバッファステージの入力側及び積分アンプＯＴＡ２に接続され、同時に電荷アンプＯＴＡ１はユニティフィードバックに構成され、したがって電荷蓄積部Ｃｆｂ２ａ、Ｃｆｂ２ｂに転送される積分電荷蓄積部Ｃｆｂ１ａ、Ｃｆｂ１ｂへの充電を強制する。積分電荷蓄積部Ｃｆｂ１ａ、Ｃｆｂ１ｂが前の位相φ４の間にアンプＯＴＡ１の第１のオフセット電圧とアンプＯＴＡ２の第２のオフセット電圧との差に事前充電(precharging)されるため、電荷蓄積部Ｃｆｂ２ａ、Ｃｆｂ２ｂに転送されるオフセット電荷はない。
【0079】
しかしながら、スイッチＳ５ａ、Ｓ５ｂからの１部の電荷注入がある場合がある。これらのスイッチＳ５ａ、Ｓ５ｂは常に仮想的な接地電位のままであるため、この電荷は信号に依存せず、かついずれかの場合には１部の残りのオフセットのみとなる。また、この電荷が１回の変換で１回だけ追加するため、その影響は依然として小さい。図１２に係るニューラルアンプの実現はアンプＯＴＡ１、ＯＴＡ２両者の入力で信号が振れることを回避し、それにより任意の利得エラーを引き起こすアンプＯＴＡ１、ＯＴＡ２のそれぞれの入力容量に応じた信号依存性の充電効果がない。
【0080】
また、出力に漏れる信号依存性の電荷注入がないため、利得エラーをアンプのオープンループゲイン、及びＣｆｂ１ａ、Ｃｆｂ１ｂ、Ｃｆｂ２ａ、Ｃｆｂ２ｂ及びＣｓｉａ、Ｃｓｉｂのキャパシタ整合のみに依存するようにする。
【0081】
さまざまな実施形態において、例えば、図１５に示すように、アンプの寄与は、特に、ＯＡＳとして実現される場合に、高利得トポロジーを使用することで小さくし、利得エラーがＰＶＴ変動に対して鈍感になるようにすることができる。
【0082】
図１５は、適切なバイアス回路によって生成されてもよいそれぞれのカスコードバイアス電圧Ｖｃａｓｐ、Ｖｃａｓｎによってそれぞれ駆動される１対のＰＭＯＳ及びＮＭＯＳカスコードトランジスタの間に接続される信号出力を有し、差動入力ステージ及び差動出力ステージを含む演算相互コンダクタンスアンプの実施例を示す。差動出力電圧は、出力電流経路の電流を制御する共通モードフィードバック回路ＣＭにも用いられる。
【0083】
前述したように、バッファ及び活性化ステージＡＳＢはさらに、クリッピング機能である活性化機能を実現する。クリッピングは容量性アンプＯＴＡ２及び／またはバッファステージＢＵＦ自体の供給電圧を制限することで達成されてもよい。しかしながら、クリッピングは専用のクリッピングステージで実現することもできる。
【0084】
今、図１６を参照し、バッファステージＢＵＦに接続されてもよいこのようなクリッピングステージＡＣＴの実施例を示す。図１６において、クリッピングはバッファ出力電圧Ｖｏｕｔ＿ｂｕｆ
＋、Ｖｏｕｔ＿ｂｕｆ
－を所定の基準電圧、特に差動電圧と比較し、かつバッファ電圧Ｖｏｕｔ＿ｂｕｆ
＋、Ｖｏｕｔ＿ｂｕｆ
－とクリッピングレベルを定義する基準電圧とを多重化することで行われる。バッファ出力が基準を下回っている場合、バッファ出力を用いて、ニューラルアンプの出力を駆動し、即ち、バッファされた出力電圧を提供する。この電圧は、他のニューラルアンプを駆動するために使用することができ、リカレントニューラルネットワークを実現する場合、同じニューラルアンプの入力対を使用することができる。
【0085】
そうでなければ、基準電圧Ｖｒｅｆ
＋、Ｖｒｅｆ
－は出力電圧Ｖｏｕｔ
＋、Ｖｏｕｔ
－として使用される。
【0086】
クリッピング機能を正負の両方向に適用しなければならないため、クリッピングは二段階で行われて、同じコンパレータを再使用し、かつ制御信号φｃｈｏｐ＿ｃｌｉｐによって制御されるチョッピングブロックを採用する。特に、正の基準Ｖｒｅｆ
＋と比較することで第１のクリッピングを正の範囲でチェックし、かつ図１７の例示的な図を参照して、φｃｈｏｐ＿ｃｌｉｐはゼロである。クリッピングが検出される場合、正の基準は出力Ｖｏｕｔ
＋、Ｖｏｕｔ
－にスイッチング、クリッピング動作が終了する。比較は、コンパレータにより行われ、続いて、クロック信号ｃｌｋに基づいて計時動作を可能にするフリップフロップを配置する。
【0087】
正のクリッピングがない場合に、制御信号φｃｈｏｐ＿ｃｌｉｐを１に設定することで基準をフリップさせて同じコンパレータを用いて負の基準との比較を行う。負のクリッピングが検出される場合、負の基準が出力に向けられ、そうでなければ、バッファ出力Ｖｏｕｔ＿ｂｕｆ
＋、Ｖｏｕｔ＿ｂｕｆ
－が用いられる。
【0088】
実際の比較はコンパレータの前段の容量を基準電圧で事前充電し、続いてバッファされた出力電圧Ｖｏｕｔ＿ｂｕｆ
＋、Ｖｏｕｔ＿ｂｕｆ
－をサンプリングされた電圧に印加して、バッファされた出力電圧Ｖｏｕｔ＿ｂｕｆ
＋、Ｖｏｕｔ＿ｂｕｆ
－がプリチャージされた電圧より高いか低いかを検出することにより行われる。
【0089】
前述したように、クリッピングの代替実施形態はバッファ出力ステージを基準で供給することである。したがって、バッファは本質的に出力を所望のレベルにクリップする。これは、例えば、基準又は全てのニューラルアンプが共通電圧レギュレータによって供給される場合、同じクリッピングレベルが全てのニューラルアンプに印加されるという効果がある。これにより、コンパレータオフセットによるクリッピング閾値のずれを解消する。しかしながら、供給ベースのクリッピングはハードクリッピング(hard clipping)を達成することができないが、ソフト(soft)であり、ロジスティック活性化機能(logistic activation function)に類似する。
【0090】
上記ニューラルアンプのさまざまな実施形態に対して、全差動ニューラルアンプにおいて、例えば、回路技術を適用することにより、特に多数のニューロン入力に対して、ニューラルアンプの従来のアプローチと比較して低いオフセット及び利得エラーを達成することができる。回路エラーの低減により、ドリフトに対する懸念が少ない。また、定期的な再キャリブレーションは不要である。例えば、図１２－図１４を用いて説明したオフセット補償のバッファステージを用いる特定の実施形態は、出力電圧を同じ又は他のニューラルアンプの入力にフィードバックするリカレント動作モードにおいてニューラルネットワーク用のニューラルアンプの適用性を向上させる。
【0091】
例えば、図２を用いて説明したように、上記ニューラルアンプの複数のインスタンスを使用してニューラルネットワークを形成することができる。このようなニューラルネットワークは、例えば上記アナログニューラルネットワークに使用できる並列駆動機能を提供する一方、高精度の入力電圧の加重又は非加重アナログ加算を必要とする任意の回路に使用できる。例えば、アナログニューラルネットワークは、隠れたパターン又はほとんど見えないパターンを持つセンサデータを分類するための興味深いオプションである。
【0092】
今、図１８を参照し、上記１つ又は複数のセンサＡＳ１、ＡＳ２及び１つ又は複数のニューラルアンプを有するアナログ人工ニューラルネットワークＮＮを含むセンサ装置の一例を示す。例えば、１つ又は複数のセンサＡＳ１、ＡＳ２の出力信号は、図２において丸印で示すように、ニューラルアンプの差動入力に設けられる。
【0093】
例えば、ニューラルネットワークのトレーニングは、各重み係数を決定するために、オンラインで行うことができ、つまり、例えば、ニューラルネットワークをシミュレートすること又はオフライントレーニングと次のオンラインキャリブレーションとの組み合わせにより、ネットワークの運用中にオフラインで行うことができる。他の実施形態は、これらの例で除外されない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図14C】
【図14D】
【図15】
【図16】
【図17】
【図18】
【国際調査報告】