(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-10
(45)【発行日】2023-10-18
(54)【発明の名称】電荷ドメイン数理エンジンおよび方法
(51)【国際特許分類】
G06G 7/60 20060101AFI20231011BHJP
G06N 3/063 20230101ALI20231011BHJP
【FI】
G06G7/60
G06N3/063
(21)【出願番号】P 2020568952
(86)(22)【出願日】2019-03-04
(86)【国際出願番号】 US2019020577
(87)【国際公開番号】W WO2019169396
(87)【国際公開日】2019-09-06
【審査請求日】2022-03-04
(32)【優先日】2019-03-04
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2018-03-02
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520332807
【氏名又は名称】エーアイストーム インコーポレイテッド
【氏名又は名称原語表記】AISTORM,INC.
(74)【代理人】
【識別番号】110000659
【氏名又は名称】弁理士法人広江アソシエイツ特許事務所
(72)【発明者】
【氏名】シー,デビッド
(72)【発明者】
【氏名】ガイテケビッチ,セルゲイ
(72)【発明者】
【氏名】ドラボス,ピーター
(72)【発明者】
【氏名】シブライ,アンドレアス
(72)【発明者】
【氏名】シブライ,エリック
【審査官】松浦 かおり
(56)【参考文献】
【文献】特開平03-044718(JP,A)
【文献】特表2008-537820(JP,A)
【文献】特開平02-287860(JP,A)
【文献】特開平07-141454(JP,A)
【文献】特開2017-194963(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06G 1/00-99/00
G06N 3/00- 3/12
G06N 7/08-99/00
(57)【特許請求の範囲】
【請求項1】
一対の電荷リザーバであって、直列に結合される
第1の電荷リザーバと第2の電荷リザーバとからなる、一対の電荷リザーバと、
同じ割合にて
前記一対の電荷リザーバへ、または前記一対の電荷リザーバから電荷移動を誘導する第1の電荷移動装置と、
一対の
電荷リザーバの1つへ、または前記一対の
電荷リザーバの1つから電荷移動を誘導する第2の電荷移動装置であって、電荷移動の割合は、前記第1の電荷移動装置と比例した割合で電荷を付加するか、または除去するかの一方にプログラムされる、電荷移動装置と、
を備え、
第1の電荷は、第1のサイクルの間に前記一対の電荷リザーバの
第1の電荷リザーバに荷電され、前記第1の電荷移動装置および前記第2の電荷移動装置は、前記一対の電荷リザーバの
前記第1のリザーバが前記第1の電荷を枯渇し、電荷が前記第2の電荷リザーバにおける電荷移動割合の比率を乗じた前記第1の電荷を表すままになるまで、
第2のサイクルの間に前記一対の電荷リザーバから比例した割合で電荷を除去する、乗算器。
【請求項2】
電荷移動を止めるための装置をさらに含む、請求項1に記載の乗算器。
【請求項3】
前記第1の電荷移動装置および前記第2の電荷移動装置は、電界の制御に基づく、請求項1に記載の乗算器。
【請求項4】
前記第1の電荷移動装置は、前記一対の電荷リザーバと直列に結合される第1の電流源であり、および前記第2の電荷移動装置は、前記一対の電荷リザーバが交わるノードにて結合される第2の電流源である、請求項1に記載の乗算器。
【請求項5】
前記電荷移動を止めるための装置は、トランスファゲートであり、トランスファゲートは、イベントに準拠してバリアを下ろし、および次いでバリアを上げ、一方でその他の時には電荷移動を制御するようにフィールドを保持する、請求項2に記載の乗算器。
【請求項6】
前記一対の電荷リザーバは、コンデンサである、請求項1に記載の乗算器。
【請求項7】
前記一対の電荷リザーバは、浮遊拡散である、請求項1に記載の乗算器。
【請求項8】
前記第1の電荷は、スイッチドキャパシタ回路、アクティブピクセル回路;またはV/I to 電荷回路の1つによって前記一対の電荷リザーバの第1に導入される、請求項1に記載の乗算器。
【請求項9】
埋め込みフォトダイオードまたはその他の光検出器の少なくとも1つを含むアクティブピクセルであって、アクティブピクセルへの入力情報は、第1の入力電荷リザーバにおいて蓄積される、アクティブピクセルと、
前記
第1の入力電荷リザーバに結合された第2の電荷リザーバと、
前記
第1の入力電荷リザーバと第2の電荷リザーバとの間に配置されたトランスファゲートであって、電荷の移動の第1の割合は、前記トランスファゲートに結合されたフィールドによって制御されてもよい、トランスファゲートと、
前記第2の電荷リザーバに結合された第2の電荷移動装置であって、電荷移動の第2の割合は、電荷移動の前記第1の割合のものに比例してプログラムされてもよい、第2の電荷移動装置と、
を備え、
第1の電荷は、第1のサイクルの間にのみ前記
第1の入力電荷リザーバに荷電され、および前記トランスファゲートおよび前記第2の電荷移動装置は、前記
第1の入力電荷リザーバが枯渇して第2のサイクルの最後にて前記第2の電荷リザーバにおいて電荷乗算を生じるまで第2のサイクルの間に比例して電荷を移動する、
アナログ乗算器。
【請求項10】
オーバーラップキャパシタンスを最小限にするために接合部を欠いたトランスファゲートを含む、請求項
9に記載のアナログ乗算器。
【請求項11】
それぞれがゲート制御された電荷移動装置に結合される一対の電荷リザーバを備え、
前記ゲート制御された電荷移動装置は、電荷移動の割合が比例するようにプログラムされ、前記ゲート制御された電荷移動装置は、一旦、前記一対の電荷リザーバの1つが枯渇されると電荷移動を止める、乗算器。
【請求項12】
前記一対の電荷リザーバの第1に複数の重み付き入力を荷電する装置を含む、請求項
11に記載の乗算器。
【請求項13】
プログラミング装置によってそれぞれが個々に時間でゲート制御された前記一対の電荷リザーバの第1に結合された複数の電荷移動割合を制御された入力を含む、請求項
11に記載の乗算器。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願)
本特許出願は、David Schieの名において「CHARGE DOMAIN MATHEMATICAL ENGINE」の表題の2018年3月2日に出願された米国仮出願第62/637,496号に関連し、およびこれは、その全体が参照により本明細書に援用される。本特許出願は、米国特許法第119条(e)の下で利益を主張する。
【0002】
一般に、本発明は、イメージ検出装置に、およびより詳細には電荷ドメイン数理エンジンに関し、リザーバにおける電荷ストアは、機械学習入力層の乗算器に直接結合され得る。
【背景技術】
【0003】
シリコンイメージングにおいて、スピルおよびフィル回路、CCDシフトレジスタ、光検出器、相関二重サンプリング回路および類似の装置などの電荷ドメイン構造を使用して電荷の取り込みまたは移動に依存することは一般的である。スピルおよびフィル回路は、埋設された埋め込みフォトダイオードの概念に依存し得る。
図1は、アクティブドーピングプロフィールを示す埋設されたピンダイオード構造10の断面図を示す。埋設された埋め込みフォトダイオード10は、光がストレージウェルSW領域に埋設された埋め込みフォトダイオード10によって収集されるときに作られる電子を取り込み得る。第2の電荷リザーバ、浮遊拡散FDは、TGとラベルしたトランスファゲートの反対側に作られる。
【0004】
図2Aを参照して、スピルおよびフィル回路20が参照されるであろう。スピルおよびフィル回路20は、トランスファゲートTGの正面に電子を保持する埋め込みフォトダイオード(PPD)電荷レセプタクルの概念を使用する。トランスファゲートTGは、必要とされる電子流に準拠して下ろされ、および上げられる。ある時点で、トランスファゲートTGは、ポテンシャル障壁を下ろし、および電子がストレージウェルSW電荷リザーバから浮遊拡散FD電荷リザーバへあふれる。装置は、全ての電子がストレージウェルSW電荷リザーバから浮遊拡散FD電荷リザーバへ確実に移動するように作られる。
図2Bは、ストレージウェルSW電荷リザーバから浮遊拡散FD電荷リザーバへのエネルギー線図を示す。
【0005】
図3を参照して、スピルおよびフィル回路30が参照されるであろう。フィルおよびスピル回路30は、
図2Aのスピルおよびフィル回路20の使用を使用するが、トランスファゲートTGに結合したリセット装置32および浮遊拡散FD電荷リザーバ上の電荷を電圧に変換し、次いでこれがその他の回路によって読み込まれ得るソースフォロアSFの概念を含む。典型的には、相関二重サンプリング(CDS)は、ノイズをサンプリングし、およびリセット後の浮遊拡散FD電荷リザーバの出力に対して相殺し、および次いでスピル(電荷伝達)後に再び読み込むために使用され得、その結果ストレージウェルSWに蓄積された最後の積算電荷に起因する相違のみが残る。こうすることより、任意のオフセット電荷および一定のノイズが除去される。
【0006】
2つの電荷リザーバの代わりに、単一の電荷リザーバは、重み付き入力および加算結果または重み付き加算器を製作するために使用されるであろう。初めに、前記リザーバは、既知の電荷レベルにリセットされるであろう。その後、第1のサイクルの間、複数の入力電流移動手段が電荷リザーバからの電荷を前記電流移動手段のそれぞれと結合して、電荷を個々に比例した割合にて(所望の重み値に準拠して)出力電流移動手段に移動して第2のサイクルにおいて使用されるであろうが、前記第1のサイクルの間には止まる。加えて、前記複数の入力電流移動手段のそれぞれは、さらに個々の入力の大きさに準拠して時間でゲート制御され、またはある時間の間のみ電荷を移動させるであろう。ゲート制御された期間に生じる入力電荷移動の大きさは、重み付き入力の大きさに準拠する電荷を前記電荷リザーバから移動するであろう。第1のサイクルの終わりに、一旦全ての入力移動手段がこれらの電荷を移動したら、第2のサイクルは、出力電荷移動手段に電荷リザーバにおける電荷をその本来のレベルまで戻らせるであろう。そうするためにかかる時間は、入力の重み付けした和に比例するだろう。これにより、生じる重み付き加算器は、時間として入力を受け取り、重みは、電荷移動割合の大きさであり、および時間として出力を生じる。
【0007】
一旦電荷が浮遊拡散FD電荷リザーバへ伝達されると、電荷を電圧または電流に、およびその後デジタル値に変換するためのソースフォロアSFの代わりに使用され得る多数のその他の回路がある。たとえば、撮像素子の列は、カウンタに依存し得るし、これがそれぞれのピクセルフォロア値および記録したそれぞれの特定のピクセルに付随するデジタルワードと比較される。電荷ドメインからデジタルワードへの変換の速度および出力効率を最適化することを試みる多くの回路がある。
【0008】
マシンビジョンは、人工知能(AI)または機械学習の共通アップリケーションである。自律的またはマシンビジョン補強された乗り物、指紋または顔認識などのハンドセットセキュリティ、スマートシティセンサ、防犯カメラ、X線、超音波および医学的診断、ロボット工学、ドローン、ウエアラブル心拍数モニタ、行動解析およびモニタリング並びに多くのその他の適用は、種々の課題についてのイメージの解析に依存し、これらの多くは、時間および電力がクリティカルである。
【0009】
現在、機械学習システムは、入力がデジタルワードまたは少なくとも電圧、電流またはスパイキング波形(これは、電圧または電圧の波形でもある)であることを必要とする。電荷の変換は、
図3に示したソースフォロアSFなどの結合回路に依存し、これらの全てが3つの好ましくない副作用と関連することが公知である。第1は、結合回路によるノイズの導入によるイメージ品質の損失である。
図1~3に記述されたストレージウェルSWなどのリザーバまたは浮遊拡散FD領域において保持された電荷を電圧または電流に変換する任意の回路は、ノイズを必ず導入するであろうことが当業者には周知である。このノイズは、たとえば14ビットのピクセル精度を持つイメージを12ビット相当の精度に低下し得る。医学的または緊急を要する生命安全適用において、これは、重要な情報を不明瞭にし得る。電流または電圧ドメインへの変換の第2の副作用は、変換に付随する時間である。結合回路の出力時の電圧または電流のデジタル化は、時間を要する。補強された乗り物、生命安全適用または高速イメージング適用において、この待ち時間は、死または致死率などの望ましい結果または非常に望ましくない結果との間の相違を文字通り意味し得る。最後に、電荷ドメインから電圧または電流ドメインおよび最後にデジタルドメインへの情報の変換は、さらなるエネルギーをさらに必要とする。このエネルギーは、結合回路それ自体、並びに、神経形態学的なスパイキング波形などの所望の波形のデジタル化または生成することに関連した回路網に付随する。
【0010】
したがって、上の問題を解決するシステムおよび方法を提供することが望ましいであろう。本システムおよび方法は、リザーバにおいて蓄積された電荷を機械学習入力層の乗算器または重み付き加算器に直接結合するであろう。
【発明の概要】
【課題を解決するための手段】
【0011】
一つの態様に従って、乗算器が開示される。乗算器は、一対の電荷リザーバを有する。一対の電荷リザーバは、直列に結合される。第1の電荷移動装置は、同じ割合で一対の電荷リザーバへ、または、一対の電荷リザーバから電荷移動を誘導する。第2の電荷移動装置は、一対のリザーバの1つへ、または一対のリザーバの1つから電荷移動を誘導し、電荷移動の割合は、第1の電荷移動装置と比例した割合にて電荷を付加するか、または除去するかの一方にプログラムされる。第1の電荷移動装置またはその他の機構は、第1のサイクルの間に一対の電荷リザーバの第1に第1の電荷を荷電する。第1の電荷移動装置および第2の電荷移動装置は、一対の電荷リザーバの第1が第1の電荷を枯渇するまで第2のサイクルの間に一対の電荷リザーバから比例した割合で電荷を除去する。
【0012】
一つの態様に従って、ニューラルネットワークを形成する方法が開示される。ニューラルネットワークは、アナログ乗算器を有する。アナログ乗算器は、一対の電荷リザーバを有し、一対の電荷リザーバは、直列に結合する。第1の電荷移動装置は、同じ割合で一対の電荷リザーバへ、または一対の電荷リザーバから電荷移動を誘導する。第2の電荷移動装置は、一対のリザーバの1つへ、または一対のリザーバの1つから電荷移動を誘導し、電荷移動の割合は、第1の電荷移動装置と比例した割合で電荷を添加するか、または除去するかの一方にプログラムされる。第1の電荷移動装置またはその他の機構は、第1のサイクルの間に一対の電荷リザーバの第1に入力電荷を荷電する。第1の電荷移動装置および第2の電荷移動装置は、一対の電荷リザーバの第1が入力電荷を枯渇するまで第2のサイクルの間に一対の電荷リザーバから比例した割合で電荷を除去する。入力収集装置は、入力情報に準拠して一対のリザーバの第1において電荷を蓄積するための機構として使用される。
【0013】
一つの態様に従って、アナログ乗算器が開示される。アナログ乗算器は、埋め込みフォトダイオードおよび光検出器を含むアクティブピクセルを有し、アクティブピクセルへの入力情報は、第1の入力電荷リザーバに蓄積される。第2の電荷リザーバは、第1の電荷リザーバと第2の電荷リザーバとの間に配置されたトランスファゲートによって第1のリザーバに結合され、移動の電荷の第1の割合は、トランスファゲートによって制御されてもよい。第2の電荷移動装置は、第2の電荷リザーバに結合され、電荷移動の第2の割合は、電荷移動の第1の割合のものに比例してプログラムされてもよい。入力電荷は、第1のサイクルの間にのみ第1の電荷リザーバに荷電され、かつ、トランスファゲートおよび第2の電荷移動装置は、第1の電荷リザーバが枯渇して第2のサイクルの最後にて第2の電荷リザーバにおいて電荷乗算を生じるまで第2のサイクルの間に比例して荷電する。
【0014】
一つの態様に従って、乗算器が開示される。乗算器は、一対の電荷リザーバを有し、一対の電荷リザーバのそれぞれは、ゲート制御された電荷移動装置に結合される。ゲート制御された電荷移動装置は、電荷移動の割合が比例するようにプログラムされ、ゲート制御された電荷移動装置は、一旦、一対の電荷リザーバの1つが枯渇されると電荷移動を止める。
【0015】
もう一つの態様に従って、重み付き加算器が開示される。重み付き加算器は、単一の電荷リザーバからなる。複数の入力電流移動装置は、単一の電荷リザーバに結合され、入力電流移動装置のそれぞれについて、電流の移動の割合は、重み被乗数に準拠し、および電荷移動の出力電荷移動装置割合と比例する。第1のサイクルの間のそれぞれの出力電荷移動装置の伝導時間は、入力値に準拠する。第1のサイクルの間に単一の電荷リザーバに付加される、または除去される電荷は、入力値の加重和を表す。第2のサイクルの間、出力電荷移動装置は、電荷を付加するか、または除去するかの一方をして、その本来のレベルまで単一の電荷リザーバを戻すであろうし、本来の値まで戻るために要する時間は、比例する入力電荷移動装置の移動の割合によって加重された入力値時間の和を表す。
【0016】
一つの態様に従って、重み付き加算器が開示される。重み付き加算器は、第1のサイクルの間に入力値に準拠する時間の間、出力電荷移動装置割合と比例した割合で複数の重み電荷移動装置からの電荷を付加するか、または除去するかの一方をする。出力電荷移動装置は、電荷を付加するか、または除去するかの1つをして第2のサイクルの間に本来の電荷レベルまで電荷レベルを変化する。加重されている出力時間は、重み電荷移動装置の出力電荷移動装置割合と比例することによって加重された入力時間の表示を加算する。
【図面の簡単な説明】
【0017】
本出願は、以下の図面に関してさらに詳述される。これらの図は、本出願の範囲を限定することを意図しないが、むしろその一定の特性を図示する。同じ参照番号が図面の全体にわたって使用されて、同じまたは同様の部分をいう。
【0018】
【
図1】アクティブなドーピングプロフィールを示す埋設されたピンダイオード構造の横断面図を示す。
【0019】
【0020】
【
図2B】
図2Aのスピルおよびフィル回路についてストレージウェルSW電荷リザーバから浮遊拡散FD電荷リザーバへのエネルギー線図を示す。
【0021】
【
図3】バス(COL BUS)への選択ライン(SEL)を介して浮遊拡散(FD)の電圧を読み出すためにリセット機構(RST)に、およびソースフォロア(SF)にさらに結合された
図2Aのスピルおよびフィル回路を示す。
【0022】
【
図4】本出願の一つの側面に準拠して電荷ドメイン数理エンジンの基礎を形成するニューラルネットワークアーキテクチャの代表的態様を示すブロック図である。
【0023】
【
図5】本出願の一つの側面に従って二次元シフトレジスタを持つ埋め込みフォトダイオード(PPD)の代表的態様を示すブロック図である。
【0024】
【
図6A】本出願の一つの側面に準拠したCCDシフトレジスタの上部レベル図を示す。
【0025】
【
図6B】本出願の一つの側面に従ったポリフィンガーに沿った前記CCDシフトレジスタの横断面図を示す。
【0026】
【
図6C】本出願の一つの側面に従ったポリフィンガーを横切って切断する前記CCDシフトレジスタの横断面図を示す。
【0027】
【
図6D】CCDシフトレジスタの異なる構成を示し、データは、垂直に、および次いで水平に移動して異なる方向に情報の流れを変化させてもよい。
【0028】
【
図7】乗算および加算係数のシストリック再配置の概念を示し、本発明の一つの側面に従った最適化された方法でニューラルネットワークの重み付き加算器に重みおよび入力値を提供する(重み付き加算器への係数の供給を再配置する)ためのCCDシフトレジスタまたはその他の手段を使用して得られるであろう効率を図示する。
【0029】
【
図8A】第1の電荷移動手段および電荷移動手段の1つのみに結合された第1と比例した比例電荷移動手段によって共に結合された結合電荷リザーバの概念を図示し、
図8Aは、電荷リザーバとしてコンデンサおよび電荷移動装置として電流源を使用するこの構成を示し、および
図8Bは、埋め込みフォトダイオードストレージウェル、浮遊拡散およびトランスファゲートを使用する類似の構成を示す。
【
図8B】第1の電荷移動手段および電荷移動手段の1つのみに結合された第1と比例した比例電荷移動手段によって共に結合された結合電荷リザーバの概念を図示し、
図8Aは、電荷リザーバとしてコンデンサおよび電荷移動装置として電流源を使用するこの構成を示し、および
図8Bは、埋め込みフォトダイオードストレージウェル、浮遊拡散およびトランスファゲートを使用する類似の構成を示す。
【0030】
【
図9】スイッチ構成を介してパルスまたは電流源重みを結合するために使用され得るクロスバーを示す。
【0031】
【
図10】出力ノードに加重電荷を加算し、およびまた時間でいくつかのフレームにわたってこのような電荷の加算をシフトすることができる時間加重クロスバーを示す。
【0032】
【
図11】スイッチング装置に対する電荷注入を減少する、または電流源におけるリンギングを減少するために使用し得る接合部を欠いたトランスファゲートを示す。
【0033】
【
図12】本出願の一つの側面に従ってパルス出力を伴った重み付き加算器の代表的態様を示すブロック図である。
【発明を実施するための形態】
【0034】
添付の図に関連して以下に述べる記述は、開示の現在好ましい態様の記述として意図され、および本開示が構築されても、および/または利用されてもよい形態のみを表すことは意図されない。記述は、図示された態様に関連して開示を構築し、および動作するための機能および工程の順序を記載する。しかし、同じまたは均等の機能および順序は、異なる態様によって達成されてもよく、またこの開示の精神および範囲内に包含されることが意図されることが理解されるべきである。
【0035】
リザーバにおいて蓄積された電荷を直接機械学習入力層の乗算器に結合することは望ましい。
図4を参照して、本出願の基礎を形成するニューラルネットワークアーキテクチャ40を示すブロック図が参照され得る。ニューラルネットワークアーキテクチャ40において、円42は、ニューロンであり、または入力層の場合においては、入力電圧、電荷、電流、波形またはデジタルワードである。線44は、乗算器であり、入力情報に重み(w)を乗じる。結果は、決定回路に供給され、およびその出力は、次いで次の層に供給される。それぞれのニューロンとして、潜在的にバイアスおよび潜在的に決定回路は、重み付き入力の加算器を含み、以下の層において多くのニューロンに接続されてもよく、したがって重みの数は、非常に大きくすることができる。
【0036】
上記に基づいて、入力層をSWまたはFDなどの電荷リザーバと置換すること、およびこの入力層を第1の内部層に直接接続する乗算器内でこの電荷を利用することができる場合、結合およびデジタル化回路に付随するノイズによる待ち時間、電力および情報損失を除去することがでるであろう。
【0037】
図5を参照して、一旦電荷がSWまたはFDなどのリザーバに蓄積されると、
図5に示すように電荷が結合したシフトレジスタ50においてその電荷を蓄積することが可能である。シフトレジスタ50は、複数のセル52で形成され得る。シフトレジスタ50は、電荷情報の忠実度の損失を伴わずに電荷を移動し得る。また、電荷を複数の軸に沿って移動すること、および特定のリザーバ内に保持された電荷を組み合わせることができる。また、複数のシフトレジスタ50を使用して異なる方向に、および異なる速度にて乗算した情報を移動することができる。
【0038】
図5において、埋め込みフォトダイオード(PPD)は、上部左に大きな長方形によって表され得る。これは、TGを介して電荷リザーバに電荷を送達する。垂直に電荷を荷電し続け、および次いでシフトレジスタ50の構築に基づいて水平にこれらを移動することができる。この方法では、小さな領域において、高い忠実度で電荷情報を一時的に蓄積することができる。また、1つのリザーバにおける電荷を誘導して既存の電荷を持つリザーバに流して加算を行うことができる。
【0039】
図6A~6Dは、電荷結合素子(CCD)シフトレジスタ60の複数の横断面図を示す。CCDシフトレジスタ60は、蓄積された内容のXおよびY移動を可能にする。
【0040】
数理的構築を利用して機械学習システムにおける乗算の効率を改善することは、一般的である。たとえば、マトリックス乗算では、これらが情報を再ロードしなければならなくなることなく効率的に再利用し得るように、異なる配列を介して被乗数を移動することが一般的である。シストリック構造は、被乗数をロードしなければならない回数を減少させるために使用され得るし、かつ以前の算出を使用する例である。電荷結合シフトレジスタを利用してこれらのタイプの数理的効率改善に適合して電荷被乗数を編成すること、およびいくつかの場合において電荷結合シフトレジスタをさらに利用して加算のために電荷を組み合わせることが望ましいであろう。
【0041】
図7A~7Bを参照して、シストリックアレイの概念が開示され得る。シストリックアレイは、メモリローディングを減少させ、およびデータを帰納的または効率的な構築物に編成してマトリックス乗算の効率を上昇させる。異なるシストリックインプリメンテーションによって必要とされるように、CCDシフトレジスタを伴うシストリック技術を実行することは、オペランドを、シフトレジスタを介して異なる速度にて、および異なる方向に容易に移動することができるので、有用である。
【0042】
図8A~8Bは、複数のインプリメンテーションにおける電荷に基づいたアナログ乗算器を示す。
図8Aにおいて、インプリメンテーション80は、コンデンサが電荷蓄積のために使用されており、スイッチS1およびS2が第1のサイクルの間に入力電荷リザーバC1を荷電するために使用され場合を示す(S1はオフ、I1はオフである、I2はオフである、S2はオンにされ、電流源82はしばらくオンにされ、スイッチS2はこのサイクルの終わりにオフにされる)。
図8Bにおいて、埋め込みフォトダイオードPPDは、電流源82およびスイッチS2がしばらく光にそれを曝露することによってC1を荷電するのと同じ方法でリザーバSWを荷電することを示す。両方の場合において、入力電荷リザーバ(一方の場合においてC1およびその他においてSW)は、第1のサイクルの間に電荷で満たされる。
【0043】
第2のサイクルにおいて、
図8AにおいてS1は、閉じている(S2は、開いている)。電流源I1およびI2は、大きさに比例し、オンにされる。C1は、I1+I2の電流の大きさによって荷電され、およびC2は、12の電流の大きさによって荷電される。ノードは、C1における電荷が完全に消散される(それ全体の電圧がゼロに到達する)までモニタされる。これは、Qc1/(I1+I2)時間を要し、Qc1は、第1のサイクルの間にC1に導入される電荷であった。C2は、このQc1/(I1+I2)時間の間のみ12によって荷電され、これはI2*Qc1/(I1+I2)の電荷が見られるであろうことを意味する。これは、これがI2/(I1+I2)の比率を乗じた電荷C1を受けるだろうことを意味する。I2/(I1+I2)を制御することにより、乗算器利得をセットした。
【0044】
類似の方法において、
図8Bでは、埋め込みフォトダイオードPPDにおける電荷が、TG経路によって制御される割合で浮遊拡散FDへフィールドによって移動され得る。また、TGIを介した第2の電荷経路は、SWからの電荷移動の割合に比例した割合でFDを満たす。SWを枯渇させるために要する時間は、Qc1/i1=tである。電流i1+i2は、時間tの間FDに流れており、したがって、Qc1*(i1+i2)/i1は、FDにおける電荷である。したがって、電荷を(i1+i2)/i1で効率的に乗じた。埋め込みフォトダイオードの代わりに、CCDアレイまたはその他の浮遊拡散がi1の供与源であることもできるであろう。FDは、これらを結合回路によって電圧または電流に読み込ませてもよく、またはさらなる算出のために使用されてもよい。
【0045】
CCDシフトレジスタにPPD乗算器の出力を結合することにより、二次元CCDシフトレジスタまたは第2のCCDシフトレジスタを使用して、あたかもこれらがニューロンに入っているかのように電荷を加算してもよい。シストリックアーキテクチャが使用される場合、電荷リザーバは、これらがCCDアレイを介して移動するので、適切なオペランドに結合されてもよく、および結果を乗算器の入力リザーバに加算してもよく、または結果を再使用のためにもう一つのシフトレジスタセルに再注入することもできるであろう。同報通信トポロジーのためには、CCDシフトレジスタを使用して、複数の入力のコピーを生成してxiオペランドを複数の乗算器に荷電してもよい。
【0046】
したがって、1つまたは複数のCCDアレイに被乗数を蓄積すること、および次いでメモリローディングおよび乗算器効率を最小限にするようにシストリック構成と適合してアレイを介して情報を移動することは、有用であろう。
【0047】
同時に前記第1のリザーバへの複数の入力のローディングを可能にすることは、有用であろう。これは、以前の層からの複数のニューロンの出力などの複数の重み付き入力から公知の電荷を、前記第1の乗算器リザーバに加算することによって達成され得る。
図9は、クロスバー90の概念を示す。クロスバー90は、入力のセットと出力のセットとの間の個々のスイッチのアセンブリーである。スイッチは、マトリックスで配置されてもよい。時間加重クロスバー90がM入力およびN出力を有する場合、クロスバーは、M×Nクロスポイントを持つマトリックスまたは接続が交差する場所を有する。それぞれにて、クロスポイントは、スイッチであり;閉じるときに、それは、入力の1つを出力の1つに接続する。所与のクロスバーは、単一の層、無閉塞スイッチである。無閉塞スイッチは、その他の並行接続がその他の入力をその他の出力へ接続することを防げないことを意味する。
図9において参照され得るように、金属線92は、共になり、およびこれら間のスイッチがオンにされて、異なる層において、または金属もしくはその他の導体の同じ層において共に接続し得る。いくつかのクロスバーにより、かなりのファンアウトを生じることができる。ゲート制御された電流源94を、このような構成を介して結合してもよい。
【0048】
同時に前記第1のリザーバへの複数の入力のローディングを可能にすることは、有用であろう。これは、以前の層からの複数のニューロンの加重出力などの複数の重み付き入力からの公知の電荷を、前記第1の乗算器リザーバに加算することによって達成され得る。
図10は、時間加重クロスバー100の可能な構成の1つを示すが、現在のところスイッチの第2の列が閉じていると仮定する。この場合において、接続された経路は、さらに同じ大きさの電流源102に結合される。経路は、NVM電圧などの蓄積された電圧がコンパレーター104によって定まるランプ電圧に一致するまで荷電し始めない。電流は、比例するので、これにより、蓄積された電圧と比例した電荷を生じ、およびランプが同じ供与源から生成される。これらの電流は、浮遊拡散に注入しても、もしくは拡散内で光学的に結合してもよく、またはコンデンサもしくはその他のストレージエレメントが乗算器のために使用される場合、直接使用してもよい。この時間遅延クロスバー100は、相対または直接アドレス指定を使用してアドレス指定してもよく、およびニューロンが特定の物理的な位置を有する場合であっても柔軟なニューラルネットワーク構成が可能になる。結果として、重みが電流の大きさによって、および入力値が時間によって設定される。その後の層またはPPD入力などの電荷入力を伴う層については、それぞれの重み付き加算器の出力は、時間であることができ、およびしたがってコンパレーター104は、必要でなく-以前のニューロンの出力を、直接スイッチをゲート制御するために適用することができる。
【0049】
電流の大きさは、ダイナミックに、またはNVMメモリに由来し得る。これは、強誘電のメモリスタなどのアナログメモリでもよい。これは、アナログ浮遊ゲートまたはフラッシュメモリであることもできるであろう。またはこれは、DNAメモリであることができるであろう。DNAメモリは、3nmのような非常に小さな領域において非常に長い存在期間でアナログまたはデジタルメモリを製造する際に最近多大な見込みを示している。パナソニックによって開発されたものなどの強誘電のメモリスタは、正確なアナログ量を生じることができることが示されている。
【0050】
神経形態学的なスパイキングネットワークは、制御ニューロン加重入力加算器が閾値に達するときにニューロン経路をオンにするのみであり、十分な入力電荷を蓄積していないニューロンを使用されないままにするので、これらは、エネルギー効率的である。前記重み付き加算器がニューロンを生成するために使用されるときに、このようなインプリメンテーションを可能にする本出願において記述した重み付き加算器を改変することは有用であろう。これは、コンパレーターを第1の/入力電荷リザーバに結合することによって行うことができ、および一旦このリザーバにおける電荷がレベルに達すると、割り込みを生成して、ニューロンの出力を所望のニューラルネットワーク内のその適切な接続に結合するようにコントローラに強制する。また、いくつかの神経形態学的なスパイキングネットワークは、大きさおよび/または時間遅延情報についての要求を有する。時間遅延は、複数回時間遅延クロスバーにおいてランプを繰り返すことを介して、および
図10におけるスイッチ106の第2のセットの使用を介して導入してもよい。たとえば、ランプが5回繰り返され、およびコントローラがそのランプにおいて電流が加えられされるべきであることを示す5ビットの文字を提供した場合、簡易なカウンタを使用して、適切な5ビットの遅延文字にマッチする場合に電流が流れることを可能にすることのみによって、いつ前記第2のスイッチをオンにして前記時間遅延を実行するかを決定することができるであろう。
【0051】
一定の場合において、完全に電荷リザーバを分離することが、むしろ直列にこれらを結合するよりも効率的であり得る。この場合において、第1のサイクルの間および第2のサイクルの間の第1の電荷リザーバ電荷は、それが枯渇されるまで制御された割合で電荷移動手段によって放出される。この同じ第2のサイクルの間、第1を荷電するものに比例する大きさであるようにプログラムされた第2の電荷移動手段は、第1の電荷リザーバにおける電荷が枯渇されるまで第2の電荷リザーバを荷電する。ここで、第2の電荷リザーバにおける電荷は、電荷移動の割合の比率を乗じた第1のものであろう。たとえば、電荷移動手段が電流源であり、およびI1が第1の電荷リザーバを枯渇し、およびI2が第2を荷電していた場合、第2のサイクルの最後に前記第2の電荷リザーバにおける電荷は、I2/I1*Q1であるだろうし、式中Q1は、第1の電荷リザーバにおける最初の荷電である。電荷移動手段は、MOSFET、トランスファゲート、傾斜接合または電荷を制御することができ、一方で始められる、または止められるその他の装置であることができ得る。
【0052】
電荷注入を減少させて、および極めて小さな当量のキャパシタンスの使用を可能にするために、トランスファゲートは、接合部を欠いたMOSFETで生成され、その構造は、またオーバーラップキャパシタンスを最小限にするようにデザインされる。例を
図11に示す。
【0053】
図12を参照して、重み付き加算器120を示す態様が検討され得る。ここで、MN1のゲートからなる単一の電荷リザーバを示してあり、これはまた、C1(コンデンサまたは浮遊拡散であることができ得る)、ゲーティングMOSFET 122のドレインおよびIoutとしても知られる電流源126に結合される。w1およびwn並びにバイアスb1と表示した電荷移動装置124は、所望の重み入力に準拠して、および電流源Iout126に比例してプログラムされる。これらの重み入力は、時間入力a1、anおよびbによってゲート制御され、これらは、MOSFET 122のゲートを駆動する緩衝器に接続して示してある。リセットの間、MN1のゲートは、そのVtコンパレーター閾値を下回って引かれ、これによりMOSFET M1のドレインを反転させ、およびこれがスイッチオフされた後にMN1ゲートがそのスイッチング閾値に到達するまでインバータ128が電流源126をオンにすることが可能になるだろう。第1のサイクルにおいて、複数個のパルスがa1…anおよびbを入力する時は、効率的に重みが所与の長さの時間の間流れることができ、その結果加重電荷をMN1のゲートにて電荷リザーバから除去させる。一旦この電流が除去されると、MN1のドレインは、再びその状態を反転させ、およびインバータ128に電流源Ioutをオンにさせるであろうし、これにより重み付き入力によって除去された電荷を置き換えるであろう。そうするために要する時間は、aoutにて加重和出力パルスを示すであろう。
【0054】
開示の態様を種々の具体的態様に関して記述してきたが、当業者であれば、開示の態様が特許請求の範囲の精神および範囲内の改変を伴って実施されてもよいことを認識するであろう。
(付記)
本願発明は、明細書記載の実施形態に基づいて以下の構成を取り得る。
[構成1]
一対の電荷リザーバであって、直列に結合される、一対の電荷リザーバと、
同じ割合にて一対の電荷リザーバへ、または前記一対の電荷リザーバから電荷移動を誘導する第1の電荷移動装置と、
一対のリザーバの1つへ、または前記一対のリザーバの1つから電荷移動を誘導する第2の電荷移動装置であって、電荷移動の割合は、前記第1の電荷移動装置と比例した割合で電荷を付加するか、または除去するかの一方にプログラムされる、電荷移動装置と、
を備え、
第1の電荷は、第1のサイクルの間に前記一対の電荷リザーバの第1に荷電され、前記第1の電荷移動装置および前記第2の電荷移動装置は、前記一対の電荷リザーバの第1が前記第1の電荷を枯渇し、電荷が前記第2の電荷リザーバにおける電荷移動割合の比率を乗じた前記第1の電荷を表すままになるまで、前記第2のサイクルの間に前記一対の電荷リザーバから比例した割合で電荷を除去する、乗算器。
[構成2]
電荷移動を止めるための装置をさらに含む、構成1に記載の乗算器。
[構成3]
前記第1の電荷移動装置および前記第2の電荷移動装置は、電界の制御に基づく、構成1に記載の乗算器。
[構成4]
前記第1の電荷移動装置は、前記一対の電荷リザーバと直列に結合される第1の電流源であり、および前記第2の電荷移動装置は、前記一対の電荷リザーバが交わるノードにて結合される第2の電流源である、構成1に記載の乗算器。
[構成5]
前記電荷移動を止めるための装置は、トランスファゲートであり、トランスファゲートは、イベントに準拠してバリアを下ろし、および次いでバリアを上げ、一方でその他の時には電荷移動を制御するようにフィールドを保持する、構成2に記載の乗算器。
[構成6]
前記一対の電荷リザーバは、コンデンサである、構成1に記載の乗算器。
[構成7]
前記一対の電荷リザーバは、浮遊拡散である、構成1に記載の乗算器。
[構成8]
前記第1の電荷は、スイッチドキャパシタ回路、アクティブピクセル回路;またはV/I to 電荷回路の1つによって前記一対の電荷リザーバの第1に導入される、構成1に記載の乗算器。
[構成9]
アナログ乗算器であって、
直列に結合する一対の電荷リザーバ、
同じ割合にて前記一対の電荷リザーバへの、または、前記一対の電荷リザーバからの電荷移動を誘導する第1の電荷移動装置、および、
前記一対のリザーバの1つへ、または前記一対のリザーバから電荷移動を誘導する第2の電荷移動装置であって、電荷移動の割合は、前記第1の電荷移動装置と比例した割合で電荷を付加するか、または除去するかの一方にプログラムされる、第2の電荷移動装置を備え、
第1のサイクルの間の前記一対の電荷リザーバの第1への第1の電荷、前記第1の電荷移動装置および前記第2の電荷移動装置は、前記一対の電荷リザーバの第1が第1の電荷を枯渇するまで第2のサイクルの間に前記一対の電荷リザーバから比例した割合で電荷を除去する、アナログ乗算器と、
入力情報に準拠して前記一対のリザーバの第1において電荷を蓄積するための入力収集装置と、
を備える、ニューラルネットワーク。
[構成10]
前記アナログ乗算器は、電荷移動を止めるための装置を含む、構成9に記載のニューラルネットワーク。
[構成11]
前記ニューラルネットワークと同じ集積回路上に形成された入力フォトダイオードを含む、構成9に記載のニューラルネットワーク。
[構成12]
前記入力収集装置は、電荷ドメイン回路であり、かつ、前記入力情報は、光学情報である、構成9に記載のニューラルネットワーク。
[構成13]
前記入力収集装置と前記一対の電荷リザーバの第1との間に結合された少なくとも1つの電荷結合素子(CCD)シフトレジスタを含む、構成9に記載のニューラルネットワーク。
[構成14]
前記入力収集装置に結合された少なくとも1つの電荷結合素子(CCD)シフトレジスタを含み、前記CCDシフトレジスタは、前記一対の電荷リザーバの第1として使用される、構成9に記載のニューラルネットワーク。
[構成15]
前記CCDシフトレジスタは、二次元シフトレジスタである、構成13に記載のニューラルネットワーク。
[構成16]
前記CCDシフトレジスタは、その周囲周辺でセルにて情報を受け入れることができる二次元の結合されたアレイである、ニューラルネットワーク。
[構成17]
前記一対の電荷リザーバの第1に入力オペランドを情報通信するために使用される時間加重クロスバーを含み、前記少なくとも1つのCCDシフトレジスタは、シストリック応答に従って電荷を結合するために使用される、構成13に記載のニューラルネットワーク。
[構成18]
第2のオペランドは、第2のCCDシフトレジスタにおける電荷として蓄積され、複数のCCDシフトレジスタは、シストリックアルゴリズム毎にそれぞれのオペランドを渡す、構成17に記載のニューラルネットワーク。
[構成19]
埋め込みフォトダイオードまたはその他の光検出器の少なくとも1つを含むアクティブピクセルであって、アクティブピクセルへの入力情報は、第1の入力電荷リザーバにおいて蓄積される、アクティブピクセルと、
前記第1のリザーバに結合された第2の電荷リザーバと、
前記第1の電荷リザーバ前記と第2の電荷リザーバとの間に配置されたトランスファゲートであって、電荷の移動の第1の割合は、前記トランスファゲートに結合されたフィールドによって制御されてもよい、トランスファゲートと、
前記第2の電荷リザーバに結合された第2の電荷移動装置であって、電荷移動の第2の割合は、電荷移動の前記第1の割合のものに比例してプログラムされてもよい、第2の電荷移動装置と、
を備え、
第1の電荷は、第1のサイクルの間にのみ前記第1の電荷リザーバに荷電され、および前記トランスファゲートおよび前記第2の電荷移動装置は、前記第1の電荷リザーバが枯渇して第2のサイクルの最後にて前記第2の電荷リザーバにおいて電荷乗算を生じるまで第2のサイクルの間に比例して電荷を移動する、
アナログ乗算器。
[構成20]
オーバーラップキャパシタンスを最小限にするために接合部を欠いたトランスファゲートを含む、構成19に記載のアナログ乗算器。
[構成21]
それぞれがゲート制御された電荷移動装置に結合される一対の電荷リザーバを備え、
前記ゲート制御された電荷移動装置は、電荷移動の割合が比例するようにプログラムされ、前記ゲート制御された電荷移動装置は、一旦、前記一対の電荷リザーバの1つが枯渇されると電荷移動を止める、乗算器。
[構成22]
前記一対の電荷リザーバの第1に複数の重み付き入力を荷電する装置を含む、構成21に記載の乗算器。
[構成23]
プログラミング装置によってそれぞれが個々に時間でゲート制御された前記一対の電荷リザーバの第1に結合された複数の電荷移動割合を制御された入力を含む、構成21に記載の乗算器。
[構成24]
複数のクロスバー導体線と、
複数の導体線に結合する複数のゲート制御された電流源であって、これによって複数のゲート制御された電流源が入力電圧、電流および時間枠または単に時間の1つに準拠してゲート制御される、ゲート制御された電流源と、
前記複数のゲート制御された電流源のそれぞれに結合され、および所望のニューラルネットワーク構成に準拠して前記複数のゲート制御された電流源のそれぞれが複数の重み付き入力を加算することを可能にする、コントローラ回路と、
を備える、乗算器。
[構成25]
時間加重クロスバーは、ゲーティング時間をセットするためのアナログメモリ、メモリスタメモリ、浮遊ゲートメモリ、フラッシュメモリまたはDNAメモリの1つを含む、構成24に記載の乗算器。
[構成26]
単一の電荷リザーバ、
第1のサイクルにおいて前記単一の電荷リザーバへ、または前記単一の電荷リザーバから電荷を結合するか、または電荷を除去するかのそれぞれ一方をする複数の入力電荷移動装置と、
第2のサイクルの間に前記単一の電荷リザーバを開始電荷レベルまで戻し、その後に電荷移動が終わるように、電荷を前記単一の電荷リザーバへ結合するか、または除去するかの一方をする出力電荷移動装置と、
を備える、重み付き加算器。
[構成27]
前記複数の入力電荷移動装置は、前記出力電荷移動装置が第2のサイクルの間に電荷を結合する、または除去するであろう割合と比例した割合で電荷を結合する、または除去するが、前記複数の入力電荷移動装置は、入力情報に準拠してそれぞれが個々に時間でゲート制御され、かつ、
第2のサイクルの間に、出力電荷移動装置が電荷を結合し、または除去して開始電荷レベルまで単一の電荷リザーバを戻す間の時間は、重み付き加算器の出力を表す、構成26に記載の重み付き加算器。
[構成28]
前記加算器は、コンパレーターを有するスパイキング回路を含み、前記コンパレーターは、前記単一の電荷リザーバが所定レベルに達するときに前記コントローラ回路に割り込みを開始する、構成26に記載の重み付き加算器。