特許 7505016 メモリスタを用いたＡＩ融合ピクセルセンサ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-14

(45)【発行日】2024-06-24

(54)【発明の名称】メモリスタを用いたＡＩ融合ピクセルセンサ

(51)【国際特許分類】

   H04N 25/76 20230101AFI20240617BHJP

【ＦＩ】

H04N25/76

【請求項の数】 15

(21)【出願番号】P 2022554849

(86)(22)【出願日】2022-04-12

(65)【公表番号】

(43)【公表日】2023-06-21

(86)【国際出願番号】 US2022071681

(87)【国際公開番号】W WO2022221836

(87)【国際公開日】2022-10-20

【審査請求日】2022-09-09

(31)【優先権主張番号】17/228,079

(32)【優先日】2021-04-12

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】522359877

【氏名又は名称】テトラメム、インク．

(74)【代理人】

【識別番号】110001416

【氏名又は名称】弁理士法人信栄事務所

(72)【発明者】

【氏名】イェン、ウェンボウ

(72)【発明者】

【氏名】ジェイ、ニング

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０１６－０６３１１８（ＪＰ，Ａ）

【文献】特表２０２２－５３０９４１（ＪＰ，Ａ）

【文献】特開２０１８－０１４１５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／００－２５／７９

(57)【特許請求の範囲】

【請求項1】

複数のアクティブピクセルセンサであって、前記複数のアクティブピクセルセンサの各々が、
画像信号を受信するように構成されたフォトダイオードと、
転送ゲートと、
セレクタコントローラと、
リセットコントローラと、
電圧読み出し端と、
前記電圧読み出し端に接続された第１の１Ｔ１Ｒセル、第２の１Ｔ１Ｒセル、及び第３の１Ｔ１Ｒセルと、
前記第１の１Ｔ１Ｒセル、前記第２の１Ｔ１Ｒセル、及び前記第３の１Ｔ１Ｒセルにそれぞれ接続された、第１電流読み出し端と、第２電流読み出し端と、及び第３電流読み出し端と、
を含む、複数のアクティブピクセルセンサと、
第１総電流読み出し端であって、前記第１総電流読み出し端の合計電流が前記各アクティブピクセルセンサにおける前記第１電流読み出し端の電流の合計に等しい、第１総電流読み出し端と、
第２総電流読み出し端であって、前記第２総電流読み出し端の合計電流が前記各アクティブピクセルセンサにおける前記第２電流読み出し端の電流の合計に等しい、第２総電流読み出し端と、
第３総電流読み出し端であって、前記第３総電流読み出し端の合計電流が前記各アクティブピクセルセンサにおける前記第３電流読み出し端の電流の合計に等しい、第３総電流読み出し端と、
を備えた、装置。

【請求項2】

前記転送ゲートは、前記フォトダイオードを制御するように構成され、
前記セレクタコントローラは、前記電圧読み出し端への電流を制御するように構成され、
前記リセットコントローラは、受信した前記画像信号をリセットするように構成されている、
請求項１に記載の装置。

【請求項3】

前記装置は、分類器として動作するように構成されている、
請求項１に記載の装置。

【請求項4】

前記装置は、アナログドット積を実行するように構成されている、
請求項１に記載の装置。

【請求項5】

前記第１の１Ｔ１Ｒセル、前記第２の１Ｔ１Ｒセル、及び前記第３の１Ｔ１Ｒセルの各々は、トランジスタ及びメモリスタを含む、請求項１に記載の装置。

【請求項6】

第１電圧ドライバと、第２電圧ドライバとをさらに備え、
前記第１電圧ドライバ及び前記第２電圧ドライバは、前記第１の１Ｔ１Ｒセル、前記第２の１Ｔ１Ｒセル、及び前記第３の１Ｔ１Ｒセルを設定又はリセットするように構成されている、
請求項１に記載の装置。

【請求項7】

前記複数のアクティブピクセルセンサに接続された列デコーダと、
前記複数のアクティブピクセルセンサに接続された行デコーダと、
第１総電流端、第２総電流端、及び第３総電流端に接続された列増幅器と、
前記列増幅器に接続されたマルチプレクサと、
前記マルチプレクサに接続されたＡＤＣと、
前記ＡＤＣに接続されたメモリと、
をさらに備えた、請求項１に記載の装置。

【請求項8】

アクティブピクセルセンサであって、
画像信号を受信するように構成されたフォトダイオードと、
転送ゲートと、
セレクタコントローラと、
リセットコントローラと、
電圧読み出し端と、
第１トランジスタと、
第２トランジスタと、
第３トランジスタと、
第４トランジスタと、
第１電圧ドライバと、
第２電圧ドライバと、
を含む、アクティブピクセルセンサと、
前記電圧読み出し端を介して前記アクティブピクセルセンサに接続されたメモリスタをベースとしたクロスバーアレイと、
を備えた、装置。

【請求項9】

前記第１電圧ドライバは、前記第１トランジスタに接続され、
前記セレクタコントローラは、前記第２のトランジスタのゲートに接続され、
前記リセットコントローラは、前記第３トランジスタのゲートに接続され、
前記フォトダイオードは、前記第４トランジスタのソースに接続され、
転送ゲートコントローラは、前記第４トランジスタのゲートに接続され、
前記第２電圧ドライバは、前記電圧読み出し端に接続されている、
請求項８に記載の装置。

【請求項10】

前記第１トランジスタは、前記フォトダイオードから受信した前記画像信号の増幅を行うように構成され、
前記第２のトランジスタは、前記電圧読み出し端への電流を制御するように構成され、
前記第３トランジスタは、信号をリセットするように構成され、
前記第４トランジスタは、前記フォトダイオードから転送される信号を制御するように構成されている、
請求項８に記載の装置。

【請求項11】

前記メモリスタをベースとするクロスバーアレイは、複数の１Ｔ１Ｒセルを含む、
請求項８に記載の装置。

【請求項12】

前記第１電圧ドライバ及び前記第２電圧ドライバは、前記１Ｔ１Ｒセルを設定又はリセットするように構成されている、
請求項１１に記載の装置。

【請求項13】

前記第１電圧ドライバ及び前記第２電圧ドライバは、前記１Ｔ１Ｒセルを設定又はリセットするように構成されている、
請求項１２に記載の装置。

【請求項14】

設定モードにおいては、前記第１電圧ドライバの電圧は、前記第２電圧ドライバの電圧よりも高く、
リセットモードにおいては、前記第１電圧ドライバの電圧は、前記第２電圧ドライバの電圧より低い、
請求項１３に記載の装置。

【請求項15】

アナログドット積を実行するように構成されている、
請求項８に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、２０２１年４月１２日に出願された米国特許出願第１７／２２８，０７９号の優先権を主張し、その全体を参照により本明細書に組み込む。

【0002】

本開示は、概して、メモリスタを用いたＡＩ融合ピクセルセンサに関し、より詳細にはメモリスタを有するアクティブピクセルセンサを用いた、ＭＬＰ用のＡＩ融合ピクセルセンサに関する。

【背景技術】

【0003】

多くのシステムが、画像のデジタル表現へと電子的に変換され得る光学画像を検知して取り込むためのイメージングデバイスを含む。イメージセンサが、感光性デバイス、例えば相補型金属酸化膜半導体（ＣＭＯＳ）デバイス上に作製されたフォトダイオード又はフォトトランジスタなどのアレイを含む。各感光性デバイスは、感光性デバイスに当たる光の強度に比例する電荷を生成できるように、光に対して敏感である。イメージセンサによりキャプチャされた画像全体が多数の画素を含み、これらは、各画素がその画素の位置での光の強度を検出するように、アレイ状に配置されている。

【0004】

慣用的なＣＭＯＳプロセスに従って形成されたイメージングデバイスはＣＭＯＳイメージャとして知られており、アクティブピクセルセンサ（ＡＰＳ）を含むように構成され得る。アクティブピクセルセンサ（ＡＰＳ）は、画素のアレイを含む集積回路を含み、各画素が、光検出器（例えば、フォトダイオード又はその他の類似のデバイス）、並びに、光検出器上に蓄積された電荷をリセット及びゲーティングするためのその他のトランジスタを含む。慣用的なＣＭＯＳイメージャにおいては、画素アレイにおける各画素セルが、光強度を電荷に変換し、電荷を光強度に比例して蓄積し、そして、蓄積された電荷を増幅器に転送するように動作する。多くのＣＭＯＳイメージャにおいて、画素が、画像の取得前又は取得後に特定の基準電圧レベルにリセットされ得る。

【0005】

ＲＲＡＭは、十分な電気的刺激に応答して抵抗値を変化させることができる２端子受動素子であり、高性能な不揮発性メモリ用途として非常に注目されている。ＲＲＡＭの抵抗は、２つの状態、すなわち高抵抗状態（ＨＲＳ）と低抵抗状態（ＬＲＳ）との間で電気的に切り替えられ得る。ＨＲＳからＬＲＳへのスイッチングイベントは、しばしば、「セット」(Set)又は「オン」(On)スイッチと称され、ＬＲＳからＨＲＳへのスイッチングシステムは、「リセット」(Reset)又は「オフ」(Off)スイッチングプロセスと称される。

【0006】

多層パーセプトロン（ＭＬＰ）は、多くのＡＩアプリケーション、例えば、画像処理、映像処理、機械学習及び自然言語処理において一般的に利用されている人工ニューラルネットワークである。これは、複数の層を有向グラフで接続したニューラルネットワークであり、ノードを通る信号経路が一方通行のみであることを意味する。各ノードが、入力ノードとは別に非線形活性化関数を有する。複数のニューロン層が存在するため、ＭＬＰはディープラーニング技術である。これは、ＭＬＰにおいて、一般的に分類器として用いられ、すなわち、入力ベクトルが１以上のクラスに属するかどうかを決定する。これにより、概して、入力がどのクラスに属するかの確率が提供される。例えば、ＭＬＰにおいて、訓練分類器を、５つのカテゴリの衣類を低解像度の画像から認識するように適応させ得る。

【発明の概要】

【発明が解決しようとする課題】

【0007】

従来のＭＬＰは、分類タスクのためのＭＬＰクラスオブジェクトを構築及び訓練するためにアルゴリズムを使用する必要がある。本開示では、メモリスタをベースとしたクロスバーアレイを有するＣＭＯＳイメージセンサを用いた新しいアーキテクチャが、ＭＬＰ用のハードウェア分類器を実現できる。

【課題を解決するための手段】

【0008】

メモリスタを有するアクティブピクセルセンサを用いた、ＭＬＰ用のＡＩ融合ピクセルセンサに関する技術を開示する。

【0009】

幾つかの実施形態において、例示的な装置は、複数のアクティブピクセルセンサを備える。前記アクティブピクセルセンサの各々は、画像信号を受信するように構成されたフォトダイオードと、転送ゲートと、セレクタコントローラと、リセットコントローラと、電圧読み出し端と、前記電圧読み出し端に接続された第１の１Ｔ１Ｒセルと、第２の１Ｔ１Ｒセルと、第３の１Ｔ１Ｒセルと、前記第１の１Ｔ１Ｒセル、前記第２の１Ｔ１Ｒセル、及び前記第３の１Ｔ１Ｒセルにそれぞれ接続された、第１電流読み出し端と、第２電流読み出し端と、第３電流読み出し端とを含む。前記装置は、前記各アクティブピクセルセンサにおける前記第１電流読み出し端の電流の合計にその総電流が等しい第１総電流読み出し端と、前記各アクティブピクセルセンサにおける前記第２電流読み出し端の電流の合計にその総電流が等しい第２総電流読み出し端と、前記各アクティブピクセルセンサにおける前記第３電流読み出し端の電流の合計にその総電流が等しい第３総電流読み出し端と、を備える。

【0010】

幾つかの実施形態において、前記転送ゲートは、前記フォトダイオードを制御するように構成される。前記セレクタコントローラは、前記電圧読み出し端への電流を制御するように構成される。前記リセットコントローラは、受信した画像信号をリセットするように構成されている。

【0011】

幾つかの実施形態において、前記装置は、分類器として動作するように構成されている。

【0012】

幾つかの実施形態において、前記装置は、アナログドット積を実行するように構成されている。

【0013】

幾つかの実施形態において、前記第１の１Ｔ１Ｒセル、前記第２の１Ｔ１Ｒセル、及び前記第３の１Ｔ１Ｒセルの各々は、トランジスタ及びメモリスタを含む。

【0014】

幾つかの実施形態において、前記装置は、第１電圧ドライバと、第２電圧ドライバとをさらに備える。前記第１電圧ドライバ及び前記第２電圧ドライバは、前記第１の１Ｔ１Ｒセル、前記第２の１Ｔ１Ｒセル、及び前記第３の１Ｔ１Ｒセルを設定又はリセットするように構成されている。

【0015】

幾つかの実施形態において、前記装置は、前記アクティブピクセルセンサに接続された列デコーダと、前記アクティブピクセルセンサに接続された行デコーダと、前記第１総電流端、前記第２総電流端、及び前記第３総電流端に接続された列増幅器と、前記列増幅器に接続されたマルチプレクサと、前記マルチプレクサに接続されたＡＤＣと、前記ＡＤＣに接続されたメモリと、をさらに備えている。

【0016】

幾つかの実施形態において、装置は、アクティブピクセルセンサを備える。当該アクティブピクセルセンサは、画像信号を受信するように構成されたフォトダイオードと、転送ゲートと、セレクタコントローラと、リセットコントローラと、電圧読み出し端と、第１トランジスタと、第２トランジスタと、第３トランジスタと、第４トランジスタと、第１電圧ドライバと、第２電圧ドライバと、を含む。前記装置は、前記電圧読み出し端を介して前記アクティブピクセルセンサに接続されたメモリスタベースのクロスバーアレイをさらに備える。

【0017】

幾つかの実施形態において、前記第１電圧ドライバは、前記第１トランジスタに接続されている。前記セレクタコントローラは、前記第２トランジスタのゲートに接続されている。前記リセットコントローラは前記第３トランジスタのゲートに接続されている。前記フォトダイオードは、前記第４トランジスタのソースに接続されている。前記転送ゲートコントローラは、前記第４トランジスタのゲートに接続されている。前記第２電圧ドライバは、前記電圧読み出し端に接続されている。

【0018】

幾つかの実施形態において、前記第１トランジスタは、前記フォトダイオードから受信した前記画像信号の増幅を行うように構成されている。前記第２のトランジスタは、前記電圧読み出し端への電流を制御するように構成されている。前記第３トランジスタは、信号をリセットするように構成されている。前記第４トランジスタは、前記フォトダイオードから転送される信号を制御するように構成されている。

【0019】

幾つかの実施形態において、前記メモリスタベースのクロスバーアレイは、複数の１Ｔ１Ｒセルを含む。

【0020】

幾つかの実施形態において、前記第１電圧ドライバ及び前記第２電圧ドライバは、前記１Ｔ１Ｒセルを設定又はリセットするように構成されている。

【0021】

幾つかの実施形態において、前記第１電圧ドライバ及び前記第２電圧ドライバは、前記１Ｔ１Ｒセルを設定又はリセットするように構成されている。

【0022】

幾つかの実施形態において、設定モードにおいては前記第１電圧ドライバの電圧は前記第２電圧ドライバの電圧よりも高い。リセットモードにおいては前記第１電圧ドライバの電圧は前記第２電圧ドライバの電圧より低い。

【0023】

幾つかの実施形態において、前記装置はアナログドット積を実行するように構成されている。

【図面の簡単な説明】

【0024】

【図1A】隠れ層のないＭＬＰのアーキテクチャを示すブロック図である。

【図1B】１つの隠れ層を有するＭＬＰのアーキテクチャを示すブロック図である。

【図2】本開示の幾つかの実施態様によるＣＭＯＳイメージセンサベースの回路を示すブロック図である。

【図3】本開示の幾つかの実施態様によるＡＩ融合アクティブピクセルセンサを示すブブロック図である。

【図4】本開示の幾つかの実施態様による、ＡＩモード下でのＡＩ融合ピクセルセンサの動作を示すタイミング図である。

【図5】本開示の幾つかの実施態様による、メモリスタＳＥＴ／ＲＥＳＥＴモード下でのＡＩ融合ピクセルセンサの動作を示すタイミング図である。

【図6】追加のメモリスタ及びトランジスタを有するＡＩ融合ピクセルセンサの全体レイアウトを示す概略レイアウト図である。

【図7A】コンダクタンスＧｌ，Ｇ２，Ｇ３を有する３つのメモリスタを有することによる、ＡＩ融合ピクセルセンサの動作下での隠れ層のないＭＬＰのアーキテクチャを示すブロック図である。

【図7B】フォトダイオードから受信した６つの画像信号を表すＶｏｕｔ信号であるＶ１～Ｖ６を受信したときのＩｏｕｔｌ、Ｉｏｕｔ２、Ｉｏｕｔ３のドット積の合計を示す計算式である。

【図8】本開示の幾つかの実施態様による、モジュール化されたＡＩ融合ピクセルセンサを示す概略図である。

【図9】本開示の幾つかの実施態様による、３クラス分類器としてモジュール化されたＡＩ融合ピクセルセンサを示す概略図である。

【発明を実施するための形態】

【0025】

本明細書に開示する実施態様を、限定ではなく例として添付図面の図に示した。図面全体を通して、類似の参照番号は対応する部品を指す。

【0026】

メモリスタを有するアクティブピクセルセンサを用いた、ＭＬＰ用のＡＩ融合ピクセルセンサに関する技術を開示する。本開示に記載する技術は、以下の技術的利点を提供し得る。

【0027】

第１に、開示する技術は、アクティブピクセルセンサとメモリスタとを統合し、ＡＩ融合ピクセルセンサが、アナログドット積を実行できる。これは、ＡＩモードの動作中のアナログ積算の実現可能性を示す。これにより、ＡＩ融合ピクセルセンサは、フォトダイオードにより受信された光信号を蓄積し、アナログドット積の結果を、メモリスタをベースのとしてクロスバーアレイを介して生成できる。

【0028】

第２に、２つの電圧ドライバをＡＩ融合ピクセルセンサに用いることで、ＳＥＴ／ＲＥＳＥＴモードの動作中にメモリスタをＯＮ／ＯＦＦさせ得る。従って、ネットワークの訓練又は再プログラムが、メモリ内計算の異なるステージにおいて可能である。

【0029】

第３に、開示する技術は、ＭＬＰニューラルネットワークの下で分類器として機能し得る。これにより、ＡＩ融合ピクセルセンサは、受信した画像信号を所定のカテゴリに分類でき、特に画像認識アプリケーションのための、時間効率及びエネルギー効率の高いディープラーニング推論ハードウェアを作るための有望な方法が提供される。

【0030】

図１Ａ及び図１Ｂは、隠れ層のないＭＬＰ、及び、１つの隠れ層を有するＭＬＰのアーキテクチャを示すブロック図である。上述したように、ＭＬＰは、多くのＡＩアプリケーション、例えば、画像処理、ビデオ処理、機械学習、及び自然言語処理などで一般的に使用される人工ニューラルネットワークである。ＭＬＰは、一般的に分類器として用いられ、すなわち、入力ベクトルが１以上のクラスに属するかどうかを決定する。これが、概して、入力がどのクラスに属するかの確率を与える。この分類器は、画像認識技術に用いられ得る。例えば、ユーザはＭＬＰ分類器を、猫、犬、ウサギという３つのクラスで訓練させ得る。そして、ニューラルネットワークは，受け取った全ての画像を３つのクラスに分類できる。従来のＭＬＰは、分類タスクのためにＭＬＰクラスオブジェクトを構築及び訓練するために、ソフトウェアアルゴリズムを用いる必要がある。本開示では、メモリスタを有するＣＭＯＳイメージセンサを用いた新しいアーキテクチャが、ＭＬＰ用のハードウェア分類器を実現し得る。図１Ａは、隠れ層がないＭＬＰの一例である。図２Ａは、隠れ層が１つのＭＬＰの一例である。両方のＭＬＰが、本開示の実施形態を使用するか又は組み合わせることにより実現され得る。

【0031】

図２は、本開示の幾つかの実施態様によるＣＭＯＳイメージセンサベースの回路２００を示すブロック図２０００である。

【0032】

図２に示されているように、ＣＭＯＳイメージセンサベースの回路２００は、画像又は光信号を受信するように構成された１つ又は多数のＣＭＯＳイメージセンサ２０１（例えば、ＡＩ融合ピクセルセンサ）、列内の画素を選択して読み出すように構成された列デコーダ２０３、行内の画素を選択して読み出すように構成された行デコーダ２０５、ＣＭＯＳイメージセンサ２０１からの信号を増幅するように構成された増幅器２１１（すなわち、列増幅器）と、増幅器２１１からの信号を順次又は連続的に読み出すように構成されたマルチプレクサ２１３（すなわち、時分割マルチプレクサ）と、増幅器２１１からの信号をアナログからデジタルに変換するように構成されたＡＤＣ２１５と、ＡＤＣ２１５からの信号を格納するように構成されたデジタルベースのメモリ２２１と、を含む。

【0033】

ＣＭＯＳイメージセンサ２０１に光が入射すると、ＣＭＯＳイメージセンサは、データを、それらの選択された行及び列からのみ収集する。そして、その信号（通常は電圧形式）は、増幅器２１１により増幅される。そして、マルチプレクサ２１３が順次又は連続的に信号を読み出してＡＤＣ２１５に送信する。ＡＤＣ２１５は信号をアナログ形態からデジタル形態に変換し、これによりデジタル信号が、デジタルベースのメモリ２２１に格納され得る。デジタル信号は、中央処理ユニット（ＣＰＵ）又はその他のプロセッサにより処理又はアクセスされ得る。アクティブピクセルセンサを含むここでのＣＭＯＳイメージセンサ２０１は、ＭＬＰ分類器として実装されるように設計されている。

【0034】

ＭＬＰを適切に実行するために、行デコーダは、ベクトルドット積効果を実現するように複数の行を同時にオンにできる必要があることに留意されたい。さらに、メモリスタに対してＳＥＴ／ＲＥＳＴを実行するために、イメージセンサのＶＤＤ（又はＶｒｓｔ）を調整する場合があり、これにはグローバルＤＡＣが必要である。一方、メモリスタに対してＳＥＴ／ＲＥＳＥＴを実行するためには、メモリスタ出力ノードのためのドライバが必要であり、これに関しては後述する。最後に、ＶＭＭが複数の画素の情報の集合であるため、その結果、単一画素に比べてはるかに大きいダイナミックレンジを有する。そのため、ＡＤＣの解像度又はダイナミックレンジの調整が必要な場合がある。

【0035】

図３は、本開示の幾つかの実施形態によるＡＩ融合アクティブピクセルセンサ３００を示すブロック図３０００である。ここで、ＡＩ融合とは、データを、複数のセンサから、又は、異なるフィルタ若しくは分類下にあるセンサから、又は、異なる重みを有するセンサからマージできることを意味し、これにより、各センサの個別の使用をはるかに超えた結果を達成できることに留意されたい。

【0036】

図３に示されているように、ＡＩ融合アクティブピクセルセンサ３００は、アクティブピクセルセンサと、メモリスタベースのクロスバーアレイとを含む。アクティブピクセルセンサは、第１トランジスタ３０１、第２トランジスタ３０３、第３トランジスタ３０５、及び、第４トランジスタ３０７を含む。

【0037】

第１トランジスタ３０１は、増幅のための電圧源であるドレイン電圧Ｖｄｄ３２１を供給する第１電圧ドライバ３３１に接続される。幾つかの実施形態において、第１トランジスタ３０１は、フォトダイオードから受信した信号の増幅を、強化された電流を供給することにより提供するように構成される。

【0038】

第２トランジスタ３０３は、第１トランジスタ３０１のソースに接続されたドレインを含む。セレクタコントローラ（Ｒｓ）３１３が、第２トランジスタ３０３のゲートに接続されて、電圧Ｖｏｕｔ３２３が決定される出力への電流を制御する。幾つかの実施形態において、第２トランジスタ３０３は、出力への電流をオン及びオフするように構成される。

【0039】

第３トランジスタ３０５は、そのドレインを介して第１トランジスタ３０１のゲート３０１１に接続されている。リセットコントローラ（ＲＳＴ）３１５が第３トランジスタ３０５のゲートに接続され、リセット電圧源（Ｖｒｓｔ）３２５が第３トランジスタ３０５のソースに接続されている。Ｒｓｔ３１５及びＶｒｓｔ３２５を含む第３トランジスタ３０５は、リセットのためにある。具体的には、Ｒｓｔ３１５は、第１トランジスタ３０１のゲート３０１１に蓄積された信号をリセットするためにオン及びオフされるように構成されており、ゲート３０１１は読み出しノードである。幾つかの実施形態において、第３トランジスタ３０５は、最後のサイクルの第１トランジスタ３０１のゲート３０１１に蓄積された信号をリセットするように構成される。

【0040】

第４トランジスタ３０７は第１トランジスタ３０１のゲートに接続され、また、そのドレインを介して第３トランジスタ３０５のドレインに接続されている。フォトダイオード３２７が第４トランジスタ３０７のソースに接続されている。転送ゲートコントローラＴｘ３１７が第４トランジスタ３０７のゲート３０７１に接続され、フォトダイオード３２７を制御するように構成されている。具体的には、フォトダイオード３２７が、Ｔｘゲート３１７を作動させることによりドレインされ、フォトダイオード信号が、第１トランジスタ３０１のゲート３０１１である読み出しノードに転送される。幾つかの実施形態において、第４トランジスタ３０７は、フォトダイオード３２７から転送される信号を制御するように構成される。

【0041】

上記のアクティブピクセルセンサに加えて、本開示は、さらに、出力端におけるメモリスタベースのクロスバーアレイの独特の設計を含む。

【0042】

図３に示されているように、ＡＩ融合アクティブピクセルセンサ３００は、メモリスタベースのクロスバーアレイ３４０を含む。メモリスタベースのクロスバーアレイ３４０は、１つ又は多数の１Ｔ１Ｒセルを含み、これらは、並列に接続された第１の１Ｔ１Ｒセル３４１、第２の１Ｔ１Ｒセル３４３、及び、第３の１Ｔ１Ｒセル３４５を含む。メモリスタベースのクロスバーアレイ３４０は、アクティブピクセルセンサの出力電圧Ｖｏｕｔ３２３に接続されている。一方、第２電圧ドライバ３３３が出力電圧Ｖｏｕｔ３２３に接続されている。第２電圧ドライバ３３３は、メモリスタベースのクロスバーアレイ３４０のメモリスタを、メモリスタ全体に正又は負の電圧を印加することにより設定又はリセットするように構成されている。調整可能な抵抗又はコンダクタンス回路を有する１Ｔ１Ｒセルを追加することにより、ピクセルセンサ上でのアナログドット積を実現できる。例えば、第１の１Ｔ１Ｒセル３４１は、コンダクタンスＧ１を有する第１メモリスタを含み、第２の１Ｔ１Ｒセル３４３は、コンダクタンスＧ２を有する第２メモリスタを含み、第３の１Ｔ１Ｒセル３４５は、コンダクタンスＧ３を有する第３メモリスタを含む。出力電流Ｉｏｕｔｌ、Ｉｏｕｔ２、Ｉｏｕｔ３は、それぞれ、Ｖｏｕｔ×Ｇｌ、Ｖｏｕｔ×Ｇ２、Ｖｏｕｔ×Ｇ３である。このようにすることで、ユーザはＧｌ，Ｇ２，Ｇ３を、フォトダイオードからの信号の受信前に予めプログラムしておくことができる。重みの設定により、画像信号が転送されたならば、画像信号を、予め決定又は予めプログラムされたＧｌ，Ｇ２，Ｇ３を乗じることにより重み付け又は分類できる。これにより、メモリスタベースのクロスバー回路を有するピクセルセンサを用いてＭＬＰを実現するための優れたアナログソリューションが提供される。

【0043】

図４は、本開示の幾つかの実施形態によるＡＩモード下のＡＩ融合ピクセルセンサの動作を示すタイミング図４０００である。初めに、セレクタコントローラ（Ｒｓ）３１３がオンにされ、ＲＳＴパルスがトリガされ、最後のサイクルの読み出し信号をリセットする。リセット時に、小さい電圧ポンプがＶｏｕｔ及びＩｏｕｔにて読み出されることになる。次に、Ｔｘゲート３１７を活性化し、フォトダイオード信号が読み出しノードに転送される。画像信号が蓄積されているため、Ｖｏｕｔ及びＩｏｕｔは、Ｔｘがオフになるまで、時間の経過と共に増大する。Ｉｏｕｔ［２：０］は、Ｉｏｕｔ２、Ｉｏｕｔｌ、及びＩｏｕｔ０を意味する。３つのメモリスタにおけるコンダクタンスＧが異なるため、読み出し電流も異なる。

【0044】

図５は、本開示の幾つかの実施形態による、メモリスタＳＥＴ／ＲＥＳＥＴモード下でのＡＩ融合ピクセルセンサの動作を示すタイミング図５０００である。上述したように、異なるコンダクタンスを有するメモリスタをプログラムするために、第１電圧ドライバ３３１及び第２電圧ドライバ３３３が、メモリスタを設定及びリセットするために使用される。ＳＥＴ／ＲＥＳＥＴモード中に、Ｒｓがオンにされる。設定モードでは、ＶｄｄがＶｏｕｔよりも大きくなるように設定され、これにより正電流がメモリスタに流れてメモリスタをＬＲＳ又はオン状態に切り替える。一方、リセットモードにおいては、ＶｄｄはＶｏｕｔよりも小さく設定され、これにより負電流がメモリスタに流れてメモリスタをＨＲＳ又はオフ状態に切り替える。

【0045】

図６は、追加のメモリスタ及びトランジスタを有するＡＩ融合ピクセルセンサの全体レイアウトを示す概略レイアウト図６０００である。ピクセルセンサにメモリスタを追加することにより、ピクセルサイズはわずかに増大し得る。

【0046】

図７Ａは、隠れ層のないＭＬＰの、導電率Ｇｌ，Ｇ２，Ｇ３を有する３つのメモリスタを有することによる、ＡＩ融合ピクセルセンサの動作下でのアーキテクチャを示すブロック図７０００である

【0047】

図７Ｂは、フォトダイオードから受信した６つの画像信号を表す６つのＶｏｕｔ信号であるＶＩ～Ｖ６を受信したときの、Ｉｏｕｔｌ、Ｉｏｕｔ２、Ｉｏｕｔ３のドット積の合計を示す式７１００である。従って、ＡＩ融合ピクセルセンサは、５つの画像を３つのカテゴリに分類するように構成されており、ＭＬＰが実現されている。

【0048】

図８は、本開示の幾つかの実施形態による、モジュール化されたＡＩ融合ピクセルセンサを示す概略図８０００である。

【0049】

図９は、本開示の幾つかの実施形態による、３クラス分類器としてのモジュール化されたＡＩ融合ピクセルセンサを示す概略図９０００である。図９に示されているように、６つの転送ゲートＴｘにより転送される６つの入力画像信号と、３つの出力信号Ｉｏｕｔｌ，Ｉｏｕｔ２，Ｉｏｕｔ３があるため、全体のＩｏｕｔは、６つの画素の６つのクロスバーからの６つのＩｏｕｔに等しい。こうして、分類器は、モジュール化された実施形態で実現される。

【0050】

図９に示されているように、複数のアクティブピクセルセンサ９０１～９０６が存在する。各アクティブピクセルセンサは、フォトダイオード（図示せず、図３に示したものと同一のフォトダイオード３２７であってよい）と、転送ゲート９１３と、セレクタコントローラ９１１と、リセットコントローラ９１５と、電圧読み出し端（図示せず、図３に示したものと同一の電圧読み出し端３２３であってよい）と、電圧読み出し端に接続された第１の１Ｔ１Ｒセル（図示せず、図３に示したものと同一の１Ｔ１Ｒセル３４１であってよい）と、第２の１Ｔ１Ｒセル（図示せず、図３に示したものと同一の１Ｔ１Ｒセル３４３であってよい）と、第３の１Ｔ１Ｒセル（図示せず、図３に示したものと同一の１Ｔ１Ｒセル３４５であってよい）と、第１の１Ｔ１Ｒセル、第２の１Ｔ１Ｒセル、及び第３の１Ｔ１Ｒセルにそれぞれ接続された第１電流読み出し端９２１と、第２電流読み出し端９２３と、第３電流読み出し端９２５と、各アクティブピクセルセンサにおける第１電流読み出し端の電流の合計にその総電流が等しい第１総電流読み出し端９３１と、各アクティブピクセルセンサにおける第２電流読み出し端の電流の合計にその総電流が等しい第２総電流読み出し端９３３と、各アクティブピクセルセンサにおける第３電流読み出し端の電流の合計にその総電流が等しい第３総電流読み出し端９３５と、を含む。こうして、メモリスタを有するアクティブピクセルセンサを用いたアナログＭＬＰ分類器が形成される。

【0051】

単一の例として本明細書に記載したコンポーネント、オペレーション、又は構造に関し、複数の例が提供され得る。最終的には、様々なコンポーネント、オペレーション、及びデータストア間の境界は幾分任意的であり、特定のオペレーションが特定の例示的な構成に関して説明される。機能のその他の割り当ても想定され、実施形態（複数可）の範囲に含まれ得る。概して、例示的な構成において別々のコンポーネントとして提示された構造及び機能は、組み合わされた構造又はコンポーネントとして実装され得る。同様に、単一のコンポーネントとして提示された構造及び機能が別々のコンポーネントとして実装されてもよい。これら及びその他の変型、修正、追加、及び改善は、実施形態（複数可）の範囲内にある。

【0052】

また、本明細書において、用語「第１の」(first)、「第２の」(second)などを、様々な要素を説明するために用いる場合があるが、これらの要素がこれらの用語により限定されるべきではないことが理解されよう。これらの用語は、１つの要素を別の要素から区別するためにのみ使用される。例えば、「第１のカラム（列）」の全ての出現が一貫して改称され、且つ「第２のカラム」の全ての出現が一貫して改称されている限り、説明の意味を変えずに「第１のカラム」を「第２のカラム」と呼ぶことができ、「第２のカラム」を「第１のカラム」と称し得る。第１のカラムと第２のカラムはいずれもカラムであるが、同一のカラムではない。

【0053】

本明細書で使用した用語は、特定の実施形態を説明するためのものに過ぎず、特許請求の範囲を限定することは意図していない。実施形態及び添付の特許請求の範囲の説明の中で使用されるとき、単数形「a」、「an」、及び「the」は、文脈に別段の指示がない限り、複数形も含むように意図されている。また、本明細書で使用した用語「及び／又は」(and/or)が、列挙した関連項目の１以上の任意の及び全ての可能な組合せを指し、且つ包含することも理解されよう。さらに、用語「備える」(comprises)、及び／又は「備えている」(comprising)は、本明細書で使用される場合、述べられた特徴、整数、ステップ、オペレーション、要素、及び／又はコンポーネントの存在を明示するが、１以上のその他の特徴、整数、ステップ、オペレーション、要素、コンポーネント及び／又はそれらの群の存在又は追加を排除しないことが理解されよう。

【0054】

本明細書で使用される場合、用語「～の場合（もしも）」(if)は、文脈に応じて、「～のとき」(when)、又は、「～の際に」(upon)、又は、「決定に応答して」(in response to determination)、又は、「決定に従って」(in accordance with a determination)、又は、「検出に応答して」(in response to detecting)を意味し、記載された前提条件が真であることを意味すると解釈され得る。同様に、「（記載された前提条件が真である）と決定された場合」、又は「（記載された前提条件が真である）場合」、又は、「（記載された前提条件が真である）とき」、などのフレーズは、文脈に応じて、「決定の際に」又は「決定に応答して」又は「決定に従って」又は「検出した際に」又は「検出に応答して」を意味し記載された前提条件が真であることを意味すると解釈され得る。

【0055】

上述の説明は、例示的な実施形態を具現化する例示的なシステム、方法、技術、命令列、及び計算機プログラム製品を含んでいた。説明のために、多数の具体的な詳細を、本発明の主題の様々な実施形態の理解を提供するために示した。しかし、当業者には、本発明の主題の実施形態が、これらの具体的な詳細なしに実施され得ることが明らかであろう。全体として、よく知られた命令例、プロトコル、構造、及び技術は詳細に示されていない。

【0056】

上述の説明は、説明を目的として、特定の実施態様を参照して記載されている。しかし、上記の例示的な議論は、網羅的であることも、実施態様を開示された正確な形態に限定することも意図していない。多くの修正及び変形が、上記の教示に鑑みて可能である。実施態様の選択及び説明は、原理及びその実用的な応用を最良に説明し、それにより当業者が、実施態様及び様々な修正を加えた種々の実施態様を、企図される特定の用途に適するように最良に利用できるように行われている。

【符号の説明】

【0057】

２００：ＣＭＯＳイメージセンサベースの回路
２０１：ＡＩ融合ピクセルセンサ
２０３：列デコーダ
２０５：行デコーダ
２１１：列増幅器
２１３：マルチプレクサ
２２１：メモリ
３００：ＡＩ融合アクティブピクセルセンサ
３０１：第１トランジスタ
３０３：第２トランジスタ
３０５：第３トランジスタ
３０７：第４トランジスタ
３１３：セレクタコントローラ
３１５：リセットコントローラ
３１７：Ｔｘゲート
３２１：ドレイン電圧Ｖｄｄ
３２３：電圧Ｖｏｕｔ
３２５：リセット電圧源
３２７：フォトダイオード
３３１：第１電圧ドライバ
３４１：第１の１Ｔ１Ｒセル
３４３：第２の１Ｔ１Ｒセル
３４５：第３の１Ｔ１Ｒセル
９１１：セレクタコントローラ
９１３：転送ゲート
９１５：リセットコントローラ
３０１１：第１トランジスタ３０１のゲート

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】