知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023169190
(43)【公開日】2023-11-29
(54)【発明の名称】フォトニックニューラルネットワークシステム
(51)【国際特許分類】
G06N 3/067 20060101AFI20231121BHJP
G06N 3/0464 20230101ALI20231121BHJP
G06G 7/60 20060101ALI20231121BHJP
G06G 7/16 20060101ALI20231121BHJP
G06G 7/14 20060101ALI20231121BHJP
G06E 3/00 20060101ALI20231121BHJP
【ＦＩ】
G06N3/067
G06N3/0464
G06G7/60
G06G7/16 510
G06G7/14
G06E3/00
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023138981
(22)【出願日】2023-08-29
(62)【分割の表示】P 2020516840の分割
【原出願日】2018-09-20
(31)【優先権主張番号】62/561,061
(32)【優先日】2017-09-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/625,711
(32)【優先日】2018-02-02
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】520092945
【氏名又は名称】ルック ダイナミックス，インコーポレイテツド
【氏名又は名称原語表記】ＬＯＯＫ ＤＹＮＡＭＩＣＳ， ＩＮＣ．
【住所又は居所原語表記】１０５ Ｓ． Ｓｕｎｓｅｔ Ｓｔｒｅｅｔ， Ｓｕｉｔｅ Ｔ Ｌｏｎｇｍｏｎｔ， ＣＯ ８０５０１ （ＵＳ）
(74)【代理人】
【識別番号】100105131
【弁理士】
【氏名又は名称】井上 満
(74)【代理人】
【識別番号】100105795
【弁理士】
【氏名又は名称】名塚 聡
(72)【発明者】
【氏名】クリル，リッキ ジェイ
(72)【発明者】
【氏名】バイアルド，ジョナサン シー
(72)【発明者】
【氏名】ブルース，デービッド エー
(57)【要約】 （修正有）
【課題】画像を光学的に処理するでデジタル空間畳み込みと比較して、速度、解像度及び電力効率を大幅に増加させるシステム及び方法を提供する。
【解決手段】データのフレームを畳み込み、追加するためのシフォトニックニューラルネットワークステム１０は、第１のセンサー・ディスプレイ装置１４及び第２のセンサー・ディスプレイ装置２６を含む。各センサー・ディスプレイ装置は、送受信モジュールのアレイを備える。各送受信モジュールは、光センサー素子、光送信器素子及びメモリバンクを備える。ラジアル変調装置２０は、データのフレームを含む光フィールドの透過がフーリエ変換される場所に配置される。ラジアル変調装置２０の変調素子によって実施されるフィルタは、データのフレームを含む光のフィールドを畳み込み、次いで、光センサー素子によって画素毎に検知して電荷を蓄積することで順次的なデータの畳み込みフレームの画素値を加算する。
【選択図】図１
【解決手段】データのフレームを畳み込み、追加するためのシフォトニックニューラルネットワークステム１０は、第１のセンサー・ディスプレイ装置１４及び第２のセンサー・ディスプレイ装置２６を含む。各センサー・ディスプレイ装置は、送受信モジュールのアレイを備える。各送受信モジュールは、光センサー素子、光送信器素子及びメモリバンクを備える。ラジアル変調装置２０は、データのフレームを含む光フィールドの透過がフーリエ変換される場所に配置される。ラジアル変調装置２０の変調素子によって実施されるフィルタは、データのフレームを含む光のフィールドを畳み込み、次いで、光センサー素子によって画素毎に検知して電荷を蓄積することで順次的なデータの畳み込みフレームの画素値を加算する。
【選択図】図１
【特許請求の範囲】
【請求項1】
送受信モジュールのアレイを備える第１のセンサー・ディスプレイ装置であって、各送受信モジュールは光センサー素子と、光送信素子と、複数のメモリセルを有するメモリバンクとを備える、第１のセンサー・ディスプレイ装置と、
送受信モジュールのアレイを備える第２のセンサー・ディスプレイ装置であって、各送受信モジュールは光センサー素子と、光送信素子と、複数のメモリセルを有するメモリバンクとを備えると、
光軸に対して複数の半径方向距離及び角度方向に配置された複数の変調素子を有するラジアル変調器装置と、
前記第１のセンサー・ディスプレイ装置の前記光送信素子と前記ラジアル変調器装置の光送信素子との間に配置された第１のフーリエ変換レンズと、
前記第１のセンサー・ディスプレイ装置の前記光送信素子と前記ラジアル変調器装置の間に配置された第２のフーリエ変換レンズと、
を有し、
前記ラジアル変調器装置が前記第１のフーリエ変換レンズと前記第２のフーリエ変換レンズの両方のフーリエ変換面に配置されるように、前記ラジアル変調器装置が第１のフーリエ変換レンズからの焦点距離および第２のフーリエ変換レンズからの焦点距離に配置された、データフレームを畳み込み及び加算するためのシステム。
送受信モジュールのアレイを備える第２のセンサー・ディスプレイ装置であって、各送受信モジュールは光センサー素子と、光送信素子と、複数のメモリセルを有するメモリバンクとを備えると、
光軸に対して複数の半径方向距離及び角度方向に配置された複数の変調素子を有するラジアル変調器装置と、
前記第１のセンサー・ディスプレイ装置の前記光送信素子と前記ラジアル変調器装置の光送信素子との間に配置された第１のフーリエ変換レンズと、
前記第１のセンサー・ディスプレイ装置の前記光送信素子と前記ラジアル変調器装置の間に配置された第２のフーリエ変換レンズと、
を有し、
前記ラジアル変調器装置が前記第１のフーリエ変換レンズと前記第２のフーリエ変換レンズの両方のフーリエ変換面に配置されるように、前記ラジアル変調器装置が第１のフーリエ変換レンズからの焦点距離および第２のフーリエ変換レンズからの焦点距離に配置された、データフレームを畳み込み及び加算するためのシステム。
【請求項2】
前記ラジアル変調器装置にフィルタを形成及び供給し、前記第１及び第２のセンサー・ディスプレイ装置からのデータのフレームを有する光フィールドの送信の順序を制御し、前記ラジアル変調器装置の前記フィルタで前記データのフレームを畳み込み、前記ラジアル変調器装置からのたたき込まれたデータのフレームを有する光フィールドを検知するためのシステム制御コンポーネントを有する請求項１に記載のシステム
【請求項3】
前記光センサー素子は、感知された光から電荷を蓄積する容量光センサーである請求項１に記載のシステム。
【請求項4】
畳み込みニューラルネットワークのためのデータのフレームを畳み込み及び加算する方法であって、
前記データのフレームを、第１の光軸に沿った空間領域における光フィールドとして順次投影するステップと、
フーリエ変換面において順次前記光フィールドをフーリエ変換するステップと、
光軸に対して種々の半径方向距離及び角度方向で間隔を開けて配置された光変調セグメントを有する光変調器で前記フーリエ変換面において光フィールドを順次畳み込むステップと、
畳み込まれた光フィールドのシーケンスを第１のセンサー・ディスプレイ位置で空間領域に逆フーリエ変換するステップと、
前記第１のセンサー・ディスプレイ位置において、畳み込まれた光フィールドの各々を空間ドメインで電荷蓄積可能な画素位置における容量光センサーで画素毎に検知するステップと、
容量性光センサーに、前記第１のセンサー・ディスプレイ位置において畳み込まれた光フィールドを順次検知することから生じる電荷を蓄積させるステップ
を有する方法。
前記データのフレームを、第１の光軸に沿った空間領域における光フィールドとして順次投影するステップと、
フーリエ変換面において順次前記光フィールドをフーリエ変換するステップと、
光軸に対して種々の半径方向距離及び角度方向で間隔を開けて配置された光変調セグメントを有する光変調器で前記フーリエ変換面において光フィールドを順次畳み込むステップと、
畳み込まれた光フィールドのシーケンスを第１のセンサー・ディスプレイ位置で空間領域に逆フーリエ変換するステップと、
前記第１のセンサー・ディスプレイ位置において、畳み込まれた光フィールドの各々を空間ドメインで電荷蓄積可能な画素位置における容量光センサーで画素毎に検知するステップと、
容量性光センサーに、前記第１のセンサー・ディスプレイ位置において畳み込まれた光フィールドを順次検知することから生じる電荷を蓄積させるステップ
を有する方法。
【請求項5】
メモリセルが、順次感知された光フィールドに対して特定の画素位置において検知された光から生じる蓄積された電荷を有するように、複数の畳み込まれた光フィールドを感知した後に、各センサー内に蓄積された電荷をメモリバンク内の前記メモリセルにシフトするステップを有する、請求項４に記載の方法。
【請求項6】
異なるフィルタを適用して前記光変調器でデータのフレームを有する光フィールドの追加のシーケンスを畳み込むステップ、
前記容量センサーで画素毎に畳み込まれた光フィールドの追加のシーケンスを検知し、各画素位置での検知から生じる電荷を蓄積するステップと、
複数の畳み込まれた光フィールドを検知した後に各センサー内の蓄積された電荷を前もって蓄積された電荷を有するメモリセルにシフトさせつつ、前記前もって蓄積された電荷をメモリバンク内の別のメモリセルにシフトさせるステップと、
第１のセンサー・ディスプレイ位置における各画素位置においてメモリバンク内に畳み込まれて加算されたデータのフレームの３Ｄ畳み込みブロックを構築するために上記プロセスを繰り返すステップ
を有する、請求項５に記載の方法。
前記容量センサーで画素毎に畳み込まれた光フィールドの追加のシーケンスを検知し、各画素位置での検知から生じる電荷を蓄積するステップと、
複数の畳み込まれた光フィールドを検知した後に各センサー内の蓄積された電荷を前もって蓄積された電荷を有するメモリセルにシフトさせつつ、前記前もって蓄積された電荷をメモリバンク内の別のメモリセルにシフトさせるステップと、
第１のセンサー・ディスプレイ位置における各画素位置においてメモリバンク内に畳み込まれて加算されたデータのフレームの３Ｄ畳み込みブロックを構築するために上記プロセスを繰り返すステップ
を有する、請求項５に記載の方法。
【請求項7】
第１のセンサー・ディスプレイ位置での画素位置からの順次的な光フィールドにおける３Ｄ畳み込みブロックを形成する、畳み込まれて加算されたデータのフレームをフーリエ変換してフーリエ変換面内の変調器に送り返すステップと、
光軸に対して種々の半径方向距離及び角度方向で間隔を開けて配置された光変調セグメントを有する光変調器によりフーリエ変換面において光フィールドを順次畳み込むステップと、
畳み込まれた光フィールドのシーケンスを第２のセンサー・ディスプレイ位置で空間領域に逆フーリエ変換するステップと、
電荷蓄積可能な画素位置における容量性光センサーで画素毎に空間領域において畳み込まれた光フィールドの各々を第２のセンサー・ディスプレイ位置で検知するステップと、
容量性光センサーに、第２のセンサー・ディスプレイ位置において畳み込まれた光フィールドを順次検知することから生じる電荷を蓄積させるステップと、
異なるフィルタを適用して光変調器でデータのフレームを有する光フィールドの追加のシーケンスを畳み込むステップと、
第２のセンサー・ディスプレイ位置において画素毎に畳み込まれた光フィールドの追加のシーケンスを容量性センサーで検知し、各画素位置における検知から生じる電荷を蓄積するステップと、
複数の畳み込まれた光フィールドを検知した後に、第２のセンサー・レシーバ位置で各センサーに蓄積された電荷を、以前に蓄積された電荷を有するメモリセルにシフトさせつつ、前記以前に蓄積された電荷をメモリバンク内の別のメモリセルにシフトさせるステップと、
第２のセンサー・ディスプレイ位置における各画素位置においてメモリバンク内に畳み込まれて加算されたデータのフレームの３Ｄ畳み込みブロックを構築するために上記プロセスを繰り返すステップ
を有する、請求項６に記載の方法。
光軸に対して種々の半径方向距離及び角度方向で間隔を開けて配置された光変調セグメントを有する光変調器によりフーリエ変換面において光フィールドを順次畳み込むステップと、
畳み込まれた光フィールドのシーケンスを第２のセンサー・ディスプレイ位置で空間領域に逆フーリエ変換するステップと、
電荷蓄積可能な画素位置における容量性光センサーで画素毎に空間領域において畳み込まれた光フィールドの各々を第２のセンサー・ディスプレイ位置で検知するステップと、
容量性光センサーに、第２のセンサー・ディスプレイ位置において畳み込まれた光フィールドを順次検知することから生じる電荷を蓄積させるステップと、
異なるフィルタを適用して光変調器でデータのフレームを有する光フィールドの追加のシーケンスを畳み込むステップと、
第２のセンサー・ディスプレイ位置において画素毎に畳み込まれた光フィールドの追加のシーケンスを容量性センサーで検知し、各画素位置における検知から生じる電荷を蓄積するステップと、
複数の畳み込まれた光フィールドを検知した後に、第２のセンサー・レシーバ位置で各センサーに蓄積された電荷を、以前に蓄積された電荷を有するメモリセルにシフトさせつつ、前記以前に蓄積された電荷をメモリバンク内の別のメモリセルにシフトさせるステップと、
第２のセンサー・ディスプレイ位置における各画素位置においてメモリバンク内に畳み込まれて加算されたデータのフレームの３Ｄ畳み込みブロックを構築するために上記プロセスを繰り返すステップ
を有する、請求項６に記載の方法。
【請求項8】
前記プロセスを追加のサイクルで繰り返すステップを有する、請求項７に記載の方法。
【請求項9】
前記プロセスの繰り返しサイクルにおいて、複数の前記センサーおよびメモリバンクを一緒にプーリングするステップを有する、請求項８に記載の方法。
【請求項10】
前記複数のセンサーおよびメモリバンクの最大プーリングを含む、請求項８に記載の方法。
【請求項11】
前記第１のセンサー・ディスプレイ位置における前記画素位置における光送信器素子で画素毎に、畳み込まれて加算されたデータのフレームを送信するステップを有する、請求項７に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はニューラルネットワークに関し、より具体的には、光処理を伴う畳み込みニューラルネットワークに関する。
先行技術の状況
先行技術の状況
【0002】
ニューラルネットワークは、外部入力に対する動的状態応答によって情報を処理する、多数の単純で高度に相互接続された処理要素を備えるコンピューティング・システムとして周知である。ニューラルネットワークはパターンを認識し、データをクラスタ化および分類するのに有用である。コンピュータは、ニューラルネットワークを利用して、コンピュータがトレーニングサンプルを分析することによって何らかのタスクを実行することを学習する機械学習を実施することができる。通常、これらの例は、ユーザによって事前にラベル付けされている。例えば、物体又は画像認識システムとして設定されたニューラルネットワークには、「猫」又は「猫なし」とラベル付けされた数千の例示的な画像を供給し、次いで、その結果を使用して、他の画像内の猫を識別するか、又は場合によっては他の画像内に猫が存在しないことを示すことができる。あるいは、物体認識システムとしてセットアップされたそのようなニューラルネットワークがネコ、ウシ、ウマ、ブタ、ヒツジ、車、トラック、ボート、および飛行機などの様々な物体を有する画像の数千の例を供給され、そのようにラベル付けされ、次いで、その結果を使用して、他の画像がネコ、ウシ、ウマ、ブタ、ヒツジ、車、トラック、ボート、または飛行機をその中に有するかどうかを識別することができる。
【0003】
ＣＮＮ（convolutional neural network）は同一ニューロンの同一コピーを多数使用するニューラルネットワークの一種であり、学習が必要なニューロンがどのように振る舞うかを記述する実数値（又は実際の値／actual values）の数をかなり少なくしながら、ネットワークが多くのニューロンを持つことを可能にし、計算的に大きなモデルを表現することを可能にする。畳み込みとは、２つの信号を組み合わせて第３の信号を形成する方法である。ＣＮＮは、通常、ソフトウェアまたはプログラマブルデジタルハードウェアで実施される。
【0004】
ディープ・ラーニングはスタック・ニューラルネットワーク、すなわち、いくつかのレイヤー（レイヤー）を含むネットワークに使用される用語である。レイヤーはノードで構成される。ノード（又は結節）は計算が行われる場所であり、人間の脳のニューロンに緩やかにパターン化されており、十分な刺激に遭遇すると発火する。ノードはデータからの入力を、その入力を増幅または減衰させる係数または重みのセットと結合し、それによって、例えば、どの入力が誤りなくデータを分類するのに最も役立つかなどのアルゴリズムが学習しようとしているタスクのために入力に有意性を割り当てる。これらの入力×重み積は合計され、その合計はノードの活性化機能を通過して、分類の行為のような最終的な結果に影響を及ぼすために、その信号がネットワークを通ってさらに進行するかどうか、およびその程度を決定する。ノードレイヤーは、入力がネットワークを介して供給されるときにオンまたはオフになるニューロンのようなスイッチの行である。各レイヤーの出力は同時に、データを受信する初期入力レイヤーから始まる、後続のレイヤーの入力である。３つ以上のノードレイヤーは、「ディープ」ラーニング（学習）と考えられる。ディープラーニングネットワークでは、ノードの各レイヤーが前のレイヤーの出力に基づいて特徴の別個のセットをトレーニングし、したがって、データ（例えば、ピクチャ、画像、音声など）が通過するレイヤーが多いほど、ノードが認識することができる特徴はより複雑になる。トレーニング中に、ネットワークが次回に同じ種類の画像を予測する可能性を高めるために、逆伝搬と呼ばれるプロセスを調整に用いる。このようなデータ処理および逆伝播は予測が適度に正確となり、改善が見られないまで何度も行われる。次いで、ニューラルネットワークは推論モードで利用されて、新しい入力データを分類し、そのトレーニングから推論される結果を予測することができる。
【0005】
典型的な畳み込みニューラルネットワークは入力レイヤーおよび出力レイヤーに加えて、４つの必須のニューロンレイヤー、すなわち畳み込み（convolution）、アクティブ化（又は活性化／activation）、プーリング（pooling）、および完全接続を有する。最初の１つまたは複数の畳み込みレイヤーでは、何千ものニューロンがパターンを探して、画像内のすべての部分およびピクセルを精査するフィルタの第１のセットとして働く。ますます多くの画像が処理されるにつれて、各ニューロンは特定の特徴をフィルタリングすることを徐々に学習し、これは、精度を改善する。事実上、１つ又は複数の畳み込みレイヤーは、画像を異なる特徴に分解する。次いで、アクティブ化レイヤーは顕著な特徴、例えば、最終的な識別結果において価値または重要性を有する可能性が高い特徴などの顕著な特徴を強調する。例えば、目はフライパンではなく顔を示す可能性が高い。
【0006】
画像全体にわたる畳み込みおよびアクティブ化のすべては、大量のデータを生成し、コンピュータの計算容量を圧倒する可能性があり、したがって、プーリングを使用して、データを、より扱いやすい形式に圧縮する。プーリングは最良のデータを選択し、残りを廃棄するプロセスであり、その結果、より低い解像度のデータセットが得られる。いくつかの種類のプーリングを使用することができ、より一般的な種類のいくつかは、「最大プーリング」および「平均プーリング」である。
【0007】
最後に、完全に接続されたレイヤーにおいて、各縮小または「プールされた」フィーチャマップ（特徴マップ）またはデータは、ニューラルネットワークが例えば、ネコ、ウシ、ウマ、ブタ、ヒツジ、自動車、トラック、ボート、および飛行機に対して学習しているか、またはそれらを識別することが可能にされている項目を表す出力ノード（ニューロン）に接続される。フィーチャマップまたはデータがこれらの出力ノードを通して実行されると、各ノードは、ノードが特定のアイテムとして識別する任意の管理項目マップまたはデータに投票する。ネットワークを通過したイメージデータのネットワークの最終出力は、個々のノードの投票に基づいている。ネットワークのトレーニングの初期には投票がより誤った出力を生成することがあるが、重みを調整し、トレーニングを精緻化するために、画像の数および逆伝播が増加することにつれて、精度が向上し、したがって、最終的に、入力データからの結果の予測または推論は非常に正確になり得る。
【0008】
関連技術の前述の例およびそれに関連する限定は本主題の例示であるが、排他的または網羅的ではないことが意図される。関連技術の他の態様および制限は本明細書を読み、図面を検討することにより、当業者には明らかになるのであろう。
【0009】
本明細書に組み込まれ、本明細書の一部を形成する添付の図面はいくつかの例示的な実施形態および／または特徴を示すが、単独または排他的な実施形態および／または特徴を示すものではない。本明細書に開示された実施形態および図面は、限定ではなく例示であると考えられるべきであることが意図されている。
【図面の簡単な説明】
【0010】
図１は、例示的なフォトニックニューラルネットワークシステムの機能ブロック図である。
【0011】
図２は、図１のフォトニックニューラルネットワークシステムのための画像を光学的に処理し、畳み込むための、例示的なフォトニック畳み込みアセンブリの等角図であり、第２のフーリエ変換レンズの一部は、第２のセンサー・ディスプレイ装置の光センサー・ディスプレイ構成要素のアレイを明らかにするために破断されて示されている。
【0012】
【0013】
【0014】
図５は、実施例のフォトニックニューラルネットワークシステムのフォトニック畳み込みアセンブリの一例の畳み込み機能を示す等角図である。
【0015】
図６は、データ（画像）のフレームを表示する第１のセンサー・ディスプレイ装置と、データの畳み込みフレームを検知する第２のセンサー・ディスプレイ装置とを示す、図２のフォトニック畳み込みアセンブリの例の概略上面図である。
【0016】
図７は、データ（画像）のフレームを表示する第２のセンサー・ディスプレイ装置と、データの畳み込みフレームを感知する第１のセンサー・ディスプレイ装置とを示す、図２のフォトニック畳み込みアセンブリの例の概略上面図である。
【0017】
図８は、第１のセンサー・ディスプレイ装置内の送信・受信モジュール（又は、送受信モジュール）のアレイの機能ブロック図である。External Interfaceは外部インターフェース、Column Controlsは列制御、Row Controlsは行制御、
【0018】
図９は、送受信モジュールのアレイの一部の拡大等角図である。
【0019】
図１０は、例示的な送受信モジュールの拡大等角図である。
【0020】
【0021】
図１２は、センサー・ディスプレイ装置の外部インターフェースへの例示的なシステム・インターフェースの機能ブロック図である。To All RedFivesは、すべてのRedFivesへ。Outputはアウトプット、Analog inはアナログ入力。
【0022】
図１３は、センサー・ディスプレイ装置の例示的な外部インターフェースの機能ブロック図である。Digital Interfaceはデジタルインターフェース、Analog Interfaceはアナログインターフェース、Row &Column Controlsは行列制御、Global Controlsはグローバル制御、Analog Bus Buffersはアナログバスバッファ、Trixel ArrayはTrixelアレイ。
【0023】
図１４は、送受信モジュールのアレイのための行および列制御線レジスタ（又は、行および列制御ラインレジスタ）の概略図である。
【0024】
図１５は、送受信モジュールへのアナログデータラインの概略図である。
【0025】
図１６は、プーリング・チェーン（Pooling Chain）で相互接続されたアレイ内の送受信モジュール（trixels）のいくつかの概略図である。
【0026】
図１７は、送受信モジュール（ピクセル）のプーリング境界線（又は、プーリング境界ライン）と、隣接する送受信モジュール（trixels）との相互接続の拡大概略図である。
【0027】
図１８は、例示的なフォトニックニューラルネットワークシステム１０の例示的な送信受信モジュールにおけるメモリバンクのための例示的なメモリシフトドライバである。MEM SHIFT DRIVERはメモリシフトドライバ。
【0028】
図１９は、メモリバンクのための例示的なアナログ・メモリ読み出しインターフェースの概略図である。MEM READ PADはメモリ読取パッド、APPLY ReLUはReLUを印加、READ AMPは読取アンプ、Pooling Chainはプーリング・チェーン。
【0029】
図２０は、プーリング・チェーンへの送受信モジュール（trixel）アナログ・メモリ読取り平均を示す概略図である。MEM READ PADはメモリ読取パッド、APPLY ReLUはReLUを印加、READ AMPは読取アンプ、Pooling Chainはプーリング・チェーン。
【0030】
図２１は、プーリング・チェーンへの送受信モジュール（trixel）アナログ・メモリ読取り最大値を示す概略図である。MEM READ PADはメモリ読取パッド、APPLY ReLUはReLUを印加、READ AMPは読取アンプ、Pooling Chainはプーリング・チェーン。
【0031】
図２２は、外部データラインに読み出される送受信モジュール（trixel）アナログ・メモリを示す概略図である。MEM READ PADはメモリ読取パッド、APPLY ReLUはReLUを印加、READ AMPは読取アンプ、Pooling Chainはプーリング・チェーン。
【0032】
図２３は、送受信モジュール（trixel）アナログ・メモリピーク値保存を示す概略図である。MEM READ PADはメモリ読取パッド、APPLY ReLUはReLUを印加、READ AMPは読取アンプ、Pooling Chainはプーリング・チェーン。
【0033】
図２４は、送受信モジュール（trixel）アナログ・メモリピーク値リセットを示す。MEM READ PADはメモリ読取パッド、APPLY ReLUはReLUを印加、READ AMPは読取アンプ、Pooling Chainはプーリング・チェーン。
【0034】
図２５は、ReLU(rectified linear unit)応答の例のグラフ表示を示す。Max Voltageは最大電圧、Min Voltageは最小電圧、Linear (Non-ReLU) Responseは線形（非ReLU）応答、Classical ReLU ResponseはクラシカルなReLU応答、Soft ReLU ResponseはソフトなReLU応答を示す。
【0035】
図２６は、送受信モジュール（trixel）のアナログ・メモリへの書き込みを示す概略図である。MEM DRIVERはMEM（メモリ）ドライバ、MEM WRITE PADはMEM書込パッド、Pooling Chainはプーリング・チェーン。
【0036】
図２７は、外部データラインからアナログ・メモリをロードすることを示す概略図である。MEM DRIVERはMEM（メモリ）ドライバ、MEM WRITE PADはMEM書込パッド、Pooling Chainはプーリング・チェーン。
【0037】
図２８は、フラグ・メモリ書込回路を示す概略図である。MEM DRIVERはMEM（メモリ）ドライバ、MEM WRITE PADはMEM書込パッド、Pooling Chainはプーリング・チェーン。
【0038】
図２９は、フラグ・メモリ読出回路を示す概略図である。MEM DRIVERはMEM（メモリ）ドライバ、MEM WRITE PADはMEM書込パッド、Pooling Chainはプーリング・チェーン。
【0039】
図３０は、送受信モジュール（trixel）センサーをプーリング・チェーンに読み取るための光学制御ライン設定を示す概略図である。SNSR READ PADはSNSR（センサ）読取パッド, SNSR AMP SNSR（センサ）読取パッド、Pooling Chainはプーリング・チェーン。
【0040】
図３１は、送受信モジュール（trixel）センサーを再設定するための光制御ラインを示す概略図である。SNSR READ PADはSNSR（センサ）読取パッド, SNSR AMP SNSR（センサ）読取パッド、Pooling Chainはプーリング・チェーン。
【0041】
図３２は、プーリング・チェーンから光送信器要素（変調器）を書き込むための光制御ライン設定を示す概略図である。MOD READ PADはMOD読取パッド, MOD DRIVERはMODドライバ、Pooling Chainはプーリング・チェーン。
【0042】
図３３Ａ～Ｂは、送受信モジュール（trixel）回路の概略図を示す。MEM READ PADはメモリ読取パッド、READ AMPは読取アンプ、APPLY ReLUはReLUを印加、MEM SHIFT DRIVERはMEMシフトドライバ。
【0043】
図３４は、トレーニングモードにおいて補正データのフレームをフーリエ変換するためのフーリエ光センサー装置を有する例示的なフォトニック畳み込みアセンブリを示す。
【0044】
【0045】
図３６は、データ（画像）の実世界フレームをフォトニック畳み込みアセンブリに導入するための、カメラレンズ実施形態を備えたフォトニック畳み込みアセンブリの例を示す。
【発明を実施するための形態】
【0046】
例示的なフォトニックニューラルネットワークシステム（又は、光子ニューラルネットワークシステム）１０の機能ブロック図が図１に示され、フォトニックニューラルネットワークシステム１０のための画像を光学的に処理し、畳み込むための例示的なフォトニック畳み込みアセンブリ１２の等角図が図２に示されている。このフォトニックニューラルネットワークシステム１０による畳み込みは光学的フーリエ変換で実行され、これはデジタル空間畳み込みと比較して、速度、解像度、および電力効率を大幅に増加させる。したがって、ニューラルネットワークを生成し、使用することは典型的なコンピュータアルゴリズムによる処理および計算畳み込みよりも、はるかに高速で、かつ、はるかに少ない電力消費で行うことができる。たたみ込みと合計のすべてが完全にアナログ、フルフレームのフォトニック計算であるため、消費電力は非常に低くなる。以下に説明するように、加算（又は、サミング）は容量性光センサー内に電荷を構築することによって達成される、これはアナログプロセスである。センサーはノイズが非常に低く、クロッキングやその他の過渡ノイズ源がないため、サミングは非常にノイズの少ないプロセスである。フォトニックニューラルネットワーク１０は画像、ビデオ、音声、スピーチ・パターン、または畳み込みニューラルネットワークによって通常処理される任意のものなどの任意のデータを受け入れ、処理することができ、すべての既存の畳み込みニューラル・ネット・アーキテクチャおよびトレーニング方法をサポートする。フォトニックニューラルネットワーク１０はまた、光の速度で処理されたフル解像度で、次のステージのためにすべてのデータ要素がその理想的な位置にあるアーキテクチャを用いてフルフレーム画像並列性を提供し、したがって、ほぼ１００パーセント効率的である。他の利点は、この説明から理解することができる。
【0047】
図１および図２の両方を参照すると、例えばフォトニックニューラルネットワークシステム１０のための画像の光学処理は、フォトニック畳み込みアセンブリ１２で実行される。
本質的に、第１のセンサー・ディスプレイ装置１４は以下でより詳細に説明するように、変調光フィールド１５として、第１のフーリエ変換レンズ１６および偏光子１８を介して、レンズ１６の焦点面に配置されたラジアル（又は、半径方向）変調装置２０に、データのフレーム（例えば、音、スピーチ・パターン、ビデオなどの他のデータの画像または光学表現）を投影する。第１のセンサー・ディスプレイ装置１４によって投影されるデータのフレームは、電子データインターフェース２２を介してサポートエレクトロニクス（以下により詳細に説明する）によって第１のセンサー・ディスプレイ装置１４に供給される値又は信号に基づいて、第１のセンサー・ディスプレイ装置１４によって形成される。フーリエ変換レンズ１６は、回折レンズ、ソリッド凸レンズ、又は任意の他の形態のフーリエ変換レンズを使用することができる。また、レンズ１６に入る前に光をコリメートするために、レンズ１６の前にファイバフェースプレート（図示せず）を配置することができる。
本質的に、第１のセンサー・ディスプレイ装置１４は以下でより詳細に説明するように、変調光フィールド１５として、第１のフーリエ変換レンズ１６および偏光子１８を介して、レンズ１６の焦点面に配置されたラジアル（又は、半径方向）変調装置２０に、データのフレーム（例えば、音、スピーチ・パターン、ビデオなどの他のデータの画像または光学表現）を投影する。第１のセンサー・ディスプレイ装置１４によって投影されるデータのフレームは、電子データインターフェース２２を介してサポートエレクトロニクス（以下により詳細に説明する）によって第１のセンサー・ディスプレイ装置１４に供給される値又は信号に基づいて、第１のセンサー・ディスプレイ装置１４によって形成される。フーリエ変換レンズ１６は、回折レンズ、ソリッド凸レンズ、又は任意の他の形態のフーリエ変換レンズを使用することができる。また、レンズ１６に入る前に光をコリメートするために、レンズ１６の前にファイバフェースプレート（図示せず）を配置することができる。
【0048】
レンズ１６はデータのフレーム（例えば、画像）を焦点面（フーリエ変換面とも呼ばれる）でそのフーリエ等価に変換し、したがって、ラジアル変調装置２０の表面で変換する。
ラジアル変調装置２０は電子データインターフェース２４を介してサポートエレクトロニクス（より詳細に後述する）によってラジアル変調装置２０に装填されたパターン（「フィルタ」とも呼ばれる）に基づいて、データのフレームのフーリエ等価物を含む光フィールド１５を変調し、変調されたデータのフレームを第２のセンサー・ディスプレイ装置２６に反射し、これが結果を検出する。データ逆フーリエ変換の変調フレームを含む反射光フィールドは、ラジアル変調装置２０から第２のセンサー・ディスプレイ装置２６への距離において空間領域に逆変換され、したがって、第２のセンサー・ディスプレイ装置２６に入射する変調データフレームは通過した、すなわち、ラジアル変調装置２０によってフィルタ除去されなかったデータフレームの空間領域特徴である。その結果は画素ごとに第２のセンサー・ディスプレイ・モジュール２６によって検出され、ここで、各画素に入射する光は光の強度および光が画素に入射する時間に比例して電荷を生成する。第１のセンサー・ディスプレイ装置から出るデータの各フレームは、ラジアル変調装置２０によって１つまたは複数のフィルタ（パターン）で変調することができる。また、第２のセンサー・ディスプレイ装置は、ラジアル変調装置２０に適用された１つ以上のフィルタによって変調された１つ以上のデータフレームを第１のセンサー・ディスプレイ装置１４から受信することができる。したがって、第２のセンサー・ディスプレイ装置２６内の各画素の電荷蓄積は以下でより詳細に説明するように、データの１つまたは複数のフレームの１つまたは複数の変調された（すなわち、フィルタリングされた）パターンの合計とすることができ、それによって、第１のセンサー・ディスプレイ装置１４によって投影されたデータの１つまたは複数のフレームの畳み込みを構成する。
ラジアル変調装置２０は電子データインターフェース２４を介してサポートエレクトロニクス（より詳細に後述する）によってラジアル変調装置２０に装填されたパターン（「フィルタ」とも呼ばれる）に基づいて、データのフレームのフーリエ等価物を含む光フィールド１５を変調し、変調されたデータのフレームを第２のセンサー・ディスプレイ装置２６に反射し、これが結果を検出する。データ逆フーリエ変換の変調フレームを含む反射光フィールドは、ラジアル変調装置２０から第２のセンサー・ディスプレイ装置２６への距離において空間領域に逆変換され、したがって、第２のセンサー・ディスプレイ装置２６に入射する変調データフレームは通過した、すなわち、ラジアル変調装置２０によってフィルタ除去されなかったデータフレームの空間領域特徴である。その結果は画素ごとに第２のセンサー・ディスプレイ・モジュール２６によって検出され、ここで、各画素に入射する光は光の強度および光が画素に入射する時間に比例して電荷を生成する。第１のセンサー・ディスプレイ装置から出るデータの各フレームは、ラジアル変調装置２０によって１つまたは複数のフィルタ（パターン）で変調することができる。また、第２のセンサー・ディスプレイ装置は、ラジアル変調装置２０に適用された１つ以上のフィルタによって変調された１つ以上のデータフレームを第１のセンサー・ディスプレイ装置１４から受信することができる。したがって、第２のセンサー・ディスプレイ装置２６内の各画素の電荷蓄積は以下でより詳細に説明するように、データの１つまたは複数のフレームの１つまたは複数の変調された（すなわち、フィルタリングされた）パターンの合計とすることができ、それによって、第１のセンサー・ディスプレイ装置１４によって投影されたデータの１つまたは複数のフレームの畳み込みを構成する。
【0049】
例えば、１フレームのデータは第１のセンサー・ディスプレイ装置１４によって順次投影され、まず赤色、次いで緑色、次いで青色で投影され、放射状変調装置２０は赤色、緑色、および青色の投影のそれぞれに同じまたは異なるフィルタ（パターン変調）を適用することができる。これらのデータの変調フレームの全ては、順次変調されたデータのフレームの各々からの光により、各画素毎の電荷に加算されて、第２のセンサー・ディスプレイ装置２６によって順次検出することができる。次いで、それぞれの画素についてのそれらの電荷は、それぞれのメモリセルに転送され、それらのメモリセルはそれぞれの画素についてのこれらの合計結果を格納し、それによって、第１のセンサー・ディスプレイ装置１４によって空間領域に投影され、放射状変調装置２０内のフィルタによってフーリエ変換領域に畳み込まれた空間領域内のデータのフレームの畳み込みの格納画素値を含む。
【0050】
その処理は第１のセンサー・ディスプレイ装置１４からのデータの同じフレームの赤、緑、青の投影に対してであるがラジアル変調装置２０内の異なるフィルタで、したがって、ラジアル変調装置２０によって反射されたフーリエ変換領域から第２のセンサー・ディスプレイ装置２６への異なる変調パターンで繰り返すことができ、これにより、第２のセンサー・ディスプレイ装置２６のメモリバンク内の別の畳み込みフレームのデータの別の蓄積画素値の別のセットと別の加算結果がもたらされる。第２のセンサー・ディスプレイ装置２６内に畳み込まれたデータの畳み込みフレームを蓄積するものは、ラジアル変調装置２０によるこれらの異なるフィルタ用途の全てに対して第１のセンサー・ディスプレイ装置１４によって投影されたデータのフレームから３Ｄ畳み込みブロックを形成する。要約すると、第１のセンサー・ディスプレイ装置１４からのデータのフレームは、フーリエ面内の一連のフィルタによってラジアル変調装置２０によって乗算され、第２のセンサー・ディスプレイ装置２６のメモリ内に３Ｄ畳み込みブロックを構築するシーケンスで、第２のセンサー・ディスプレイ装置２６によって加算される。３Ｄ畳み込みブロック内のデータの畳み込みフレームの全てについて画素値の全てを格納するのに十分なメモリ容量を仮定して、データの任意の数のこのような畳み込みフレームを３Ｄ畳み込みブロック内に蓄積することができる。その３Ｄ畳み込みブロックは、ニューラルネットワークにおける第１のレベルと考えることができる。
【0051】
次の畳み込みブロック又はレベルについては、第１のセンサー・ディスプレイ装置１４及び第２のセンサー・ディスプレイ装置２６は、機能を入れ替える。第２のセンサー・ディスプレイ装置２６のメモリ内の３Ｄ畳み込みブロックは、次の畳み込みシーケンスのためのデータのフレームとなる。例えば、第２のセンサー・ディスプレイ装置２６のメモリ内の３Ｄ畳み込みブロック内に蓄積された各畳み込みフレームのデータは、第２のフーリエ変換レンズ２８を介して第２のセンサー・ディスプレイ装置２６によってラジアル変調装置２０に投影され、そこでフィルタによって乗算され、第１のセンサー・ディスプレイ装置１４に反射される。第１のセンサー・ディスプレイ装置１４は第１のセンサー・ディスプレイ装置１４のメモリ内に次の３Ｄ畳み込みブロックを構築するために、そのような畳み込み及び加算されたデータのフレームのシリーズを検出し、加算する。
【0052】
このプロセスサイクルは、図５に概略的に示されている。
【0053】
これらの畳み込み処理は、第１のセンサー・ディスプレイ装置１４と第２のセンサー・ディスプレイ装置２６との間で前後に（又は相互に）投影されるデータのフレームを、任意の畳み込みニューラルネットワークアーキテクチャに対して必要な回数だけ繰り返すことができる。後続のサイクルでより多くのフィルタが適用されると、以下により詳細に説明するように、各画素検出からの蓄積電荷を個々のメモリセルに給電する代わりに、複数の画素検出からの蓄積電荷を１つのメモリセルに給電することによって、畳み込みをプールすることができる。したがって、多くの抽象化レベルを有する畳み込みニューラルネットワークを、例示的なフォトニックニューラルネットワーク１０を用いて開発することができる。
【0054】
例示的なラジアル変調器デバイス２０の正面図が図３に示され、例示的なラジアル変調器デバイス２０の例示的なセグメント光変調器の拡大図を有する例示的なラジアル変調器デバイス２０の中心部分の斜視図が図４に示されている。ラジアル変調器デバイス２０は複数の光変調ウェッジセグメント３２（楔形セグメント）を備える光学活性領域３０を有し、その各々は、それぞれのウェッジセグメント３２に入射する光を変調するように独立して作動可能である。図２、図３、及び図４に示す例のラジアル変調装置２０では、ウェッジセグメント３２が複数のウェッジセクタ３４にまとめられており、各ウェッジセクタは中心コンポーネント３６から半径方向外側に延びており、それらが一緒になってラジアル変調装置２０の光学活性領域３０を形成している。図３および図４では図面の混乱を避けるために、ウェッジセグメント３２およびセクタ４３のいくつかのみにこれらの符号を付しているが、この図ではウェッジセグメント３２およびウェッジセクタ３４のすべてが例示的なラジアル変調器デバイス２０内のどこに位置するかを当業者は理解するのであろう。図３及び図４に示す例のラジアル変調装置２０ではウェッジセグメント３２が円形の光学活性領域３０を形成するように配置されているが、他の形状を使用することもできる。
【0055】
上述したように、ウェッジセグメント３２の各々は、各ウェッジセグメント３２をアクティブ化して光を透過させるか、光を遮断するか、または完全な透過と遮断との間で光の透過を変調することができるという意味で、光学的に活性である。したがって、光学活性領域３０に入射する光のビームまたはフィールドは、１つまたは複数のウェッジセグメント３２の任意の組み合わせで変調することができる。空間光変調器は、多くの方法で光を変調するように設計、製造することができる。例えば、２００６年９月５日にRikk Crillに対して発行された米国特許第７，１０３，２２３号は、図２及び図３のラジアル変調装置２０と同様のラジアル空間光変調装置において、ウェッジセグメントを変調するための複屈折液晶材料の使用を例示している。Zhangらの論文「Active meta surface modulator with electro-optic polymer using bimodal plasmonic resonance」、Optics Express、第２５巻、第２４号、２０１７年１１月１７日）は光を変調し、超薄表面法線用途に適した電気光学ポリマーを有する電気的に同調可能な金属格子を記載している。例示の放射状モジュレータ装置２０における光学活性ウェッジセグメント３２として使用するために形作られたこのようなメタ表面光モジュレータ素子４０は、図４では金属グレーティング構造４２を含むものとして示されている。格子構造４２は全て基板５０上に構築された底部金属（例えば、Ａｕ）レイヤー４６と交差指状の頂部薄膜金属（例えば、Ａｕ）格子レイヤー４８との間に挟まれた電気光学ポリマー４４を含む。回折格子４４の周期は、回折が禁止されるように光の波長よりも短い。上部金属レイヤー４８の厚さは、入射光Ｌから電気光学ポリマー４４への直接結合を排除するために表皮深さよりも大きい。底部金属レイヤー４６も、ほぼ完全な反射ミラーとして動作するように、同じ厚さである。本質的に、光Ｌはメタ表面光モジュレータ素子４０の頂部に入り、ポーリング電圧（poling voltage）４５の印加によって周期的にポーリングされる電気光学ポリマー４４内で位相シフトされ、底部金属レイヤー４６から反射し、その第２（すなわち、反射）通過の間にさらに位相シフトされ、９０度回転された光の偏光とともに上面から出る。実施例のラジアル変調装置２０における他のウェッジセグメント３２は同じ種類の光変調素子４０を有するが、各々の特定のウェッジセグメント３２に適合しかつ実質的に充足するように寸法及び形状が決められている。中心コンポーネント３６はまた、光変調素子４０を有することができる。
【0056】
図２～図７に示し、上述したように、例えばラジアル変調装置２０は反射装置であり、ここで、入射光は、ウェッジセグメント３２によって変調され、反射される。しかしながら、ラジアル変調器は代わりに、入射光が変調され、ラジアル変調器を通って伝送される透過装置であってもよい。もちろん、光学構成要素、例えばセンサー・ディスプレイ装置、レンズ、および偏光子の位置はそれぞれの光学構成要素に適切なシーケンスで光フィールドをルーティングするために再配置されなければならないが、当業者は上述の例示的なフォトニックニューラルネットワーク１０に精通すれば、そのような再配置を行う方法を理解するであろう。
【0057】
図３および図４に示されるように、かつ簡単に上述されるように、光学的に活性なウェッジセグメント３２は、丸い中心コンポーネント３６から光学的に活性な領域３０の周囲に半径方向に延在する複数のウェッジセクタ３４にグループ化される。また、ウェッジセグメント３２は、中心コンポーネント３６の周囲に同心円状のリング状に配置されている。最も内側の同心円状リング以外のウェッジセグメント３２の各同心円状リングは直ぐに隣接する内側リングの外半径の２倍の外半径を有し、これはフーリエ変換におけるスケール分布に一致する。従って、ウェッジセクタ３４内の半径方向外側に続くウェッジセグメント３２の各々は、直前のウェッジセグメント３２の２倍の長さである。画像のフーリエ変換面上でフィルタとして機能するラジアル変調器の詳細な説明は例えば、２００６年９月５日にRikk Crillに発行された米国特許第７，１０３，２２３号に見ることができる。ここでは空間ドメイン内のより高い空間周波数形状コンテンツからの光エネルギーがより低い空間周波数コンテンツよりも半径方向外側に分散され、一方、より高い空間周波数形状コンテンツから及びより低い空間周波数コンテンツからの光エネルギーの角度配向および強度は画像のフーリエ変換において保存されると言うのが十分である。したがって、フーリエ変換面内のフーリエ変換画像の中心（光軸）から特定の角度配向で、かつ特定の半径距離で配置された特定のウェッジセグメント３２によって伝達（又は、透過）された光エネルギーは投影において逆フーリエ変換されて、特定のウェッジセグメント３２と同じ角度配向を有する元の画像からの形状コンテンツ（形状コンテンツ）（特徴）、及び、そのような光エネルギーがフーリエ変換面内で分散された半径方向の広がりに対応する範囲内の空間周波数を有するその角度配向の形状コンテンツ（特徴）のみを表示するように逆フーリエ変換される。これらの逆フーリエ変換された特徴（形状コンテンツ）の光強度（明るさ）はこれらの特徴（形状コンテンツ）が元の画像において有していた光強度（明るさ）に対応し、これらは元の画像におけるものと同じ位置にある。もちろん、フーリエ変換面内の特定のウェッジセグメント３２によって遮断されて透過されないオリジナル画像の光エネルギーに含まれる形状コンテンツ（特徴）は、逆フーリエ変換画像において空間領域に戻って欠落することになる。また、フーリエ変換面内の特定のウェッジセグメント３２によって、部分的にのみ遮断され、したがって部分的に透過される光エネルギで構成される形状コンテンツ（特徴）は上述のように、同じ角度配向および特定の空間周波数を有する空間領域に逆フーリエ変換され、しかし、強度（輝度）が低下する。（又は、また、フーリエ変換面内の特定のウェッジセグメント３２によって、部分的にのみ遮断され、したがって部分的に透過される光エネルギで構成される形状コンテンツ（特徴）は上述のように、同じ角度配向および特定の空間周波数で空間領域に逆フーリエ変換され、しかし、強度（輝度）が低下する。）したがって、上記で説明し、以下でより詳細に説明するように、元の画像の形状コンテンツ（特徴）の一部が完全または部分強度（明るさ）で逆フーリエ変換画像に保存され、形状コンテンツ（特徴）の一部が逆フーリエ変換画像で完全に削除された、空間領域に戻った逆フーリエ変換画像は図５に示すように、ニューラルネットワークの３Ｄ畳み込みブロックの構築で検出され使用される畳み込み画像である。
【0058】
したがって、図５を参照すると、第１のフィルタ５４がデータインターフェース２４を介して放射状変調装置２０にロードされ、これにより、ウェッジセグメント３２が第１のフィルタ５４によって設定されるパターンで光を遮断し、または、光を完全にまたは部分的に透過させるように設定される。例えば、LEGO（登録商標）玩具構成ブロック５２の山の画像を含むデータの第１のフレームがデータインターフェース２２を介して第１のセンサー・ディスプレイ装置１４にロードされ、したがって、第１のセンサー・ディスプレイ装置１４内の表示構成要素（図５には示されていない）は図５に見られるように、LEGO（登録商標）玩具構成ブロック５２の画像を含むデータのフレームを表示するように設定される。レーザー照射１３は本質的には第１のフーリエ変換レンズ１６を通して及び偏光器１８を通してデータ５０のフレームを放射状変調器装置２０に照射する第１のセンサー・ディスプレイ装置１４上に向けられ、これは図６にも示されるように第１のフーリエ変換レンズ１６から焦点距離Ｆｌ、すなわち、第１のフーリエ変換レンズ１６の焦点面内に配置される。フーリエ変換レンズ１６は像５０を含む光フィールド１５をラジアル変調装置２０の表面上の焦点に集める。
LEGO（登録商標）玩具構成ブロック５２の画像を含むデータ５０のフレームはフーリエ変換領域においてウェッジセグメント３２ラジアル変調器デバイス２０によってフィルタで畳み込まれ、これは、上で説明したように、いくつかの光を完全にまたは部分的に反射するか、または画像を構成するいくつかの光を遮断する。ウェッジセグメント３２は反射光を位相シフトし、したがって、偏光を回転させ、その結果、ラジアル変調装置２０によって反射された光は反射光フィールド５６によって示されるように、偏光子１８によって第２のセンサー・ディスプレイ装置２６に反射される。したがって、上で説明したように、LEGO（登録商標）玩具構築ブロック５２の画像のデータ５０の元のフレームの幾つかの形状コンテンツ（特徴）は図５に示すように、第２のセンサー・ディスプレイ装置２６に入射する畳み込み画像において欠けているか、またはそれほど強くない、すなわちフィルタ除去されている。その畳み込みデータ（画像）のフレームは、第２のセンサー・ディスプレイ装置２６で検出され、第２のセンサー・ディスプレイ装置２６で幾つかの後続の畳み込み画像と加算されて、第１の畳み込み加算データフレーム（画像）５８を形成する。第１の畳み込み加算されたデータフレーム（画像）５８は図５に概略的に示されるように、３Ｄ畳み込みブロック６４を構築するために、後続の畳み込み加算されたデータフレーム（画像）との累算のためにメモリバンクに転送され得る。
LEGO（登録商標）玩具構成ブロック５２の画像を含むデータ５０のフレームはフーリエ変換領域においてウェッジセグメント３２ラジアル変調器デバイス２０によってフィルタで畳み込まれ、これは、上で説明したように、いくつかの光を完全にまたは部分的に反射するか、または画像を構成するいくつかの光を遮断する。ウェッジセグメント３２は反射光を位相シフトし、したがって、偏光を回転させ、その結果、ラジアル変調装置２０によって反射された光は反射光フィールド５６によって示されるように、偏光子１８によって第２のセンサー・ディスプレイ装置２６に反射される。したがって、上で説明したように、LEGO（登録商標）玩具構築ブロック５２の画像のデータ５０の元のフレームの幾つかの形状コンテンツ（特徴）は図５に示すように、第２のセンサー・ディスプレイ装置２６に入射する畳み込み画像において欠けているか、またはそれほど強くない、すなわちフィルタ除去されている。その畳み込みデータ（画像）のフレームは、第２のセンサー・ディスプレイ装置２６で検出され、第２のセンサー・ディスプレイ装置２６で幾つかの後続の畳み込み画像と加算されて、第１の畳み込み加算データフレーム（画像）５８を形成する。第１の畳み込み加算されたデータフレーム（画像）５８は図５に概略的に示されるように、３Ｄ畳み込みブロック６４を構築するために、後続の畳み込み加算されたデータフレーム（画像）との累算のためにメモリバンクに転送され得る。
【0059】
次いで、第２のセンサー・ディスプレイ装置２６と第１のセンサー・ディスプレイ装置１４とは、上述したように役割を入れ替えて、第２のセンサー・ディスプレイ装置２６が表示モードになり、第１のセンサー・ディスプレイ装置１４がセンサーモードになる。第２のセンサー・ディスプレイ装置２６を表示モードにすると、次いで、第１の畳み込み及び加算されたデータフレーム（画像）５８が図７に概略的に示すように、第２のセンサー・ディスプレイ装置２６によって放射状変調装置２０に投影され、そこで、追加のフィルタで畳み込まれ、次いで、放射状変調装置２０によって反射されて第１のセンサー・ディスプレイ装置１４に戻る。この役割の入れ替えは、図７に図式的に示されており、第２のセンサー・ディスプレイ装置２６は表示モードに切り替わり、第１のセンサー・ディスプレイ装置１４はセンサーモードに切り替わる。表示モードでは、第２のセンサー・ディスプレイ装置２６の表示構成要素がその第１の畳み込み及び加算されたデータフレーム（画像）５８を表示するようにプログラムされる。従って、第２のセンサー・ディスプレイ装置２６上のレーザー照射６０は第１の畳み込み及び加算されたデータのフレーム（画像）５８を第２の光学軸６２に沿って第２のフーリエ変換レンズ２８を通って偏光子１８に照射し、これは、第１の光学軸６１に沿って光フィールド６４をラジアル変調装置２０に反射する。第２光軸６２及び第１光軸６１に沿った第２フーリエ変換レンズ２８とラジアル変調装置２０との光学距離は、第２フーリエ変換レンズ２８の焦点距離と等しい。したがって、フーリエ変換面におけるラジアル変調装置２０における光フィールド６４は、第１の畳み込み加算されたデータフレーム（画像）５８のフーリエ変換である。ラジアル変調装置２０は第１の畳み込み及び加算されたデータフレームのフーリエ変換にフィルタを適用して、第２の畳み込みをデータフレームに提供し、上述したように、位相シフトを伴ってそれを反射して、第１の光学軸６１に沿って第１のセンサー・ディスプレイ装置１４に伝搬する。第１のセンサー・ディスプレイ装置１４は、今度は上述したように検出器の交換された役割において、ラジアル変調装置２０によって適用されるフィルタによって畳み込まれたデータのフレーム（画像）を検出する。次いで、第１のセンサー・ディスプレイ装置１４によって検出されたデータ（画像）の畳み込みフレームは第１のセンサー・ディスプレイ装置１４によって、第１のセンサー・ディテクション装置１４によって引き続いて検出されたデータ（画像）の他のいくつかの畳み込みフレームと加算され、このような畳み込み加算されたデータ（画像）のフレームはメモリバンクに転送され、第２の３Ｄ畳み込みブロック６６を構築するために使用され、これは図７に図式的に示されている。
【0060】
次に、第１および第２のセンサー・ディスプレイ装置１４、２６の役割が再び交換され、第１のセンサー・ディスプレイ装置１４によって感知され合計されたデータの畳み込みおよび合計フレームが、上述したのと同じ方法でシステムを通して逆投影され、ラジアル変調器装置２０によって畳み込まれ、次いで第２のセンサー・ディスプレイ２６によって検出され、合計されて、第１の３Ｄ畳み込みブロック６４を構築し続け、システムを通して送り返されて、追加のフィルタおよび合計で畳み込まれて、第２の３Ｄ畳み込みバンク６６を構築し続ける。このプロセスはより深く、より深い畳み込みを構築するために、または推論ニューラルネットワークが完了するまで、所望の回数だけ繰り返される。
【0061】
第１のセンサー・ディスプレイ装置１４及び第２のセンサー・ディスプレイ装置２６は各々、以下でより詳細に説明するように、３Ｄ畳み込みブロック６４、６６及びその後の畳み込みブロックを構築するために、引き続いて受け取られた畳み込みフレームのデータ（画像）を受け取り且つ合計するデータ（画像）の畳み込みフレームを記憶するためのメモリバンクを有することができる。したがって、システムにロードされるデータ（画像）の最初のフレームを除いて、データの入力フレームは、前の畳み込みサイクルからセンサー・ディスプレイ装置１４、２６の１つのメモリバンクに常に常駐することができる。一連のフィルタ６８はデータ（画像）のフレームのフィルタでの畳み込みのために、それぞれの第１及び第２のセンサー・ディスプレイ装置１４，２６によってデータ（画像）のフレームの表示と同期して放射状変調装置２０内にロードされる。
【0062】
フーリエ変換領域で光学的に計算されたことを除いて、このフォトニックニューラルネットワークシステム１０での畳み込みは、伝統的なデジタル方法によって計算される畳み込みと同じである。しかしながら、以下でより詳細に説明するように、全てのデータ要素がサイクルの次の畳み込み段階のための理想的な位置にあるアーキテクチャで光速で処理される任意の解像度における全フレーム並列性はほぼ１００パーセントの効率であり、従って、上述のように、且つ以下により詳細に説明するように、実施例のフォトニックニューラルネットワークシステム１０で畳み込みブロックを構築することは、伝統的なデジタル方法によって計算される畳み込みよりもはるかに多くのパワー及び速度を提供する。
【0063】
上述したように、第１および第２のセンサー・ディスプレイ装置１４、２６の各々は、画素単位で、光検出および画像表示の両方の能力を有する。この例ではフォトニックニューラルネットワークシステム１０において、第１のセンサー・ディスプレイ装置１４及び第２のセンサー・ディスプレイ装置２６は互いに本質的に同じ構成要素及び構造を有しているので、それらの装置の詳細は主として第１のセンサー・ディスプレイ装置１４を参照して後述されるが、そのような詳細も第２のセンサー・ディスプレイ装置２６を表すものであることを理解する。したがって、以下の説明では、第１のセンサー・ディスプレイ装置１４を単にセンサー・ディスプレイ装置１４と呼ぶことがある。一例のセンサー・ディスプレイ装置１４の機能ブロック図が図８に示され、送受信モジュール（送信・受信モジュール）８２のアレイ８０を備え、その各々は以下により詳細に説明されるように、光透過および光検出素子およびメモリバンクを有する。アレイ８０内の送受信モジュール８２のための行および列制御、ならびに外部制御回路（図８には図示せず）への混合アナログおよびデジタルインターフェース２４が、入出力データのために提供され、これについては以下でより詳細に説明する。図９に図式的に示されたアレイ８０の拡大部分はアレイ８０内の送受信モジュール８２の例を図示し、例示の送受信モジュール８２のさらなる拡大図形的表現は図１０に示されている。例示の送受信モジュール８２の各々がマイクロ光送信器要素８４とマイクロ光検出器（センサー）要素８６の両方を含み、これらは、送受信モジュールが典型的な計算畳み込みからの典型的な計算畳み込みからのニューラルネットワーク結果と少なくとも同程度に有用なニューラルネットワーク結果、およびコンピュータアルゴリズムによる処理と同様に、十分な解像度で、画像またはデータのフレームの実質的に同じ画素位置で光の送信器および光の受信器として有効に機能するために、十分に小さく、かつ互いに十分に近接している。例えば、代表的なフォトニックニューラルネットワークシステム１０を用いたニューラルネットワークが典型的な計算畳み込みおよびコンピュータアルゴリズムによる処理からのニューラルネットワークの結果と同様に有用な結果を生じるには、マイクロ光送信素子８４およびマイクロ光検出素子８６は、互いに４０マイクロメートル以下だけオフセットされ得、両方とも、１６０平方マイクロメートル以下の面積を有する送受信モジュール８２内に適合され得る。
【0064】
図１０に最もよく示されているように、光送信器要素８４および光センサーまたは光受信器検出器要素８６に加えて、例示的な送受信モジュール８２は、変調器ドライバ８８、メモリバンク９０、メモリインターフェース９２、アナログおよびデジタル制御要素９４、アレイ８０内の隣接する送受信モジュール８２とのプーリング接続を行うためのプーリング接続９６、プーリング制御要素９８、およびセンス増幅器１００を有する。表示モードでは、例えば、第１のセンサー・ディスプレイ装置が上述したように、ラジアル変調器２０に１フレームのデータ（画像）を投影すると、図２、図５、および図６に示すように、レーザー照射が送受信モジュール８２の背面に向けられる。データ（画像）の最初のフレームは、データ（又は日付）（画像）のフレームの各画素に対する画素値から構成される。これらの画素値は、レーザー照射の光フィールド内にデータ（画像）の第１のフレームを生成するパターンでアレイ８０のそれぞれの送受信モジュール８２に供給される。図１０に示すように、送受信モジュール８２の個々の１つに対して、画素値はアナログおよびデジタル制御エレメント９４に供給され、これにより、画素値が変調器ドライバ８８にシフトされる。変調器ドライバ８８はピクセル値に従って光送信器素子８４上の電圧を変調して、他の光送信器素子８４がそれぞれのピクセルの光を伝送すると同時にレーザー照射のピクセルを伝送する方法で光送信器素子８４に入射されるレーザー照射を変調し、これが一緒になって、アレイ８０を透過するレーザー光フィールドにデータのフレーム（画像）を課す。データ（画像）の最初のフレームが第１のセンサー・ディスプレイ装置１４によって送信され、畳み込まれたデータ（画像）のフレームが第１のセンサー・ディスプレイ装置１４に戻された後、その畳み込まれたデータ（画像）のフレームを含む光フィールドが第１のセンサー・ディスプレイ装置１４のアレイ８０内のすべての送受信モジュール８２のセンサー８６に入射される。従って、アレイ内の各送受信モジュール８２上のセンサー８６は入射光フィールドの画素を検出し、従って、入射光フィールドによって構成される（又は、入射光フィールドに含まれる）データ（又は日付）のフレーム（画像）の画素を検出する。当業者は光センサー、例えば電荷結合素子（CCD）がどのように構成され機能するかを理解し、そのような光センサーまたは同様の光センサーをセンサー８６に使用することができる。本質的に、各光センサーは光子内のエネルギーの大部分を吸収し、入射光強度に比例する電荷を生成し、その電荷を容量性構成要素内に蓄積することによって、入射光子に応答する光感知フォトダイオードまたは容量性構成要素を有する。光がセンサーに入射する時間が長いほど、容量性構成要素に電荷が蓄積される。したがって、各センサー８６に入射する光エネルギーの画素は電荷をそのセンサー８６内に構築させ、電荷の大きさはその画素内の入射光の強度およびその画素内の光がセンサー８６に入射される時間に比例する。
【0065】
上述したように、一連の畳み込まれたフレームのデータ（画像）がセンサー・ディスプレイ装置１４に送信され、これによって受信される場合、データ（画像）の連続した（シーケンスの）フレームを含む連続した光フィールドの光エネルギー（光子）はセンサー８６内に電荷を生じさせるので、個々のセンサー８６によって感知された連続した光フィールドからの光フィールドエネルギーの連続した画素を蓄積することができ、すなわち、その個々のセンサー８６の容量性成分に加えることができ、それによって、その特定の画素位置における光フィールドのシーケンスからの光エネルギーの和であるセンサー８６内に蓄積された電荷が生じる。従って、センサー・ディスプレイ装置１４によって受信されたデータ（画像）の畳み込みフレームのシーケンスは、センサー・ディスプレイ装置１４の送受信モジュール８２のアレイ８０によってピクセル毎に感知され、加算される。次に、上述したように、データ（画像）の所定数の個々の畳み込みフレームが受信され、合計されると、各個々の送受信モジュール８２のセンサー８６に蓄積された（合計された）電荷は、その個々の送受信モジュール８２のメモリバンク９０にシフトされる。センサー８６に蓄積された（加算された）電荷をメモリバンク９０にシフトする同じ動作が、アレイ９０内のすべての送受信モジュール８２で同時に行われる。したがって、そのシフト動作の実行時に、送受信モジュール９２のアレイ９０は、データ（画像）の入力フレームのその一連または連続した畳み込みおよび加算から生じるデータ（画像）の完全な畳み込みおよび加算されたフレームを送受信モジュール９２の個々のメモリバンク９０に格納している。図１０を参照すると、その特定の送受信モジュール８２の画素位置の、その最初の（又は、第１の）畳み込まれ、合計されたデータ（画像）のフレームに対する画素値は、センサー８６から第１のメモリセル１０２にシフトされる。したがって、アレイ８０のすべての送受信モジュール８２のメモリバンク９０内のすべての第１のメモリセル１０２の合成は、ピクセルごとでのデータ（画像）の畳み込み加算フレームを含む。
【0066】
次いで、上述のように、データ（画像）のフレームの後続の第２のシリーズまたはシーケンスが畳み込み加算されると、結果として得られる第２の畳み込み加算されたデータ（画像）のフレームのその画素に対するセンサー８６内に蓄積された電荷は、第１の畳み込み加算されたデータ（画像）のその画素からの電荷がメモリ９０の第２のメモリセル１０４に同時にシフトされるにつれて、第１のメモリセル１０２内にシフトされる。当業者はそのようなシフトレジスタメモリがどのように作られ、動作されるかを理解するので、詳細な説明はこの説明の目的のために必要ではない。この同じプロセスは、アレイ８０内の他の送受信モジュール８２内で同時に発生する。したがって、アレイ８０のすべての送受信モジュール８２のメモリバンク９０内のすべての第１および第２のメモリセル１０２、１０４の合成は、ピクセルごとにデータ（画像）の第１および第２の畳み込み加算フレームを含む。
【0067】
データ（画像）のフレームのより多くの後続のシリーズまたはシーケンスが上述のように畳み込まれ合計されるにつれて、そのようなデータ（画像）の順次（又は、シーケンスで）畳み込まれ合計されたフレームの合計された画素値は第１のメモリセル１０２に順次シフトされ、一方、各先行する画素値はメモリバンク９０のメモリセルに沿ってさらにシフトされ、そのプロセスは上述のようにアレイ８０の送受信モジュール８２のすべてにおいて同時に行われる。従って、畳み込み及び加算の一連又はシーケンスの全てからのデータ（画像）のこのような畳み込み及び加算されたフレームの全ては、送受信モジュール８２のアレイ８０内のメモリバンク９０のメモリセル内に画素毎に記憶される。データ（画像）のこのような畳み込み及び加算されたフレームの各々は畳み込みと呼ばれることがあり、従って、送受信モジュール８２のアレイ８０は、送受信モジュール８２の個々のメモリバンク９０内に個々のメモリセルが存在するのと同じ数の畳み込みを画素毎に保持することができる。例えば、図９および図１０に概略的に示される例示的な送受信モジュール８２は、それぞれ、６４個の個々のメモリセル１０２、１０４、．．．、ｎから構成されるメモリバンク９０を有する。従って、送受信モジュール８２の例示的なアレイ８０はフル解像度でピクセル毎に、６４回ものフレームのデータ（画像）を保持することができる。送受信モジュール８２（図１参照）内の光送信素子８４および光センサー素子８６が以下でより詳細に説明するように、隣接する送受信モジュール８２の光送信素子８４および光センサー素子８６と共にプールされると、プールされたグループ内の光送信素子８４および光センサー素子８６のすべてが、データ（画像）のフレームのより粗い表現のために同じ輝度を表示する。このようなプーリング条件下では、プールされたグループ内の送受信モジュール８２のメモリバンク９０を順次使用して、プールされたグループ全体の送受信モジュール８２について感知され、合計された結果を保存することができ、それによって、実効メモリ容量および深さを増大させることができる。例えば、６４個のメモリセルを含むメモリバンク９０をそれぞれ有する送受信モジュール８２が５×５グループにプールされる場合、すなわち、グループ当たり２５個の送受信モジュール８２がプールされる場合、各グループの実効メモリ容量または深さは、１，６００個のメモリセル（６４×２５＝１，６００）である。したがって、データ（画像）の順次の畳み込み加算フレームは最初に、その送受信モジュール８２のメモリバンク９０が満たされるまでグループ内の送受信モジュール８２の１つに供給され、次に、さらなる順次畳み込み加算されたデータ（画像）のフレームはその第２の送受信デバイス８２のメモリバンク９０も満たされるまでグループ内の第２の送受信モジュール８２に供給され、次に、グループ内の残りの送受信モジュール８２のそれぞれのメモリバンク９０を順次満たし続けることができる。グループ内のすべての伝送モジュール８２のメモリバンク９０が満たされる場合、メモリ内の畳み込みのそのブロックは、１，６００の深さになる。アレイ８０内の送受信モジュール８２のメモリ９０内の畳み込みの集約は例えば、図５に図式的に示す３Ｄ畳み込みブロック６５である。このような畳み込みの所望の数が最後の３Ｄ畳み込みブロックのためにアレイ内に蓄積されると、センサー・ディスプレイ装置１４による送信のために、ピクセル毎にメモリバンク９０から読み出され、プロセスの終了時に電子データインターフェース２２を通して戻され、ニューラルネットワーク結果を出力することができる。
【0068】
しかしながら、例のフォトニックニューラルネットワークシステム１０を用いてデータのフレームを繰り返しさらに畳み込み、加算するディープラーニングプロセスの間、最も最近に形成された畳み込みブロックの画素値は、個々の送受信モジュール８２内の個々のメモリバンク９０のメモリセル内に依然として存在することを繰り返すことが重要である。したがって、センサー・ディスプレイ装置１４が、畳み込みブロックが送受信モジュール８２のメモリ９０内に蓄積されるセンサーモードから、より深い畳み込み処理のためにその畳み込みブロックがシステム１０の光学コンポーネントを介して送信され戻される表示モードに切り替わると、畳み込みブロックを有する（又は畳み込みブロックを構成する）データ（画像）の畳み込みフレームおよび合計フレームのそれぞれに対する画素値を、メモリ９０のメモリセル１０２、１０４，．．．，ｎから外部コンピュータ処理、メモリ、および他の構成要素または機能への、またはそれらからのデータのさらなる処理および転送なしに、変調器ドライバ８８へ直接読み出す（シフトする）ことができる。代わりに、センサーモードから表示モードに切り換えると、畳み込みブロックを有する（又は畳み込みブロックを構成する）データ（画像）の個々のフレームの画素値がメモリ９０から直接変調器ドライバ８８に順次読み出され（シフトされ）、これにより、光送信器素子８４が、その畳み込みサイクルでさらに畳み込まれるべきデータ（画像）のフレームの画素値を光フィールドに書き込む（課す）方法で、送受信モジュール８２に入射されるレーザー光を変調するように駆動される。従って、アレイ８０内の送受信モジュール８２の全てが同時に表示モードに切り替わり、それらの各々における画素値がレーザー光フィールド内に書き込まれる（課される）ので、センサー・ディスプレイ装置１４によって送信される光フィールド内のそれらの画素値の合成は、アレイ８０内の送受信モジュール８２のメモリバンク９０内に加算され記憶されたデータ（画像）の先に畳み込まれたフレームを複製する。
先に畳み込まれ、合計されたデータのフレーム（画像）を有する光フィールドがフーリエ変換レンズ１６を通して、フーリエ変換面内のフィルタでの更なる畳み込みのためにラジアル変調器２０に投影され、次いで、先に説明したように、他の（例えば、第２の）センサー・ディスプレイ装置２６で検出される。
先に畳み込まれ、合計されたデータのフレーム（画像）を有する光フィールドがフーリエ変換レンズ１６を通して、フーリエ変換面内のフィルタでの更なる畳み込みのためにラジアル変調器２０に投影され、次いで、先に説明したように、他の（例えば、第２の）センサー・ディスプレイ装置２６で検出される。
【0069】
また、上で説明したように、これらの畳み込みおよび加算プロセスは、多くのフィルタを有する多くのサイクルを経て何度も繰り返される。また、第１のセンサー・ディスプレイ装置１４および第２のセンサー・ディスプレイ装置は第１のセンサー・ディスプレイ装置１４の送受信モジュール８２が第２のセンサー・ディスプレイ装置２６の対応する送受信モジュール８２と光学的に整列するように、それぞれの光軸６１、６２上に整列され（図２、図６、および図７参照）、その結果、対応する送受信モジュール間を含む、第１および第２のセンサー・ディスプレイ装置１４、２６のそれぞれのアレイ８０間に完全な光学的位置合わせが存在する。従って、例示のフォトニックニューラルネットワーク１０は、光速度でフルフレームのフル解像度の完全並列畳み込みを行う。利得、しきい値（ReLU）、最大または平均プーリング、および他の機能などの他の効果は以下でより詳細に説明するように、専用回路で同時に実行され、これらの効果は、追加の時間遅延を呈さない。例えば、VGG16またはInception-Resnet-v2を含む、事実上任意の畳み込みニューラルネットワークアーキテクチャを収容することができる。全ての処理はセンサー・ディスプレイ装置１４、２６上で完全に行われ、データ（画像）のフレームをこれらの装置に再配置したり、これらの装置から再配置したりすることはない。推論動作では、ユーザアプリケーションは画像をロードし、数マイクロ秒後に結果を受け入れるだけでよい。
【0070】
送受信モジュール８２内のマイクロ光送信器要素８４は、光を放射または変調する任意の光変調器デバイスとすることができる。上述の例示的なフォトニックニューラルネットシステム１０の説明は、光が光送信器要素を透過することを可能にするか、または抑制することによって光送信器要素の背面に入射するレーザー光を変調する光送信器要素８４を含む。しかしながら、光送信器要素８４は入射光を変調し、それを反射する反射光変調器デバイスに置き換えることができ、これは、光が反射される光送信器要素の同じ表面にレーザー照射が入射することを必要とし、かつ、上述したフォトニックニューラルネットワークの例を理解するようになった後で当業者に理解されるように、光学要素の再配置を必要とするのであろう。別の代替案として、光送信器要素８４を発光器で置き換えることができ、これにより、レーザー光フィールドが背面に入射し、及び変調器を通過することが不要になる。
【0071】
一例の光送信器要素８４が図１１に示されており、これは、図４に示され、上述されたメタ表面光変調器要素４０と同様の入射光の位相変調を行う。しかしながら、図１１のこの例の光送信器要素８４は図４の光反射要素の代わりに光透過要素であるので、最下部の金属レイヤー４６は頂部電極４８のように交差するように格子構造の間に空隙が生じ、その結果、入射光Ｌは電気光学ポリマー４４によって位相変調されて、電気光学ポリマー４４によって遮断されるか、又は格子構造４２を通過することが可能である。基板５０は、光Ｌに対して透明である。ポーリング電圧４５は上述したように、光フィールドＬで課される画素値に従って、送受信モジュール８２の変調器ドライバ８８によって駆動される。このような透過型光変調器のさらなる詳細はKosugiらの論文「Surface-normal electro-optic-polymer modulator with silicon subwavelength grating」、IEICE Electronics Express、第１３巻、第１７号、１～９頁、２０１６年９月１０日に見る。
【0072】
送受信モジュール８２の背面は光が光送信素子８４に到達して通過することを可能にする開口を除いて、送受信モジュール８２の背面上のレーザー照射が送受信モジュール８２を透過するのを阻止するために、背面を覆う不透明なカバーまたはマスク（図示せず）を有する。フーリエ変換レンズ１６及びフーリエ変換レンズ１６の前方の光をコリメートするファイバーフェースプレートを含む光学部品は、第１のセンサー・ディスプレイ装置１４の前面に接合することができる。同様に、フーリエ変換レンズ２８とファイバーフェースプレートとを第２のセンサー・ディスプレイ装置２６の前面に接着することができる。
【0073】
ここで図１を参照すると、フォトニック畳み込みアセンブリ１２の第１および第２のセンサー・ディスプレイ装置１４、２６およびラジアル変調器デバイス２０に加えて、例示的なフォトニックニューラルネットワークシステム１０は例えば、（i）ラジアル変調器デバイス２０を駆動するためのパルス出力を実施する回路ブロック１１０と、（ii）デジタルデータが第１および第２のセンサー・ディスプレイ装置１４、２６にロードされ、そこから受信される高速アナログ－デジタル回路ブロック１１２と、高帯域幅メモリ（HBM２）１１４と、他のシステムコンポーネントのための基本的な制御およびインターフェースデバイスであるフィールドプログラマブルゲートアレイ（FPGA）１１６とを含む、外部制御コンポーネントも含む。HBM２１１４は、フィルタ、状態機械ステップ、および画像データのための記憶装置を提供する。回路ブロック１１０、HBM２１１４、およびFPGA１１６はマルチチップモジュール（MCM）１１８上にあり、システム１０へのユーザインターフェースは、名目上、PCI－Expressバス１２０を介している。
【0074】
フィールド・プログラマブル・ゲートアレイ（FPGA）１１６と第１のセンサー・ディスプレイ装置１４との間の例示的なシステム・インターフェース１２２の機能ブロック図が図１２に示されており、図１２の機能ブロック図は、FPGA１１６と第２のセンサー・ディスプレイ装置２６との間のシステム・インターフェースの代表でもある。図面における便宜上及び簡潔さのために、図面及び回路ブロック１１０のための関連する説明において、センサー・ディスプレイ装置１４、２６のために任意の用語「Sensay」（センサー及びディスプレイの略語）や任意の用語「RedFive」が時々使用される。便宜上及び簡潔さのために、送受信モジュール８２は、「Trixel」と呼ばれることがある。（「Trixel」が「送信・受信ピクセル」の略語である。）
【0075】
RedFivesのいくつかは、センサー・メモリ９０をロードするためにアナログ・データを生成する役割を果たす。これらのRedFiveは、HBM２１１４がFPGA１１６によって管理される状態マシンソースであるため、メモリモジュール（HBM２）１１４を介してインターフェースされる。アナログおよびデジタル入出力（Ｉ／Ｏ）は、フィードバックループの制御に使用されるため、FPGA１１６を介してインターフェースされる。いくつかの未使用ビットは、同期のためのステータスフラグとしてFPGA１１６にラップバックされる。Sensay Digital I/OはRedFivesのいくつかと同じメモリラインを使用するが、それらは同時にアクセスされないので、メモリラインのこの二重使用は競合ではない。また、RedFivesからの出力アナログラインのいくつかは、ADCへの入力アナログラインとして共有される。データを読み取り、それをFPGA１１６に渡すために使用されるADCの数は実装に依存する。
【0076】
Sensay外部インターフェースの機能ブロック図が図１３に示されている。図１３では、「Sx」が「Sensay A」１４または「Sensay B」２６の前に付けられている（Sensay１４、２６のいずれかに関連する信号を区別するためにシステムを論じる場合，図８のデジタル入力線は３つの一般的なカテゴリにグループ化することができる。行および列制御はSensay内のラッチのセットをロードする（図１４参照）。グローバル制御ライン（又は、行）は種々の機能を有し、その各々は、使用の文脈で説明される。グローバル行は、行または列に沿ってルーティングできる。グローバル制御ラインはすべての送受信モジュール（trixels）８２へルーティングし、特定の列または行に固有ではない。
【0077】
SxPeakresetは、外部ゲインコントロールに使用されるアナログピークホールド回路をリセットする。この信号は非同期であるが、データ競合を回避するために、SxFreezeがアサートされるときにのみアサートされるべきである（１）。
【0078】
SxSnsresetは、センサーをアナログSxLevelラインのレベルにリセットする。センサーは、電荷を蓄積するように設計されているので、予め設定されたレベルまで降下するためにこの機構を必要とする。このリセットをグローバルバイアスとして使用して、Sensorの充電レベル（したがって、次のパスのモジュレータレベル）をプリセットできる。
【0079】
SxPoolmodeは、プーリングにおける平均（１）または最大（０）動作を決定する。
【0080】
SxFreezeは、グローバルメモリアクセスを有効または無効にする。アサート（１）された場合、すべてのtrixelsメモリドライブがセーフ状態に設定され、メモリアクセスやシフトは許可されない。SxFreezeは、ラインが整定される前にデータの汚染を防止するために他の制御ラインを構成するときに使用される。以下の説明では、SxFreezeの機能は常に言及されるわけではなく、その動作は常に規則である。
【0081】
SxRWDirは、有効なメモリが読み出し／書き込みを決定する。”１”に設定するとメモリにデータが書き込まれ、”０”に設定するとメモリからデータが読み出される。これはまた、センサー（光検出素子）８６及び変調器（光送信素子）８４の動作をゲート制御する。これはモジュレーターモード（０）またはセンサーモード（１）を表す。
【0082】
SxFlagRD、SxFlagWR、およびSxFlagRSTは、セマンティック・ラベリングに使用されるデジタルフラグ・メモリを制御する。SxFlagRSTは、全フラグ・メモリのグローバルアドレスリセットである。SxFlagRDおよびSxFlagWRは、メモリアクセスを制御する。
【0083】
SxShift0，１，２はアドレス指定されたtrixels（送信－受信モジュール）８２においてのみ、シフトレジスタメモリ９０の電荷を時計回り方向または反時計回り方向のいずれかに移動させるために、３相シーケンスで外部から駆動される。trixelがアドレス指定されていない場合、そのメモリドライブラインは強制的に安全な状態になり、メモリの充電には影響しない。
【0084】
SxExtemalは、SxAnalogおよびSxDataラインがアクティブ（１）であるか、またはデータ移動およびアクセスが単に内部（０）であるかを判定する。
【0085】
これらの信号の４つの組み合わせを考える：
【0086】
画像ロード:SxFreeze=０、SxRWDir＝１、SxExternal＝１。これは、アドレス指定されたtrixels８２のメモリセルが外部SxAnalogラインからデータを取り込み、内部SxDataラインを介してtrixelsメモリバンク９０に電圧を入れることを意味する。SxAnalogラインが１２０本あるため、このアクションは最大１２０ワイドまで可能である。１２０幅のDACセットが適切でない実装では、ラインはグループで外部接続でき、MEMRラインをシーケンスで有効にするだけで、より狭いアクセスに対応できる。実装された外部行幅に関係なく、競合を避けるために、通常は一度に１つのMEMCラインのみが有効になる（ただし、必要に応じて、同じDAC値を一度に１行全体に送信することもできる）。
【0087】
ResultSave:SxFreeze=０、SxRWDir＝０、SxExternal=l。これは、アドレス指定されたtrixels８２のメモリセルが外部ADCとのコンバージョンのために外部SxAnalogラインにデータを送ることを意味する。再び、これは１２８までの幅であり得るが、より狭い実装はSensayへの設計変更なしに適応され得る。実装された外部行幅に関係なく、競合を避けるために、一度に１つのMEMCのみが有効になる（これは、データの競合を避けるために読み取りではオプションではない）。
【0088】
Sensor Mode：SxFreeze=０、SxRWDir＝l、SxExternal＝０。これは、アドレス指定されたtrixels８２における任意のメモリセルがセンサー８６からデータを取得することを意味する（以下に説明するプーリング・チェーンを介して、またSxShiftO，１，２に関連して、メモリ値のシフトレジスタセットとして現存する電圧をシフトしながら、電圧を新しいメモリ電荷として保存する。
【0089】
変調器モード:SxFreeze=０、SxRWDir＝０、SxExternal＝０。これは、アドレス指定されたtrixels８２の任意のメモリセルが（プーリング・チェーンを介して）変調器（光送信素子）８４にデータを送り、SxShiftO，１，２との関連で、メモリ電荷のシフトレジスタセットとして現存する電圧をシフトすることを意味する。メモリ読み出しは非破壊的である。
【0090】
trixels（送受信モジュール）８２のための例示的な行および列制御ラインレジスタは図１４に概略的に示されている。この例では、行および列制御ラインレジスタがtrixels当たり５つの行および５つの列ラインとして配置された２３５個の個別にアドレス指定された静的６４ビットラッチを備える。これらの出力は常にアクティブであり、電源投入時にゼロにされる。これらの行および列制御ラインは、各trixels８２によって、その隣接装置に関連して自身の機能を構成するために使用される。ラッチの各々はSxControlでデータをアサートし、SxAddrで８ビットアドレスを設定し、SxLatchをパルス化することによって個別にアドレス指定される。
【0091】
trixelのメモリ９０はそのMEMRおよびMEMCが共にアサートされたときに「アドレス指定された」と言われる。同様に、そのOPTCおよびOPTRが共にアサートされたときに、その光センサーは「アドレス指定された」と言われる。その他のtrixels８２の機能は、そのENBRおよびENBCがデアサートされるとディスエーブルされる。trixels８２を完全にディスエーブルするために、そのMEMR、MEMC、OPTR、OPTC、FLAGRおよびFLAGCもデアサートする。
【0092】
プール境界ライン８６（POOLCおよびPOOLR）はtrixels８２の列および行全体に影響を与え、以下でより詳細に説明するように、スーパーtrixelsの境界を定義する。最右端および最下端のラインは常にイネーブルされているので、１０７９POOLRおよび１９１９POOLCラインのみが存在する。６４ビットラッチの未使用ラインは接続されていない。
【0093】
＊＿SLおよび＊＿SRラインは、立ち上がりエッジでそれぞれのレジスタを左または右にシフトする。
【0094】
SxReLUlおよびSxReLU２（図１３）は、外部DACによって駆動される。それらは、全てのtrixels８２に対してグローバルであり、弱い情報を除去するためにセンサー８６の読み取り値に適用される。SxLevel（図１３）も外部DACによって駆動される。プリセットレベルとして全てのtrixels・センサー８６によって使用され、変調器駆動部８８レベルにも加算され、そこで位相オフセットとして使用される。sensay（センサー・ディスプレイ装置）１４または２６は上述したように、いつでもセンサーまたは変調器（送信）モードにあるので、競合はない。SxPeak(図１３）アナログ出力信号は、すべてのtrixels（送受信モジュール）８２からの信号である。以下により詳細に説明するように、各trixels・メモリ・セルは、その最高値を共通トレースに渡す。このトレースの値はSxPeakresetが最後にアサートされてから、trixelsアレイ全体によって見られる最高のグローバル値を表す。これは、システムゲインおよび正規化のために外部回路によって使用される。
【0095】
アナログインターフェースの一例を図１５に模式的に示す。SxAnalogラインは９つの隣接するSxData行をそれぞれ接続する１２０のトレースである。言い換えれば、内部的にSxDataOOOからSxData０００８行トレースはすべて出力ピンSxAnalogOOに接続される。SxData０００９～SxData００１７行トレースは、すべて出力ピンSxAnalogOOlなどに接続する。すべてのSxAnalogピンは、９つの内部SxDataトレースにハードワイヤードされている。一度に１つのtrixelsメモリバンク９０のみが、そのローカルトレース（外部コントローラによって強制される）を駆動または感知することが可能である。TMSがアサートされている場合、すべてのSxAnalogおよびSxDataラインが一緒に接続される。
【0096】
上述したように、制御ラインは個々に制御可能であるため、１から１２０幅の任意のサイズの入力または出力スキームはこれらのラインを単にSensay(センサー・ディスプレイ装置）の外部で一緒に接続し、適切なtrixels８２のみをアーキテクチャと一致させることを可能にすることによって、実施することができることに留意されたい。インターフェースが広いほど、ロードおよびアンロード操作は高速になるが、より多くの外部回路が必要になる。これにより、設計を変更することなく、高度なカスタマイズが可能になる。
【0097】
例示のフォトニックニューラルネットワークシステム１０におけるSensay(センサー・ディスプレイ装置）１４、２６アーキテクチャは、プーリング・チェーンの周囲に構築される。図９、図１０、および図１６に示すように、アレイ８０内の送受信モジュール（trixels）８２の各々は図９、図１０、および図１６が紙上に向けられるとき、その縁の２つに沿って、例えば右縁および下縁に沿って、プーリング境界ライン９６を有する。すべてのセンサー、変調器、メモリ読取りまたはメモリ書込みアクセスは、プーリング・チェーンを使用して、trixels（センサー・ディスプレイ装置）８２内およびその間でアナログ・データを渡す。プーリング境界ライン９６の機能はプーリング・チェーンから隣接する送受信モジュール（trixels）８２を接続または切断し、スーパーtrixelsまたは「アイランド」を生成することである。それぞれの隣接するtrixels８２の境界ライン９６へのプーリング・チェーン回路接続は、trixels８２のアレイ８０内の仮想位置nnnn，mmmmで、図１７内の接続の拡大概略図に示されている。POOLC＝０の場合、列全体の東西trixels・プーリング・チェーン接続はすべてオープンされる。POOLR＝０の場合、行全体に対する南北trixelsプーリング・チェーン接続のすべてがオープンされる。全ての他のtrixelsプーリング・チェーン接続は、依然として閉じている。このプーリング構造の効果は、接続されたプーリング・チェーン・ラインのアイランドを生成することである。スーパーtrixelsアイランド上の全てのtrixelsは、本質的に単一の低インピーダンス「トレース」であるこのチェーンを共有する。POOLRがアサートされると、このtrixelsのプーリング・チェーンを接続するトランジスタが導通し、プーリング・チェーンを次の行のその南のtrixels８２に接続する。POOLCがアサートされている場合、POOLCは、trixels８２のためのプーリング・チェーンに東に接続する。
【0098】
上述したように、送受信モジュール（trixels）８２の各々におけるメモリバンク９０は本質的にシフトレジスタであり、シフトレジスタの設計および技術は、当業者によってよく理解され、容易に利用可能である。図１８は、アナログ・メモリシフトドライバスキームを示す。アドレス指定され（MEMCおよびMEMRが共にアサートされ）、凍結解除された（SxFreezeがデアサートされる）場合、SxShiftO，１，２の任意の組み合わせは、アナログ・メモリセルシフトプレートを実際に駆動する出力（MemShiftO，１，２）に単に伝播する。MEMCまたはMEMRのいずれかがTrixelに対してデアサートされた場合、またはSxFreezeがアサートされた場合、アナログ・メモリドライバは自動的に安全状態に置かれる（MemShiftO、１，２＝０１０）。
【0099】
図１９は、メモリバンク９０（図１０）のための例示的なアナログ・メモリ読出しインターフェースの概略図である。メモリは読み出すことができ、アナログ・データは、内部SxDataラインを介して外部SxAnalogインターフェースに送られるか、または最大（ダイオード）または平均（抵抗器）回路経路のいずれかを介してプーリング・チェーン１２６（SxReLUより大きい場合、さもなければゼロにされる）に送られることができる。アナログ・メモリから読み出された変更されていない値はダイオード絶縁キャパシタ（サンプル＆ホールド回路）を充電するためにも使用され、最終的にはセンサー・ディスプレイ・デバイス（sensay）１４、２６全体（システムゲイン制御のために外部で使用される）に対してSxPeak値を駆動する。これらのモードの例は、図２０～２４に概略的に示されている。図２０は、プーリング・チェーンへのtrixelアナログ・メモリ読み出し平均を示す。図２１は、プーリング・チェーンへのtrixels・アナログ・メモリ読取り最大値を示す。図２２は、外部データラインに読み出されるアナログ・メモリを示す。図２３は、trixelsアナログ・メモリピーク値保存を示す。図２４は、アナログ・メモリピーク値リセットを示す。
【0100】
整流線形ユニット（ReLU）はしばしば、弱い応答を抑制するためにデータに適用される。第１のセンサー・ディスプレイ装置１４および第２のセンサー・ディスプレイ装置２６（sensay、１４、２６）はそれぞれ、図２４に示される様々な応答をもたらすことができる柔軟なデュアル・スロープReLU実装を有し、その応答は無効果（実施例A）から従来のカットオフ（実施例B）から、可変スロープ・カットオフ（実施例C）までの範囲である。DACによって駆動される２つの外部アナログ電圧が伝達関数を制御する。感知器１４、２６は単極設計であるため、「ゼロ」位置は公称ではメモリバンク９０の電圧範囲の中央にある。
【0101】
アナログ・メモリ９０への書き込みは、読み出しよりも単純である。送受信モジュール（trixels）８２のアナログ・メモリ９０がアドレス指定されると（MEMCおよびMEMRの両方がアサートされ、SxRWDir＝１）、ローカル・プーリング・チェーン上の値が何であれ図２６に示すように書込みパッド上に置かれる。アナログ・メモリ・セル内の値を実際に保存するために、シフトラインが循環される。外部データラインからアナログ・メモリ９０をロードすることが図２７に示されている。
【0102】
フラグ・メモリは、セマンティック・ラベリングの実施のために使用される各送受信モジュール（trixels）８２における６４０ビットのLIFO（Last－In－First－Out）装置（すなわち「スタック」）である。SxFlagRST＝lの場合、すべての送受信モジュール（trixels）８２に対して、内部アドレスポインタは無条件にゼロにセットされる。値をゼロにする必要はない。リセットを除いて、メモリは、仮想trixel位置nnnnnn，mmmmに対してFLAGRmmmm＝１およびFLAGＣＮＮnn＝１のときにのみアクティブである。FLAGRmmmm＝０またはFLAGＣＮＮnn＝０のいずれかの場合、信号はメモリに影響を与えない。FLAGRおよびFLAGCについては、図１４を参照されたい。
【0103】
フラグ・メモリ書込みおよびフラグ・メモリ読出しの概略図を、それぞれ図２８および図２９に示す。SxFlagWR＝１の場合、比較器の出力は「D」メモリ入力で有効である。SxFlagWRが「１」から「０」になる立ち下がりエッジで、SxFlagRD＝０の場合、プーリング・チェーン上の値と比較されるtrixelの現在の読み取り値の状態によって決定される現在のフラグビットはスタック上にプッシュされる。すなわち、アナログ・メモリ読み取り電圧がプーリング・チェーン電圧と一致する場合、このtrixel８２は「マスタ」であり、「１」が格納され、そうでない場合、「０」が格納される。FlagVALについては、図１９を参照されたい。
【0104】
ヒステリシスが非常に小さいため、複数のtrixel８２が非常に似た電圧レベルを持っていれば、それ自体を「マスタ」として見ることが可能である。このような場合、最終的に読み出されるのは、拡張パスの間、このプーリング・グループ内の有効化（又は、イネーブル）されたtrixels８２の平均電圧になる。「競合する」電圧はほぼ同一であったので、これは実用上ほとんど影響を及ぼさないであろう。
【0105】
SxFlagRD＝１の立ち上がりエッジで、SxFlagWR＝０の間に、書き込まれた最後のビット（すなわち、スタックの上部）が読み出され、イネーブルされたFlagEN＝１としてTrixelメモリ読み出し回路に印加される（図１９参照）。出力は、SxFlagRD＝１である限りイネーブルされる。
【0106】
SxFlagWR＝０およびSxFlagRD＝０の場合、FlagEN＝１である。これを適用した。SxFlagWR＝１およびSxFlagRD＝１は不正であり、外部コントローラはそれを適用すべきではない。メモリ出力と比較器出力との間の競合を回避するために、フラグENは、そのような場合にトライステートにされる。
【0107】
送受信モジュール（trixel）８２のセンサー８６をプーリング・チェーンに読み込み、センサー８６を再設定し、変調器（光送信器要素）８４をプーリング・チェーンから書き込むための光制御ライン設定の例が、それぞれ、図３０、図３１、図３２に示されている。
光制御ラインの機能はイネーブルされたOPTR及びOPTCラインの交点にあるtrixels８２に、それらの光学素子（変調器８４又はセンサー８６）をプーリング・チェーンに接続させることである。SxRWDir＝０およびSxExternal＝０の場合、このtrixels変調器８４を駆動するために、データがプーリング・チェーンから読み出される。SxRWDir＝１およびSxExternal＝０の場合、データはこのtrixelのセンサー８６からバッファされ、プーリング・チェーン上に配置される。SxExternal＝lの場合、変調器８４とセンサー８６の両方が切断される。複数のセンサー８６を同時に有効にする（又は、イネーブルする）ことができ、それらの値の平均は、より低いノイズのためにプーリング・チェーン上に現れるのであろう。また、センサー８６が上述したように光信号（データのフレーム）を加算しているとき、感知器１４、２６（クロックなどがない）上に他の活動は存在しないので、非常に低ノイズの測定結果となることに留意されたい。
光制御ラインの機能はイネーブルされたOPTR及びOPTCラインの交点にあるtrixels８２に、それらの光学素子（変調器８４又はセンサー８６）をプーリング・チェーンに接続させることである。SxRWDir＝０およびSxExternal＝０の場合、このtrixels変調器８４を駆動するために、データがプーリング・チェーンから読み出される。SxRWDir＝１およびSxExternal＝０の場合、データはこのtrixelのセンサー８６からバッファされ、プーリング・チェーン上に配置される。SxExternal＝lの場合、変調器８４とセンサー８６の両方が切断される。複数のセンサー８６を同時に有効にする（又は、イネーブルする）ことができ、それらの値の平均は、より低いノイズのためにプーリング・チェーン上に現れるのであろう。また、センサー８６が上述したように光信号（データのフレーム）を加算しているとき、感知器１４、２６（クロックなどがない）上に他の活動は存在しないので、非常に低ノイズの測定結果となることに留意されたい。
【0108】
変調器モード（SxRWDir＝０）および内部駆動（SxExternal＝０）の場合、すべてのアドレス指定されたtrixelメモリバンク９０の出力は自動的にプールされ、同じスーパーtrixel（同じプーリング・チェーンに接続されている）内のすべての光送信素子（変調器）８４は同じ輝度で「輝く」。これは、複製による再サンプリングを構成する。
【0109】
ローカルENB(ENBRmmmm=lおよびENBＣＮＮn＝l）により、個々の光送信素子（変調器）８４を無効にすることができる。
【0110】
光送信素子（変調器）８４の駆動レベルDLはプーリング・チェーンPCの合計に較正センサー値CS＋１を掛けたものにSxLevelを加えたものであり、式DL=(PC*(CS＋１))+SxLevelである。Sxlnvert＝１の場合、ドライブは反転され、すなわち、１００％レベルは０％変調、９０％は１０％等となる。
【0111】
図３３A～Bの概略図は、送受信モジュール（trixel）回路の概要を示す。
【0112】
上記の説明は推論モード、例えば、訓練されたニューラルネットワークが画像、音声、音等を認識するために使用される場合におけるフォトニックニューラルネットワーク処理に基づく。フォトニックニューラルネットワーク、例えば、上述のフォトニックニューラルネットワークシステム１０を用いてニューラルネットワークを訓練することは、デジタル畳み込みネットワークシステムと比較して、いくつかの差異を有する。上述したように、典型的なデジタル畳み込みニューラルネットワークシステムのトレーニング中に、ネットワークが次回に同じ種類の画像を予測する可能性を高めるために、逆伝搬と呼ばれるプロセスを用いて調整が行われる。典型的なデジタル畳み込みニューラルネットワークでは、このようなデータ処理および逆伝播が予測が適度に正確になり、改善されなくなるまで何度も行われる。次いで、ニューラルネットワークは推論モードで利用されて、新しい入力データを分類し、そのトレーニングから推論される結果を予測することができる。ディジタル畳み込みニューラルネットワークでは、後方伝搬項（又は、期間／term）およびフィルタはすべて空間領域にあるので、トレーニングは比較的簡単である。「正しい答え」をとり、修正項を計算するために構造を通って戻ることは遅いが、依然としてドメインの変更を必要としない。光子ニューラルネットワークにおけるトレーニングはトレーニングされる必要がある項が周波数領域にあり、畳み込み結果が空間領域にあるので、それほど直接的ではない。空間領域データを使用し、高速フーリエ変換（FFT）アルゴリズムを用いて補正項を計算し、それらをラジアル変調器装置２０で使用されるフーリエフィルタに適用することができるが、そのような計算は非常に計算集約的である。
【0113】
代わりに、上述したフォトニックニューラルネットワークシステム１０の例は、訓練用の補正項を、ラジアル変調装置２０によって反復訓練プロセスにおける畳み込みに適用されるフィルタに次いで追加され得るフーリエ変換項に変換するように適合される。このような変換をデジタル計算の代わりに光学的に実施するための適応例は図３４に示すように、フォトニック畳み込みアセンブリ１２に特殊化されたフーリエ光センサー装置１３０を追加することを含む。フーリエ光センサー装置１３０は光学軸６２上の第２のセンサー・ディスプレイ装置２６から、偏光子１８の反対側に、第２のセンサー・ディスプレイ装置２６と軸方向に整列して配置される。また、フーリエ光センサー装置１３０は、フーリエ変換レンズ２６の焦点距離F２と等しいフーリエ変換レンズ２６からの距離でフーリエ変換面内に位置している。したがって、フーリエ光センサー装置１３０は、フーリエ変換レンズ２６のフーリエ変換面に位置している。そのフーリエ変換面において、フーリエ光センサー装置１３０は、第２のセンサー・ディスプレイ装置２６から発する光のデータ又は画像のフレームのフーリエ変換を検出することができる。従って、フォトニックニューラルネットワークシステム１０を訓練するために必要な補正項は補正データの空間領域フレームで第２のセンサー・ディスプレイ装置１０に供給することができ、次いで、光フィールド１３２内の補正データのフレームをフーリエ光センサー装置１３０に表示（投影）することになる。したがって、光フィールド１３２内の補正データのフレームはフーリエ変換レンズ２６によってフーリエ光センサー装置１３０に到達するときにフーリエ変換され、すなわち、空間領域内の補正データのフレームは、フーリエ光センサー装置１３０において光の速度でフーリエ領域にフーリエ変換される。次に、フーリエ変換領域の補正データのフレームは、フーリエ光センサー装置１３０によって検出され、ラジアル変調装置２０のフィルタを調整するために使用される。
【0114】
通常、推論モードでは、３Ｄ畳み込みブロックがメモリからシフトアウトされ、さらなるレベルの畳み込みおよび加算サイクルのためにフォトニック畳み込みアセンブリ１２を介して送り返されるときに送受信モジュール８２のメモリバンク９０内の特定の反復畳み込みサイクルで存在するデータフレームが失われ、メモリバンク９０は後続の３Ｄ畳み込みブロックで再充填され、そのすべては上述のように非常に高速で行われる。しかしながら、トレーニングモードの場合、これらの中間のデータのフレームは第１及び第２のセンサー・ディスプレイ装置１４、２６のメモリバンク９０から抽出され、外部メモリに転送されて、逆伝播デジタル計算を行い、空間領域に補正項を書き込む際に使用される。
次に、これらの補正項は図３４に示され、上で説明されたように、フーリエ光センサー装置１３０への投影およびフーリエ変換のために、空間領域内の補正データのフレームとして第２のセンサー・ディスプレイ装置２６に供給され、したがって、補正データのフーリエ変換されたフレームはさらなる畳み込みサイクルのためにラジアル変調器装置２０のフィルタとして使用するために、フーリエ領域内のフーリエ光センサー装置１３０によって検出され得る。中間相関データ、逆伝播デジタル計算、および修正項の書込みのこのトレーニングモード抽出はいくらかの時間がかかり、したがって、推論動作モードと比較して反復畳み込み加算サイクルを遅くするが、それでもなおデジタル畳み込みニューラルネットワークトレーニングよりはるかに高速である。
次に、これらの補正項は図３４に示され、上で説明されたように、フーリエ光センサー装置１３０への投影およびフーリエ変換のために、空間領域内の補正データのフレームとして第２のセンサー・ディスプレイ装置２６に供給され、したがって、補正データのフーリエ変換されたフレームはさらなる畳み込みサイクルのためにラジアル変調器装置２０のフィルタとして使用するために、フーリエ領域内のフーリエ光センサー装置１３０によって検出され得る。中間相関データ、逆伝播デジタル計算、および修正項の書込みのこのトレーニングモード抽出はいくらかの時間がかかり、したがって、推論動作モードと比較して反復畳み込み加算サイクルを遅くするが、それでもなおデジタル畳み込みニューラルネットワークトレーニングよりはるかに高速である。
【0115】
フーリエ光センサー装置１３０をフォトニック畳み込みアセンブリ１２に組み込むために、例えば、図３４に示すように、補正データのフレームが第２のセンサー・ディスプレイ装置２６によってフーリエ光センサー１３０に投影されているときに、偏光面を９０度回転させるために、半波可変偏光板１３４が第２のセンサー・ディスプレイ装置２６と偏光子１８との間に配置される。例えば、通常の推論動作モードでは、第２のセンサー・ディスプレイ装置２６が偏光子１８からラジアル変調器装置２０に反射するP偏光を表示し、次いで、トレーニングのために補正データのフレームをフーリエ光センサー１３０に表示または投影するために、半波長可変偏光板１３４が起動されて、投影された光フィールドの偏光面を９０度回転させてS偏光させ、結果として生じる光フィールド１３２が偏光子１８を通過してフーリエ光センサー１３０に至るようにする。
【0116】
補正データのフレームは、ニューラルネットワークをトレーニングするためにフィルタによって特定のウェッジセグメント３２に提供される必要がある値を有する。したがって、フーリエ光センサー装置１３０への投影のために第２のセンサー・ディスプレイ装置２６に提供される補正データのフレームは、ニューラルネットワークを訓練するために補正された方法で変調される必要があるラジアル変調器デバイス２０（図３参照）のウェッジセグメント３２に対応するフォーマットで提供され、その結果、これらの補正データは最終的に、補正された方法で適切なウェッジセグメント３２を駆動するフィルタに配置される。したがって、フーリエ光センサー装置１３０は第２のセンサー・ディテクタ装置２６からの光１３２をラジアル変調器装置２０のウェッジセグメント３２と同じパターンで検出し、その結果、光１３２の補正データが検出され、処理され、ラジアル変調器装置２０の適切なウェッジセグメント３２に供給される。
【0117】
第２のセンサー・ディスプレイ装置２６から投射された光をウェッジセグメント３２と同じパターンに従って検出することを容易にするために、上述したように、例としてのフーリエ光センサー装置１３０は例えば図３５に示すように、ラジアル変調装置２０のウェッジセグメント３２およびウェッジセクタ３４のパターンに対応する光センサーアレイ１３８に配置された複数の光センサー素子１３６を有する光センサーボード１３５を有している。図３５に示すように、ラジアルアレイレンズプレート１４０は、光センサーアレイ１３８の前に配置され、ラジアル変調装置２０のウェッジセグメント３２およびセクタ３４に一致するウェッジおよびセクタの半径方向パターンで配置された複数の個々のレンズ素子１４２を有している。これらのレンズ素子１４２は放射状変調装置２０のウェッジセグメント３２及びウェッジセクタ３４の放射状パターンに対応する放射状パターンで、第２のセンサー・ディスプレイ装置２６からの入射光１３２を捕捉し、これにより、第２のセンサー・ディスプレイ装置２６に定式化されプログラムされたときに、入射光１３２の補正データのフレームを捕捉する。それぞれのレンズ素子１４２によって捕捉された光のセグメントは、個々のサブビーム１３８としてレンズ素子１４２によってそれぞれの光センサー素子１３６上に集束され、センサー素子１３６上に入射する光の強度に対応する電気信号に変換され、したがって、入射光１３２内の補正データのフレームを、補正データのフレームに対応する電気データ信号に変換する。これらのアナログ電気データ信号はFPGA１１０による補正フィルタへの処理のためにデジタル信号に変換することができ、これは次に、インターフェース２４を介してラジアル変調器デバイス２０に接続するために回路ブロック１１０によって供給することができる。この場合も、入射光１３２内のデータのフレームはフーリエ変換レンズ２６によってフーリエ変換され、フーリエ変換領域内のセンサー素子１３６によって検出され、したがって、フーリエ光センサー装置１３０からFPGA１１６または他の電気処理構成要素に送られる信号内の補正データはラジアル変調器デバイス２０のウェッジセグメント３２を駆動するのに必要なようにフーリエ領域内にある。光学構成要素の配置のために、第２のセンサー・ディスプレイ装置２６に供給される補正データのフレームはセンサー素子１３６によって捕捉された光のセグメント及び生成された対応する信号がラジアル変調器装置２０の適切なウェッジセグメント３２に一致するように、反転されなければならない場合がある。しかしながら、上述したように、補正項は空間領域で計算されるので、訓練にアルゴリズム的制約は課されない。一旦、通常のトレーニング逆伝播計算が行われると、上述され、図３４および図３５に示される光学系は、空間領域補正項を放射状フーリエ領域等価物に変換する。
【0118】
図３６に図示される別の実施形態では、カメラレンズ１５０が上述のように、例えばフォトニックニューラルネットワーク１０で処理するために、カメラレンズ１５０がデータ（画像）のフレームとして実世界のシーン１５２を空間領域内のフォトニック畳み込みアセンブリ１２に照射する方法で、フォトニック畳み込みアセンブリ１２上に取り付けられる。例えば、図３５に示すように、カメラレンズ１５０は、第２のセンサー・ディスプレイ装置２６から偏光子１８の反対側で第２のセンサー・ディスプレイ装置２６と軸方向に整列するように光軸６２上に取り付けられる。偏光板１５４はカメラレンズ１５０によって透過された光フィールド１５６を偏光子１８から反射する偏光面に偏光させるために、カメラレンズ１５０と偏光子１８との間に配置されている。したがって、光フィールド１５６は図３６に示すように、偏光子１８によって第１のセンサー・ディスプレイ装置１４に反射される。第１のセンサー・ディスプレイ装置１４の送受信モジュール８２（図９および１０参照）内の光センサー素子８６は光フィールド１５６内のデータ（画像）のフレームを検出して捕捉し、上述したように、第１のセンサー・ディスプレイ装置１４内のメモリバンク９０内にデータ（画像）のフレームを処理する。次いで、カメラレンズ１５０上のシャッタ装置１５８がカメラレンズ１５０上で閉じて、カメラレンズ１５０を通る光透過を終了し、次いで、第１のセンサー・ディスプレイ装置１４は上述した推論動作またはトレーニング動作のいずれかで、フォトニック畳み込みアセンブリ１２を通るデータ（画像）のフレームの処理を開始することができる。
【0119】
必要に応じて光の特定のスペクトル周波数のみがフォトニック畳み込みアセンブリ１２に伝送されることを可能にするために、バンドパスフィルタ１６０をカメラレンズ１５０とともに設けることもできる。バンドパスフィルタ１６０は必要に応じて、可変バンドパスフィルタとすることができ、その結果、実世界シーン１５２からの光の様々なスペクトル周波数帯域はカメラレンズ１５０からフォトニック畳み込みアセンブリへと順次伝送することができ、一方、各周波数帯域内のデータ（画像）のフレームは順次捕捉され、それにより、畳み込みのためのハイパースペクトル画像セットが、フォトニック畳み込みアセンブリを通して順次提供される。このような可変バンドパスフィルタは周知である。例えば、可変半波長リターダ（retarder）を、可変帯域通過フィルタとして固定偏光板と組み合わせて使用することができる。固定偏光板と組み合わせたこのような可変半波長リターダは、シャッタとしても使用することができる。
【0120】
前述の説明は、本発明の原理を説明するものと考えられる。さらに、多数の修正および変更が当業者には容易に思い浮かぼうから、本発明を、上記に示され、説明された正確な構造およびプロセスに限定することは望ましくない。したがって、本発明の範囲内にあるすべての適切な修正および均等物に頼ることができる。「備える」、「含む」、「含んでいる」、および「有する」という用語は本明細書で使用される場合、述べられた特徴、整数、構成要素、またはステップの存在を指定することを意図されるが、それらは１つまたは複数の他の特徴、整数、構成要素、ステップ、またはそれらのグループの存在または追加を排除しない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33A】
【図33B】
【図34】
【図35】
【図36】
【手続補正書】
【提出日】2023-08-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
送受信モジュールのアレイを備え、前記アレイ内の送受信モジュールの各々は光送信器と、前記光送信器に接続されて前記光送信器を駆動するための変調ドライバと、光受信器であって、前記光受信器によって受信した光から電荷を生成する、該光受信器と、メモリバンクと、前記光受信器を前記メモリバンクに接続し、電荷をデータとして前記光受信器から前記メモリバンクにシフトし、前記データを電荷として前記メモリバンクから前記変調ドライバにシフトして、前記光送信器を駆動して前記電荷に基づいて光を送信するメモリインターフェースとを備える、センサー・ディスプレイ装置。
【請求項2】
前記メモリバンクがシフトレジスタを含む請求項１に記載のセンサー・ディスプレイ装置。
【請求項3】
前記アレイ内の前記送受信モジュールの各々は、（ｉ）光を送信画像のピクセルとして送信し、それによって前記送受信モジュールの前記アレイによって送信された光の前記ピクセルの合成が前記送信画像を有し、（ｉｉ）光を入射画像のピクセルとして受信し、それによって送受信モジュールの前記アレイによって受信された光の前記ピクセルの合成が前記入射画像を有するために、十分に小さく、かつ互いに十分に近接している請求項１に記載のセンサー・ディスプレイ装置。
【請求項4】
前記アレイが行及び列に配置された前記送受信モジュールを有する請求項１に記載のセンサー・ディスプレイ装置。
【請求項5】
前記アレイ内の前記それぞれの送受信モジュールの前記メモリバンクに接続可能なプーリング・チェーンであって、プーリング・チェーンによって、前記アレイ内の複数の送受信モジュールからのデータが一緒に読み出し可能であり、データが前記アレイ内の複数の送受信モジュールに一緒に書き込み可能である、該プーリング・チェーンを含む請求項４に記載のセンサー・ディスプレイ装置。
【請求項6】
前記送受信モジュール内の前記光送信器及び光受信器がお互いから４０マイクロメートル以下だけオフセットされ、双方が１６０平方マイクロメートル以下の面積を有する前記送受信モジュール内に適合される請求項３に記載のセンサー・ディスプレイ装置。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
本発明はニューラルネットワークに関し、より具体的には、光処理を伴う畳み込みニューラルネットワークに関する。
先行技術の状況
先行技術の状況
【0002】
ニューラルネットワークは、外部入力に対する動的状態応答によって情報を処理する、多数の単純で高度に相互接続された処理要素を備えるコンピューティング・システムとして周知である。ニューラルネットワークはパターンを認識し、データをクラスタ化および分類するのに有用である。コンピュータは、ニューラルネットワークを利用して、コンピュータがトレーニングサンプルを分析することによって何らかのタスクを実行することを学習する機械学習を実施することができる。通常、これらの例は、ユーザによって事前にラベル付けされている。例えば、物体又は画像認識システムとして設定されたニューラルネットワークには、「猫」又は「猫なし」とラベル付けされた数千の例示的な画像を供給し、次いで、その結果を使用して、他の画像内の猫を識別するか、又は場合によっては他の画像内に猫が存在しないことを示すことができる。あるいは、物体認識システムとしてセットアップされたそのようなニューラルネットワークがネコ、ウシ、ウマ、ブタ、ヒツジ、車、トラック、ボート、および飛行機などの様々な物体を有する画像の数千の例を供給され、そのようにラベル付けされ、次いで、その結果を使用して、他の画像がネコ、ウシ、ウマ、ブタ、ヒツジ、車、トラック、ボート、または飛行機をその中に有するかどうかを識別することができる。
【0003】
ＣＮＮ（convolutional neural network）は同一ニューロンの同一コピーを多数使用するニューラルネットワークの一種であり、学習が必要なニューロンがどのように振る舞うかを記述する実数値（又は実際の値／actual values）の数をかなり少なくしながら、ネットワークが多くのニューロンを持つことを可能にし、計算的に大きなモデルを表現することを可能にする。畳み込みとは、２つの信号を組み合わせて第３の信号を形成する方法である。ＣＮＮは、通常、ソフトウェアまたはプログラマブルデジタルハードウェアで実施される。
【0004】
ディープ・ラーニングはスタック・ニューラルネットワーク、すなわち、いくつかのレイヤー（レイヤー）を含むネットワークに使用される用語である。レイヤーはノードで構成される。ノード（又は結節）は計算が行われる場所であり、人間の脳のニューロンに緩やかにパターン化されており、十分な刺激に遭遇すると発火する。ノードはデータからの入力を、その入力を増幅または減衰させる係数または重みのセットと結合し、それによって、例えば、どの入力が誤りなくデータを分類するのに最も役立つかなどのアルゴリズムが学習しようとしているタスクのために入力に有意性を割り当てる。これらの入力×重み積は合計され、その合計はノードの活性化機能を通過して、分類の行為のような最終的な結果に影響を及ぼすために、その信号がネットワークを通ってさらに進行するかどうか、およびその程度を決定する。ノードレイヤーは、入力がネットワークを介して供給されるときにオンまたはオフになるニューロンのようなスイッチの行である。各レイヤーの出力は同時に、データを受信する初期入力レイヤーから始まる、後続のレイヤーの入力である。３つ以上のノードレイヤーは、「ディープ」ラーニング（学習）と考えられる。ディープラーニングネットワークでは、ノードの各レイヤーが前のレイヤーの出力に基づいて特徴の別個のセットをトレーニングし、したがって、データ（例えば、ピクチャ、画像、音声など）が通過するレイヤーが多いほど、ノードが認識することができる特徴はより複雑になる。トレーニング中に、ネットワークが次回に同じ種類の画像を予測する可能性を高めるために、逆伝搬と呼ばれるプロセスを調整に用いる。このようなデータ処理および逆伝播は予測が適度に正確となり、改善が見られないまで何度も行われる。次いで、ニューラルネットワークは推論モードで利用されて、新しい入力データを分類し、そのトレーニングから推論される結果を予測することができる。
【0005】
典型的な畳み込みニューラルネットワークは入力レイヤーおよび出力レイヤーに加えて、４つの必須のニューロンレイヤー、すなわち畳み込み（convolution）、アクティブ化（又は活性化／activation）、プーリング（pooling）、および完全接続を有する。最初の１つまたは複数の畳み込みレイヤーでは、何千ものニューロンがパターンを探して、画像内のすべての部分およびピクセルを精査するフィルタの第１のセットとして働く。ますます多くの画像が処理されるにつれて、各ニューロンは特定の特徴をフィルタリングすることを徐々に学習し、これは、精度を改善する。事実上、１つ又は複数の畳み込みレイヤーは、画像を異なる特徴に分解する。次いで、アクティブ化レイヤーは顕著な特徴、例えば、最終的な識別結果において価値または重要性を有する可能性が高い特徴などの顕著な特徴を強調する。例えば、目はフライパンではなく顔を示す可能性が高い。
【0006】
画像全体にわたる畳み込みおよびアクティブ化のすべては、大量のデータを生成し、コンピュータの計算容量を圧倒する可能性があり、したがって、プーリングを使用して、データを、より扱いやすい形式に圧縮する。プーリングは最良のデータを選択し、残りを廃棄するプロセスであり、その結果、より低い解像度のデータセットが得られる。いくつかの種類のプーリングを使用することができ、より一般的な種類のいくつかは、「最大プーリング」および「平均プーリング」である。
【0007】
最後に、完全に接続されたレイヤーにおいて、各縮小または「プールされた」フィーチャマップ（特徴マップ）またはデータは、ニューラルネットワークが例えば、ネコ、ウシ、ウマ、ブタ、ヒツジ、自動車、トラック、ボート、および飛行機に対して学習しているか、またはそれらを識別することが可能にされている項目を表す出力ノード（ニューロン）に接続される。上記フィーチャマップまたはデータがこれらの出力ノードを通して実行されると、各ノードは、ノードが特定のアイテムとして識別する任意のフィーチャマップまたはデータに投票する。ネットワークを通過したイメージデータのネットワークの最終出力は、個々のノードの投票に基づいている。ネットワークのトレーニングの初期には投票がより誤った出力を生成することがあるが、重みを調整し、トレーニングを精緻化するために、画像の数および逆伝播が増加することにつれて、精度が向上し、したがって、最終的に、入力データからの結果の予測または推論は非常に正確になり得る。
【0008】
関連技術の前述の例およびそれに関連する限定は本主題の例示であるが、排他的または網羅的ではないことが意図される。関連技術の他の態様および制限は本明細書を読み、図面を検討することにより、当業者には明らかになるのであろう。
【0009】
本明細書に組み込まれ、本明細書の一部を形成する添付の図面はいくつかの例示的な実施形態および／または特徴を示すが、単独または排他的な実施形態および／または特徴を示すものではない。本明細書に開示された実施形態および図面は、限定ではなく例示であると考えられるべきであることが意図されている。
【図面の簡単な説明】
【0010】
図１は、例示的なフォトニックニューラルネットワークシステムの機能ブロック図である。
【0011】
図２は、図１のフォトニックニューラルネットワークシステムのための画像を光学的に処理し、畳み込むための、例示的なフォトニック畳み込みアセンブリの等角図であり、第２のフーリエ変換レンズの一部は、第２のセンサー・ディスプレイ装置の光センサー・ディスプレイ構成要素のアレイを明らかにするために破断されて示されている。
【0012】
【0013】
【0014】
図５は、実施例のフォトニックニューラルネットワークシステムのフォトニック畳み込みアセンブリの一例の畳み込み機能を示す等角図である。
【0015】
図６は、データ（画像）のフレームを表示する第１のセンサー・ディスプレイ装置と、データの畳み込みフレームを検知する第２のセンサー・ディスプレイ装置とを示す、図２のフォトニック畳み込みアセンブリの例の概略上面図である。
【0016】
図７は、データ（画像）のフレームを表示する第２のセンサー・ディスプレイ装置と、データの畳み込みフレームを感知する第１のセンサー・ディスプレイ装置とを示す、図２のフォトニック畳み込みアセンブリの例の概略上面図である。
【0017】
図８は、第１のセンサー・ディスプレイ装置内の送信・受信モジュール（又は、送受信モジュール）のアレイの機能ブロック図である。External Interfaceは外部インターフェース、Column Controlsは列制御、Row Controlsは行制御、
【0018】
図９は、送受信モジュールのアレイの一部の拡大等角図である。
【0019】
図１０は、例示的な送受信モジュールの拡大等角図である。
【0020】
【0021】
図１２は、センサー・ディスプレイ装置の外部インターフェースへの例示的なシステム・インターフェースの機能ブロック図である。To All RedFivesは、すべてのRedFivesへ。Outputはアウトプット、Analog inはアナログ入力。
【0022】
図１３は、センサー・ディスプレイ装置の例示的な外部インターフェースの機能ブロック図である。Digital Interfaceはデジタルインターフェース、Analog Interfaceはアナログインターフェース、Row &Column Controlsは行列制御、Global Controlsはグローバル制御、Analog Bus Buffersはアナログバスバッファ、Trixel ArrayはTrixelアレイ。
【0023】
図１４は、送受信モジュールのアレイのための行および列制御線レジスタ（又は、行および列制御ラインレジスタ）の概略図である。
【0024】
図１５は、送受信モジュールへのアナログデータラインの概略図である。
【0025】
図１６は、プーリング・チェーン（Pooling Chain）で相互接続されたアレイ内の送受信モジュール（trixels）のいくつかの概略図である。
【0026】
図１７は、送受信モジュール（ピクセル）のプーリング境界線（又は、プーリング境界ライン）と、隣接する送受信モジュール（trixels）との相互接続の拡大概略図である。
【0027】
図１８は、例示的なフォトニックニューラルネットワークシステム１０の例示的な送信受信モジュールにおけるメモリバンクのための例示的なメモリシフトドライバである。MEM SHIFT DRIVERはメモリシフトドライバ。
【0028】
図１９は、メモリバンクのための例示的なアナログ・メモリ読み出しインターフェースの概略図である。MEM READ PADはメモリ読取パッド、APPLY ReLUはReLUを印加、READ AMPは読取アンプ、Pooling Chainはプーリング・チェーン。
【0029】
図２０は、プーリング・チェーンへの送受信モジュール（trixel）アナログ・メモリ読取り平均を示す概略図である。MEM READ PADはメモリ読取パッド、APPLY ReLUはReLUを印加、READ AMPは読取アンプ、Pooling Chainはプーリング・チェーン。
【0030】
図２１は、プーリング・チェーンへの送受信モジュール（trixel）アナログ・メモリ読取り最大値を示す概略図である。MEM READ PADはメモリ読取パッド、APPLY ReLUはReLUを印加、READ AMPは読取アンプ、Pooling Chainはプーリング・チェーン。
【0031】
図２２は、外部データラインに読み出される送受信モジュール（trixel）アナログ・メモリを示す概略図である。MEM READ PADはメモリ読取パッド、APPLY ReLUはReLUを印加、READ AMPは読取アンプ、Pooling Chainはプーリング・チェーン。
【0032】
図２３は、送受信モジュール（trixel）アナログ・メモリピーク値保存を示す概略図である。MEM READ PADはメモリ読取パッド、APPLY ReLUはReLUを印加、READ AMPは読取アンプ、Pooling Chainはプーリング・チェーン。
【0033】
図２４は、送受信モジュール（trixel）アナログ・メモリピーク値リセットを示す。MEM READ PADはメモリ読取パッド、APPLY ReLUはReLUを印加、READ AMPは読取アンプ、Pooling Chainはプーリング・チェーン。
【0034】
図２５は、ReLU(rectified linear unit)応答の例のグラフ表示を示す。Max Voltageは最大電圧、Min Voltageは最小電圧、Linear (Non-ReLU) Responseは線形（非ReLU）応答、Classical ReLU ResponseはクラシカルなReLU応答、Soft ReLU ResponseはソフトなReLU応答を示す。
【0035】
図２６は、送受信モジュール（trixel）のアナログ・メモリへの書き込みを示す概略図である。MEM DRIVERはMEM（メモリ）ドライバ、MEM WRITE PADはMEM書込パッド、Pooling Chainはプーリング・チェーン。
【0036】
図２７は、外部データラインからアナログ・メモリをロードすることを示す概略図である。MEM DRIVERはMEM（メモリ）ドライバ、MEM WRITE PADはMEM書込パッド、Pooling Chainはプーリング・チェーン。
【0037】
図２８は、フラグ・メモリ書込回路を示す概略図である。MEM DRIVERはMEM（メモリ）ドライバ、MEM WRITE PADはMEM書込パッド、Pooling Chainはプーリング・チェーン。
【0038】
図２９は、フラグ・メモリ読出回路を示す概略図である。MEM DRIVERはMEM（メモリ）ドライバ、MEM WRITE PADはMEM書込パッド、Pooling Chainはプーリング・チェーン。
【0039】
図３０は、送受信モジュール（trixel）センサーをプーリング・チェーンに読み取るための光学制御ライン設定を示す概略図である。SNSR READ PADはSNSR（センサ）読取パッド, SNSR AMP SNSR（センサ）読取パッド、Pooling Chainはプーリング・チェーン。
【0040】
図３１は、送受信モジュール（trixel）センサーを再設定するための光制御ラインを示す概略図である。SNSR READ PADはSNSR（センサ）読取パッド, SNSR AMP SNSR（センサ）読取パッド、Pooling Chainはプーリング・チェーン。
【0041】
図３２は、プーリング・チェーンから光送信器要素（変調器）を書き込むための光制御ライン設定を示す概略図である。MOD READ PADはMOD読取パッド, MOD DRIVERはMODドライバ、Pooling Chainはプーリング・チェーン。
【0042】
図３３Ａ～Ｂは、送受信モジュール（trixel）回路の概略図を示す。MEM READ PADはメモリ読取パッド、READ AMPは読取アンプ、APPLY ReLUはReLUを印加、MEM SHIFT DRIVERはMEMシフトドライバ。
【0043】
図３４は、トレーニングモードにおいて補正データのフレームをフーリエ変換するためのフーリエ光センサー装置を有する例示的なフォトニック畳み込みアセンブリを示す。
【0044】
【0045】
図３６は、データ（画像）の実世界フレームをフォトニック畳み込みアセンブリに導入するための、カメラレンズ実施形態を備えたフォトニック畳み込みアセンブリの例を示す。
【発明を実施するための形態】
【0046】
例示的なフォトニックニューラルネットワークシステム（又は、光子ニューラルネットワークシステム）１０の機能ブロック図が図１に示され、フォトニックニューラルネットワークシステム１０のための画像を光学的に処理し、畳み込むための例示的なフォトニック畳み込みアセンブリ１２の等角図が図２に示されている。このフォトニックニューラルネットワークシステム１０による畳み込みは光学的フーリエ変換で実行され、これはデジタル空間畳み込みと比較して、速度、解像度、および電力効率を大幅に増加させる。したがって、ニューラルネットワークを生成し、使用することは典型的なコンピュータアルゴリズムによる処理および計算畳み込みよりも、はるかに高速で、かつ、はるかに少ない電力消費で行うことができる。たたみ込みと合計のすべてが完全にアナログ、フルフレームのフォトニック計算であるため、消費電力は非常に低くなる。以下に説明するように、加算（又は、サミング）は容量性光センサー内に電荷を構築することによって達成される、これはアナログプロセスである。センサーはノイズが非常に低く、クロッキングやその他の過渡ノイズ源がないため、サミングは非常にノイズの少ないプロセスである。フォトニックニューラルネットワーク１０は画像、ビデオ、音声、スピーチ・パターン、または畳み込みニューラルネットワークによって通常処理される任意のものなどの任意のデータを受け入れ、処理することができ、すべての既存の畳み込みニューラル・ネット・アーキテクチャおよびトレーニング方法をサポートする。フォトニックニューラルネットワーク１０はまた、光の速度で処理されたフル解像度で、次のステージのためにすべてのデータ要素がその理想的な位置にあるアーキテクチャを用いてフルフレーム画像並列性を提供し、したがって、ほぼ１００パーセント効率的である。他の利点は、この説明から理解することができる。
【0047】
図１および図２の両方を参照すると、例えばフォトニックニューラルネットワークシステム１０のための画像の光学処理は、フォトニック畳み込みアセンブリ１２で実行される。
本質的に、第１のセンサー・ディスプレイ装置１４は以下でより詳細に説明するように、変調光フィールド１５として、第１のフーリエ変換レンズ１６および偏光子１８を介して、レンズ１６の焦点面に配置されたラジアル（又は、半径方向）変調装置２０に、データのフレーム（例えば、音、スピーチ・パターン、ビデオなどの他のデータの画像または光学表現）を投影する。第１のセンサー・ディスプレイ装置１４によって投影されるデータのフレームは、電子データインターフェース２２を介してサポートエレクトロニクス（以下により詳細に説明する）によって第１のセンサー・ディスプレイ装置１４に供給される値又は信号に基づいて、第１のセンサー・ディスプレイ装置１４によって形成される。フーリエ変換レンズ１６は、回折レンズ、ソリッド凸レンズ、又は任意の他の形態のフーリエ変換レンズを使用することができる。また、レンズ１６に入る前に光をコリメートするために、レンズ１６の前にファイバフェースプレート（図示せず）を配置することができる。
本質的に、第１のセンサー・ディスプレイ装置１４は以下でより詳細に説明するように、変調光フィールド１５として、第１のフーリエ変換レンズ１６および偏光子１８を介して、レンズ１６の焦点面に配置されたラジアル（又は、半径方向）変調装置２０に、データのフレーム（例えば、音、スピーチ・パターン、ビデオなどの他のデータの画像または光学表現）を投影する。第１のセンサー・ディスプレイ装置１４によって投影されるデータのフレームは、電子データインターフェース２２を介してサポートエレクトロニクス（以下により詳細に説明する）によって第１のセンサー・ディスプレイ装置１４に供給される値又は信号に基づいて、第１のセンサー・ディスプレイ装置１４によって形成される。フーリエ変換レンズ１６は、回折レンズ、ソリッド凸レンズ、又は任意の他の形態のフーリエ変換レンズを使用することができる。また、レンズ１６に入る前に光をコリメートするために、レンズ１６の前にファイバフェースプレート（図示せず）を配置することができる。
【0048】
レンズ１６はデータのフレーム（例えば、画像）を焦点面（フーリエ変換面とも呼ばれる）でそのフーリエ等価に変換し、したがって、ラジアル変調装置２０の表面で変換する。
ラジアル変調装置２０は電子データインターフェース２４を介してサポートエレクトロニクス（より詳細に後述する）によってラジアル変調装置２０に装填されたパターン（「フィルタ」とも呼ばれる）に基づいて、データのフレームのフーリエ等価物を含む光フィールド１５をフーリエ変換面で変調し、変調されたデータのフレームを第２のセンサー・ディスプレイ装置２６に反射し、これが結果を検出する。データ逆フーリエ変換の変調フレームを含む反射光フィールドは、ラジアル変調装置２０から第２のセンサー・ディスプレイ装置２６への距離において空間領域に逆変換され、したがって、第２のセンサー・ディスプレイ装置２６に入射する変調データフレームは通過した、すなわち、ラジアル変調装置２０によってフーリエ変換面でフィルタ除去されなかったデータフレームの空間領域特徴である。その結果は画素ごとに第２のセンサー・ディスプレイ装置２６によって検出され、ここで、各画素に入射する光は光の強度および光が画素に入射する時間に比例して電荷を生成する。第１のセンサー・ディスプレイ装置１４から出るデータの各フレームは、ラジアル変調装置２０によって１つまたは複数のフィルタ（パターン）で変調することができる。また、第２のセンサー・ディスプレイ装置２６は、ラジアル変調装置２０に適用された１つ以上のフィルタによって変調された１つ以上のデータフレームを第１のセンサー・ディスプレイ装置１４から受信することができる。したがって、第２のセンサー・ディスプレイ装置２６内の各画素の電荷蓄積は以下でより詳細に説明するように、データの１つまたは複数のフレームの１つまたは複数の変調された（すなわち、フィルタリングされた）パターンの合計とすることができ、それによって、第１のセンサー・ディスプレイ装置１４によって投影されたデータの１つまたは複数のフレームの畳み込みを構成する。
ラジアル変調装置２０は電子データインターフェース２４を介してサポートエレクトロニクス（より詳細に後述する）によってラジアル変調装置２０に装填されたパターン（「フィルタ」とも呼ばれる）に基づいて、データのフレームのフーリエ等価物を含む光フィールド１５をフーリエ変換面で変調し、変調されたデータのフレームを第２のセンサー・ディスプレイ装置２６に反射し、これが結果を検出する。データ逆フーリエ変換の変調フレームを含む反射光フィールドは、ラジアル変調装置２０から第２のセンサー・ディスプレイ装置２６への距離において空間領域に逆変換され、したがって、第２のセンサー・ディスプレイ装置２６に入射する変調データフレームは通過した、すなわち、ラジアル変調装置２０によってフーリエ変換面でフィルタ除去されなかったデータフレームの空間領域特徴である。その結果は画素ごとに第２のセンサー・ディスプレイ装置２６によって検出され、ここで、各画素に入射する光は光の強度および光が画素に入射する時間に比例して電荷を生成する。第１のセンサー・ディスプレイ装置１４から出るデータの各フレームは、ラジアル変調装置２０によって１つまたは複数のフィルタ（パターン）で変調することができる。また、第２のセンサー・ディスプレイ装置２６は、ラジアル変調装置２０に適用された１つ以上のフィルタによって変調された１つ以上のデータフレームを第１のセンサー・ディスプレイ装置１４から受信することができる。したがって、第２のセンサー・ディスプレイ装置２６内の各画素の電荷蓄積は以下でより詳細に説明するように、データの１つまたは複数のフレームの１つまたは複数の変調された（すなわち、フィルタリングされた）パターンの合計とすることができ、それによって、第１のセンサー・ディスプレイ装置１４によって投影されたデータの１つまたは複数のフレームの畳み込みを構成する。
【0049】
例えば、１フレームのデータは第１のセンサー・ディスプレイ装置１４によって順次投影され、まず赤色、次いで緑色、次いで青色で投影され、放射状変調装置（又は、ラジアル変調装置／放射状モジュレータ）２０は赤色、緑色、および青色の投影のそれぞれに同じまたは異なるフィルタ（パターン変調）を適用することができる。これらのデータの変調フレームの全ては、順次変調されたデータのフレームの各々からの光により、第２のセンサー・ディスプレイ装置２６の各画素毎の電荷に加算されて、第２のセンサー・ディスプレイ装置２６によって順次検出することができる。次いで、第２のセンサー・ディスプレイ装置２６のそれぞれの画素についてのそれらの電荷は、第２のセンサー・ディスプレイ装置２６のそれぞれの画素のそれぞれのメモリセルに転送され、それらのメモリセルは第２のセンサー・ディスプレイ装置２６のそれぞれの画素についてのこれらの合計結果を格納し、それによって、第１のセンサー・ディスプレイ装置１４によって空間領域に投影され、放射状変調装置２０内のフィルタによってフーリエ変換領域に畳み込まれた空間領域内のデータのフレームの畳み込みの格納画素値を含む。
【0050】
その処理は第１のセンサー・ディスプレイ装置１４からのデータの同じフレームの赤、緑、青の投影に対してであるがラジアル変調装置２０内の異なるフィルタで、したがって、ラジアル変調装置２０によって反射されたフーリエ変換領域から第２のセンサー・ディスプレイ装置２６への異なる変調パターンで繰り返すことができ、これにより、第２のセンサー・ディスプレイ装置２６のメモリバンク内の別の畳み込みフレームのデータの別の蓄積画素値の別のセットと別の加算結果がもたらされる。第２のセンサー・ディスプレイ装置２６内に畳み込まれたデータの畳み込みフレームを蓄積するものは、ラジアル変調装置２０によるこれらの異なるフィルタ用途の全てに対して第１のセンサー・ディスプレイ装置１４によって投影されたデータのフレームから３Ｄ畳み込みブロックを形成する。要約すると、第１のセンサー・ディスプレイ装置１４からのデータのフレームは、フーリエ面内の一連のフィルタによってラジアル変調装置２０によって乗算され、第２のセンサー・ディスプレイ装置２６のメモリ内に３Ｄ畳み込みブロックを構築するシーケンスで、第２のセンサー・ディスプレイ装置２６によって加算される。３Ｄ畳み込みブロック内のデータの畳み込みフレームの全てについて画素値の全てを格納するのに十分なメモリ容量を仮定して、データの任意の数のこのような畳み込みフレームを３Ｄ畳み込みブロック内に蓄積することができる。その３Ｄ畳み込みブロックは、ニューラルネットワークにおける第１のレベルと考えることができる。
【0051】
次の畳み込みブロック又はレベルについては、第１のセンサー・ディスプレイ装置１４及び第２のセンサー・ディスプレイ装置２６は、機能を入れ替える。第２のセンサー・ディスプレイ装置２６のメモリ内の３Ｄ畳み込みブロックは、次の畳み込みシーケンスのためのデータのフレームとなる。例えば、第２のセンサー・ディスプレイ装置２６のメモリ内の３Ｄ畳み込みブロック内に蓄積された各畳み込みフレームのデータは、第２のフーリエ変換レンズ２８を介して第２のセンサー・ディスプレイ装置２６によってラジアル変調装置２０に投影され、そこでフィルタによって乗算され、第１のセンサー・ディスプレイ装置１４に反射される。第１のセンサー・ディスプレイ装置１４は第１のセンサー・ディスプレイ装置１４のメモリ内に次の３Ｄ畳み込みブロックを構築するために、そのような畳み込み及び加算されたデータのフレームのシリーズを検出し、加算する。
【0052】
このプロセスサイクルは、図５に概略的に示されている。
【0053】
これらの畳み込み処理は、第１のセンサー・ディスプレイ装置１４と第２のセンサー・ディスプレイ装置２６との間で前後に（又は相互に）投影されるデータのフレームを、任意の畳み込みニューラルネットワークアーキテクチャに対して必要な回数だけ繰り返すことができる。後続のサイクルでより多くのフィルタが適用されると、以下により詳細に説明するように、各画素検出からの蓄積電荷を個々のメモリセルに給電する代わりに、複数の画素検出からの蓄積電荷を１つのメモリセルに給電することによって、畳み込みをプールすることができる。したがって、多くの抽象化レベルを有する畳み込みニューラルネットワークを、例示的なフォトニックニューラルネットワーク１０を用いて開発することができる。
【0054】
例示的なラジアル変調器デバイス２０の正面図が図３に示され、例示的なラジアル変調器デバイス２０の例示的なセグメント光変調器要素４０の拡大図を有する例示的なラジアル変調器デバイス２０の中心部分の斜視図が図４に示されている。ラジアル変調器デバイス２０は複数の光変調ウェッジセグメント３２（楔形セグメント）を備える光学活性領域３０を有し、その各々は、それぞれのウェッジセグメント３２に入射する光を変調するように独立して作動可能である。図２、図３、及び図４に示す例のラジアル変調装置２０では、ウェッジセグメント３２が複数のウェッジセクタ３４にまとめられており、各ウェッジセクタは中心コンポーネント３６から半径方向外側に延びており、それらが一緒になってラジアル変調装置２０の光学活性領域３０を形成している。図３および図４では図面の混乱を避けるために、ウェッジセグメント３２およびセクタ３４のいくつかのみにこれらの符号を付しているが、この図ではウェッジセグメント３２およびウェッジセクタ３４のすべてが例示的なラジアル変調器デバイス２０内のどこに位置するかを当業者は理解するのであろう。図３及び図４に示す例のラジアル変調装置２０ではウェッジセグメント３２が円形の光学活性領域３０を形成するように配置されているが、他の形状を使用することもできる。
【0055】
上述したように、ウェッジセグメント３２の各々は、各ウェッジセグメント３２をアクティブ化して光を透過させるか、光を遮断するか、または完全な透過と遮断との間で光の透過を変調することができるという意味で、光学的に活性である。したがって、光学活性領域３０に入射する光のビームまたはフィールドは、１つまたは複数のウェッジセグメント３２の任意の組み合わせで変調することができる。空間光変調器は、多くの方法で光を変調するように設計、製造することができる。例えば、２００６年９月５日にRikk Crillに対して発行された米国特許第７，１０３，２２３号は、図２及び図３のラジアル変調装置２０と同様のラジアル空間光変調装置において、ウェッジセグメントを変調するための複屈折液晶材料の使用を例示している。Zhangらの論文「Active meta surface modulator with electro-optic polymer using bimodal plasmonic resonance」、Optics Express、第２５巻、第２４号、２０１７年１１月１７日）は光を変調し、超薄表面法線用途に適した電気光学ポリマーを有する電気的に同調可能な金属格子を記載している。例示の放射状モジュレータ装置２０における光学活性ウェッジセグメント３２のための金属格子構造４２を有する例示のセグメント光変調器４０として使用するために形作られてこのようなメタ表面光モジュレータ素子が図４に示されている。格子構造４２は全て基板５０上に構築された底部金属（例えば、Ａｕ）レイヤー４６と交差指状の頂部薄膜金属（例えば、Ａｕ）格子レイヤー４８との間に挟まれた交差指状の電気光学ポリマー４４を含む。回折格子４２の周期は、回折が禁止されるように入射光Ｌの波長よりも短い。上部金属レイヤー４８の厚さは、入射光Ｌから電気光学ポリマー４４への直接結合を排除するために表皮深さよりも大きい。底部金属レイヤー４６も、ほぼ完全な反射ミラーとして動作するように、同じ厚さである。本質的に、光Ｌはメタ表面光モジュレータ素子４０の頂部に入り、ポーリング電圧（poling voltage）４５の印加によって周期的にポーリングされる電気光学ポリマー４４内で位相シフトされ、底部金属レイヤー４６から反射し、その第２（すなわち、反射）通過の間にさらに位相シフトされ、９０度回転された光の偏光とともに上面から出る。実施例のラジアル変調装置２０における他のウェッジセグメント３２は同じ種類の光変調素子４０を有することができるが、各々の特定のウェッジセグメント３２に適合しかつ実質的に充足するように寸法及び形状が決められている。中心コンポーネント３６はまた、光変調素子４０を有することができる。
【0056】
図２～図７に示し、上述したように、例えばラジアル変調装置２０は反射装置であり、ここで、入射光は、ウェッジセグメント３２によって変調され、反射される。しかしながら、ラジアル変調器は代わりに、入射光が変調され、ラジアル変調器を通って伝送される透過装置であってもよい。もちろん、光学構成要素、例えばセンサー・ディスプレイ装置、レンズ、および偏光子の位置はそれぞれの光学構成要素に適切なシーケンスで光フィールドをルーティングするために再配置されなければならないが、当業者は上述の例示的なフォトニックニューラルネットワーク１０に精通すれば、そのような再配置を行う方法を理解するであろう。
【0057】
図３および図４に示されるように、かつ簡単に上述されるように、光学的に活性なウェッジセグメント３２は、丸い中心コンポーネント３６から光学的に活性な領域３０の周囲に半径方向に延在する複数のウェッジセクタ３４にグループ化される。また、ウェッジセグメント３２は、中心コンポーネント３６の周囲に同心円状のリング状に配置されている。最も内側の同心円状リング以外のウェッジセグメント３２の各同心円状リングは直ぐに隣接する内側リングの外半径の２倍の外半径を有し、これはフーリエ変換におけるスケール分布に一致する。従って、ウェッジセクタ３４内の半径方向外側に続くウェッジセグメント３２の各々は、直前のウェッジセグメント３２の２倍の長さである。画像のフーリエ変換面上でフィルタとして機能するラジアル変調器の詳細な説明は例えば、２００６年９月５日にRikk Crillに発行された米国特許第７，１０３，２２３号に見ることができる。ここでは空間ドメイン内のより高い空間周波数形状コンテンツからの光エネルギーがより低い空間周波数コンテンツからの光エネルギーよりもフーリエ変換面で半径方向外側に分散され、一方、より高い空間周波数形状コンテンツから及びより低い空間周波数コンテンツからの光エネルギーの角度配向および強度は画像のフーリエ変換において保存されると言うのが十分である。したがって、フーリエ変換面内のフーリエ変換画像の中心（光軸）から特定の角度配向で、かつ特定の半径距離で配置された特定のウェッジセグメント３２によって伝達（又は、透過）された光エネルギーは投影において逆フーリエ変換されて、特定のウェッジセグメント３２と同じ角度配向を有する元の画像からの形状コンテンツ（形状コンテンツ）（特徴）、及び、そのような光エネルギーがフーリエ変換面内で分散された半径方向の広がりに対応する範囲内の空間周波数を有するその角度配向の形状コンテンツ（特徴）のみを表示するように逆フーリエ変換される。空間領域に戻ったこれらの逆フーリエ変換された特徴（形状コンテンツ）の光強度（明るさ）はこれらの特徴（形状コンテンツ）が元の画像において有していた光強度（明るさ）に対応し、これらは元の画像におけるものと同じ位置にある。もちろん、フーリエ変換面内の特定のウェッジセグメント３２によって遮断されて透過されないオリジナル画像の光エネルギーに含まれる形状コンテンツ（特徴）は、逆フーリエ変換画像において空間領域に戻って欠落することになる。また、フーリエ変換面内の特定のウェッジセグメント３２によって、部分的にのみ遮断され、したがって部分的に透過される光エネルギで構成される形状コンテンツ（特徴）は上述のように、同じ角度配向および特定の空間周波数を有する空間領域に逆フーリエ変換され、しかし、強度（輝度）が低下する。（又は、また、フーリエ変換面内の特定のウェッジセグメント３２によって、部分的にのみ遮断され、したがって部分的に透過される光エネルギで構成される形状コンテンツ（特徴）は上述のように、同じ角度配向および特定の空間周波数で空間領域に逆フーリエ変換され、しかし、強度（輝度）が低下する。）したがって、上記で説明し、以下でより詳細に説明するように、元の画像の形状コンテンツ（特徴）の一部が完全または部分強度（明るさ）で逆フーリエ変換画像に保存され、形状コンテンツ（特徴）の一部が逆フーリエ変換画像で部分的に又は完全に削除された、空間領域に戻った逆フーリエ変換画像は図５に示すように、ニューラルネットワークの３Ｄ畳み込みブロックの構築で検出され使用される畳み込み画像である。
【0058】
したがって、図５を参照すると、第１のフィルタ５４がデータインターフェース２４を介して放射状変調装置２０にロードされ、これにより、ウェッジセグメント３２が第１のフィルタ５４によって設定されるパターンで光を遮断し、または、光を完全にまたは部分的に透過させるように設定される。例えば、LEGO（登録商標）玩具構成ブロック５２の山の画像を含むデータの第１のフレームがデータインターフェース２２を介して第１のセンサー・ディスプレイ装置１４にロードされ、したがって、第１のセンサー・ディスプレイ装置１４内の表示構成要素（図５には示されていない）は図５に見られるように、LEGO（登録商標）玩具構成ブロック５２の画像を含むデータのフレームを表示するように設定される。レーザー照射１３は本質的には第１のフーリエ変換レンズ１６を通して及び偏光器１８を通してデータ５０のフレームを放射状変調器装置２０に照射する第１のセンサー・ディスプレイ装置１４上に向けられ、これは図６にも示されるように第１のフーリエ変換レンズ１６から焦点距離Ｆｌ、すなわち、第１のフーリエ変換レンズ１６の焦点面内に配置される。フーリエ変換レンズ１６は像５０を含む光フィールド１５をラジアル変調装置２０の表面上の焦点に集める。LEGO（登録商標）玩具構成ブロック５２の画像を含むデータ５０のフレームはフーリエ変換領域においてラジアル変調装置２０のウェッジセグメント３２によってフィルタで畳み込まれ、これは、上で説明したように、いくつかの光を完全にまたは部分的に反射するか、または画像を構成するいくつかの光を遮断する。ウェッジセグメント３２は反射光を位相シフトし、したがって、偏光を回転させ、その結果、ラジアル変調装置２０によって反射された光は反射光フィールド５６によって示されるように、偏光子１８によって第２のセンサー・ディスプレイ装置２６に反射される。したがって、上で説明したように、LEGO（登録商標）玩具構築ブロック５２の画像のデータ５０の元のフレームの幾つかの形状コンテンツ（特徴）は図５に示すように、第２のセンサー・ディスプレイ装置２６に入射する畳み込み画像において欠けているか、またはそれほど強くない、すなわちフィルタ除去されている。その畳み込みデータ（画像）のフレームは、第２のセンサー・ディスプレイ装置２６で検出され、第２のセンサー・ディスプレイ装置２６で幾つかの後続の畳み込み画像と加算されて、第１の畳み込み加算データフレーム（画像）５８を形成する。第１の畳み込み加算されたデータフレーム（画像）５８は図５に概略的に示されるように、３Ｄ畳み込みブロック６５を構築するために、後続の畳み込み加算されたデータフレーム（画像）との累算のためにメモリバンクに転送され得る。
【0059】
次いで、第２のセンサー・ディスプレイ装置２６と第１のセンサー・ディスプレイ装置１４とは、上述したように役割を入れ替えて、第２のセンサー・ディスプレイ装置２６が表示モードになり、第１のセンサー・ディスプレイ装置１４がセンサーモードになる。第２のセンサー・ディスプレイ装置２６を表示モードにすると、次いで、第１の畳み込み及び加算されたデータフレーム（画像）５８が図７に概略的に示すように、第２のセンサー・ディスプレイ装置２６によって放射状変調装置２０に投影され、そこで、追加のフィルタで畳み込まれ、次いで、放射状変調装置２０によって反射されて第１のセンサー・ディスプレイ装置１４に戻る。この役割の入れ替えは、図７に図式的に示されており、第２のセンサー・ディスプレイ装置２６は表示モードに切り替わり、第１のセンサー・ディスプレイ装置１４はセンサーモードに切り替わる。表示モードでは、第２のセンサー・ディスプレイ装置２６の表示構成要素がその第１の畳み込み及び加算されたデータフレーム（画像）５８を表示するようにプログラムされる。従って、第２のセンサー・ディスプレイ装置２６上のレーザー照射６０は第１の畳み込み及び加算されたデータのフレーム（画像）５８を第２の光学軸６２に沿って第２のフーリエ変換レンズ２８を通って偏光子１８に照射し、これは、第１の光学軸６１に沿って光フィールド６４をラジアル変調装置２０に反射する。第２光軸６２及び第１光軸６１に沿った第２フーリエ変換レンズ２８とラジアル変調装置２０との光学距離は、第２フーリエ変換レンズ２８の焦点距離と等しい。したがって、フーリエ変換面におけるラジアル変調装置２０における光フィールド６４は、第１の畳み込み加算されたデータフレーム（画像）５８のフーリエ変換である。ラジアル変調装置２０は第１の畳み込み及び加算されたデータフレームのフーリエ変換にフィルタを適用して、第２の畳み込みをデータフレームに提供し、上述したように、位相シフトを伴ってそれを反射して、第１の光学軸６１に沿って第１のセンサー・ディスプレイ装置１４に伝搬する。第１のセンサー・ディスプレイ装置１４は、今度は上述したように検出器の交換された役割において、ラジアル変調装置２０によって適用されるフィルタによって畳み込まれたデータのフレーム（画像）を検出する。次いで、第１のセンサー・ディスプレイ装置１４によって検出されたデータ（画像）の畳み込みフレームは第１のセンサー・ディスプレイ装置１４によって、第１のセンサー・ディテクション装置１４によって引き続いて検出されたデータ（画像）の他のいくつかの畳み込みフレームと加算され、このような畳み込み加算されたデータ（画像）のフレームはメモリバンクに転送され、第２の３Ｄ畳み込みブロック６６を構築するために使用され、これは図５に図式的に示されている。
【0060】
次に、第１および第２のセンサー・ディスプレイ装置１４、２６の役割が再び交換され、第１のセンサー・ディスプレイ装置１４によって感知され合計されたデータの畳み込みおよび合計フレームが、上述したのと同じ方法でシステムを通して逆投影され、ラジアル変調器装置２０によって畳み込まれ、次いで第２のセンサー・ディスプレイ２６によって検出され、合計されて、第１の３Ｄ畳み込みブロック６５を構築し続け、システムを通して送り返されて、追加のフィルタおよび合計で畳み込まれて、第２の３Ｄ畳み込みバンク６６を構築し続ける。このプロセスはより深く、より深い畳み込みを構築するために、または推論ニューラルネットワークが完了するまで、所望の回数だけ繰り返される。
【0061】
第１のセンサー・ディスプレイ装置１４及び第２のセンサー・ディスプレイ装置２６は各々、以下でより詳細に説明するように、３Ｄ畳み込みブロック６５、６６及びその後の畳み込みブロックを構築するために、引き続いて受け取られた畳み込みフレームのデータ（画像）を受け取り且つ合計するデータ（画像）の畳み込みフレームを記憶するためのメモリバンクを有することができる。したがって、システムにロードされるデータ（画像）の最初のフレームを除いて、データの入力フレームは、前の畳み込みサイクルからセンサー・ディスプレイ装置１４、２６の１つのメモリバンクに常に常駐することができる。一連のフィルタ６８はデータ（画像）のフレームのフィルタでの畳み込みのために、それぞれの第１及び第２のセンサー・ディスプレイ装置１４，２６によってデータ（画像）のフレームの表示と同期して放射状変調装置２０内にロードされる。
【0062】
フーリエ変換領域で光学的に計算されたことを除いて、このフォトニックニューラルネットワークシステム１０での畳み込みは、伝統的なデジタル方法によって計算される畳み込みと同じである。しかしながら、以下でより詳細に説明するように、全てのデータ要素がサイクルの次の畳み込み段階のための理想的な位置にあるアーキテクチャで光速で処理される任意の解像度における全フレーム並列性はほぼ１００パーセントの効率であり、従って、上述のように、且つ以下により詳細に説明するように、実施例のフォトニックニューラルネットワークシステム１０で畳み込みブロックを構築することは、伝統的なデジタル方法によって計算される畳み込みよりもはるかに多くのパワー及び速度を提供する。
【0063】
上述したように、第１および第２のセンサー・ディスプレイ装置１４、２６の各々は、画素単位で、光検出および画像表示の両方の能力を有する。この例ではフォトニックニューラルネットワークシステム１０において、第１のセンサー・ディスプレイ装置１４及び第２のセンサー・ディスプレイ装置２６は互いに本質的に同じ構成要素及び構造を有しているので、それらの装置の詳細は主として第１のセンサー・ディスプレイ装置１４を参照して後述されるが、そのような詳細も第２のセンサー・ディスプレイ装置２６を表すものであることを理解する。したがって、以下の説明では、第１のセンサー・ディスプレイ装置１４を単にセンサー・ディスプレイ装置１４と呼ぶことがある。一例のセンサー・ディスプレイ装置１４の機能ブロック図が図８に示され、送受信モジュール（送信・受信モジュール）８２のアレイ８０を備え、その各々は以下により詳細に説明されるように、光透過および光検出素子およびメモリバンクを有する。アレイ８０内の送受信モジュール８２のための行および列制御、ならびに外部制御回路（図８には図示せず）への混合アナログおよびデジタルインターフェース２４が、入出力データのために提供され、これについては以下でより詳細に説明する。図９に図式的に示されたアレイ８０の拡大部分はアレイ８０内の送受信モジュール８２の例を図示し、例示の送受信モジュール８２のさらなる拡大図形的表現は図１０に示されている。例示の送受信モジュール８２の各々がマイクロ光送信器要素８４とマイクロ光検出器（センサー）要素８６の両方を含み、これらは、送受信モジュール８２が典型的な計算畳み込みからの典型的な計算畳み込みからのニューラルネットワーク結果と少なくとも同程度に有用なニューラルネットワーク結果、およびコンピュータアルゴリズムによる処理と同様に、十分な解像度で、画像またはデータのフレームの実質的に同じ画素位置で光の送信器および光の受信器として有効に機能するために、十分に小さく、かつ互いに十分に近接している。例えば、代表的なフォトニックニューラルネットワークシステム１０を用いたニューラルネットワークが典型的な計算畳み込みおよびコンピュータアルゴリズムによる処理からのニューラルネットワークの結果と同様に有用な結果を生じるには、マイクロ光送信素子８４およびマイクロ光検出素子８６は、互いに４０マイクロメートル以下だけオフセットされ得、両方とも、１６０平方マイクロメートル以下の面積を有する送受信モジュール８２内に適合され得る。
【0064】
図１０に最もよく示されているように、光送信器要素８４および光センサーまたは光受信器検出器要素８６に加えて、例示的な送受信モジュール８２は、変調器ドライバ８８、メモリバンク９０、メモリインターフェース９２、アナログおよびデジタル制御要素９４、アレイ８０内の隣接する送受信モジュール８２とのプーリング接続を行うためのプーリング接続９６、プーリング制御要素９８、およびセンス増幅器１００を有する。表示モードでは、例えば、第１のセンサー・ディスプレイ装置１４（図２、図５、および図６）が上述したように、ラジアル変調器２０に１フレームのデータ（画像）を投影すると、図２、図５、および図６に示すように、レーザー照射が送受信モジュール８２の背面に向けられる。データ（画像）の最初のフレームは、データ（画像）のフレームの各画素に対する画素値から構成される。これらの画素値は、レーザー照射１３（図２、図５、および図６参照）の光フィールド１５内にデータ（画像）の第１のフレームを生成するパターンでアレイ８０（図８～１０）のそれぞれの送受信モジュール８２に供給される。図１０に示すように、送受信モジュール８２の個々の１つに対して、画素値はアナログおよびデジタル制御エレメント９４に供給され、これにより、画素値が変調器ドライバ８８にシフトされる。変調器ドライバ８８はピクセル値に従って光送信器素子８４（図１０）上の電圧を変調して、アレイ８０（図８～１０）の他の送受信モジュール８２の他の光送信器素子８４がそれぞれのピクセルの光を伝送すると同時にレーザー照射１３（図２、図５、および図６）のピクセルを伝送する方法で光送信器素子８４に入射されるレーザー照射を変調し、これが一緒になって、アレイ８０を透過するレーザー光フィールド１５（図２、図５、および図６）にデータのフレーム（画像）を課す。データ（画像）の最初のフレームが第１のセンサー・ディスプレイ装置１４によって送信され、畳み込まれたデータ（画像）のフレームが第１のセンサー・ディスプレイ装置１４に戻された後、その畳み込まれたデータ（画像）のフレームを含む光フィールドが第１のセンサー・ディスプレイ装置１４のアレイ８０内のすべての送受信モジュール８２のセンサー８６に入射される。従って、アレイ８０内の各送受信モジュール８２上のセンサー８６は入射光フィールドの画素を検出し、従って、入射光フィールドによって構成される（又は、入射光フィールドに含まれる）データ（又は日付）のフレーム（画像）の画素を検出する。当業者は光センサー、例えば電荷結合素子（CCD）がどのように構成され機能するかを理解し、そのような光センサーまたは同様の光センサーをセンサー８６に使用することができる。本質的に、各光センサーは光子内のエネルギーの大部分を吸収し、入射光強度に比例する電荷を生成し、その電荷を容量性構成要素内に蓄積することによって、入射光子に応答する光感知フォトダイオードまたは容量性構成要素を有する。光がセンサーに入射する時間が長いほど、容量性構成要素に電荷が蓄積される。したがって、各センサー８６に入射する光エネルギーの画素は電荷をそのセンサー８６内に構築させ、電荷の大きさはその画素内の入射光の強度およびその画素内の光がセンサー８６に入射される時間に比例する。
【0065】
上述したように、一連の畳み込まれたフレームのデータ（画像）がセンサー・ディスプレイ装置１４に送信され、これによって受信される場合、データ（画像）の連続した（シーケンスの）フレームを含む連続した光フィールドの光エネルギー（光子）はセンサー８６内に電荷を生じさせるので、個々のセンサー８６によって感知された連続した光フィールドからの光フィールドエネルギーの連続した画素を蓄積することができ、すなわち、その個々のセンサー８６の容量性成分に加えることができ、それによって、その特定の画素位置における光フィールドのシーケンスからの光エネルギーの和であるセンサー８６内に蓄積された電荷が生じる。従って、センサー・ディスプレイ装置１４によって受信されたデータ（画像）の畳み込みフレームのシーケンスは、センサー・ディスプレイ装置１４の送受信モジュール８２のアレイ８０によってピクセル毎に感知され、加算される。次に、上述したように、データ（画像）の所定数の個々の畳み込みフレームが受信され、合計されると、各個々の送受信モジュール８２のセンサー８６に蓄積された（合計された）電荷は、その個々の送受信モジュール８２のメモリバンク９０にシフトされる。センサー８６に蓄積された（加算された）電荷をメモリバンク９０にシフトする同じ動作が、アレイ８０内のすべての送受信モジュール８２で同時に行われる。したがって、そのシフト動作の実行時に、送受信モジュール８２のアレイ８０は、データ（画像）の入力フレームのその一連または連続した畳み込みおよび加算から生じるデータ（画像）の完全な畳み込みおよび加算されたフレームを送受信モジュール８２の個々のメモリバンク９０に格納している。図１０を参照すると、その特定の送受信モジュール８２の画素位置の、その最初の（又は、第１の）畳み込まれ、合計されたデータ（画像）のフレームに対する画素値は、センサー８６から第１のメモリセル１０２にシフトされる。したがって、アレイ８０のすべての送受信モジュール８２のメモリバンク９０内のすべての第１のメモリセル１０２の合成は、ピクセルごとでのデータ（画像）の畳み込み加算フレームを含む。
【0066】
次いで、上述のように、データ（画像）のフレームの後続の第２のシリーズまたはシーケンスが畳み込み加算されると、結果として得られる第２の畳み込み加算されたデータ（画像）のフレームのその画素に対するセンサー８６内に蓄積された電荷は、第１の畳み込み加算されたデータ（画像）のその画素からの電荷がメモリ９０の第２のメモリセル１０４に同時にシフトされるにつれて、第１のメモリセル１０２内にシフトされる。当業者はそのようなシフトレジスタメモリがどのように作られ、動作されるかを理解するので、詳細な説明はこの説明の目的のために必要ではない。この同じプロセスは、アレイ８０内の他の送受信モジュール８２内で同時に発生する。したがって、アレイ８０のすべての送受信モジュール８２のメモリバンク９０内のすべての第１および第２のメモリセル１０２、１０４の合成は、ピクセルごとにデータ（画像）の第１および第２の畳み込み加算フレームを含む。
【0067】
データ（画像）のフレームのより多くの後続のシリーズまたはシーケンスが上述のように畳み込まれ合計されるにつれて、そのようなデータ（画像）の順次（又は、シーケンスで）畳み込まれ合計されたフレームの合計された画素値は第１のメモリセル１０２に順次シフトされ、一方、各先行する画素値はメモリバンク９０のメモリセルに沿ってさらにシフトされ、そのプロセスは上述のようにアレイ８０の送受信モジュール８２のすべてにおいて同時に行われる。従って、畳み込み及び加算の一連又はシーケンスの全てからのデータ（画像）のこのような畳み込み及び加算されたフレームの全ては、送受信モジュール８２のアレイ８０内のメモリバンク９０のメモリセル内に画素毎に記憶される。データ（画像）のこのような畳み込み及び加算されたフレームの各々は畳み込みと呼ばれることがあり、従って、送受信モジュール８２のアレイ８０は、送受信モジュール８２の個々のメモリバンク９０内に個々のメモリセルが存在するのと同じ数の畳み込みを画素毎に保持することができる。例えば、図９および図１０に概略的に示される例示的な送受信モジュール８２は、それぞれ、６４個の個々のメモリセル１０２、１０４、．．．、ｎから構成されるメモリバンク９０を有する。従って、送受信モジュール８２の例示的なアレイ８０はフル解像度でピクセル毎に、６４回ものフレームのデータ（画像）を保持することができる。送受信モジュール８２（図１参照）内の光送信素子８４および光センサー素子８６が以下でより詳細に説明するように、隣接する送受信モジュール８２の光送信素子８４および光センサー素子８６と共にプールされると、プールされたグループ内の光送信素子８４および光センサー素子８６のすべてが、データ（画像）のフレームのより粗い表現のために同じ輝度を表示する。このようなプーリング条件下では、プールされたグループ内の送受信モジュール８２のメモリバンク９０を順次使用して、プールされたグループ全体の送受信モジュール８２について感知され、合計された結果を保存することができ、それによって、実効メモリ容量および深さを増大させることができる。例えば、６４個のメモリセルを含むメモリバンク９０をそれぞれ有する送受信モジュール８２が５×５グループにプールされる場合、すなわち、グループ当たり２５個の送受信モジュール８２がプールされる場合、各グループの実効メモリ容量または深さは、１，６００個のメモリセル（６４×２５＝１，６００）である。したがって、データ（画像）の順次の畳み込み加算フレームは最初に、その送受信モジュール８２のメモリバンク９０が満たされるまでグループ内の送受信モジュール８２の１つに供給され、次に、さらなる順次畳み込み加算されたデータ（画像）のフレームはその第２の送受信デバイス８２のメモリバンク９０も満たされるまでグループ内の第２の送受信モジュール８２に供給され、次に、グループ内の残りの送受信モジュール８２のそれぞれのメモリバンク９０を順次満たし続けることができる。グループ内のすべての伝送モジュール８２のメモリバンク９０が満たされる場合、メモリ内の畳み込みのそのブロックは、１，６００の深さになる。アレイ８０内の送受信モジュール８２のメモリ９０内の畳み込みの集約は例えば、図５に図式的に示す３Ｄ畳み込みブロック６５である。このような畳み込みの所望の数が最後の３Ｄ畳み込みブロックのためにアレイ内に蓄積されると、センサー・ディスプレイ装置１４による送信のために、ピクセル毎にメモリバンク９０から読み出され、プロセスの終了時に電子データインターフェース２２を通して戻され、ニューラルネットワーク結果を出力することができる。
【0068】
しかしながら、例のフォトニックニューラルネットワークシステム１０を用いてデータのフレームを繰り返しさらに畳み込み、加算するディープラーニングプロセスの間、最も最近に形成された畳み込みブロックの画素値は、個々の送受信モジュール８２内の個々のメモリバンク９０のメモリセル内に依然として存在することを繰り返すことが重要である。したがって、センサー・ディスプレイ装置１４が、畳み込みブロックが送受信モジュール８２のメモリ９０内に蓄積されるセンサーモードから、より深い畳み込み処理のためにその畳み込みブロックがシステム１０の光学コンポーネントを介して送信され戻される表示モードに切り替わると、畳み込みブロックを有する（又は畳み込みブロックを構成する）データ（画像）の畳み込みフレームおよび合計フレームのそれぞれに対する画素値を、メモリ９０のメモリセル１０２、１０４，．．．，ｎから外部コンピュータ処理、メモリ、および他の構成要素または機能への、またはそれらからのデータのさらなる処理および転送なしに、変調器ドライバ８８へ直接読み出す（シフトする）ことができる。代わりに、センサーモードから表示モードに切り換えると、畳み込みブロックを有する（又は畳み込みブロックを構成する）データ（画像）の個々のフレームの画素値がメモリ９０から直接変調器ドライバ８８に順次読み出され（シフトされ）、これにより、光送信器素子８４が、その畳み込みサイクルでさらに畳み込まれるべきデータ（画像）のフレームの画素値を光フィールドに書き込む（課す）方法で、送受信モジュール８２に入射されるレーザー光を変調するように駆動される。従って、アレイ８０内の送受信モジュール８２の全てが同時に表示モードに切り替わり、それらの各々における画素値がレーザー光フィールド内に書き込まれる（課される）ので、センサー・ディスプレイ装置１４によって送信される光フィールド内のそれらの画素値の合成は、アレイ８０内の送受信モジュール８２のメモリバンク９０内に加算され記憶されたデータ（画像）の先に畳み込まれたフレームを複製する。
先に畳み込まれ、合計されたデータのフレーム（画像）を有する光フィールドがフーリエ変換レンズ１６を通して、フーリエ変換面内のフィルタでの更なる畳み込みのためにラジアル変調器２０に投影され、次いで、先に説明したように、他の（例えば、第２の）センサー・ディスプレイ装置２６で検出される。
先に畳み込まれ、合計されたデータのフレーム（画像）を有する光フィールドがフーリエ変換レンズ１６を通して、フーリエ変換面内のフィルタでの更なる畳み込みのためにラジアル変調器２０に投影され、次いで、先に説明したように、他の（例えば、第２の）センサー・ディスプレイ装置２６で検出される。
【0069】
また、上で説明したように、これらの畳み込みおよび加算プロセスは、多くのフィルタを有する多くのサイクルを経て何度も繰り返される。また、第１のセンサー・ディスプレイ装置１４および第２のセンサー・ディスプレイ装置は第１のセンサー・ディスプレイ装置１４の送受信モジュール８２が第２のセンサー・ディスプレイ装置２６の対応する送受信モジュール８２と光学的に整列するように、それぞれの光軸６１、６２上に整列され（図２、図６、および図７参照）、その結果、対応する送受信モジュール間を含む、第１および第２のセンサー・ディスプレイ装置１４、２６のそれぞれのアレイ８０間に完全な光学的位置合わせが存在する。従って、例示のフォトニックニューラルネットワーク１０は、光速度でフルフレームのフル解像度の完全並列畳み込みを行う。利得、しきい値（ReLU）、最大または平均プーリング、および他の機能などの他の効果は以下でより詳細に説明するように、専用回路で同時に実行され、これらの効果は、追加の時間遅延を呈さない。例えば、VGG16またはInception-Resnet-v2を含む、事実上任意の畳み込みニューラルネットワークアーキテクチャを収容することができる。全ての処理はセンサー・ディスプレイ装置１４、２６上で完全に行われ、データ（画像）のフレームをこれらの装置に再配置したり、これらの装置から再配置したりすることはない。推論動作では、ユーザアプリケーションは画像をロードし、数マイクロ秒後に結果を受け入れるだけでよい。
【0070】
送受信モジュール８２内のマイクロ光送信器要素８４は、光を放射または変調する任意の光変調器デバイスとすることができる。上述の例示的なフォトニックニューラルネットシステム１０の説明は、光が光送信器要素を透過することを可能にするか、または抑制することによって光送信器要素の背面に入射するレーザー光を変調する光送信器要素８４を含む。しかしながら、光送信器要素８４は入射光を変調し、それを反射する反射光変調器デバイスに置き換えることができ、これは、光が反射される光送信器要素の同じ表面にレーザー照射が入射することを必要とし、かつ、上述したフォトニックニューラルネットワークの例を理解するようになった後で当業者に理解されるように、光学要素の再配置を必要とするのであろう。別の代替案として、光送信器要素８４を発光器で置き換えることができ、これにより、レーザー光フィールドが背面に入射し、及び変調器を通過することが不要になる。
【0071】
一例の光送信器要素８４が図１１に示されており、これは、図４に示され、上述されたメタ表面光変調器要素４０と同様の入射光の位相変調を行う。しかしながら、図１１のこの例の光送信器要素８４は図４の光反射要素の代わりに光透過要素であるので、最下部の金属レイヤー４６は頂部電極４８のように交差するように格子構造の間に空隙が生じ、その結果、入射光Ｌは電気光学ポリマー４４によって位相変調されて、電気光学ポリマー４４によって遮断されるか、又は格子構造４２を通過することが可能である。基板５０は、光Ｌに対して透明である。ポーリング電圧４５は上述したように、光フィールドＬで課される画素値に従って、送受信モジュール８２の変調器ドライバ８８によって駆動される。このような透過型光変調器のさらなる詳細はKosugiらの論文「Surface-normal electro-optic-polymer modulator with silicon subwavelength grating」、IEICE Electronics Express、第１３巻、第１７号、１～９頁、２０１６年９月１０日に見る。
【0072】
送受信モジュール８２の背面は光が光送信素子８４に到達して通過することを可能にする開口を除いて、送受信モジュール８２の背面上のレーザー照射が送受信モジュール８２を透過するのを阻止するために、背面を覆う不透明なカバーまたはマスク（図示せず）を有する。フーリエ変換レンズ１６及びフーリエ変換レンズ１６の前方の光をコリメートするファイバーフェースプレートを含む光学部品は、第１のセンサー・ディスプレイ装置１４の前面に接合することができる。同様に、フーリエ変換レンズ２８とファイバーフェースプレートとを第２のセンサー・ディスプレイ装置２６の前面に接着することができる。
【0073】
ここで図１を参照すると、フォトニック畳み込みアセンブリ１２の第１および第２のセンサー・ディスプレイ装置１４、２６およびラジアル変調器デバイス２０に加えて、例示的なフォトニックニューラルネットワークシステム１０は例えば、（i）ラジアル変調器デバイス２０を駆動するためのパルス出力を実施する回路ブロック１１０と、（ii）デジタルデータが第１および第２のセンサー・ディスプレイ装置１４、２６にロードされ、そこから受信される高速アナログ－デジタル回路ブロック１１２と、高帯域幅メモリ（HBM２）１１４と、他のシステムコンポーネントのための基本的な制御およびインターフェースデバイスであるフィールドプログラマブルゲートアレイ（FPGA）１１６とを含む、外部制御コンポーネントも含む。HBM２１１４は、フィルタ、状態機械ステップ、および画像データのための記憶装置を提供する。回路ブロック１１０、HBM２１１４、およびFPGA１１６はマルチチップモジュール（MCM）１１８上にあり、システム１０へのユーザインターフェースは、名目上、PCI－Expressバス１２０を介している。
【0074】
フィールド・プログラマブル・ゲートアレイ（FPGA）１１６と第１のセンサー・ディスプレイ装置１４との間の例示的なシステム・インターフェース１２２の機能ブロック図が図１２に示されており、図１２の機能ブロック図は、FPGA１１６と第２のセンサー・ディスプレイ装置２６との間のシステム・インターフェースの代表でもある。図面における便宜上及び簡潔さのために、図面及び回路ブロック１１０出力回路装置１１１（図１）のための関連する説明において、センサー・ディスプレイ装置１４、２６（図１、図２、図５－７、図１０）のために任意の用語「Sensay」（センサー及びディスプレイの略語）や任意の用語「RedFive」が時々使用される。便宜上及び簡潔さのために、送受信モジュール８２（図８～１０）は、「Trixel」と呼ばれることがある。（「Trixel」が「送信・受信ピクセル」の略語である。）
【0075】
RedFives１１１のいくつかは、センサー・メモリバンク９０をロードするためにアナログ・データを生成する役割を果たす。これらのRedFives １１１は、HBM２１１４がFPGA１１６によって管理される状態マシンソースであるため、メモリモジュール（HBM２）１１４を介してインターフェースされる。アナログおよびデジタル入出力（Ｉ／Ｏ）は、フィードバックループの制御に使用されるため、FPGA１１６を介してインターフェースされる。いくつかの未使用ビットは、同期のためのステータスフラグとしてFPGA１１６にラップバックされる。Sensay Digital １４、２６I/OはRedFives１１１のいくつかと同じメモリラインを使用するが、それらは同時にアクセスされないので、メモリラインのこの二重使用は競合ではない。また、RedFives１１１からの出力アナログラインのいくつかは、ADC１１２への入力アナログラインとして共有される。データを読み取り、それをFPGA１１６に渡すために使用されるADC１１２の数は実装に依存する。
【0076】
センサー・ディスプレイ装置（Sensay）１４、２６の外部インターフェース（図８参照）の機能ブロック図が図１３に示されている。図１３では、「Sx」が「Sensay A」１４または「Sensay B」２６の前に付けられている（Sensay１４、２６のいずれかに関連する信号を区別するためにシステムを論じる場合，図８のデジタル入力線は３つの一般的なカテゴリにグループ化することができる。行および列制御はSensay内のラッチのセットをロードする（図１４参照）。グローバル制御ライン（又は、行）は種々の機能を有し、その各々は、使用の文脈で説明される。グローバル行は、行または列に沿ってルーティングできる。グローバル制御ラインはすべての送受信モジュール（trixels）８２へルーティングし、特定の列または行に固有ではない。
【0077】
SxPeakresetは、外部ゲインコントロールに使用されるアナログピークホールド回路をリセットする。この信号は非同期であるが、データ競合を回避するために、SxFreezeがアサートされるときにのみアサートされるべきである（１）。
【0078】
図１３のSxSnsresetは、センサー８６（図１０）をアナログSxLevelラインのレベルにリセットする。センサー８６は、電荷を蓄積するように設計されているので、予め設定されたレベルまで降下するためにこの機構を必要とする。このリセットをグローバルバイアスとして使用して、センサー８６の充電レベル（したがって、次のパスのモジュレータレベル）をプリセットできる。
【0079】
SxPoolmodeは、プーリングにおける平均（１）または最大（０）動作を決定する。
【0080】
図１３のSxFreezeは、グローバルメモリバンク９０（図１０）のアクセスを有効または無効にする。アサート（１）された場合、すべてのtrixelsメモリドライブ９２がセーフ状態に設定され、メモリバンク９０のアクセスやシフトは許可されない。SxFreezeは、ラインが整定される前にデータの汚染を防止するために他の制御ラインを構成するときに使用される。以下の説明では、SxFreezeの機能は常に言及されるわけではなく、その動作は常に規則である。
【0081】
図１３のSxRWDirは、有効なメモリバンク９０（図１０）が読み出し／書き込みを決定する。”１”に設定するとメモリバンク９０にデータが書き込まれ、”０”に設定するとメモリバンク９０からデータが読み出される。これはまた、センサー（光検出素子）８６及び変調器（光送信素子）８４の動作をゲート制御する。これはモジュレーターモード（０）またはセンサーモード（１）を表す。
【0082】
SxFlagRD、SxFlagWR、およびSxFlagRSTは、セマンティック・ラベリングに使用されるデジタルフラグ・メモリを制御する。SxFlagRSTは、全フラグ・メモリのグローバルアドレスリセットである。SxFlagRDおよびSxFlagWRは、メモリアクセスを制御する。
【0083】
SxShift0，１，２はアドレス指定されたtrixels（送信－受信モジュール）８２においてのみ、シフトレジスタメモリ９０の電荷を時計回り方向または反時計回り方向のいずれかに移動させるために、３相シーケンスで外部から駆動される。trixelがアドレス指定されていない場合、そのメモリドライブラインは強制的に安全な状態になり、メモリの充電には影響しない。
【0084】
SxExtemalは、SxAnalogおよびSxDataラインがアクティブ（１）であるか、またはデータ移動およびアクセスが単に内部（０）であるかを判定する。
【0085】
これらの信号の４つの組み合わせを考える：
【0086】
画像ロード:SxFreeze=０、SxRWDir＝１、SxExternal＝１。これは、アドレス指定されたtrixels８２のメモリセルが外部SxAnalogラインからデータを取り込み、内部SxDataラインを介してtrixelsメモリバンク９０に電圧を入れることを意味する。SxAnalogラインが１２０本あるため、このアクションは最大１２０ワイドまで可能である。１２０幅のDACセットが適切でない実装では、ラインはグループで外部接続でき、MEMRラインをシーケンスで有効にするだけで、より狭いアクセスに対応できる。実装された外部行幅に関係なく、競合を避けるために、通常は一度に１つのMEMCラインのみが有効になる（ただし、必要に応じて、同じDAC値を一度に１行全体に送信することもできる）。
【0087】
ResultSave:SxFreeze=０、SxRWDir＝０、SxExternal=l。これは、アドレス指定されたtrixels８２のメモリセルが外部ADCとのコンバージョンのために外部SxAnalogラインにデータを送ることを意味する。再び、これは１２８までの幅であり得るが、より狭い実装はSensayへの設計変更なしに適応され得る。実装された外部行幅に関係なく、競合を避けるために、一度に１つのMEMCのみが有効になる（これは、データの競合を避けるために読み取りではオプションではない）。
【0088】
Sensor Mode：SxFreeze=０、SxRWDir＝l、SxExternal＝０。これは、アドレス指定されたtrixels８２における任意のメモリセルがセンサー８６からデータを取得することを意味する（以下に説明するプーリング・チェーンを介して、またSxShiftO，１，２に関連して、メモリ値のシフトレジスタセットとして現存する電圧をシフトしながら、電圧を新しいメモリ電荷として保存する。
【0089】
変調器モード:SxFreeze=０、SxRWDir＝０、SxExternal＝０。これは、アドレス指定されたtrixels８２の任意のメモリセルが（プーリング・チェーンを介して）変調器（光送信素子）８４にデータを送り、SxShiftO，１，２との関連で、メモリ電荷のシフトレジスタセットとして現存する電圧をシフトすることを意味する。メモリ読み出しは非破壊的である。
【0090】
trixels（送受信モジュール）８２のための例示的な行および列制御ラインレジスタは図１４に概略的に示されている。この例では、行および列制御ラインレジスタがtrixels当たり５つの行および５つの列ラインとして配置された２３５個の個別にアドレス指定された静的６４ビットラッチを備える。これらの出力は常にアクティブであり、電源投入時にゼロにされる。これらの行および列制御ラインは、各trixels８２によって、その隣接装置に関連して自身の機能を構成するために使用される。ラッチの各々はSxControlでデータをアサートし、SxAddrで８ビットアドレスを設定し、SxLatchをパルス化することによって個別にアドレス指定される。
【0091】
trixelのメモリ９０はそのMEMRおよびMEMCが共にアサートされたときに「アドレス指定された」と言われる。同様に、そのOPTCおよびOPTRが共にアサートされたときに、その光センサーは「アドレス指定された」と言われる。その他のtrixels８２の機能は、そのENBRおよびENBCがデアサートされるとディスエーブルされる。trixels８２を完全にディスエーブルするために、そのMEMR、MEMC、OPTR、OPTC、FLAGRおよびFLAGCもデアサートする。
【0092】
プール境界ライン８６（POOLCおよびPOOLR）はtrixels８２の列および行全体に影響を与え、以下でより詳細に説明するように、スーパーtrixelsの境界を定義する。最右端および最下端のラインは常にイネーブルされているので、１０７９POOLRおよび１９１９POOLCラインのみが存在する。６４ビットラッチの未使用ラインは接続されていない。
【0093】
＊＿SLおよび＊＿SRラインは、立ち上がりエッジでそれぞれのレジスタを左または右にシフトする。
【0094】
SxReLUlおよびSxReLU２（図１３）は、外部DACによって駆動される。それらは、全てのtrixels８２に対してグローバルであり、弱い情報を除去するためにセンサー８６の読み取り値に適用される。SxLevel（図１３）も外部DACによって駆動される。プリセットレベルとして全てのtrixels・センサー８６によって使用され、変調器駆動部８８レベルにも加算され、そこで位相オフセットとして使用される。sensay（センサー・ディスプレイ装置）１４または２６は上述したように、いつでもセンサーまたは変調器（送信）モードにあるので、競合はない。SxPeak(図１３）アナログ出力信号は、すべてのtrixels（送受信モジュール）８２からの信号である。以下により詳細に説明するように、各trixels・メモリ・セルは、その最高値を共通トレースに渡す。このトレースの値はSxPeakresetが最後にアサートされてから、trixelsアレイ全体によって見られる最高のグローバル値を表す。これは、システムゲインおよび正規化のために外部回路によって使用される。
【0095】
アナログインターフェースの一例を図１５に模式的に示す。SxAnalogラインは９つの隣接するSxData行をそれぞれ接続する１２０のトレースである。言い換えれば、内部的にSxDataOOOからSxData０００８行トレースはすべて出力ピンSxAnalogOOに接続される。SxData０００９～SxData００１７行トレースは、すべて出力ピンSxAnalogOOlなどに接続する。すべてのSxAnalogピンは、９つの内部SxDataトレースにハードワイヤードされている。一度に１つのtrixelsメモリバンク９０のみが、そのローカルトレース（外部コントローラによって強制される）を駆動または感知することが可能である。TMSがアサートされている場合、すべてのSxAnalogおよびSxDataラインが一緒に接続される。
【0096】
上述したように、制御ラインは個々に制御可能であるため、１から１２０幅の任意のサイズの入力または出力スキームはこれらのラインを単にSensay(センサー・ディスプレイ装置）の外部で一緒に接続し、適切なtrixels８２のみをアーキテクチャと一致させることを可能にすることによって、実施することができることに留意されたい。インターフェースが広いほど、ロードおよびアンロード操作は高速になるが、より多くの外部回路が必要になる。これにより、設計を変更することなく、高度なカスタマイズが可能になる。
【0097】
例示のフォトニックニューラルネットワークシステム１０におけるSensay(センサー・ディスプレイ装置）１４、２６アーキテクチャは、プーリング・チェーンの周囲に構築される。図９、図１０、および図１６に示すように、アレイ８０内の送受信モジュール（trixels）８２の各々は図９、図１０、および図１６が紙上に向けられるとき、その縁の２つに沿って、例えば右縁および下縁に沿って、プーリング境界ライン９６を有する。すべてのセンサー、変調器、メモリ読取りまたはメモリ書込みアクセスは、プーリング・チェーンを使用して、trixels（センサー・ディスプレイ装置）８２内およびその間でアナログ・データを渡す。プーリング境界ライン９６の機能はプーリング・チェーンから隣接する送受信モジュール（trixels）８２を接続または切断し、スーパーtrixelsまたは「アイランド」を生成することである。それぞれの隣接するtrixels８２の境界ライン９６へのプーリング・チェーン回路接続は、trixels８２のアレイ８０内の仮想位置nnnn，mmmmで、図１７内の接続の拡大概略図に示されている。POOLC＝０の場合、列全体の東西trixels・プーリング・チェーン接続はすべてオープンされる。POOLR＝０の場合、行全体に対する南北trixelsプーリング・チェーン接続のすべてがオープンされる。全ての他のtrixelsプーリング・チェーン接続は、依然として閉じている。このプーリング構造の効果は、接続されたプーリング・チェーン・ラインのアイランドを生成することである。スーパーtrixelsアイランド上の全てのtrixelsは、本質的に単一の低インピーダンス「トレース」であるこのチェーンを共有する。POOLRがアサートされると、このtrixelsのプーリング・チェーンを接続するトランジスタが導通し、プーリング・チェーンを次の行のその南のtrixels８２に接続する。POOLCがアサートされている場合、POOLCは、trixels８２のためのプーリング・チェーンに東に接続する。
【0098】
上述したように、送受信モジュール（trixels）８２の各々におけるメモリバンク９０は本質的にシフトレジスタであり、シフトレジスタの設計および技術は、当業者によってよく理解され、容易に利用可能である。図１８は、アナログ・メモリシフトドライバスキームを示す。アドレス指定され（MEMCおよびMEMRが共にアサートされ）、凍結解除された（SxFreezeがデアサートされる）場合、SxShiftO，１，２の任意の組み合わせは、アナログ・メモリセルシフトプレートを実際に駆動する出力（MemShiftO，１，２）に単に伝播する。MEMCまたはMEMRのいずれかがTrixelに対してデアサートされた場合、またはSxFreezeがアサートされた場合、アナログ・メモリドライバは自動的に安全状態に置かれる（MemShiftO、１，２＝０１０）。
【0099】
図１９は、メモリバンク９０（図１０）のための例示的なアナログ・メモリ読出しインターフェースの概略図である。メモリは読み出すことができ、アナログ・データは、内部SxDataラインを介して外部SxAnalogインターフェースに送られるか、または最大（ダイオード）または平均（抵抗器）回路経路のいずれかを介してプーリング・チェーン１２６（SxReLUより大きい場合、さもなければゼロにされる）に送られることができる。アナログ・メモリから読み出された変更されていない値はダイオード絶縁キャパシタ（サンプル＆ホールド回路）を充電するためにも使用され、最終的にはセンサー・ディスプレイ・デバイス（sensay）１４、２６全体（システムゲイン制御のために外部で使用される）に対してSxPeak値を駆動する。これらのモードの例は、図２０～２４に概略的に示されている。図２０は、プーリング・チェーンへのtrixelアナログ・メモリ読み出し平均を示す。図２１は、プーリング・チェーンへのtrixels・アナログ・メモリ読取り最大値を示す。図２２は、外部データラインに読み出されるアナログ・メモリを示す。図２３は、trixelsアナログ・メモリピーク値保存を示す。図２４は、アナログ・メモリピーク値リセットを示す。
【0100】
整流線形ユニット（ReLU）はしばしば、弱い応答を抑制するためにデータに適用される。第１のセンサー・ディスプレイ装置１４および第２のセンサー・ディスプレイ装置２６（sensay、１４、２６）はそれぞれ、図２５に示される様々な応答をもたらすことができる柔軟なデュアル・スロープReLU実装を有し、その応答は無効果（実施例A）から従来のカットオフ（実施例B）から、可変スロープ・カットオフ（実施例C）までの範囲である。DACによって駆動される２つの外部アナログ電圧が伝達関数を制御する。感知器１４、２６は単極設計であるため、「ゼロ」位置は公称ではメモリバンク９０の電圧範囲の中央にある。
【0101】
アナログ・メモリ９０への書き込みは、読み出しよりも単純である。送受信モジュール（trixels）８２のアナログ・メモリ９０がアドレス指定されると（MEMCおよびMEMRの両方がアサートされ、SxRWDir＝１）、ローカル・プーリング・チェーン上の値が何であれ図２６に示すように書込みパッド上に置かれる。アナログ・メモリ・セル内の値を実際に保存するために、シフトラインが循環される。外部データラインからアナログ・メモリ９０をロードすることが図２７に示されている。
【0102】
フラグ・メモリは、セマンティック・ラベリングの実施のために使用される各送受信モジュール（trixels）８２における６４０ビットのLIFO（Last－In－First－Out）装置（すなわち「スタック」）である。SxFlagRST＝lの場合、すべての送受信モジュール（trixels）８２に対して、内部アドレスポインタは無条件にゼロにセットされる。値をゼロにする必要はない。リセットを除いて、メモリは、仮想trixel位置nnnnnn，mmmmに対してFLAGRmmmm＝１およびFLAGＣＮＮnn＝１のときにのみアクティブである。FLAGRmmmm＝０またはFLAGＣＮＮnn＝０のいずれかの場合、信号はメモリに影響を与えない。FLAGRおよびFLAGCについては、図１４を参照されたい。
【0103】
フラグ・メモリ書込みおよびフラグ・メモリ読出しの概略図を、それぞれ図２８および図２９に示す。SxFlagWR＝１の場合、比較器の出力は「D」メモリ入力で有効である。SxFlagWRが「１」から「０」になる立ち下がりエッジで、SxFlagRD＝０の場合、プーリング・チェーン上の値と比較されるtrixelの現在の読み取り値の状態によって決定される現在のフラグビットはスタック上にプッシュされる。すなわち、アナログ・メモリ読み取り電圧がプーリング・チェーン電圧と一致する場合、このtrixel８２は「マスタ」であり、「１」が格納され、そうでない場合、「０」が格納される。FlagVALについては、図１９を参照されたい。
【0104】
ヒステリシスが非常に小さいため、複数のtrixel８２が非常に似た電圧レベルを持っていれば、それ自体を「マスタ」として見ることが可能である。このような場合、最終的に読み出されるのは、拡張パスの間、このプーリング・グループ内の有効化（又は、イネーブル）されたtrixels８２の平均電圧になる。「競合する」電圧はほぼ同一であったので、これは実用上ほとんど影響を及ぼさないであろう。
【0105】
SxFlagRD＝１の立ち上がりエッジで、SxFlagWR＝０の間に、書き込まれた最後のビット（すなわち、スタックの上部）が読み出され、イネーブルされたFlagEN＝１としてTrixelメモリ読み出し回路に印加される（図１９参照）。出力は、SxFlagRD＝１である限りイネーブルされる。
【0106】
SxFlagWR＝０およびSxFlagRD＝０の場合、FlagEN＝１である。これを適用した。SxFlagWR＝１およびSxFlagRD＝１は不正であり、外部コントローラはそれを適用すべきではない。メモリ出力と比較器出力との間の競合を回避するために、フラグENは、そのような場合にトライステートにされる。
【0107】
送受信モジュール（trixel）８２のセンサー８６をプーリング・チェーンに読み込み、センサー８６を再設定し、変調器（光送信器要素）８４をプーリング・チェーンから書き込むための光制御ライン設定の例が、それぞれ、図３０、図３１、図３２に示されている。
光制御ラインの機能はイネーブルされたOPTR及びOPTCラインの交点にあるtrixels８２に、それらの光学素子（変調器８４又はセンサー８６）をプーリング・チェーンに接続させることである。SxRWDir＝０およびSxExternal＝０の場合、このtrixels変調器８４を駆動するために、データがプーリング・チェーンから読み出される。SxRWDir＝１およびSxExternal＝０の場合、データはこのtrixelのセンサー８６からバッファされ、プーリング・チェーン上に配置される。SxExternal＝lの場合、変調器８４とセンサー８６の両方が切断される。複数のセンサー８６を同時に有効にする（又は、イネーブルする）ことができ、それらの値の平均は、より低いノイズのためにプーリング・チェーン上に現れるのであろう。また、センサー８６が上述したように光信号（データのフレーム）を加算しているとき、感知器１４、２６（クロックなどがない）上に他の活動は存在しないので、非常に低ノイズの測定結果となることに留意されたい。
光制御ラインの機能はイネーブルされたOPTR及びOPTCラインの交点にあるtrixels８２に、それらの光学素子（変調器８４又はセンサー８６）をプーリング・チェーンに接続させることである。SxRWDir＝０およびSxExternal＝０の場合、このtrixels変調器８４を駆動するために、データがプーリング・チェーンから読み出される。SxRWDir＝１およびSxExternal＝０の場合、データはこのtrixelのセンサー８６からバッファされ、プーリング・チェーン上に配置される。SxExternal＝lの場合、変調器８４とセンサー８６の両方が切断される。複数のセンサー８６を同時に有効にする（又は、イネーブルする）ことができ、それらの値の平均は、より低いノイズのためにプーリング・チェーン上に現れるのであろう。また、センサー８６が上述したように光信号（データのフレーム）を加算しているとき、感知器１４、２６（クロックなどがない）上に他の活動は存在しないので、非常に低ノイズの測定結果となることに留意されたい。
【0108】
変調器モード（SxRWDir＝０）および内部駆動（SxExternal＝０）の場合、すべてのアドレス指定されたtrixelメモリバンク９０の出力は自動的にプールされ、同じスーパーtrixel（同じプーリング・チェーンに接続されている）内のすべての光送信素子（変調器）８４は同じ輝度で「輝く」。これは、複製による再サンプリングを構成する。
【0109】
ローカルENB(ENBRmmmm=lおよびENBＣＮＮn＝l）により、個々の光送信素子（変調器）８４を無効にすることができる。
【0110】
光送信素子（変調器）８４の駆動レベルDLはプーリング・チェーンPCの合計に較正センサー値CS＋１を掛けたものにSxLevelを加えたものであり、式DL=(PC*(CS＋１))+SxLevelである。Sxlnvert＝１の場合、ドライブは反転され、すなわち、１００％レベルは０％変調、９０％は１０％等となる。
【0111】
図３３A～Bの概略図は、送受信モジュール（trixel）回路の概要を示す。
【0112】
上記の説明は推論モード、例えば、訓練されたニューラルネットワークが画像、音声、音等を認識するために使用される場合におけるフォトニックニューラルネットワーク処理に基づく。フォトニックニューラルネットワーク、例えば、上述のフォトニックニューラルネットワークシステム１０を用いてニューラルネットワークを訓練することは、デジタル畳み込みネットワークシステムと比較して、いくつかの差異を有する。上述したように、典型的なデジタル畳み込みニューラルネットワークシステムのトレーニング中に、ネットワークが次回に同じ種類の画像を予測する可能性を高めるために、逆伝搬と呼ばれるプロセスを用いて調整が行われる。典型的なデジタル畳み込みニューラルネットワークでは、このようなデータ処理および逆伝播が予測が適度に正確になり、改善されなくなるまで何度も行われる。次いで、ニューラルネットワークは推論モードで利用されて、新しい入力データを分類し、そのトレーニングから推論される結果を予測することができる。ディジタル畳み込みニューラルネットワークでは、後方伝搬項（又は、期間／term）およびフィルタはすべて空間領域にあるので、トレーニングは比較的簡単である。「正しい答え」をとり、修正項を計算するために構造を通って戻ることは遅いが、依然としてドメインの変更を必要としない。光子ニューラルネットワークにおけるトレーニングはトレーニングされる必要がある項が周波数領域にあり、畳み込み結果が空間領域にあるので、それほど直接的ではない。空間領域データを使用し、高速フーリエ変換（FFT）アルゴリズムを用いて補正項を計算し、それらをラジアル変調器装置２０で使用されるフーリエフィルタに適用することができるが、そのような計算は非常に計算集約的である。
【0113】
代わりに、上述したフォトニックニューラルネットワークシステム１０の例は、訓練用の補正項を、ラジアル変調装置２０によって反復訓練プロセスにおける畳み込みに適用されるフィルタに次いで追加され得るフーリエ変換項に変換するように適合される。このような変換をデジタル計算の代わりに光学的に実施するための適応例は図３４に示すように、フォトニック畳み込みアセンブリ１２に特殊化されたフーリエ光センサー装置１３０を追加することを含む。フーリエ光センサー装置１３０は光学軸６２上の第２のセンサー・ディスプレイ装置２６から、偏光子１８の反対側に、第２のセンサー・ディスプレイ装置２６と軸方向に整列して配置される。また、フーリエ光センサー装置１３０は、第２のフーリエ変換レンズ２８の焦点距離F２と等しい第２のフーリエ変換レンズ２８からの距離でフーリエ変換面内に位置している。したがって、第２のフーリエ光センサー装置１３０は、第２のフーリエ変換レンズ２８のフーリエ変換面に位置している。そのフーリエ変換面において、第２のフーリエ光センサー装置１３０は、第２のセンサー・ディスプレイ装置２６から発する光のデータ又は画像のフレームのフーリエ変換を検出することができる。従って、フォトニックニューラルネットワークシステム１０（図１）を訓練するために必要な補正項は補正データの空間領域フレームで第２のセンサー・ディスプレイ装置２６に供給することができ、次いで、光フィールド１３２内の補正データのフレームをフーリエ光センサー装置１３０に表示（投影）することになる。したがって、光フィールド１３２内の補正データのフレームはフーリエ変換レンズ２８によってフーリエ光センサー装置１３０に到達するときにフーリエ変換され、すなわち、空間領域内の補正データのフレームは、フーリエ光センサー装置１３０において光の速度でフーリエ領域にフーリエ変換される。次に、フーリエ変換領域の補正データのフレームは、フーリエ光センサー装置１３０によって検出され、ラジアル変調装置２０のフィルタを調整するために使用される。
【0114】
通常、推論モードでは、３Ｄ畳み込みブロックがメモリからシフトアウトされ、さらなるレベルの畳み込みおよび加算サイクルのためにフォトニック畳み込みアセンブリ１２を介して送り返されるときに送受信モジュール（trixel）８２のメモリバンク９０（図１０）内の特定の反復畳み込みサイクルで存在するデータフレームが失われ、メモリバンク９０は後続の３Ｄ畳み込みブロックで再充填され、そのすべては上述のように非常に高速で行われる。しかしながら、トレーニングモードの場合、これらの中間のデータのフレームは第１及び第２のセンサー・ディスプレイ装置１４、２６の送受信モジュール８２のメモリバンク９０から抽出され、外部メモリに転送されて、逆伝播デジタル計算を行い、空間領域に補正項を書き込む際に使用される。次に、これらの補正項は図３４に示され、上で説明されたように、フーリエ光センサー装置１３０への投影およびフーリエ変換のために、空間領域内の補正データのフレームとして第２のセンサー・ディスプレイ装置２６に供給され、したがって、補正データのフーリエ変換されたフレームはさらなる畳み込みサイクルのためにラジアル変調器装置２０のフィルタとして使用するために、フーリエ領域内のフーリエ光センサー装置１３０によって検出され得る。中間相関データ、逆伝播デジタル計算、および修正項の書込みのこのトレーニングモード抽出はいくらかの時間がかかり、したがって、推論動作モードと比較して反復畳み込み加算サイクルを遅くするが、それでもなおデジタル畳み込みニューラルネットワークトレーニングよりはるかに高速である。
【0115】
フーリエ光センサー装置１３０をフォトニック畳み込みアセンブリ１２に組み込むために、例えば、図３４に示すように、補正データのフレームが第２のセンサー・ディスプレイ装置２６によってフーリエ光センサー１３０に投影されているときに、偏光面を９０度回転させるために、半波可変偏光板１３４が第２のセンサー・ディスプレイ装置２６と偏光子１８との間に配置される。例えば、通常の推論動作モードでは、第２のセンサー・ディスプレイ装置２６が偏光子１８からラジアル変調器装置２０に反射するP偏光で表示し、次いで、トレーニングのために補正データのフレームをフーリエ光センサー１３０に表示または投影するために、半波長可変偏光板１３４が起動されて、投影された光フィールドの偏光面を９０度回転させてS偏光させ、結果として生じる光フィールド１３２が偏光子１８を通過してフーリエ光センサー１３０に至るようにする。
【0116】
補正データのフレームは、ニューラルネットワークをトレーニングするためにフィルタによってラジアル変調装置２０（図３参照）特定のウェッジセグメント３２に提供される必要がある値を有する。したがって、図３４のフーリエ光センサー装置１３０への投影のために第２のセンサー・ディスプレイ装置２６に提供される補正データのフレームは、ニューラルネットワークを訓練するために補正された方法で変調される必要があるラジアル変調器デバイス２０（図３参照）のウェッジセグメント３２に対応するフォーマットで提供され、その結果、これらの補正データは最終的に、補正された方法で適切なウェッジセグメント３２を駆動するフィルタに配置される。したがって、フーリエ光センサー装置１３０は第２のセンサー・ディテクタ装置２６からの光１３２をラジアル変調器装置２０のウェッジセグメント３２と同じパターンで検出し、その結果、光１３２の補正データが検出され、処理され、ラジアル変調器装置２０の適切なウェッジセグメント３２に供給される。
【0117】
第２のセンサー・ディスプレイ装置２６から投射された光をラジアル変調装置２０（図３）のウェッジセグメント３２と同じパターンに従って検出することを容易にするために、上述したように、例としてのフーリエ光センサー装置１３０は例えば図３５に示すように、ラジアル変調装置２０（図３）のウェッジセグメント３２およびウェッジセクタ３４のパターンに対応する光センサーアレイ１３８に配置された複数の光センサー素子１３６を有する光センサーボード１３５を有している。図３５に示すように、ラジアルアレイレンズプレート１４０は、光センサーアレイ１３８の前に配置され、ラジアル変調装置２０（図３）のウェッジセグメント３２およびセクタ３４に一致するウェッジおよびセクタの半径方向パターンで配置された複数の個々のレンズ素子１４２を有している。これらのレンズ素子１４２は放射状変調装置２０のウェッジセグメント３２及びウェッジセクタ３４の放射状パターンに対応する放射状パターンで、第２のセンサー・ディスプレイ装置２６からの入射光１３２を捕捉し、これにより、第２のセンサー・ディスプレイ装置２６に定式化されプログラムされたときに、入射光１３２の補正データのフレームを捕捉する。それぞれのレンズ素子１４２によって捕捉された光のセグメントは、個々のサブビーム１３８としてレンズ素子１４２によってそれぞれの光センサー素子１３６上に集束され、センサー素子１３６上に入射する光の強度に対応する電気信号に変換され、したがって、入射光１３２内の補正データのフレームを、補正データのフレームに対応する電気データ信号に変換する。図３４に示すように、これらのアナログ電気データ信号はFPGA１１６による補正フィルタへの処理のためにデジタル信号に変換することができ、これは次に、インターフェース２４を介してラジアル変調器デバイス２０に接続するために回路ブロック１１０によって供給することができる。この場合も、入射光１３２内のデータのフレームはフーリエ変換レンズ２８によってフーリエ変換され、フーリエ変換領域内のセンサー素子１３６によって検出され、したがって、フーリエ光センサー装置１３０からFPGA１１６または他の電気処理構成要素に送られる信号内の補正データはラジアル変調器デバイス２０のウェッジセグメント３２を駆動するのに必要なようにフーリエ領域内にある。光学構成要素の配置のために、第２のセンサー・ディスプレイ装置２６に供給される補正データのフレームはセンサー素子１３６によって捕捉された光のセグメント及び生成された対応する信号がラジアル変調器装置２０の適切なウェッジセグメント３２に一致するように、反転されなければならない場合がある。しかしながら、上述したように、補正項は空間領域で計算されるので、訓練にアルゴリズム的制約は課されない。一旦、通常のトレーニング逆伝播計算が行われると、上述され、図３４および図３５に示される光学系は、空間領域補正項を放射状フーリエ領域等価物に変換する。
【0118】
図３６に図示される別の実施形態では、カメラレンズ１５０が上述のように、例えばフォトニックニューラルネットワーク１０（図１）で処理するために、カメラレンズ１５０がデータ（画像）のフレームとして実世界のシーン１５２を空間領域内のフォトニック畳み込みアセンブリ１２に照射する方法で、フォトニック畳み込みアセンブリ１２上に取り付けられる。例えば、図３５に示すように、カメラレンズ１５０は、第２のセンサー・ディスプレイ装置２６から偏光子１８の反対側で第２のセンサー・ディスプレイ装置２６と軸方向に整列するように光軸６２上に取り付けられる。偏光板１５４はカメラレンズ１５０によって透過された光フィールド１５６を偏光子１８から反射する偏光面に偏光させるために、カメラレンズ１５０と偏光子１８との間に配置されている。したがって、光フィールド１５６は図３６に示すように、偏光子１８によって第１のセンサー・ディスプレイ装置１４に反射される。第１のセンサー・ディスプレイ装置１４の送受信モジュール８２（図９および１０参照）内の光センサー素子８６は光フィールド１５６内のデータ（画像）のフレームを検出して捕捉し、上述したように、第１のセンサー・ディスプレイ装置１４内のメモリバンク９０（図１０）内にデータ（画像）のフレームを処理する。次いで、カメラレンズ１５０上のシャッタ装置１５８がカメラレンズ１５０上で閉じて、カメラレンズ１５０を通る光透過を終了し、次いで、第１のセンサー・ディスプレイ装置１４は上述した推論動作またはトレーニング動作のいずれかで、フォトニック畳み込みアセンブリ１２を通るデータ（画像）のフレームの処理を開始することができる。
【0119】
必要に応じて光の特定のスペクトル周波数のみがフォトニック畳み込みアセンブリ１２に伝送されることを可能にするために、バンドパスフィルタ１６０をカメラレンズ１５０とともに設けることもできる。バンドパスフィルタ１６０は必要に応じて、可変バンドパスフィルタとすることができ、その結果、実世界シーン１５２からの光の様々なスペクトル周波数帯域はカメラレンズ１５０からフォトニック畳み込みアセンブリへと順次伝送することができ、一方、各周波数帯域内のデータ（画像）のフレームは順次捕捉され、それにより、畳み込みのためのハイパースペクトル画像セットが、フォトニック畳み込みアセンブリを通して順次提供される。このような可変バンドパスフィルタは周知である。例えば、可変半波長リターダ（retarder）を、可変帯域通過フィルタとして固定偏光板と組み合わせて使用することができる。固定偏光板と組み合わせたこのような可変半波長リターダは、シャッタとしても使用することができる。
【0120】
前述の説明は、本発明の原理を説明するものと考えられる。さらに、多数の修正および変更が当業者には容易に思い浮かぼうから、本発明を、上記に示され、説明された正確な構造およびプロセスに限定することは望ましくない。したがって、本発明の範囲内にあるすべての適切な修正および均等物に頼ることができる。「備える」、「含む」、「含んでいる」、および「有する」という用語は本明細書で使用される場合、述べられた特徴、整数、構成要素、またはステップの存在を指定することを意図されるが、それらは１つまたは複数の他の特徴、整数、構成要素、ステップ、またはそれらのグループの存在または追加を排除しない。
下記は、本願の出願当初に記載の発明である。
＜請求項１＞
送受信モジュールのアレイを備える第１のセンサー・ディスプレイ装置であって、各送受信モジュールは光センサー素子と、光送信素子と、複数のメモリセルを有するメモリバンクとを備える、第１のセンサー・ディスプレイ装置と、
送受信モジュールのアレイを備える第２のセンサー・ディスプレイ装置であって、各送受信モジュールは光センサー素子と、光送信素子と、複数のメモリセルを有するメモリバンクとを備えると、
光軸に対して複数の半径方向距離及び角度方向に配置された複数の変調素子を有するラジアル変調器装置と、
前記第１のセンサー・ディスプレイ装置の前記光送信素子と前記ラジアル変調器装置の光送信素子との間に配置された第１のフーリエ変換レンズと、
前記第１のセンサー・ディスプレイ装置の前記光送信素子と前記ラジアル変調器装置の間に配置された第２のフーリエ変換レンズと、
を有し、
前記ラジアル変調器装置が前記第１のフーリエ変換レンズと前記第２のフーリエ変換レンズの両方のフーリエ変換面に配置されるように、前記ラジアル変調器装置が第１のフーリエ変換レンズからの焦点距離および第２のフーリエ変換レンズからの焦点距離に配置された、データフレームを畳み込み及び加算するためのシステム。
＜請求項２＞
前記ラジアル変調器装置にフィルタを形成及び供給し、前記第１及び第２のセンサー・ディスプレイ装置からのデータのフレームを有する光フィールドの送信の順序を制御し、前記ラジアル変調器装置の前記フィルタで前記データのフレームを畳み込み、前記ラジアル変調器装置からのたたき込まれたデータのフレームを有する光フィールドを検知するためのシステム制御コンポーネントを有する請求項１に記載のシステム
＜請求項３＞
前記光センサー素子は、感知された光から電荷を蓄積する容量光センサーである請求項１に記載のシステム。
＜請求項４＞
畳み込みニューラルネットワークのためのデータのフレームを畳み込み及び加算する方法であって、
前記データのフレームを、第１の光軸に沿った空間領域における光フィールドとして順次投影するステップと、
フーリエ変換面において順次前記光フィールドをフーリエ変換するステップと、
光軸に対して種々の半径方向距離及び角度方向で間隔を開けて配置された光変調セグメントを有する光変調器で前記フーリエ変換面において光フィールドを順次畳み込むステップと、
畳み込まれた光フィールドのシーケンスを第１のセンサー・ディスプレイ位置で空間領域に逆フーリエ変換するステップと、
前記第１のセンサー・ディスプレイ位置において、畳み込まれた光フィールドの各々を空間ドメインで電荷蓄積可能な画素位置における容量光センサーで画素毎に検知するステップと、
容量性光センサーに、前記第１のセンサー・ディスプレイ位置において畳み込まれた光フィールドを順次検知することから生じる電荷を蓄積させるステップ
を有する方法。
＜請求項５＞
メモリセルが、順次感知された光フィールドに対して特定の画素位置において検知された光から生じる蓄積された電荷を有するように、複数の畳み込まれた光フィールドを感知した後に、各センサー内に蓄積された電荷をメモリバンク内の前記メモリセルにシフトするステップを有する、請求項４に記載の方法。
＜請求項６＞
異なるフィルタを適用して前記光変調器でデータのフレームを有する光フィールドの追加のシーケンスを畳み込むステップ、
前記容量センサーで画素毎に畳み込まれた光フィールドの追加のシーケンスを検知し、各画素位置での検知から生じる電荷を蓄積するステップと、
複数の畳み込まれた光フィールドを検知した後に各センサー内の蓄積された電荷を前もって蓄積された電荷を有するメモリセルにシフトさせつつ、前記前もって蓄積された電荷をメモリバンク内の別のメモリセルにシフトさせるステップと、
第１のセンサー・ディスプレイ位置における各画素位置においてメモリバンク内に畳み込まれて加算されたデータのフレームの３Ｄ畳み込みブロックを構築するために上記プロセスを繰り返すステップ
を有する、請求項５に記載の方法。
＜請求項７＞
第１のセンサー・ディスプレイ位置での画素位置からの順次的な光フィールドにおける３Ｄ畳み込みブロックを形成する、畳み込まれて加算されたデータのフレームをフーリエ変換してフーリエ変換面内の変調器に送り返すステップと、
光軸に対して種々の半径方向距離及び角度方向で間隔を開けて配置された光変調セグメントを有する光変調器によりフーリエ変換面において光フィールドを順次畳み込むステップと、
畳み込まれた光フィールドのシーケンスを第２のセンサー・ディスプレイ位置で空間領域に逆フーリエ変換するステップと、
電荷蓄積可能な画素位置における容量性光センサーで画素毎に空間領域において畳み込まれた光フィールドの各々を第２のセンサー・ディスプレイ位置で検知するステップと、
容量性光センサーに、第２のセンサー・ディスプレイ位置において畳み込まれた光フィールドを順次検知することから生じる電荷を蓄積させるステップと、
異なるフィルタを適用して光変調器でデータのフレームを有する光フィールドの追加のシーケンスを畳み込むステップと、
第２のセンサー・ディスプレイ位置において画素毎に畳み込まれた光フィールドの追加のシーケンスを容量性センサーで検知し、各画素位置における検知から生じる電荷を蓄積するステップと、
複数の畳み込まれた光フィールドを検知した後に、第２のセンサー・レシーバ位置で各センサーに蓄積された電荷を、以前に蓄積された電荷を有するメモリセルにシフトさせつつ、前記以前に蓄積された電荷をメモリバンク内の別のメモリセルにシフトさせるステップと、
第２のセンサー・ディスプレイ位置における各画素位置においてメモリバンク内に畳み込まれて加算されたデータのフレームの３Ｄ畳み込みブロックを構築するために上記プロセスを繰り返すステップ
を有する、請求項６に記載の方法。
＜請求項８＞
前記プロセスを追加のサイクルで繰り返すステップを有する、請求項７に記載の方法。
＜請求項９＞
前記プロセスの繰り返しサイクルにおいて、複数の前記センサーおよびメモリバンクを一緒にプーリングするステップを有する、請求項８に記載の方法。
＜請求項１０＞
前記複数のセンサーおよびメモリバンクの最大プーリングを含む、請求項８に記載の方法。
＜請求項１１＞
前記第１のセンサー・ディスプレイ位置における前記画素位置における光送信器素子で画素毎に、畳み込まれて加算されたデータのフレームを送信するステップを有する、請求項７に記載の方法。
下記は、本願の出願当初に記載の発明である。
＜請求項１＞
送受信モジュールのアレイを備える第１のセンサー・ディスプレイ装置であって、各送受信モジュールは光センサー素子と、光送信素子と、複数のメモリセルを有するメモリバンクとを備える、第１のセンサー・ディスプレイ装置と、
送受信モジュールのアレイを備える第２のセンサー・ディスプレイ装置であって、各送受信モジュールは光センサー素子と、光送信素子と、複数のメモリセルを有するメモリバンクとを備えると、
光軸に対して複数の半径方向距離及び角度方向に配置された複数の変調素子を有するラジアル変調器装置と、
前記第１のセンサー・ディスプレイ装置の前記光送信素子と前記ラジアル変調器装置の光送信素子との間に配置された第１のフーリエ変換レンズと、
前記第１のセンサー・ディスプレイ装置の前記光送信素子と前記ラジアル変調器装置の間に配置された第２のフーリエ変換レンズと、
を有し、
前記ラジアル変調器装置が前記第１のフーリエ変換レンズと前記第２のフーリエ変換レンズの両方のフーリエ変換面に配置されるように、前記ラジアル変調器装置が第１のフーリエ変換レンズからの焦点距離および第２のフーリエ変換レンズからの焦点距離に配置された、データフレームを畳み込み及び加算するためのシステム。
＜請求項２＞
前記ラジアル変調器装置にフィルタを形成及び供給し、前記第１及び第２のセンサー・ディスプレイ装置からのデータのフレームを有する光フィールドの送信の順序を制御し、前記ラジアル変調器装置の前記フィルタで前記データのフレームを畳み込み、前記ラジアル変調器装置からのたたき込まれたデータのフレームを有する光フィールドを検知するためのシステム制御コンポーネントを有する請求項１に記載のシステム
＜請求項３＞
前記光センサー素子は、感知された光から電荷を蓄積する容量光センサーである請求項１に記載のシステム。
＜請求項４＞
畳み込みニューラルネットワークのためのデータのフレームを畳み込み及び加算する方法であって、
前記データのフレームを、第１の光軸に沿った空間領域における光フィールドとして順次投影するステップと、
フーリエ変換面において順次前記光フィールドをフーリエ変換するステップと、
光軸に対して種々の半径方向距離及び角度方向で間隔を開けて配置された光変調セグメントを有する光変調器で前記フーリエ変換面において光フィールドを順次畳み込むステップと、
畳み込まれた光フィールドのシーケンスを第１のセンサー・ディスプレイ位置で空間領域に逆フーリエ変換するステップと、
前記第１のセンサー・ディスプレイ位置において、畳み込まれた光フィールドの各々を空間ドメインで電荷蓄積可能な画素位置における容量光センサーで画素毎に検知するステップと、
容量性光センサーに、前記第１のセンサー・ディスプレイ位置において畳み込まれた光フィールドを順次検知することから生じる電荷を蓄積させるステップ
を有する方法。
＜請求項５＞
メモリセルが、順次感知された光フィールドに対して特定の画素位置において検知された光から生じる蓄積された電荷を有するように、複数の畳み込まれた光フィールドを感知した後に、各センサー内に蓄積された電荷をメモリバンク内の前記メモリセルにシフトするステップを有する、請求項４に記載の方法。
＜請求項６＞
異なるフィルタを適用して前記光変調器でデータのフレームを有する光フィールドの追加のシーケンスを畳み込むステップ、
前記容量センサーで画素毎に畳み込まれた光フィールドの追加のシーケンスを検知し、各画素位置での検知から生じる電荷を蓄積するステップと、
複数の畳み込まれた光フィールドを検知した後に各センサー内の蓄積された電荷を前もって蓄積された電荷を有するメモリセルにシフトさせつつ、前記前もって蓄積された電荷をメモリバンク内の別のメモリセルにシフトさせるステップと、
第１のセンサー・ディスプレイ位置における各画素位置においてメモリバンク内に畳み込まれて加算されたデータのフレームの３Ｄ畳み込みブロックを構築するために上記プロセスを繰り返すステップ
を有する、請求項５に記載の方法。
＜請求項７＞
第１のセンサー・ディスプレイ位置での画素位置からの順次的な光フィールドにおける３Ｄ畳み込みブロックを形成する、畳み込まれて加算されたデータのフレームをフーリエ変換してフーリエ変換面内の変調器に送り返すステップと、
光軸に対して種々の半径方向距離及び角度方向で間隔を開けて配置された光変調セグメントを有する光変調器によりフーリエ変換面において光フィールドを順次畳み込むステップと、
畳み込まれた光フィールドのシーケンスを第２のセンサー・ディスプレイ位置で空間領域に逆フーリエ変換するステップと、
電荷蓄積可能な画素位置における容量性光センサーで画素毎に空間領域において畳み込まれた光フィールドの各々を第２のセンサー・ディスプレイ位置で検知するステップと、
容量性光センサーに、第２のセンサー・ディスプレイ位置において畳み込まれた光フィールドを順次検知することから生じる電荷を蓄積させるステップと、
異なるフィルタを適用して光変調器でデータのフレームを有する光フィールドの追加のシーケンスを畳み込むステップと、
第２のセンサー・ディスプレイ位置において画素毎に畳み込まれた光フィールドの追加のシーケンスを容量性センサーで検知し、各画素位置における検知から生じる電荷を蓄積するステップと、
複数の畳み込まれた光フィールドを検知した後に、第２のセンサー・レシーバ位置で各センサーに蓄積された電荷を、以前に蓄積された電荷を有するメモリセルにシフトさせつつ、前記以前に蓄積された電荷をメモリバンク内の別のメモリセルにシフトさせるステップと、
第２のセンサー・ディスプレイ位置における各画素位置においてメモリバンク内に畳み込まれて加算されたデータのフレームの３Ｄ畳み込みブロックを構築するために上記プロセスを繰り返すステップ
を有する、請求項６に記載の方法。
＜請求項８＞
前記プロセスを追加のサイクルで繰り返すステップを有する、請求項７に記載の方法。
＜請求項９＞
前記プロセスの繰り返しサイクルにおいて、複数の前記センサーおよびメモリバンクを一緒にプーリングするステップを有する、請求項８に記載の方法。
＜請求項１０＞
前記複数のセンサーおよびメモリバンクの最大プーリングを含む、請求項８に記載の方法。
＜請求項１１＞
前記第１のセンサー・ディスプレイ位置における前記画素位置における光送信器素子で画素毎に、畳み込まれて加算されたデータのフレームを送信するステップを有する、請求項７に記載の方法。
【手続補正3】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33A】
【図33B】
【図34】
【図35】
【図36】