(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-24
(45)【発行日】2024-02-01
(54)【発明の名称】光ニューラルネットワークユニットおよび光ニューラルネットワーク構成
(51)【国際特許分類】
G06N 3/067 20060101AFI20240125BHJP
H04B 10/11 20130101ALI20240125BHJP
H04B 10/80 20130101ALI20240125BHJP
G02F 3/00 20060101ALI20240125BHJP
G06E 3/00 20060101ALI20240125BHJP
【FI】
G06N3/067
H04B10/11
H04B10/80
G02F3/00
G06E3/00
(21)【出願番号】P 2020551806
(86)(22)【出願日】2019-03-26
(86)【国際出願番号】 IL2019050345
(87)【国際公開番号】W WO2019186548
(87)【国際公開日】2019-10-03
【審査請求日】2022-03-28
(32)【優先日】2018-03-27
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】504154333
【氏名又は名称】バー‐イラン、ユニバーシティー
【氏名又は名称原語表記】BAR-ILAN UNIVERSITY
(74)【代理人】
【識別番号】110001302
【氏名又は名称】弁理士法人北青山インターナショナル
(72)【発明者】
【氏名】ザレフスキー,ジーヴ
(72)【発明者】
【氏名】コーエン,エヤル
【審査官】多賀 実
(56)【参考文献】
【文献】特開平03-167614(JP,A)
【文献】国際公開第2015/136572(WO,A1)
【文献】特表2012-531812(JP,A)
【文献】米国特許第06819469(US,B1)
【文献】米国特許第05129041(US,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06N 3/067
H04B 10/11
H04B 10/80
G02F 3/00
G06E 3/00
(57)【特許請求の範囲】
【請求項1】
入力光の処理のための人工ニューロンユニットであって、前記人工ニューロンユニットは、入力光を受信し、前記入力光内の2つ以上のモードの光成分に選択された混合を適用して、出射光を提供するように構成されるモード混合ユニットと、前記出射光の1つ以上のモードを選択するために、事前選択されたフィルタを前記出射光に適用し、それにより前記人工ニューロンユニットの出力光を提供するように構成されるフィルタリングユニットとを備える、人工ニューロンユニット。
【請求項2】
前記モード混合ユニットが、
偏光配向モード、波長範囲、選択された領域内の空間モード、および前記モード混合ユニットの2つ以上のコア内の空間モードのうちの少なくとも1つによって選択される2つ以上のモードを混合すること、
線形混合を適用し、それにより前記入力光の2つ以上のモードの重み付き線形結合である前記出射光を提供すること、
のうちの少なくとも一方を実行するように構成される、請求項1に記載の人工ニューロンユニット。
【請求項3】
さらに、前記入力光を前記モード混合ユニット内にカップリングするように構成される入力光学装置を備え、
前記モード混合ユニットが、第1の端および第2の端を有するマルチモード光ファイバ(MMF)として構成され、前記第1の端において前記入力光を受信し、前記MMFを通じた前記入力光の伝搬を可能にすると同時に、前記MMF内でそれぞれの速度で伝播する前記入力光の空間モードを混合して出射光をもたらすように、および前記第2の端において前記出射光を出力するように構成され、
前記フィルタリングユニットが、選択された空間的に変化する変調を前記出射光に対して行って出力光をもたらすように構成される空間光変調器(SLM)として構成され、
前記入力光学装置が、前記入力光を前記MMFの前記第1の端内にカップリングするように構成され
る、請求項1又は2に記載の人工ニューロンユニット。
【請求項4】
前記入力光学装置が、1つ以上のレンズを備える、請求項3に記載の人工ニューロンユニット。
【請求項5】
入力光の処理のための人工ニューロンユニットであって、当該人工ニューロンユニットは、
第1の端および第2の端を有するマルチモード光ファイバ(MMF)として構成され、前記第1の端で入力光を受け取り、前記MMF内のそれぞれの速度で伝播する前記入力光の空間モードを混合しながら、前記MMFを介した入力光の伝播を可能にし、前記第2の端で出力される出射光を提供するように構成された、モード混合ユニットと、
前記人工ニューロンユニットの出力光を提供する前記出射光の1つまたは複数のモードを選択するための訓練プロセスで決定された所定の空間パターンを前記出射光に適用することによって前記出射光をフィルタリングするように構成されたフィルタリングユニットと、
を備える、人工ニューロンユニット。
【請求項6】
前記フィルタリングユニットが、選択された空間的に変化する変調を前記出射光に対して行って前記出力光をもたらすように構成される空間光変調器(SLM)として構成される、請求項5に記載の人工ニューロンユニット。
【請求項7】
さらに、前記MMFの前記第2の端において前記出射光の少なくとも一部分を受信し、前記出射光の少なくとも一部分の光成分を、前記光成分を前記入力光の少なくとも一部分と混合するために、前記MMFの前記第1の端の方へ方向付けるように構成されるフィードバックルートを備え、
前記フィードバックルートが、前記空間光変調器(SLM)と関連付けられた出力ポートと関連付けられる、請求項3または6に記載の人工ニューロンユニット。
【請求項8】
前記出力光と相互作用するように構成される出力光学装置をさらに備える、請求項1~7のいずれか一項に記載の人工ニューロンユニット。
【請求項9】
前記出力光学装置が、1つ以上のレンズを備える、請求項8に記載の人工ニューロンユニット。
【請求項10】
前記空間光変調器(SLM)を動作させるように、およびそれにより適用される空間光変調を決定するように、構成され、また動作可能である制御ユニットを備える、請求項3、6、7のいずれか一項に記載の人工ニューロンユニット。
【請求項11】
前記制御ユニットが、前記
人工ニューロンユニットを備えるニューラル処理ネットワークの訓練プロセスに従って前記出力光の空間変調を選択するように構成される、請求項10に記載の人工ニューロンユニット。
【請求項12】
前記フィードバックルートの前記出力ポートが、
前記フィードバックルートを介して収集される前記光成分と前記入力光の少なくとも一部分との前記混合と関連付けられた光信号を出力するように構成される補助出力ポートであること、
前記出力光の少なくとも一部分と関連付けられた出力を提供するように構成されること、
のうちの一方の構成を有する、請求項7に記載の人工ニューロンユニット。
【請求項13】
前記フィードバックルートが、ゲインユニットを備え、前記出射光の少なくとも一部分を、その強度を増大させるために、前記ゲインユニットを通じて伝送するように構成される、請求項12に記載の人工ニューロンユニット。
【請求項14】
前記人工ニューロンユニットが、ニューラルネットワーク構造の入力ポートに位置し、ニューラルネットワーク処理構造に提供される光信号に選択された事前処理を適用するように構成される、請求項1~13のいずれか一項に記載の人工ニューロンユニット。
【請求項15】
人工ニューロンネットワークであって、
各々が請求項1~14のいずれか一項に従って構成された、2つ以上の人工ニューロンユニットを備え、
前記2つ以上の人工ニューロンユニットが、光信号の伝搬の経路に沿って配置され、かつ、少なくとも1つの入力ニューロン層および少なくとも1つの出力ニューロン層を備える1つ以上のニューロン層内に配置され、
その結果として、前記光信号が、前記入力ニューロン層の少なくとも1つの人工ニューロンユニットの少なくとも1つの入力ポートから前記
人工ニューロンネットワーク
の出力信号を提供する前記出力ニューロン層の少なくとも1つの人工ニューロンユニットの少なくとも1つの出力ポートまでの間の前記2つ以上の人工ニューロンユニットを通じて伝搬するように構成される、人工ニューロンネットワーク。
【請求項16】
前記出力ニューロン層の前記少なくとも1つの人工ニューロンユニットの前記少なくとも1つの出力ポートから出力光の少なくとも一部分を受信し、前記入力ニューロン層の前記少なくとも1つの人工ニューロンユニットに入る入力光の少なくとも一部分との混合のために前記出力光の前記少なくとも一部分を方向付けるように、および前記混合された光の少なくとも一部分を出力するように構成され、また動作可能である1つ以上のフィードバックルートをさらに備える、請求項15に記載の人工ニューロンネットワーク。
【請求項17】
前記2つ以上の人工ニューロンユニット
の各々が、請求項3または5に従って構成されており、
前記フィードバックルートが、前記人工ニューロンユニットに関連付けられており、
前記出力光を受信するように構成されるフィードバックユニットと、
Xカプラであって、当該Xカプラが、第1および第2の入力端ならびに第1および第2の出力端を有し、以下の:
前記第1の入力端を介して前記フィードバックユニットから前記出力光の前記少なくとも一部分を受信
すること;
前記第2の入力端を介して前記入力光を受信し、これによって前記入力光および前記出力光の前記少なくとも一部分を混合して混合された光をもたらすこと
;
前記第1の出力端を介して前記混合された光の少なくとも第1の部分を前記MMFの前記第1の端内へ出力
すること;および
前記第2の出力端を介して前記混合された光の少なくとも第2の部分を出力すること
を行うように構成される、Xカプラと、を備える、請求項16に記載の人工ニューロンネットワーク。
【請求項18】
さらに、
前記Xカプラの前記第2の出力端に位置する全光学光変調器であって、液晶バルブとして構成される全光学光変調器と、
前記Xカプラの前記第2の出力端に位置する非線形光変調器とを備え、
前記非線形光変調器が、そこを通る光成分に1つ以上の非線形相互作用を適用するように構成され、前記1つ以上の非線形相互作用が、第2高調波発生、和周波数発生、差周波数発生のうちの少なくとも1つを含み、
前記フィードバックルートが、前記入力光と混合するために前記出力光の前記少なくとも一部分を方向付けるように構成される1つ以上の光ファイバを備える、請求項17に記載の人工ニューロンネットワーク。
【請求項19】
前記フィードバックルートが、
前記MMFの前記第2の端の近くに、または前記MMFの前記第2の端に位置する第1の半透鏡と、
前記MMFの前記第1の端の近くに、または前記MMFの前記第1の端に位置する第2の半透鏡と、を備え、
前記第1の
半透鏡は、前記出力光の前記少なくとも一部分が、前記MMFの前記第2の端を介して前記MMFに入り、前記MMFの前記第1の端を介して前記MMFから出るように、前記出力光の前記少なくとも一部分を前記MMFの前記第2の端内へ反射させるように構成され、
前記第2の
半透鏡は、前記入力光の前記少なくとも一部分および前記出力光の前記少なくとも一部分が前記MMF内で混合して前記混合された光をもたらすように、前記出力光の前記少なくとも一部分を前記MMFの前記第1の端を介して前記MMF内へ反射させると同時に、前記入力光の少なくとも一部分を前記MMFの前記第1の端を介して前記MMF内へ伝送するように構成され、
前記第1の
半透鏡は、前記人工ニューロンネットワークが、前記混合された光の前記少なくとも一部分を出力するように構成されるように、前記混合された光の少なくとも一部分を伝送するように構成される、請求項17に記載の人工ニューロンネットワーク。
【請求項20】
前記フィードバックルートが、前記入力光と混合するために前記出力光の前記少なくとも一部分を方向付けるように構成される1つ以上の光ファイバを備え、
前記1つ以上の光ファイバが、シングルコアファイバ、マルチコアファイバ、および光ファイバの束のうちの1つ以上を備える、請求項17~19のいずれか一項に記載の人工ニューロンネットワーク。
【請求項21】
人工ニューロンネットワークであって、
各々が請求項1~14のいずれか一項に従って構成される複数の人工ニューロンユニットを備え、前記人工ニューロンユニットが、
1つ以上の人工ニューロンユニットを備える前記人工ニューロンユニットの第1の層であって、入力光を受信し、前記人工ニューロンユニットの1つ以上の後続層の人工ニューロンユニットに中間出力光を伝送するように構成される、人工ニューロンユニットの第1の層と、
前記人工ニューロンユニットの1つ以上の先行層の前記中間出力光を受信するように構成される追加の1つ以上の層と、を備える1つ以上の層内に配置され、
前記人工ニューロンユニットの前記層の最後のものからの前記出力光が、所望の標的へ方向付けられる、人工ニューロンネットワーク。
【請求項22】
画像を処理するように構成される人工ニューロンネットワークであって、前記人工ニューロンネットワークが、
マルチモード光ファイバ(MMF)のアレイであって、各MMFが、それぞれの第1の端およびそれぞれの第2の端を有し、前記MMFのアレイは、すべての前記MMFの前記第1の端が、シーンからそれぞれの入力光部分を受信するために第1の所望の形状で互いと整列されるように、およびすべての前記MMFの前記第2の端が、それぞれの出射光部分を所望の標的へ方向付けして前記標的において前記シーンの出力画像を形成するために第2の所望の形状で整列されるように配置され、
前記各MMFが、そこを通る光成分の伝搬を方向付けると同時に、前記光成分の空間モードをそれぞれの正面形状およびそれぞれの速度と混合し、それにより出射光部分をもたらすこと、ならびに前記それぞれの第2の端において前記出射光を出力することを提供する、マルチモード光ファイバ(MMF)のアレイと、
前記入力光部分を前記MMFのアレイ内にカップリングするように構成される、少なくとも1つの入力光学装置デバイスと、
空間的に変化する変調を前記出射光部分に対して行って出力光部分をもたらすように構成される、少なくとも1つの空間光変調器(SLM)と、を備える、人工ニューロンネットワーク。
【請求項23】
複数の入力光学装置を備え、前記入力光学装置のうちの少なくともいくつかは、それぞれのMMFと関連付けられ、前記入力光部分を前記それぞれのMMF内にカップリングするように構成されること、
複数のSLMを備え、前記SLMのうちの少なくともいくつかは、それぞれのMMFと関連付けられ、それぞれの空間的に変化する変調を前記それぞれのMMFからの前記出射光部分に対して行って、それぞれの出力光放射部分をもたらすように構成されること、
MMFの一連のアレイを備え、前記アレイは、前のアレイからの出力光が後続アレイへの入力として使用されるように、互いと直列に配置されること、
のうちの少なくとも1つの構成を有する、請求項
22に記載の人工ニューロンネットワーク。
【請求項24】
少なくとも2つの前記MMFのアレイの間に位置する中間光学ユニットをさらに備える、請求項23に記載の人工ニューロンネットワーク。
【請求項25】
前記中間光学ユニットが、中間屈折ユニットおよび中間SLMのうちの少なくとも1つを備える、請求項24に記載の人工ニューロンネットワーク。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光演算デバイス、およびより詳細には、光集積型人工ニューロンネットワークに基づいた光演算デバイスに関する。
【背景技術】
【0002】
光演算は、電流ではなく可視または赤外光に対する操作を利用して、演算プロセスを実施する。一般的には、光演算は、より速い演算速度を可能にし、これは部分的には、光パルスに対する操作が対応する媒体において光の速さで発生するためである。これは、従来の演算方法において使用されるような電流を使用した演算に対してより高い帯域幅を可能にする。例えば、電流信号は、光の速さの約10パーセントでしか伝搬せず、光演算の演算速度においてはほぼ10倍の改善を例示する。
【0003】
従来の光処理システムは、典型的には、一般的に光電子処理と呼ばれる電子・光ハイブリッド処理を利用する。これらのシステムにおいて、光信号は、データ伝送のため、および特定の処理動作のために使用され、特定の他の処理動作のために電子信号へと変更される。そのような光電子デバイスは、電子エネルギーを光子に変換するエネルギーおよびその逆のエネルギーの約30%を損失し得る。さらには、光信号から電子信号への変換およびその逆の変換は、データの伝送および処理を遅くする。かなりの研究努力が、光・電気・光(OEO)変換の必要性を除去し、こうして電力の必要性を少なくし、処理速度を増大させる全光演算に注がれている。
【0004】
光演算の分野における別の有利な側面は、人工ニューラルネットワーク(ANN)の実装である。一般的には、ニューラルネットワークシステムは、人間の脳の動作に対応するやり方で問題を解決することを可能にする処理を提供する。人工ニューラルネットワークは、基本的には、脳を構築する生体ニューラルネットワーク(BNN)から発想を得たコンピュータシステムである。これらのシステムは、目的のタスクを完了するために、「学習」して自らの性能を向上させて、コマンドのセットを実行する。より詳細には、ANNは、選択されたタスクのための関連入力の処理を最適化するため、そこに提供される学習材料から関連特徴のセットを進化させる。典型的なANNシステムは、脳内のBNNを構築する生体ニューロンの人工等価物である人工ニューロンと呼ばれる接続されたユニットまたはノードのセットに基づく。生体シナプスの人口等価物であるノード間の接続は、1つのノードから別のノードへ信号を伝送することができる。信号を受信する人工ニューロンは、信号を処理し、次いで対応する信号を、そこに接続された人工ニューロンに伝送するように構成される。典型的には、人工ニューロンは、層で配置される。異なる層は、それらの入力に対して異なる種類の変換を実施し、対応する出力信号を伝送し得る。信号は、第1の層(入力)から、おそらくは異なる層を何回か横断した後に、最後の層(出力)へと移動する。
【0005】
光人工ニューロンユニットについてはこれまで説明がされており、開発されているところである。例えば、Zalevskyらに対するWO2017/033197は、集積光モジュールについて教示する。光モジュールは、マルチ光学カップリングチャネルを備え、人工ニューラルネットワーク(ANN)内でのその使用を可能にする。いくつかの実施形態によると、集積光モジュールは、マルチコア光ファイバを備え、このコアは光学的にカップリングされる。
【発明の概要】
【0006】
好適な訓練に従って、選択された入力データの高速かつ低電力の処理を可能にする全光学ニューラルネットワーク構成のための技術が必要とされている。本発明は、出射光信号を提供するため入力光信号の全光学処理を可能にする光ニューロンユニットを提供する。本発明の光ニューロンユニットは、概して、少なくとも1つのマルチモード光ファイバおよび対応する空間光変調器ユニットを備え、これらは一緒に、そこを通って伝送される光信号を、光ニューロンが関連付けられるニューラルネットワークの訓練プロセスによって決定される選択された空間パターンに基づいて変化させるように構成される。
【0007】
マルチモード光ファイバ(MMF)は、第1の端および第2の端、ならびに選択された長さおよび直径を有し、そこを通じて入力信号を伝搬させると同時に、伝搬する信号の空間モードを混合するために使用される。より詳細には、MMFに入力される光照射野は、MMF構造に関する1つ以上の空間モードの結合であり得る。それぞれの群速度でMMFを通って伝搬される空間モードの各々が、出力光のモード結合を変化させる。加えて、MMFを通じた伝搬は、MMFの形状および光学特性に従ってモード間で光エネルギーをシフトする光成分間の特定の混合を引き起こし得る。したがって、MMFは、入力光信号のモードの混合と関連付けられる出射信号を提供する。
【0008】
空間光変調器(SLM)ユニットは、一般的に、MMFの出力端(第2の端)に位置し、空間変調を出射光に適用するように構成される。空間変調は、位相のみ、または位相および振幅変調であり得、出力光信号に含まれるべき空間光成分をさらに選択し得る。空間変調の選択は、典型的には、光ニューロンユニットによって実施されるべき1つ以上のタスクのための訓練に基づく。より詳細には、ニューラルネットワーク構成で使用されるとき、ネットワークは、一般的に、訓練を受ける(例えば、ラベル付けされたデータセットに従って)。ネットワークの訓練の間、様々なパラメータが、ネットワークの異なる光ニューロンユニットからの出射光の空間変調と関連付けられ得る。
【0009】
本発明の光ニューロンユニットは、入力および/または出力光学装置をさらに備え得る。そのような入力/出力光学装置は、一般的に、光信号をMMF内に、および/または光ニューロンユニットから外へカップリングし、それによりニューロンユニット間の効果的なカップリングを可能にし、MMF内にカップリングされない光エネルギーの損失を低減するように構成される、1つ以上のレンズと関連付けられ得る。
【0010】
本発明のいくつかの実施形態において、人工ニューロンユニットは、空間光変調器と機能的に関連付けられる制御ユニットを備え得る。制御ユニットは、空間光変調器ユニットと通信状態にあり、それにより空間光変調器を動作させる。制御ユニットは、MMFからの混合された出射光信号の空間変調の選択的変動を適用するように構成される。一般的に、ニューラルネットワーク演算タスクでは、ネットワークは、それらの内部接続および処理動作を決定するための特定の訓練プロセスを受ける。本発明のいくつかの実施形態において、選択された訓練プロセスは、人工ニューロンユニットのMMFから出る光に対して空間光変調器によって適用される1つ以上の光変調パターンを決定するために使用される。したがって、空間変調の選択は、それに関連付けられた制御ユニットにおいて、目的の1つ以上のタスクを実施する人工ニューロンユニットの訓練に従って決定される。
【0011】
本発明のいくつかの他の実施形態において、本発明は、人工ニューロンユニットの第1および第2の端と光学的に関連付けられたフィードバックルートを備える。フィードバックルートは、MMFの第2の端において出射光の少なくとも一部分を受信するように、および出射光の少なくとも一部分の光成分を、入力光の少なくとも一部分を混合するために人工ニューロンユニットの第1の端の方へ方向付け、それにより、混合された入力光を生成するように構成される。混合された入力光の少なくとも一部分は、MMF内にカップリングされる。フィードバックルートは、MMFの混合された入力光および出射光のうちの少なくとも1つと関連付けられる出力光を提供するように構成される出力ポートをさらに備える。一般的には、空間光変調器は、選択された光変調パターンを出力光に適用するためにフィードバックループの出力ポートに位置し得る。代替的または追加的に、空間光変調器は、フィードバックループへの出射光のカップリングの前に出射光を変調して、フィードバックルートの変調を提供するように構成されるMMFの第2の端に位置し得る。
【0012】
この接続では、フィードバックループの出力ポートが混合された入力光を人工ニューロンユニットの出力として提供するいくつかの構成において、人工ニューロンユニットは、補助ポートを用いて構成され得る(例えば、xカプラファイバ構成)。補助ポートは、人工ニューロンユニットへ伝送されるフィードバックおよび入力光を介して出射光の少なくとも一部分の光信号を受信するように構成される。補助ポートは、フィードバックおよび入力の少なくとも一部分を介して収集される光信号を混合して、混合された光信号を選択された標的の方へ出力するようにさらに構成される。
【0013】
複雑な演算タスクでは、複数の人工ニューロンユニットが一緒に関連付けられて、演算ニューラルネットワークを提供し得る。そのようなニューラルネットワークは、一般的に、1つ以上の層内に配置されるニューロンユニットの選択されたセットを用いて構成される。最上(入力)層の1つ以上のニューロンユニットは、入力信号(例えば、画像を形成する入力光)を受信し、次の層のニューロンユニットに対応する中間出力信号を伝送するように構成される。一般的には、ネットワークは全体として、1つ以上の選択されたタスクを実施するために訓練される。この目的のため、訓練は、異なる層のニューロンユニット間の接続の調整、ならびに異なるニューロンユニットの出射光に対する空間光変調を含み得る。これによりネットワークの層間に処理の1つ以上の層を提供して、入力光信号の処理結果と関連付けられる最終(出力)層の出力信号を提供する。
【0014】
したがって、ニューラルネットワークは、選択される1つ以上の光学素子、および異なる層のニューラルユニット間の光路を正しく操作するための位置を含み得る。いくつかの構成において、そのような光学素子は、異なるニューロンユニットの入力および/または出力光学装置と関連付けられ得る。したがって、ニューロンユニットの入力および/または出力光学装置は、1つのニューロンユニットの出力光を次の層に位置する対応するニューロンユニット内にカップリングするように構成され得る。加えて、ニューラルネットワークはまた、異なる層のニューロンユニット間で光を方向付けるために、およびニューロンユニット内への光のカップリングを最適化するために選択される反射、屈折、および/または回折光学素子を備え得る。いくつかの構成において、1つ以上の層の1つ以上のニューロンユニットは、ニューロンユニット以外の光伝送光学素子によって置き換えられ得、そのような「受動」光伝送素子は、そこを通過する光の予め決定された一定の光学操作を提供するために使用され得る。一般的には、例えば、ニューラルネットワークは、1つ以上のビームスプリッタ素子、レンズ、波長および/または偏光選択性フィルタなどを含み得る。ネットワークの光学素子の配置は、ネットワークトポロジに従って予め決定され得るか、またはネットワークの1つ以上の演算タスクのための訓練に従って選択され得る。
【0015】
さらに、いくつかの構成において、ネットワークの共通層に位置するニューロンユニットは、1つ以上の共通空間光変調器と関連付けられ得る。より詳細には、同じ層のニューロンユニットの群は、各ニューロンユニットが、その出射光を空間光変調器の対応する領域の方へ伝送するように、共通空間光変調器と関連付けられるように配置され得る。異なるニューロンユニットと関連付けられた空間光変調器の領域は、離間され得るか、または部分的に重複し得る。したがって、ニューラルネットワーク内に配置されるとき、人工ニューロンユニットの第2の端から出る光は、空間光変調器の領域上へ方向付けられて、対応する層のニューロンユニットの出力光を提供する。
【0016】
上に示されるように、効率的な処理を提供するために、ニューラルネットワークは、一般的に、特定の訓練プロセスを受ける。訓練プロセスにおいて、ネットワークのパラメータは、例えば、ラベル付けされた、またはラベル付けされていないデータセットを含む、選択された訓練プロセスに従って選択される。例えば、訓練は、入力データ片に関する情報を含む1つ以上のラベル付けされたデータセットを形成する入力データ、および各入力データ片のための対応する予測出力データに基づき得る。訓練プロセスの間、ネットワークのニューロンユニット間の接続、および各ニューロンユニットの処理は、訓練データの所望の出力を提供するために変化され得る。一般的には、本発明によると、この変化は、典型的には、異なるニューロンユニットの出射光のための空間変調パターンの選択を含み得る。
【0017】
この目的のため、ニューラルネットワークは、1つ以上の空間光変調器の空間光変調を選択的に決定するように、構成され、また動作可能である制御ユニットと関連付けられ得る。制御ユニットは、ニューラルネットワークと機能的に関連付けられ得、また異なる入力データ片のための様々な出力結果と関連付けられた訓練関連データを受信するように構成され得る。制御ユニットは、各入力データ片のための予測出力に従って出力結果を処理し、異なるニューロンユニットのうちの1つ以上のために空間変調を選択的に変更し得る。空間変調パターンは、典型的には、訓練データセットの最適処理を提供するために訓練プロセスに沿って反復的に変化され得る。一般的には、ニューラルネットワークの訓練を完了した後、それらの人工ニューロンの空間光変調は、ネットワークパラメータまたはタスクの調節以外は変化しない。
【0018】
ニューラルネットワークのいくつかの構成において、異なるニューロンユニットと関連付けられた空間光変調の選択は、例えば、ニューロンユニットの入力光信号と出力光信号との関係を変化させることによって、信号処理に影響を及ぼし、ならびに、異なるネットワーク層のニューロンユニット間の接続に影響を及ぼし得る。より詳細には、特定の空間周波数を有する空間光パターンの選択は、変調の空間周波数によって決定される方向に出力光を伝搬させ得る。したがって、異なるニューロンユニットの空間光変調器はまた、特定のニューロンユニットから出力される光を伝搬の選択された全般的方向に沿って方向付けるため、および/または出力光を次の層の近隣ニューロンユニットの方へ方向付けるために使用され得る。
【0019】
したがって、広範な態様によると、本発明は、入力光の処理のための人工ニューロンユニットであって、入力光を受信し、入力光内の2つ以上のモードの光成分に選択された混合を適用して、出射光を提供するように構成されるモード混合ユニットと、出射光の1つ以上のモードを選択するために、事前選択されたフィルタを出射光に適用し、それにより人工ニューロンユニットの出力光を提供するように構成されるフィルタリングユニットとを備える、人工ニューロンユニットを提供する。
【0020】
フィルタリングユニットは、空間光変調ユニット、ソーベルフィルタ、または他のタイプのフィルタリングとして構成され得る。
【0021】
いくつかの実施形態によると、モード混合ユニットは、以下:偏光配向モード、波長範囲、選択された領域内の空間モード、およびモード混合ユニットの2つ以上のコア内の空間モードのうちの少なくとも1つによって選択される2つ以上のモードを混合するように構成され得る。
【0022】
モード混合ユニットはまた、線形混合を適用し、それにより入力光の2つ以上のモードの重み付き線形結合である上記出射光を提供するように構成され得る。
【0023】
本発明のいくつかの実施形態によると、モード混合ユニットは、第1の端および第2の端を有するマルチモード光ファイバ(MMF)として構成され、第1の端において入力光を受信し、MMFを通じて入力光の伝搬を可能にすると同時に、MMF内でそれぞれの速度で伝播する入力光の空間モードを混合して出射光をもたらすように、および第2の端において出射光を出力するように構成され、フィルタリングユニットは、選択された空間的に変化する変調を出射光に対して行って出力光をもたらすように構成される空間光変調器(SLM)として構成され得る。人工ニューロンユニットはまた、入力光をMMFの第1の端内にカップリングするように構成される入力光学装置を備え得る。入力光学装置は、1つ以上のレンズを備え得る。いくつかの他の実施形態において、フィルタリングユニットは、1つ以上の処理ユニットを使用して、収集された画像データに対して、光学的に実施される、または電子的に適用されるソーベルフィルタを備え得る。
【0024】
人工ニューロンユニットは、出力光と相互作用するように構成される出力光学装置をさらに備え得る。出力光学装置は、1つ以上のレンズを備え得る。
【0025】
いくつかの実施形態によると、人工ニューロンユニットは、上記空間光変調器(SLM)を動作させるように、およびそれにより適用される空間光変調を決定するように、構成され、また動作可能である制御ユニットをさらに備え得るか、またはそれと関連付けられ得る。制御ユニットは、上記ユニットを備えるニューラル処理ネットワークの訓練プロセスに従って光を出力するために空間変調を選択するように構成され得る。
【0026】
いくつかの実施形態によると、人工ニューロンユニットは、MMFの上記第2の端において出射光の少なくとも一部分を受信し、上記出射光の少なくとも一部分の光成分を、上記光成分を入力光の少なくとも一部分と混合するためにMMFの上記第1の端の方へ方向付けるように構成されるフィードバックルートをさらに備え得、上記フィードバックルートが、上記空間光変調器と関連付けられた出力ポートと関連付けられる。
【0027】
いくつかの構成において、フィードバックルートの出力ポートは、フィードバックルートを介して収集される上記光成分と入力光の少なくとも一部分との上記混合と関連付けられた光信号を出力するように構成される補助出力ポートである。いくつかの他の構成において、フィードバックルートの出力ポートは、出力光の少なくとも一部分と関連付けられた出力を提供するように構成される。
【0028】
一般的に、本発明のいくつかの実施形態によると、フィードバックルートは、ゲインユニットをさらに備え得、出射光の少なくとも一部分を、その強度を増大させるために上記ゲインユニットを通じて伝送するように構成される。ゲインユニットは、フィードバックルートを通じた光成分の伝搬の光路に沿って位置し得、またフィードバックルートを通過する光の強度を増幅させるように構成され得る。ゲインユニットは、フィードバックルートを通じて光の光路を方向付けるドープ光ファイバの形態にあり得る。
【0029】
本発明のいくつかの実施形態によると、人工ニューロンユニットは、ニューラルネットワーク構造のための事前処理ユニットとして使用され得る。人工ニューロンユニットは、ニューラルネットワーク構造の1つ以上の入力ポートに位置し得、またニューラルネットワーク処理構造に提供される光信号に選択された事前処理を適用するように構成され得る。ニューラルネットワークのための事前処理入力ユニットとしての人工ニューロンユニットの使用は、入力信号のモード混合、およびニューラルネットワークによる信号処理を簡略化することを可能にする。一般的には、マルチモード光ファイバの使用は、入力データのランダム化およびスクランブリングを提供し得る。これは、低減された数のノードの使用を可能にし、所与の処理タスクのためのより低い複雑性のニューラルネットワークを提供し得る。
【0030】
本発明の1つの他の広範な態様によると、本発明は、入力光を処理するための人工ニューロンユニットであって、第1の端および第2の端を有するマルチモード光ファイバ(MMF)であって、第1の端において入力光を受信し、MMFを通じた入力光の伝搬を可能にすると同時に、MMF内でそれぞれの速度で伝播する入力光の空間モードを混合して出射光をもたらすように、および第2の端において出射光を出力するように構成される、マルチモード光ファイバ(MMF)と、入力光をMMFの第1の端にカップリングするように構成される入力光学装置と、選択された空間的に変化する変調を出射光に対して行って出力光をもたらすように構成される空間光変調器(SLM)と、を備える人工ニューロンユニットを提供する。
【0031】
さらに別の広範な態様によると、本発明は、人工ニューロンネットワークであって、 先の項目のうちのいずれか1つに従う1つ以上の人工ニューロンユニットを備え、上記1つ以上の人工ニューロンユニットが、光信号の伝搬の経路に沿って1つ以上のニューロン層内に配置され、その結果として、光信号が、入力層の人工ニューロンユニットの入力ポートから上記ネットワークの出力信号を提供する出力層の人工ニューロンユニットの出力ポートまでの間の1つ以上の人工ニューロンユニットを通じて伝搬するように構成される、人工ニューロンネットワークを提供する。
【0032】
人工ニューロンネットワークは、上記出力層の人工ニューロンユニットの少なくとも1つの出力ポートから出力光の少なくとも一部分を受信し、入力層の人工ニューロンユニットに方向付けられる入力光の少なくとも一部分との混合のために出力光の少なくとも一部分を方向付けるように、および混合された光の少なくとも一部分を出力するように構成される1つ以上のフィードバックルートをさらに備え得る。
【0033】
いくつかの実施形態によると、フィードバックルートは、出力光を受信するように構成されるフィードバックユニットと、第1および第2の入力端ならびに第1および第2の出力端を有し、第1の入力端を介してフィードバックユニットから出力光の少なくとも一部分を受信し、第2の入力端を介して入力光を受信し、入力光および出力光を混合して混合された光をもたらし、混合された光の少なくとも第1の部分をMMFの第1の端内へ方向付け、混合された光の少なくとも第2の部分を出力するように構成される、Xカプラと、を備える。
【0034】
人工ニューロンネットワークは、Xカプラの第2の出力端に位置する全光学光変調器をさらに備え得、上記全光学光変調器が、液晶バルブとして構成される。
【0035】
人工ニューロンネットワークは、Xカプラの第2の出力端に位置する非線形光変調器をさらに備え、非線形光変調器が、そこを通る光成分に1つ以上の非線形相互作用を適用するように構成され、上記1つ以上の非線形相互作用が、第2高調波発生、和周波数発生、差周波数発生のうちの少なくとも1つを含む。
【0036】
いくつかの実施形態によると、フィードバックルートは、MMFの第2の端の近くに、またはMMFの第2の端に位置する第1の半透鏡と、MMFの第1の端の近くに、またはMMFの第1の端に位置する第2の半透鏡と、を備え、第1の鏡は、出力光の少なくとも一部分が、第2の端を介してMMFに入り、第1の端を介してMMFから出るように、出力光の少なくとも一部分を第2のMMF内へ反射させるように確認され、第2の鏡は、入力光の少なくとも一部分および少なくとも一部分がMMF内で混合して混合した光をもたらすように、出力光の少なくとも一部分を第1の端を介してMMF内へ反射させると同時に、入力光の少なくとも一部分を第1の端を介してMMF内へ伝送するように構成され、第1の鏡は、人工ニューロンネットワークが、混合された光の少なくとも一部分を出力するように構成されるように、混合された光の少なくとも一部分を伝送するように構成される。
【0037】
本発明のさらにいくつかの実施形態によると、フィードバックルートは、上記入力光と混合するために出力光の上記少なくとも一部分を方向付けるように構成される1つ以上の光ファイバを備える。1つ以上の光ファイバは、シングルコアファイバ、マルチコアファイバ、および光ファイバの束のうちの1つ以上を備え得る。
【0038】
さらに別の広範な態様によると、本発明は、人工ニューロンネットワークであって、本明細書に説明されるように構成される複数の人工ニューロンユニットを備え、人工ニューロンユニットが、1つ以上の人工ニューロンユニットを備える人工ニューロンユニットの第1の層であって、入力光を受信し、人工ニューロンユニットの1つ以上の後続層の人工ニューロンユニットに中間出力光を伝送するように構成される、人工ニューロンユニットの第1の層と、人工ニューロンユニットの1つ以上の先行層の中間出力光を受信するように構成される追加の1つ以上の層と、を備える1つ以上の層内に配置され、人工ニューロンユニット層の最後のものからの出力光が、所望の標的へ方向付けられる、人工ニューロンネットワークを提供する。
【0039】
さらに別の広範な態様によると、本発明は、画像を処理するように構成される人工ニューロンネットワークであって、マルチモード光ファイバ(MMF)のアレイであって、各MMFが、それぞれの第1の端およびそれぞれの第2の端を有し、MMFは、すべての第1の端が、シーンからそれぞれの入力光部分を受信するために第1の所望の形状で互いと整列されるように、およびすべての第2の端が、それぞれの出射光部分を所望の標的へ方向付けして標的においてシーンの出力画像を形成するために第2の所望の形状で整列されるように配置され、各MMFが、そこを通る光成分の伝搬を方向付けると同時に、光成分の空間モードをそれぞれの正面形状およびそれぞれの速度と混合し、それにより出射光部分をもたらすこと、ならびにそれぞれの第2の端において出射光を出力することを提供する、マルチモード光ファイバ(MMF)のアレイと、入力光部分をMMFのアレイ内にカップリングするように構成される、少なくとも1つの入力光学装置デバイスと、空間的に変化する変調を出射光部分に対して行って出力光部分をもたらすように構成される、少なくとも1つの空間光変調器(SLM)と、を備える人工ニューロンネットワークを提供する。
【0040】
いくつかの実施形態によると、人工ニューロンネットワークは、複数の入力光学装置デバイスを備え得、入力屈折デバイスのうちの少なくともいくつかが、それぞれのMMFと関連付けられ、入力光部分をそれぞれのMMF内にカップリングするように構成される。
【0041】
いくつかの実施形態によると、人工ニューロンネットワークは、複数のSLMを備え得、SLMのうちの少なくともいくつかが、それぞれのMMFと関連付けられ、それぞれの空間的に変化する変調をそれぞれのMMFからの出射光部分に対して行って、それぞれの出力光放射部分をもたらすように構成される。
【0042】
いくつかの実施形態によると、人工ニューロンネットワークは、MMFの一連のアレイを備え得、アレイは、前のアレイからの出力光が後続アレイへの入力として使用されるように、互いと直列に配置される。人工ニューロンネットワークは、少なくとも2つのアレイの間に位置する中間光学ユニットをさらに備え得る。中間光学ユニットは、中間屈折ユニットおよび中間SLMのうちの少なくとも1つを備え得る。
【0043】
本明細書に開示される主題をより良く理解するため、およびそれが実践においてどのように実行され得るかを例示するため、これより実施形態は、非制限的な例としてのみ、添付の図面を参照して説明される。
【図面の簡単な説明】
【0044】
【
図1】
図1は、本発明のいくつかの実施形態に従う人工ニューロンユニットを例証する図である。
【
図2A】
図2Aは、出射光の処理のためのフィードバックルート構成を含む人工ニューロンユニットの例であり、光ファイバベースのフィードバックルートを例証する図である。
【
図2B】
図2Bは、出射光の処理のためのフィードバックルート構成を含む人工ニューロンユニットの例であり、自由空間伝搬ベースのフィードバックルートを例証する図である。
【
図3】
図3は、本発明のいくつかの実施形態に従うチェーンタイプのニューラルネットワークを例証する図である。
【
図4】
図4は、本発明のいくつかの実施形態に従う二次元ニューラルネットワーク構成を例示する図である。
【
図5】
図5は、本発明のいくつかの実施形態に従う中間信号混合装置を使用した追加の二次元ニューラルネットワーク構成を例示する図である。
【
図6】
図6は、画像データ事前処理を最適化するための、本発明のいくつかの実施形態に従う人工ニューロンユニットを使用した例示的な実験システムを例証する図である。
【
図7】
図7は、実験データのために使用されるMNIST画像(行a)、画像と関連付けられた光のMMFを通じた伝搬後に獲得される画像(行b)、ソーベルカーネルによるフィルタリング後の画像(行c)、および再構築された画像(行d)を示す図である。
【
図8A】
図8Aは、隠れ層サイズ再構築ANNに対する再構築の誤差に関する実験結果を示し、ノードの数の関数として試験誤差を示す図である。
【
図8B】
図8Bは、隠れ層サイズ再構築ANNに対する再構築の誤差に関する実験結果を示し、同様の精度を達成するために人工ニューロンユニットを使用した入力なしで必要とされるノードの比率を示す図である。
【
図8C】
図8Cは、隠れ層サイズ再構築ANNに対する再構築の誤差に関する実験結果を示し、異なる入力サイズの画像について隠れ層サイズに対する誤差レベルを示す図である。
【
図8D】
図8Dは、隠れ層サイズ再構築ANNに対する再構築の誤差に関する実験結果を示し、異なる入力サイズの画像について隠れ層サイズに対する誤差レベルを示す図である。
【
図9】
図9は、赤色、緑色、および青色照明を含む異なる照明波長における画像再構築の実験結果を示し、DMDによって投影される画像(行a)を示し、再構築された画像(行b)を示し、出射光画像(行c)を示し、ソーベルフィルタを使用してフィルタリングされた出射光(行d)を示す図である。
【
図10A】
図10Aは、フィルタリングされた出射光の再構築結果を示し、各色について層サイズの関数として平均二乗誤差(MSE)を示す図である。
【
図10B】
図10Bは、フィルタリングされた出射光の再構築結果を示し、再構築された画像に適用される試験再構築ANNの精度性能を示す図である。
【
図10C】
図10Cは、フィルタリングされた出射光の再構築結果を示し、LED電流の関数としての誤差率を示す図である。
【発明を実施するための形態】
【0045】
上に示されるように、本技術は、ニューロンネットワークコンピューティングシステム内で動作するのに好適な人工ニューロンユニットを提供する。本発明の人工ニューロンユニットは、ニューロンユニット/ネットワークの訓練に従って出力光信号を提供するために、入力光信号の光学処理を提供するように構成される。
図1は、本発明のいくつかの実施形態に従う人工ニューロンユニット100を描写する。人工ニューロンユニット100は、マルチモードファイバ(MMF)10、または一般的に、以下にさらに説明されるような少なくとも1つに基づく。MMF10は、第1の端5a(すなわち、入力端)および第2の端5b(すなわち、出力端)を有し、単一の幅広コア6を有する光ファイバとして構成される。追加的に、人工ニューロンユニット100は、MMF10の第2の端5bにおいてMMF10からアウトカップリングする光の光路に位置する空間光変調器40を含む。いくつかの構成において、人工ニューロンユニットはまた、光をMMF10内にカップリングするように構成される入力光学装置20を含み得る。追加的に、人工ニューロンユニット100はまた、出力光学装置30を含み得、ならびに/または、制御ユニット50および検出器ユニット80のうちの1つ以上と関連付けられ得る。
【0046】
人工ニューロンユニット100は、典型的には入力光学装置によってMMF10内にカップリングされる入力光WF信号を受信し、入力光信号WFの空間モードに特定の混合を適用するため、およびMMFの第2の端5bにおいて出射光ELを提供するために、MMFを通じて入力光WFを伝搬するように構成される。出射光ELは、ニューロンユニットが訓練される人工ニューロンユニットの選択された動作/タスクに従って、空間光変調器40によって選択的に変調され、出力光信号OLを提供する。この接続では、一般的に、ニューラルタイプ構成を使用した処理技術は、ニューロンユニットの1つ以上のネットワークに基づくということに留意されたい。そのようなネットワークは、内部接続、処理パラメータが決定される選択された訓練プロセスを受ける。本明細書に説明される人工ニューロンユニット100は、様々なネットワークトポロジにおいて使用され得るということに留意されたい。簡略性のため、人工ニューロンユニット100は、選択された光学操作が、入力光信号WFの空間モードの混合によって、および空間変調パターンを出射光ELに適用することによって実施され得る処理ユニットとして本明細書では説明される。一般的には、空間光変調器40の空間変調パターンの選択は、好適な訓練プロセスに従って、人工ニューロンユニット100と、またはユニット100を含むネットワークと関連付けられた制御ユニット50によって選択される。
【0047】
MMF10は、選択された長さ(例えば、数ミリメートルから数センチメートル)および直径(例えば、30ミクロメートル以上、50ミクロメートル以上)を有するマルチモードファイバであり、典型的には、複数の空間モードで伝搬する選択された波長範囲(例えば、1.5ミクロメートル)における光の伝搬をサポートするように構成される。一般的には、入力光信号は、MMF10の第1の端5aにおいてMMF10内へカップリングされる。光信号は、空間モード間の特定の混合を経ながらMMF10を通じて伝搬されて、第2の端5bにおいて出射光ELを提供する。
【0048】
一般的には、特定の波面WF、振幅、および長さ特徴を有する入力光信号が、人工ニューロンユニット100に伝送される。入力光信号WFは、入力光学装置20によってMMF10内へカップリングされ、MMF10の第2の端5bの方へMMF10内を伝搬することができる。MMF10を通って伝搬しながら、異なる空間モードの光信号(MMF10の構造上に投影されるような入力光波面WFの空間形状に対応する)は、異なる速度で伝搬し、それらの間で混合を経る。MMF10は、MMF10の群速度分散特性に関して、比較的短いため、出射光ELは、その特徴の大半を維持するが、異なる波面構造を有し得る。出射光ELは、空間光変調器40の方へ方向付けられ、この空間光変調器40が、選択された空間変調を波面に適用して出力光信号OLを提供する。出力光信号OLは次いで、ネットワークの追加の層と関連付けられた1つ以上の追加のニューロンユニットへ、および/または対応する検出ユニット80へ方向付けられ得る。
【0049】
一般的には、簡略性のため、用語「出射光」および「混合された出射光」は、本明細書内で使用される場合、同義に、SLM40に達する前にMMF10を通って伝搬した後にMMF10の第2の端5bから外へカップリングされる出射光EL(例えば、信号波面)を指す。用語「出力光」は、本明細書内で使用される場合、人工ニューロンユニットの光OL出力、すなわち、選択された空間変調に従ってSLM40によって変調される出射光を指す。
【0050】
入力光学装置20は、典型的には、MMF10の入力端5aの近くに位置し、入力光WFをMMF10内にカップリングするように構成される。一般的には、入力光学装置は、1つ以上のレンズ(例えば、対物レンズユニット)などの1つ以上の光学素子を含む。入力光学装置は、好ましくは、入力光WFをカップリングする一方で、その波面構造には影響を及ぼさないように構成され得る。上に示されるように、いくつかの構成において、人工ニューロンユニットはまた、MMF10の下流、例えば、MMF10とSLM40との間、および/またはSLM40の下流に位置する出力光学装置30を含み得る。出力光学装置30は、一般的に、レンズなどの1つ以上の光学素子として構成され得る。出力光学装置は、典型的には、人工ニューロンユニットから出力光OLを収集し、検出ユニット80および/または追加の1つ以上のニューロンユニットへ向かう出力光OLの選択された経路に従う出力光OLの伝搬の発散および/または方向に影響を及ぼす(例えば、コリメート出力光を提供する)ように構成される。
【0051】
本発明のいくつかの実施形態に従う人工ニューロンユニットを利用したフィードバックループタイプ処理層の2つの例を例証する
図2Aおよび
図2Bを参照する。
図2Aは、光ファイバベースのフィードバックルートを例証し、
図2Bは、自由空間伝搬タイプフィードバックルートを例証する。
図2Aに示されるように、人工ニューロンユニット100は、MMF10および対応する入力光学装置20を含む。人工ニューロンユニット100は、1つ以上の光ファイバを含む光ファイバ束として構成され、またMMF10の第2の端5bから光成分を受信し、入力光信号WFと混合されるように受信した光成分を方向付けて、混合した光を提供するように位置するフィードバックルート90をさらに含む。この目的のため、フィードバックルート構成は、一般的に、フィードバックルートから入力光WFおよび光成分を受信し、2つの入力を混合するためのXカプラユニット98を含み得る。Xカプラは、一般的に、MMF10の第1の端5aを介してMMF10内へ混合された光の一部分を、および別の部分を出力ポート95の方へ伝送して、出射光を提供する。
【0052】
フィードバックルート90は、MMF10の第2の端5bから出射光ELの成分を収集し(一般的には、空間光変調器40の前に)、収集した成分をXカプラ98の方へ方向付けるように構成され、このXカプラ98で、光成分は入力光WFと混合して、混合された入力光を提供する。混合された入力光は、MMF10の第1の端5aへカップリングされる。さらに、混合された光の別の部分は、フィードバックルート90から1つ以上の対応するSLM40の方へ光成分を伝送して変調された出力光OLを提供する出力ポート95の方へ方向付けられ得る。フィードバックルート90は、MMF10の第2の端5bとXカプラ98との間に位置する中間出力ポートを提供するように、または、フィードバックルート90内への光カップリングの前に、出射光ELの一部分をSLM40の方へ方向付けながら、入力光WFと混合されるように出射光ELの他の部分を混合ポート98へ伝送するように構成され得るということに留意されたい。追加的または代替的に、出力ポート95は、変調された混合入力光の形態で出力光OLを提供するために、混合された光をSLM40の方へ方向付けるXカプラ98の下流に位置し得る。
【0053】
フィードバックルート90はまた、自由空間伝搬ルートとして構成され得、これは、フィードバックルートと関連付けられた人工ニューロンユニット100を例証する
図2Bに例示される。この目的のため、第1の少なくとも部分的に反射するユニット13(例えば、半反射鏡)が、MMF10の第2の端5bから出る出射光ELの光路内に位置する。鏡13は、出射光ELを収集し、出射光ELの少なくとも一部分を、MMF10の第1の端の近くに位置し、光成分をMMF10内へカップリングされるように方向付けるように位置付けられる部分的に反射する鏡12の方へ反射するための位置である。フィードバックルートはまた、波面構造を維持し、フィードバック光成分FLをMMF10内へ再カップリングされるように方向付けるように構成され、また位置付けられる1つ以上の鏡14および詩的素子16を含み得る。
【0054】
一般的には、入力光WFは、部分的に反射する鏡12の隣に伝搬している、またはそれを通って伝送され、フィードバックルートから到着する光成分と混合され、混合された光成分MLを提供する。一般的には、いくつかの構成において、ニューロンユニットは、混合された光MLを受信するように、ならびに混合された光MLの一部分をMMF10内へカップリングされるように伝送し(例えば、カップリング光学装置22を介して)、および混合された光MLの別の部分をSLM40の方へ伝送して出力光OLを提供するように構成されるビーム分割素子15を含み得る。上に示されるように、出力光学装置30は、ビーム直径、発散などに影響を及ぼすためにSLM40の上流または下流に位置し得る。
【0055】
したがって、フィードバックルートは、一般的に、収集した光成分をMMF10の入力端の方へ方向付け、それによりフィードバックルートの光路に従って選択される遅延時間で信号部分同士の干渉/相関を可能にするように構成され得る。一般的には、フィードバックルートは、出射光ELの空間構造を維持するように構成され得る。これは、出射光ELの部分を収集し、出射光ELの発散に影響を及ぼしてコリメート光を形成する好適な光学装置(例えば、ファイバ束、自由空間伝搬経路など)を使用して提供され得る。コリメート光は、自由空間伝搬のために混合ポート98の方へ方向付けられ得るか、または、フィードバックルート90の光ファイバ束内へカップリングされて混合ポート98へ伝送され得る。いくつかの他の実施形態において、SLM40は、出射光ELのフィードバックループ90へのカップリングの前に、選択された空間変調を出射光ELに対して行うためにMMF10の第2の端5bに位置する。いくつかの構成において、フィードバックルートは、信号強度を増大させるために、選択されたゲイン媒体を含み得る。
【0056】
本発明のいくつかの実施形態に従う点状(ゼロ)次元の多層人工ニューロンネットワーク200の例を例証する
図3を参照する。本明細書に例示される人工ニューロンネットワーク200は、光信号の光学処理のために構成される。入力光信号、ならびに処理出力は、一般的に、ニューラルネットワークのマルチモード光ファイバによってサポートされる特定の二次元構成を有し得るということに留意されたい。この例では、ニューラルネットワークは、1つの人工ニューロンユニットの出力光が次の層の人工ニューロンユニット内にカップリングされるように、層L1、L2、Ln内に配置される複数の人工ニューロンユニット100によって形成される。ニューラルネットワーク200の層は、一般的に、ネットワークを通過する(およびこれによって処理される)光の伝搬の全般的方向に沿って配置される。伝搬のそのような方向は、ネットワークの層に沿って使用される光学素子に従って、ならびに層間で光信号を方向付ける選択された空間光変調によって、湾曲され得る。
【0057】
ネットワーク200の人工ニューロンユニット100は、第1のニューロンユニットL1が入力光信号を受信し、空間モードの混合および選択された空間変調の混合後、ユニットL1の出力信号が、ニューロンユニットL2内にカップリングされるように伝送され、出力層の最終ニューロンユニットLnまでこれが続くように構成される。上に示されるように、異なるニューロンユニットの空間光変調は、入力データの好適な/正しい処理を提供するようにネットワークの訓練に従って選択される。いくつかの構成において、ニューロンユニット100の1つ以上は、
図2Aおよび
図2Bに例示されるようなフィードバックルートと関連付けら得るか、またはそれを含み得るということに留意されたい。一般的には、そのようなフィードバックルートは、単一のニューロンフィードバックであり得るか、または2つ以上のニューロンユニットのチェーンに沿ってフィードバックを提供し得る。
【0058】
図3には詳細に示されないが、ニューラルネットワーク200は、層間の変化する次元数を有するトポロジで形成され得る。より詳細には、単一のニューロンユニットL1の入力層は、2つ以上のニューロンユニットを含む第2の(隠れ)層内に中間出力を伝送し得る。さらに、2つ以上のニューロンユニットを有する層は、中間出力光を低減された数(例えば、1つの)ニューロンユニットを有する別の層に伝送するように位置付けられ、また配置され得る。一般的には、ネットワークのトポロジは、そのネットワークの人工ニューロンユニットの物理的構築および配置に従って決定され得る。信号の実際の伝搬は、特定の信号が、空間モードの混合および空間光変調器によって提供される変調に従って他の信号とは異なるルートの方へ方向付けられ得るように、訓練、および各ニューロンユニットの空間光変調の選択によって決定され得る。
【0059】
一般的には、上に示されるように、ネットワーク200の各層は、光信号が入力層L1の人工ニューロンユニットの入力ポートの間の1つ以上の人工ニューロンユニットを通って出力層Lnの人工ニューロンユニットの出力ポートに伝搬して、ニューロンネットワーク200の出力信号を提供するように、ニューロンユニットの入力ポートによって光信号を受信し、ニューロンユニットの出力ポートによって出力光信号を手続き層に伝送するように構成される事前に選択された配置(次元数およびトポロジが選択されている)で配置される1つ以上のニューロンユニットを含む。
【0060】
ネットワーク200の各ニューロンユニット100は、光信号(例えば、入力信号、または先行層の1つ以上のニューロンユニットから)を受信し、光信号の空間モードの混合および出射光の選択された空間変調を適用し、(中間)出力光信号を手続き層の1つ以上のニューロンユニット100に伝送するように構成されるということに留意されたい。この目的のため、光信号は、自由空間伝搬によって、例えば、手続き層にカップリングするためにニューロンユニットの入力および出力光学装置を使用して、ならびに中間出力光を、その空間特徴を維持しながら方向付けるために光ファイバ束を利用して、層間に方向付けられ得る。様々な追加の光学素子がまた、伝搬経路を維持し、ネットワーク200の物理的配置に対応するために使用され得る。
【0061】
一般的には、ニューラルネットワークは、WO2017/033197に説明されるような集積光モジュールなど、1つ以上の追加の光学処理ユニットを含み得る。この目的のため、マルチコアファイバ束を含む1つ以上の光モジュールは、ニューラルネットワークの1つ以上の層内で使用され得、ニューラルネットワークへの様々な追加の処理能力を可能にする。
【0062】
ニューラルネットワークの追加の構成は、
図4に例示される。この例では、ニューラルネットワーク300は、3つの層L1~L3を含み、各々が、カスケード配置にあるニューロンユニット100の二次元配置を有する。ここに示されるニューラルネットワークは、入力光信号を受信し、それを、例えば、光を分岐または集束させることによって、第1の(入力)層L1のニューロンユニット100の入力端の方へ方向付けるように構成されるグローバル入力光学装置2を含む。例えば、光学装置2は、層L1の入力端と関連付けられた選択された平面において画像を形成するように入力光学場を方向付け、それにより、処理されるべき画像と関連付けられた光照射野波面を形成するように構成され得る。ニューラルネットワーク300はまた、出力層(この例ではL3)から出力光を収集し、それを収集/検出ユニットの方へ方向付けるように構成される出力光学装置3を含み得る。例えば、出力光学装置は、ニューラルネットワーク300の出力平面と関連付けられた平面を検出ユニット上へイメージングするように構成され得る。上に説明されるように、ニューロンユニット100の各々の空間変調は、一般的に、1つ以上の選択されたタスクのためのネットワークの訓練に従って決定される。
【0063】
追加のネットワーク構成は、
図5に例示される。この例では、ニューラルネットワーク400は、2つのサブネットワーク410および420のカスケードとして構成され、サブネットワークの間には光学装置4が位置する。光学装置4は、(例えば、層L3の)中間出力の手続き層L4へのイメージングまたはフーリエイメージングを提供するレンズ装置であり得る。追加的または代替的に、光学装置4は、中間光信号に適用されるパターンを選択または予め決定している空間光変調器を含み得る。
【0064】
図4および
図5に例示されるニューラルネットワーク層はまた、層の1つ以上の、またはニューロンユニットの1つ以上が、マルチコアマルチモード光ファイバによって形成されて構成され得る。より詳細には、そのようなマルチコアマルチモードファイバは、複数の光ファイバコアを含み得、複数の光ファイバコアはそれらの間で第1のカップリング速度を有し、コアの各々はマルチモードファイバ(MMF)である。したがって、入力光は、異なるコア内へ分離され得、各コアのモード間ならびに異なるコアの光部分間で2つ以上の混合速度を可能にし得る。
【0065】
一般的には、上に示されるように、本明細書に例示されるようなニューラルネットワークの構成は、訓練プロセスを管理し、空間光変調器の動作を決定するように構成される、対応する制御ユニット、例えば、コンピュータシステムと関連付けられ得るということに留意されたい。制御ユニットは、それが空間光変調パターンの選択およびネットワークの訓練に関連することから、
図1および
図2A~2B以外には詳細に示されない。しかしながら、いくつかの構成において、制御ユニットはまた、検出システムに接続され、ニューラルネットワークの出力に関するデータを受信するように構成され得るということに留意されたい。これらの構成において、制御ユニットはまた、選択された処理を受信したデータに適用し、対応する出力を生成し得る。制御ユニットによって電子処理を使用するが、本技術に従うニューラルネットワーク構成は、一般的に、全光学であり、出力データの潜在的な検出以外に中間の光学・電子信号変換を必要としない。
【0066】
本明細書に説明される人工ニューロンユニットの能力を例証するため、本発明の発明者らは、そのような単純なニューラルネットワークにおいて実際の学習タスクを可能にするためにマルチモードファイバを使用するイメージングシステムを提示するいくつかの実験を行った。レンズ612を介してデジタル鏡デバイスDMD615を照明するように構成される3つの発光ダイオード610を有するRGB DLPプロジェクタを含む実験システムを例証する
図6を参照する。DMD615は、画像を規定する選択された空間光パターンを、4Fレンズシステムを通じて、画像をマルチモード光ファイバ10内にカップリングする対物レンズ620へ反射するように構成される。MMN10からの光出力は、出力レンズ630により収集され、カメラユニット80によって検出される。本システムはまた、カメラユニット80によって収集されるような出射光に適用されるソーベルフィルタを含む。
【0067】
図6に例示される実験システムは、マルチモードファイバ画像を再構築または識別するためにANNと共に使用される。従来のニューラルネットワーク処理とは異なり、本技術は全光学設計として提供する。一般的には、マルチモードファイバ空間に画像を投影することは、ノードの数を著しく低減することを可能にし得る。したがって、本システムは、実験データにおいて、Modified National Institute of Standards and Technology(MNIST)データベースから得られたデジット画像を識別することにおいて30個未満のノードを使用して5パーセント未満の誤差率を示した。これは、マルチモードファイバを使用しない理想のシステムが、典型的には、この量の2倍超を必要とし得る間である。さらには、本システムは、さらなるイメージング目的のために、マルチモード画像をさらに再構築して色付きで元に戻すことを可能にする多色性非コヒーレント照明を使用して動作される。
【0068】
実験設定において、3つの発光ダイオード(LED)610を有するRGB DLPプロジェクタは、選択された画像を提供するためにDMD615を照明している。プロジェクタ610は、18nmの帯域幅(半値全幅(FWHM)で測定される)で624nmの赤色(琥珀色)、500~600nmの波長を有する緑色、および25nmの帯域幅で460nmの青色を含む3原色で発光するように構成される。DMD615は、608×684ダイヤモンド画素のアレイを含み、0.3インチの領域を有する。DMD615は、鏡の揺動周波数を制御することによって各画素のグレーレベルを決定する。4F光学システムは、対物レンズの後焦点面を充填するために対物レンズ620による光ファイバ10へのカップリング後、光をファイバ10内にカップリングするように、DMD画像をスケーリングするように位置付けられる。光ファイバ10は、50μmのコア直径および18cmの長さを有する。これにより、赤色光のためのおよそ6000空間モード、緑色光のための6000~9000空間モード、および青色光のための10,000空間モードをサポートする光ファイバ10を提供し、これは、N=(2πr)2/2λ2によって得られ、式中、rはファイバ10の半径であり、λは波長であり、Nは空間モードの数である。
【0069】
光学素子の位置は、光ファイバ10の断面を充填するためにDMD615の画像を提供するように方向付けられる。したがって、DMD615から4Fシステム左焦点面(uで印される)までの距離、対象とマルチモードファイバの近位端(vで印される)との間の距離は、以下によって決定される。
【0070】
【0071】
本明細書に説明される光ファイバシステムを組みわせた人工ニューラルネットワーク(ANN-OFS)を試験するために、標準MNIST(Modified National Institute of Standards and Technologyデータベース)スコアを、ベンチマークとして選択した。MNISTベンチマークは、手書きデジットの画像を識別するためのマシン学習プラットフォームの能力を試験する。MNISTプロトコルの実行は、DMDを使用して投影された2つの群の強度画像を含んでいた。60,000画像の第1の群を、人工ニューラルネットワークのための訓練セットとして使用した。10,000画像の第2の群を、ネットワークの性能を分析するための検証および試験セットとして使用した。2つのセットからの各画像を、MMF10の近位端、および強度画像が取得される対応する遠位端に投影した。
【0072】
2つのタイプのANNを何度も訓練および試験した(毎回ゼロから始めて解決した)。MMFの遠位端における、すなわち、
図6内のカメラ80によって収集される、出力画像を使用して、第1のANN(ANN-OFSで表される)を訓練および試験した。比較のために元のMNIST画像を使用して、第2のANN(元のANNで表される)を訓練および試験した。両方のANNは、同じアーキテクチャおよび同じハイパーパラメータを有する。訓練セット画像は、事前処理ありまたはなしで使用した。事前処理ステップは、異なる画像条件および複雑性との比較の性能のために平均化ダウンサンプリングを使用した、96×96画素の元の捕捉画像から28×28、48×48、および64×64画素への画像再スケーリング、ならびにネットワーク性能の最適化条件を試験するソーベルカーネルフィルタリングを含んでいた。
【0073】
訓練セット画像は、ネットワーク訓練に指定される48,000画像と、ネットワークが過剰適合することを防ぐネットワーク訓練内部プロセス検証のための12,000画像とにランダムに分けた。スケーリングされた共役下降(SCD:Scaled conjugate descent)アルゴリズムを適用して、1つの隠れ層を有する単純なANNを8~96ノードおよび公差エントロピー損失関数を用いて解決した。
【0074】
MMF10を通って伝搬した後に得られる検証セットの遠位画像を、ANN-OFSのための入力として使用した。最後に、デジット識別成功パーセンテージを、ネットワーク性能の性能指数として使用した。
【0075】
マルチモードファイバが標準画像識別手続きにおけるより優れた性能に対応する可能性があるという本発明者らの仮定を試験するために、MNIST画像をファイバ端に投影した。
図7は、行(a)に典型的なMNIST画像、行(b)に画像と関連付けられた光のMMF10を通じた伝搬後に獲得される画像、行(c)にソーベルカーネルフィルタリングされた画像、および行(d)に再構築された画像を例示する。行(d)内の再構築された画像は、以下により詳細に説明されるような「オートエンコーダ」ニューラルネットワークを使用して再構築された。
【0076】
示されるように、画像をマルチモードファイバ10内にカップリングすることは、それらがマルチモード空間上に投影される際に、それらを変換する。ファイバ10の出力において、画像の変換されたモード特性は、示されるカメラの空間平面において捕捉される。
図7の行(b)は、行(a)内の同じカラムに投影される文字記号に一致する典型的な散乱画像を示し、これは、照明源が非コヒーレンスであったことから、ノンスペックル画像である。ソーベルカーネルを、行(c)に示されるようなファイバ出力画像をフィルタリングするために利用し、またシステムの性能を改善するために使用した。
【0077】
MNIST試験を分析すると、ファイバ空間上に画像を投影することが、この特定のニューラルネットワークアーキテクチャのための必要なノードの数を低減したことを示す。ANNの隠れ層サイズに対する再構築の誤差を示す実験結果の要約を示す
図8A~
図8Dを参照する。
図8Aは、28×28サイズ画像を入力として使用した、ノードの数の関数としての所与の試験誤差を示す。
図8Bは、同様の精度を達成するための、ファイバ入力なしの必要なノードの比率を示す。
図8Bは、同様の精度を達成するための、ファイバ入力なしの必要なノードの比率を示す。
図8Cおよび
図8Dは、結果に対して大きな影響を示さない異なる入力サイズの画像について、隠れ層サイズに関する誤差を示す。
図8Aから分かるように、同じノード数では、ファイバを通じて画像を伝送することが、最も低い誤差をもたらした。さらに、
図8Aに示されるように、ソーベルフィルタ(フィルタ付きファイバとして印される)は、小サイズのネットワーク上でさらに良好な性能を提供する。この接続では、ソーベルフィルタを提供する光学フィルタリングが、MMF10の出力において使用され得る、すなわち、出射光をフィルタリングするということに留意されたい。
【0078】
本明細書に説明されるようなMMF10によって符号化される画像の再構築を例示するために、追加の「オートエンコーダ」ニューラルネットワークを使用した。データ次元数を低減するため、およびMMF10を通って伝搬した後に収集される光パターンから元の画像を再構築するために、ネットワークアーキテクチャを使用した。「オートエンコーダ」ニューラルネットワークは、データをコード層サイズに圧縮するエンコーダ層、およびコードから画像を再構築するデコーダ層の2つの層を含む。再構築(オートエンコーダ)ネットワークは、入力がMMF遠位端から捕捉される画像(すなわち、出射光)であるとき、訓練セットからのMNIST画像に対して訓練し、標的出力は投影画像である。ネットワークは、MSE(平均二乗誤差)損失関数を使用しており、使用される活性化関数は、エンコーダ層では「Relu」、デコーダ層では「Sigmoid」である。MNIST訓練データセットに対する訓練後、試験データセットからの新しい画像に対して、モデルを試験した。
【0079】
図7に戻ると、
図7の行(d)は、訓練画像セットを使用したニューラルネットワークの訓練後の再構築された画像を示す。使用される入力画像は、行(c)に示されるファイバフィルタ画像であり、標的画像は、最上行(a)に示される。見て分かるように、再構築は、元の「標的」画像との高い類似性を提供する。
【0080】
上に示されるような赤色、緑色、および青色照明を含む異なる照明波長における画像再構築の実験結果を示す
図9も参照する。行(a)は、DMD615によって投影される画像を示し、行(b)は、再構築された画像を示し、行(c)は、出射光画像を示し、行(d)は、ソーベルフィルタを使用してフィルタリングされた出射光を示す。この目的のため、3つのニューラルネットワーク、または異なる波長(色)にあるMNISL画像を試験した。
図9は、異なる波長における効率的かつ正確な再構築を示す。
図10A~
図10Cは、フィルタリングされた出射光の再構築、すなわち、ソーベルフィルタを有する出射光を示す。
図10Aは、各色についてコード層サイズの関数としての平均二乗誤差(MSE)を示し、MSEは、0から1の間で正規化される。
図10Bは、再構築された画像に適用される試験ANNの精度性能を示す。
図10Cは、LED電流の関数としての誤差率を示し、これは、30ノードを含む隠れ層を有するANNに対して試験されたものであり、カメラ露出時間は、624nm琥珀色LEDを使用して20msである。
【0081】
図10Aに示されるように、MSEは、光の波長が増大するにつれて(青から赤へ)減少する。これは、可視光スペクトル内のより短い波長が、光ファイバにおいてより高い損失を有し、より低い電力レベルが性能を低下させるため、電力損失に関連し得る。これは、より低い照明強度では増大した誤差数を示す
図10Cから明らかである。
【0082】
したがって、本技術は、選択された訓練に従って入力データの全光学処理を可能にする、ニューロンユニット構成、マルチモード光ファイバ装置、および対応するニューラルネットワークを提供する。ニューロンユニットは、出射光を提供するために入力波面を有する入力信号の収集および伝搬を可能にするマルチモード光ファイバ、ならびに出射光の光路内に位置し、選択された変調パターンを出射光に適用してニューロンユニットの出力光を提供するように構成される空間光変調器を含む。ニューラル処理ネットワークにおけるそのような光ニューロンユニットの使用は、例えば、画像データの特徴付けおよび分析のための、視覚データの高速処理を可能にし得る。これは、画像および顔認識、生体医学イメージング結果の分析などからの様々な応用のために使用され得る。さらに、フィルタリングユニット、例えば、ソーベルフィルタリングと共にマルチモード光ファイバを使用することは、任意のニューラルネットワーク構成(本明細書に説明されるような光学であるもの、またはそうでないもの)を使用した再構築のための画像データの事前処理を可能にする。本技術は、非コヒーレントおよび/または多色照明を使用し、コンピュータベースのニューラルネットワークが使用される場合に処理電力を単純化する、強化された画像処理を提供する。