ホーム > 特許ランキング > レイセオン カンパニー
特表2024-541101光学ネットワークを使用して畳み込みを実行する方法及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-06
(54)【発明の名称】光学ネットワークを使用して畳み込みを実行する方法及びシステム
(51)【国際特許分類】
G06F 17/14 20060101AFI20241029BHJP
G06F 17/10 20060101ALI20241029BHJP
【ＦＩ】
G06F17/14 510
G06F17/10 A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024530409
(86)(22)【出願日】2022-11-21
(85)【翻訳文提出日】2024-05-22
(86)【国際出願番号】 US2022050619
(87)【国際公開番号】W WO2023096871
(87)【国際公開日】2023-06-01
(31)【優先権主張番号】63/283,951
(32)【優先日】2021-11-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】524059674
【氏名又は名称】レイセオン カンパニー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】クオ，ピン ピウ
【テーマコード（参考）】
5B056
【Ｆターム（参考）】
5B056BB12
5B056BB17
5B056BB26
(57)【要約】
装置は、少なくとも１つの第１の周波数間隔を有する第１のキャリア信号（５０５）を生成するように構成された周波数コーム（５０５ａ）を含む。装置はまた、第１のキャリア信号の振幅の１つを変調し、変調されたキャリア信号を生成するように構成された複数の変調器（３４５）を含む。装置は更に、変調されたキャリア信号を使用して、第１の方向において一次元離散フーリエ変換を実行するように構成された光学カプラ（３３０）の二次元アレイを含む。装置はまた、コヒーレント検出器（６２５ａ～６２５ｎ）のアレイと、光学カプラのアレイの出力に、及びコヒーレント検出器に光学的に結合された第１のデマルチプレクサ（６０５）とを含む。装置は更に、少なくとも１つの第１の周波数間隔とは異なる少なくとも１つの第２の周波数間隔を有する第２のキャリア信号（５１５）を生成するように構成されたローカル発振器（ＬＯ）バンクまたはアレイ（５１５ａ）を含む。加えて、装置は、ＬＯバンクまたはアレイの出力に、及びコヒーレント検出器に光学的に結合された第２のデマルチプレクサ（６１５）を含む。
【選択図】図５Ａ
【選択図】図５Ａ
【特許請求の範囲】
【請求項1】
装置であって、少なくとも１つの第１の周波数間隔を有する複数の第１のキャリア信号を生成するように構成された周波数コームと、
前記第１のキャリア信号を変調するように構成された複数の変調器であって、各々の変調器は、行列の対応する部分からの値の時間系列に基づいて前記第１のキャリア信号のうちの対応するものを変調するように構成されている、複数の変調器と、
前記変調された第１のキャリア信号を使用して前記行列の部分の一次元（１Ｄ）離散フーリエ変換を実行するように構成された光学カプラのアレイであって、前記光学カプラのアレイは、前記行列の対応する部分からの値各々の時間系列についての１Ｄフーリエ係数の時間系列を出力するように構成されている、光学カプラのアレイと、
を備えた、装置。
【請求項2】
前記光学カプラのアレイは、前記第１のキャリア信号の異なる周波数に基づいて、１Ｄフーリエ係数の各々の時間系列を複数のスペクトル的に区別できるコピーに複製するように構成されている、請求項１に記載の装置。
【請求項3】
第２のキャリア信号に基づいて、前記１Ｄフーリエ係数の時間系列をサンプリングするように構成されたコヒーレント検出器を更に備え、前記第２のキャリア信号は、前記少なくとも１つの第１の周波数間隔よりも大きい少なくとも１つの第２の周波数間隔を有し、前記コヒーレント検出器は、前記１Ｄフーリエ係数の時間系列の短時間フーリエ変換係数を出力するように構成され、前記短時間フーリエ変換係数は、前記行列の二次元（２Ｄ）離散フーリエ変換を表す、
請求項１に記載の装置。
【請求項4】
前記光学カプラのアレイから１Ｄフーリエ係数の各々の時間系列に対し、前記１Ｄフーリエ係数の時間系列の複数のスペクトル的に区別できるコピーを分離し、前記スペクトル的に区別できるコピーのうちの異なるものを、前記コヒーレント検出器のうちの異なるものに提供するように構成された第１のデマルチプレクサを更に備えた、請求項３に記載の装置。
【請求項5】
前記第２のキャリア信号を生成するように構成されたローカル発振器（ＬＯ）バンクまたはアレイと、前記光学カプラのアレイからの１Ｄフーリエ係数の各々の時間系列に対し、前記第２のキャリア信号を分離し、前記第２のキャリア信号の異なるものを前記コヒーレント検出器のうちの異なるものに提供するように構成された第２のデマルチプレクサと、
を更に備えた、請求項４に記載の装置。
【請求項6】
異なる重みに基づいて前記第２のキャリア信号を調節し、調節された第２のキャリア信号を前記コヒーレント検出器に提供するように構成された重み付け要素を更に備えた、請求項５に記載の装置。
【請求項7】
前記行列は、入力特徴マップを含み、前記重みは、重みマップからのものである、
請求項６に記載の装置。
【請求項8】
前記行列の対応する部分からの値の時間系列は、前記行列からの列方向ベクトルに対応し、コヒーレント検出器によってサンプリングされる前記光学カプラのアレイからの前記１Ｄフーリエ係数の時間系列は、行方向ベクトルを含む、
請求項１に記載の装置。
【請求項9】
装置であって、少なくとも１つの第１の周波数間隔を有する第１のキャリア信号を生成するように構成された周波数コームと、
前記第１のキャリア信号の１つの振幅を変調し、変調されたキャリア信号を生成するように構成された複数の変調器と、
前記変調されたキャリア信号を使用して、第１の方向において一次元（１Ｄ）離散フーリエ変換を実行するように構成された光学カプラの二次元（２Ｄ）アレイと、
コヒーレント検出器のアレイと、
前記光学カプラのアレイの出力に、及び前記コヒーレント検出器に光学的に結合された第１のデマルチプレクサと、
前記少なくとも１つの第１の周波数間隔とは異なる少なくとも１つの第２の周波数間隔を有する第２のキャリア信号を生成するように構成されたローカル発振器（ＬＯ）バンクまたはアレイと、
前記ＬＯバンクまたはアレイの出力に、及び前記コヒーレント検出器に光学的に結合された第２のデマルチプレクサと、
を備えた、前記装置。
【請求項10】
各々のコヒーレント検出器は、前記第１のデマルチプレクサの出力及び前記第２のデマルチプレクサの１つの出力を受信し、フーリエ係数を生成するように構成され、前記コヒーレント検出器のアレイは、前記装置の入力に対して２Ｄ離散フーリエ変換を完了させるように、第２の方向において第２の一次元（１Ｄ）離散フーリエ変換を出力するように構成されている、
請求項９に記載の装置。
【請求項11】
前記光学カプラは、５０／５０光学カプラを含む、請求項９に記載の装置。
【請求項12】
前記第１のキャリア信号の数、前記第２のキャリア信号の数、及び前記コヒーレント検出器のアレイにおけるコヒーレント検出器の数は等しい、請求項９に記載の装置。
【請求項13】
重み行列に従って前記第２のキャリア信号を変調するように構成された重み付け要素を更に備えた、請求項９に記載の装置。
【請求項14】
前記重み行列のフーリエ等価重み行列は、事前に計算され、及び前記装置に記憶される、請求項１３に記載の装置。
【請求項15】
入力特徴マップを取得することと、光学ネットワークを使用して、入力特徴マップの二次元（２Ｄ）離散フーリエ変換を生成し、フーリエ－空間入力特徴マップを生成することと、
重みマップに基づいて、フーリエ－空間重みマップを取得することと、
前記フーリエ－空間入力特徴マップ及び前記フーリエ－空間重みマップのアダマール乗算を実行することと、
を含む、方法。
【請求項16】
第２の光学ネットワークを使用して、前記アダマール乗算の出力の２Ｄ逆離散フーリエ変換を生成することを更に含む、請求項１５に記載の方法。
【請求項17】
前記２Ｄ逆離散フーリエ変換の出力は、前記入力特徴マップ及び前記重みマップの畳み込みを含む、請求項１６に記載の方法。
【請求項18】
前記光学ネットワークを使用して、前記フーリエ－空間重みマップを生み出すように、前記重みマップの２Ｄ離散フーリエ変換を生成することと、前記フーリエ－空間重みマップの係数を記憶することと、
を更に含む、請求項１７に記載の方法。
【請求項19】
入力マップをゼロパディングし、前記入力特徴マップ及び重み付けマップを生成して、前記重みマップを提供することを更に含む、請求項１５に記載の方法。
【請求項20】
前記フーリエ－空間重みマップを受信することと、前記フーリエ－空間重みマップを記憶することと、
記憶装置から前記フーリエ－空間重みマップを取り出すことと、
前記フーリエ－空間重みマップを利用してローカル発振器（ＬＯ）キャリア信号を重み付けることと、
を更に含む、請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は概して、光学システムに向けられる。より具体的に、本開示は、光学ネットワークを使用して畳み込みを実行する方法及びシステムに向けられる。
【背景技術】
【0002】
畳み込みニューラルネットワーク（ＣＮＮ）は、様々な撮像、レコメンデーション、言語処理、及び他のシステムにおける用途を有する。多くの畳み込みニューラルネットワークは、ハードウェア設計を簡易化するために、行列形式畳み込みを採用する。それらのアプローチでは、畳み込みカーネル（重みマップ）及び入力特徴マップは、テプリッツ（Ｔｏｅｐｌｉｔｚ）行列及びベクトルに変換され得、テプリッツ行列及びベクトルの乗算は、所望の畳み込み合計を得る。しかしながら、それらの行列形式畳み込み技術は全体的に、データサイズの観点で十分でない。例えば、サイズＮ×Ｎの同一の重みマップ及び入力特徴マップについて、テプリッツ行列を記憶する必要があるメモリは、２Ｎ２からＮ４まで拡大する場合がある。テプリッツ行列のサイズを削減することは、高リフレッシュレートにおける大規模入力データブロックの複製及び分散に起因して電力消費の増大を結果としてもたらし得る。
【発明の概要】
【0003】
本開示は、光学ネットワークを使用して畳み込みを実行する方法及びシステムに関する。
【0004】
第１の実施形態では、装置は、少なくとも１つの第１の周波数間隔を有する複数の第１のキャリア信号を生成するように構成された周波数コーム（frequency comb）（櫛歯状の周波数信号を生成する手段）を含む。装置はまた、第１のキャリア信号を変調するように構成された複数の変調器を含み、各々の変調器は、行列の対応する部分からの値の時間系列に基づいて第１のキャリア信号の対応する１つを変調するように構成される。加えて、装置は、変調された第１のキャリア信号を使用して行列の部分の一次元（１Ｄ）離散的フーリエ変換を実行するように構成された光学カプラのアレイを含み、光学カプラのアレイは、行列の対応する部分からの値各々の時間系列についての１Ｄフーリエ係数の時間系列を出力するように構成される。
【0005】
第２の実施形態では、装置は、少なくとも１つの第１の周波数間隔を有する第１のキャリア信号を生成するように構成された周波数コームを含む。装置はまた、第１のキャリア信号の振幅の１つを変調し、変調されたキャリア信号を生成するように構成された複数の変調器を含む。装置は更に、変調されたキャリア信号を使用して、第１の方向において一次元離散的フーリエ変換を実行するように構成された光学カプラの二次元（２Ｄ）アレイを含む。装置はまた、コヒーレント検出器のアレイと、光学カプラのアレイの出力に、及びコヒーレント検出器に光学的に結合された第１のデマルチプレクサとを含む。装置は更に、少なくとも１つの第１の周波数間隔とは異なる少なくとも１つの第２の周波数間隔を有する第２のキャリア信号を生成するように構成されたローカル発振器（ＬＯ）バンクまたはアレイを含む。加えて、装置は、ＬＯバンクまたはアレイの出力に、及びコヒーレント検出器に光学的に結合された第２のデマルチプレクサを含む。
【0006】
第３の実施形態では、方法は、入力特徴マップを取得することと、光学ネットワークを使用して、フーリエ－空間入力特徴マップを生み出すように、入力特徴マップの２Ｄ離散的フーリエ変換を生成することとを含む。方法はまた、重みマップに基づいて、フーリエ－空間重みマップを取得することと、フーリエ－空間入力特徴マップ及びフーリエ－空間重みマップのアダマール乗算を実行することとを含む。
【0007】
他の技術的特徴は、以下の図面、説明、及び特許請求の範囲から、当業者にとって容易に明らかであり得る。
【0008】
本開示のより完全な理解のために、添付図面と併用して、以下の説明への参照がここで行われる。
【図面の簡単な説明】
【0009】
【図1】フーリエドメイン内で畳み込みを実行する実施例の処理を例示する。
【図2】本開示に係る、ハイブリッド二次元離散的フーリエ変換を実行する実施例の処理を例示する。
【図3A】本開示に係る、一次元離散的フーリエ変換を計算するための実施例の数学的構造を例示する。
【図3B】本開示に係る、一次元離散的フーリエ変換を実装する実施例の光学システムを例示する。
【図4A】本開示に係る、光学システムを使用した実施例の二次元離散的フーリエ変換計算を例示する。
【図4B】本開示に係る、二次元離散的フーリエ変換と関連付けられた実施例の周波数スペクトルを例示する。
【図5A】本開示に係る、光学システムを使用した別の実施例の二次元離散的フーリエ変換計算を例示する。
【図5B】本開示に係る、二次元離散的フーリエ変換と関連付けられた実施例の周波数スペクトルを例示する。
【図5C】本開示に係る、二次元離散的フーリエ変換と関連付けられた実施例の周波数スペクトルを例示する。
【図5D】本開示に係る、二次元離散的フーリエ変換と関連付けられた実施例の周波数スペクトルを例示する。
【図5E】本開示に係る、二次元離散的フーリエ変換と関連付けられた実施例の周波数スペクトルを例示する。
【図6】本開示に係る、列離散フーリエ変換ブロックの実施例の実装態様を例示する。
【図7】本開示に係る、重み付けを組み込んだ列離散フーリエ変換ブロックの実装態様を例示する。
【図8】本開示に係る、光学ネットワークを使用して畳み込みを実行する実施例の方法を例示する。
【発明を実施するための形態】
【0010】
以下で説明される図１Ａ乃至８、及び本開示の原理を説明するために使用される様々な実施形態は、例示であるにすぎず、本開示の範囲を限定すると解釈されるべきではない。当業者は、本開示の原理がいずれかのタイプの適切に配列されたデバイスまたはシステムにおいて実装され得ることを理解するであろう。
【0011】
上記説明されたように、畳み込みニューラルネットワーク（ＣＮＮ）は、様々な撮像、レコメンデーション、言語処理、及び他のシステムにおける用途を有する。多くの畳み込みニューラルネットワークは、ハードウェア設計を簡易化するために、行列形式畳み込みを採用する。それらのアプローチでは、畳み込みカーネル（重みマップ）及び入力特徴マップは、テプリッツ行列及びベクトルに変換され得、テプリッツ行列及びベクトルの乗算は、所望の畳み込み合計を得る。しかしながら、それらの行列形式畳み込み技術は全体的に、データサイズの観点で十分でない。例えば、サイズＮ×Ｎの同一の重みマップ及び入力特徴マップについて、テプリッツ行列を記憶する必要があるメモリは、２Ｎ２からＮ４まで拡大する場合がある。テプリッツ行列のサイズを削減することは、高リフレッシュレートにおける大規模入力データブロックの複製及び分散に起因して電力消費の増大を結果としてもたらし得る。
【0012】
本開示は、行列の畳み込みを伴う信号処理他の演算を実行する様々な方法及びシステムを提供する。以下で更に詳細に説明されるように、それらの方法及びシステムは、２つの行列の畳み込みの決定を有効にする。実施例として、本開示の実施形態は、光学ネットワークを使用して畳み込みを実行する方法及びシステムを提供する。ここで説明される方法及びシステムは、画像処理、パターン分析、シグネチャ認識、レコメンデーション、及び言語処理などにおいて有益なシステムを含む、様々な計算システムに適用される。以前のアプローチと比較して、本開示において説明される方法及びシステムを使用して、様々な利点または有利な点が達成されることができる。例えば、本開示の実施形態は、光学ドメイン内でフーリエ変換を実行するために光学システムを使用することによって、計算的負荷及びメモリ要件を著しく削減して、行列の畳み込みを計算することができる。本開示の様々な実施形態の追加の特徴、利点、及び有利な点が以下で更に詳細に説明される。
【0013】
光学システムが畳み込みニューラルネットワークに対して畳み込みを実行するために使用されることがいかの議論において想定されることが多い場合があると共に、これは例示及び説明のためのものであるにすぎないことに留意されよう。本開示において説明される方法及びシステムは、いずれかの適切な目的のために行列のいずれかの所望の畳み込みを実行するために使用され得る。結果として、本開示において説明される方法及びシステムは、畳み込みニューラルネットワークに対して行列の畳み込みを実行するために使用され得ると共に、本開示において説明される方法及びシステムは、いずれかの他の適切な用途において使用され得る。
【0014】
図１は、フーリエドメイン内で畳み込みを実行する実施例の処理１００を例示する。言い換えると、図１の処理１００は、周波数ドメイン内で畳み込みを実行するために使用される。図１に示されるように、畳み込みを実行する処理１００は全体的に、入力特徴マップ１０５及び重みマップ１１０を使用して演算する。入力特徴マップ１０５は全体的に、１つ以上の画像、音声サンプル、または他の入力データの特徴など、処理される入力データと関連付けられた特徴の集合を表す。入力特徴マップ１０５は、特徴エクストラクタを使用して生成されることが多く、特徴エクストラクタは、特定のタスクに対して関連すると決定される特徴を抽出するように訓練された機械学習モデルの少なくとも一部を表し得る。重みマップ１１０は全体的に、入力特徴マップ１０５に適用されることになる重みの集合を表す。重みマップ１１０の重みは、重みが機械学習モデルの訓練の間に決定されるときなど、いずれかの適切な方式において決定され得る。
【0015】
図１において見られることができるように、入力特徴マップ１０５は、ゼロパディングされた入力特徴マップ１１５を形成するようにゼロパディングされ得、重みマップ１１０は、ゼロパディングされた重みマップ１２０を形成するようにゼロパディングされ得る。ゼロパディング演算は、入力特徴マップ１０５及び重みマップ１１０のエントリの周りに「ゼロ」値を包含する追加のエントリを追加することを伴うことができる。とりわけ、入力特徴マップ１０５及び重みマップ１１０が周期的であると推定されないので、ゼロパディングは、フーリエ変換処理の結果として生じるエイリアシングに対処するために使用されることができる。ゼロパディングは、元の入力特徴マップ１０５及び重みマップ１１０に対して、ゼロパディングされた入力特徴マップ１１５及びゼロパディングされた重みマップ１２０のデータサイズを増大させる場合がある。しかしながら、影響は全体的に、小さい重みマップ１１０に対して小さく（テプリッツ行列及び行列乗算を使用する慣習的な畳み込み方法と比較して）、境界が無視される場合に実装され得ない。
【0016】
ゼロパディングされた入力特徴マップ１１５及びゼロパディングされた重みマップ１２０は、第１の二次元（２Ｄ）離散的フーリエ変換（ＤＦＴ）ユニット１２５及び第２の２Ｄ離散的フーリエ変換ユニット１３０のそれぞれにフィードされ得る。離散的フーリエ変換ユニット１２５及び１３０はそれぞれ、ゼロパディングされた入力特徴マップ１１５及びゼロパディングされた重みマップ１２０をフーリエドメイン（周波数ドメイン）に変換するように演算する。いくつかのケースでは、重みマップ１１０または１２０に対して実行される２Ｄ離散的フーリエ変換は、デジタル的に実行され得、メモリに記憶され得ることに留意されよう。これは、多くの用途のために、重み行列が異なる入力特徴マップ１０５に対して同一であることを理由とする。それらの実施形態では、重みマップ１１０または１２０に対して実行される２Ｄ離散的フーリエ変換の結果は、追加の入力特徴マップ１０５が取得及び処理されるときはいつでも、メモリから取り出され得、及び使用され得る。
【0017】
ゼロパディングされた入力特徴マップ１１５及びゼロパディングされた重みマップ１２０がフーリエドメインに変換されると、それらのマップ（ここでは周波数ドメインにある）は、アダマール（Ｈａｄａｍａｒｄ）乗算子１３５にフィードされ得る。アダマール乗算子１３５は全体的に、２つの周波数ドメインマップの要素ごとの乗算を実行するように演算する。アダマール乗算子１３５によって生成される結果を空間ドメインに変換し戻すために、アダマール乗算子１３５の出力は、２Ｄ逆離散的フーリエ変換（ＩＤＦＴ）ユニット１４０にフィードされ得る。逆離散的フーリエ変換ユニット１４０は、アダマール乗算子１３５によって生成される結果を空間ドメインに変換する。逆離散的フーリエ変換ユニット１４０の出力は、入力特徴マップ１０５及び重みマップ１１０の畳み込みを表す出力行列１４５である。
【0018】
このようにして、図１に示される処理１００は、フーリエドメイン内での畳み込みを実装するために使用されることができる。フーリエ（周波数）ドメイン内で畳み込みを実行することは、従来の行列乗算アプローチと比較して、畳み込みの複雑度を低減させることに役立つことができる。例えば、フーリエドメイン内で畳み込みを実行することによって、畳み込みにおける循環シフト乗算加算演算は、フーリエドメイン内でのアダマール乗算（要素ごとの乗算）演算になる。しかしながら、離散的フーリエ変換ユニット１２５及び１３０を使用して２Ｄ離散的フーリエ変換を実行すると共に、逆離散的フーリエ変換ユニット１４０を使用して２Ｄ逆離散的フーリエ変換を実行することは、従来の技術を使用して計算的に高価である。典型的には特定用途向け集積回路（ＡＳＩＣ）を使用して実装され得る、グラフィックプロセシングユニット（ＧＰＵ）を使用するアプローチでさえ、高い計算的負荷からの影響を受け得る。より効果的な方式においてフーリエドメイン畳み込みを実装するために、図１に例示される処理１００の要素は、１つ以上の光学システムを使用して実行されることができ、１つ以上の光学システムは、計算的支出及びメモリリソースにおける削減をもたらす。
【0019】
図２は、本開示に係る、ハイブリッド２Ｄ離散的フーリエ変換を実行する実施例の処理２００を例示する。図２に示されるように、２Ｄ離散的フーリエ変換は、２つのカスケード一次元（１Ｄ）離散的フーリエ変換を使用して実装され得る。この実施例では、入力特徴マップ２０５（上記説明された入力特徴マップ１０５またはゼロパディングされた入力特徴マップ１１５を表し得る）は、Ｍ×Ｎのサイズを有する行列であり、それは、入力特徴マップ２０５が行列要素のＭ行及びＮ列を有することを意味する。ここでの入力特徴マップ２０５は、列方向ベクトル２１０のセットに分解され得る。すなわち、入力特徴マップ２０５の各々の列は、列方向ベクトル２１０のセットにおいて別個のベクトル２１０を形成するために使用されることができる。
【0020】
１Ｄ離散的フーリエ変換（Ｍポイント１Ｄ離散的フーリエ変換など）は、第１の１Ｄ離散的フーリエ変換が列方向ベクトル２１０のセットにおける各々のベクトル２１０に対して実行されるときなど、入力特徴マップ２０５の一次元にわたって実行され得る。したがって、第１の１Ｄ離散的フーリエ変換は、図２では「ＭポイントＤＦＴ１Ｄ」として表される。ここで、所与の列の全ての行における値が離散的フーリエ変換において使用されるので、所与の列における値は、「行ＤＦＴ」とも称され得る、Ｍポイント離散的フーリエ変換を実行するために使用される。第１の１Ｄ離散的フーリエ変換の出力は、行方向ベクトル２１５のセットとして配列され得る。例えば、第１の１Ｄ離散的フーリエ変換の出力として取得される列ベクトルの各々における第１の要素は、第１の行方向ベクトル２１５であるとグループ化され得、後続の行方向ベクトル２１５は、第１の１Ｄ離散的フーリエ変換の出力として取得される列ベクトルの各々におけるｎ番目の要素をグループ化することによって取得され得る。
【0021】
第２の１Ｄ離散的フーリエ変換（Ｎポイント１Ｄ離散的フーリエ変換など）は、第２の１Ｄ離散的フーリエ変換が行方向ベクトル２１５のセットにおける各々のベクトル２１５に対して実行されるときなど、行方向ベクトル２１５のセットの二次元にわたって実行され得る。したがって、第２の１Ｄ離散的フーリエ変換は、図２では「ＮポイントＤＦＴ１Ｄ」として表され、所与の行における値は、Ｎポイント離散的フーリエ変換を実行するために使用される。これは、入力特徴マップ２０５の２Ｄ離散的フーリエ変換の生成を完了させる。
【0022】
図２に例示される処理２００に基づいて、光学ドメイン内でハイブリッド２Ｄ離散的フーリエ変換を実行することが可能である。以下でより完全に議論されるように、入力特徴マップ２０５のＮ列に対して１Ｄ離散的フーリエ変換と共に、入力特徴マップ２０５のＭ行に対して１Ｄ離散的フーリエ変換を実行するために、１つ以上の光学システムが使用されることができる。このタイプのアプローチは、処理及びメモリリソースの観点ではるかに効率的に行列畳み込みの決定を行うことに役立つことができる。
【0023】
図３Ａ及び３Ｂは、本開示に係る、１Ｄ離散的フーリエ変換を計算する実施例の数学的構造３００及び１Ｄ離散的フーリエ変換を実装する実施例の光学システム３２０を例示する。図３Ａに示されるように、数学的構造３００は、入力ベクトル３０５を使用して実行される１Ｄ離散的フーリエ変換を表す。いくつかのケースでは、入力ベクトル３０５は、処理される入力特徴マップ２０５と関連付けられた列方向ベクトル２１０を表し得る。合計でＭ個のポイントを使用した１Ｄ離散的フーリエ変換は、サイズＭ×Ｍのユニタリ行列３１０（ユニタリ変換とも称され得る）として表現されることができる。したがって、ユニタリ行列３１０のサイズは、入力ベクトル３０５の要素と関連付けられた値によって定義されるのとは反対に、入力ベクトル３０５の長さＭによって定義され得る。入力ベクトル３０５に適用される１Ｄ離散的フーリエ変換の出力である、出力ベクトル３１５を生成するために、ユニタリ行列３１０は、入力ベクトル３０５に適用され得る。いくつかのケースでは、出力ベクトル３１５は、行方向ベクトル２１５を表し得る。ここで、出力ベクトル３１５は、入力ベクトル３０５のフーリエドメイン表現である。
【0024】
図３Ｂに例示されるように、ユニタリ行列３１０は、光学システム３２０にマッピングされ得る。図３Ｂに示されるように、光学システム３２０は、図３Ａに例示された１Ｄ離散的フーリエ変換を実装するように構成される。光学システム３２０は、パッシブ光学ネットワークであり得、パッシブ光学ネットワークは、複数の入力ポート３２５と、複数の入力ポート３２５に結合された複数の光学カプラ３３０と、複数の光学カプラ３３０に結合された複数の出力ポート３３５とを含む。いくつかの例では、光学システム３２０は、「結合ネットワーク」と称され得る。光学システム３２０は、複数の光学カプラ３３０から成る予め定められたまたは他に規定された数の光学カプラ３３０を含む。ここでの光学カプラ３３０は、光学カプラ３３０の２Ｄアレイを形成するように配列される。ユニタリ行列３１０のサイズは、入力ベクトル３０５の長さＭによって定義されると共に、光学システム３２０における光学ネットワークのサイズは、異なる値を有する要素を有する異なる入力ベクトル３０５に対して同一であり得る。いくつかの実施形態では、光学システム３２０における光学カプラ３３０の数は、（Ｍ－１）／２×Ｍに等しい。また、いくつかの実施形態では、光学カプラ３３０は、エバネッセント波結合またはマルチモード干渉などを利用する５０／５０光学カプラである。
【0025】
本開示の実施形態は、ＤＦＴ行列のサイズをダウンサイジングすることによってなど、パッシブ光学ネットワークによって利用される入力サイズを変更するためのいくつかのオプションを提供する。実施例として、図１に例示されたようなゼロパディングは、入力行列の入力サイズを変更するために利用されることができる。別の実施例として、複数の光学カプラ３３０における光学カプラ３３０の間の結合比率は、より小さいサイズの入力行列をもたらすように再構成されることができる。いくつかのケースでは、再構成は、結合比率をゼロまで低減させることを含むことができる。当業者は、多くの変形例、修正例、及び代替例を認識するであろう。
【0026】
光学システム３２０は、光源３４０から光学信号を受信し得、光源３４０は、対応する導波管を使用して複数の入力ポート３２５に光学的に結合される。いくつかの実施形態では、光源３４０は、少なくとも１つのレーザ、発光ダイオード（ＬＥＤ）、またはパルス化光源などを表す。複数の入力ポート３２５において入力ベクトル３０５の要素の値をロードするために、入力ベクトル３０５の要素の値（ｘ［０，０］、ｘ［１，０］、ｘ［２，０］、…、ｘ［Ｍ－１，０］）は、対応する変調器３４５を制御するために使用される。対応する要素値（ｘ［０，０］、ｘ［１，０］、ｘ［２，０］、…、ｘ［Ｍ－１，０］）によって制御される各々の変調器３４５は、対応する導波管から複数の光学カプラ３３０を通る光学強度（キャリア信号を表す）を変調する。例えば、各々の変調器３４５は、変調器３４５に提供される光学強度（キャリア信号）の振幅及び位相を変調するために使用され得る。よって、入力ベクトル３０５に対応する電気信号は、光源３４０によって提供される光学信号を変調するために使用されることができる。いくつかの実施形態では、入力ベクトル３０５に対応する電気信号は、サンプル間干渉を防止するためにパルス化され得、電気信号のパルス持続時間は、電気信号のサンプル期間よりも短い。また、いくつかの実施形態では、光源３４０は、サンプル間干渉を防止するためにパルス化され得、光学強度のパルス幅は、電気信号のサンプル期間よりも短い。以下でより完全に説明されるように、複数の光学カプラ３３０の各々の出力は、デマルチプレクサに提供される光学信号である。いくつかの実施形態では、電気出力は、コヒーレント受信機のアレイによって提供され、電気入力及び電気出力を有するシステムを結果としてもたらす。
【0027】
いくつかのケースでは、入力ポート３２５は、光源３４０から固定され及び等しい光学強度を受信することができる。特定の実施例として、複数の入力ポート３２５の各々に１ミリワットを提供するために、光源３４０として使用され得る１０５ミリワットレーザまたはＬＥＤが使用される。この特定の実施例では、各々の変調器３４５に入射する光学強度の変調は、その特定の変調器３４５と関連付けられた入力ベクトル３０５の要素の値に応じて、０ミリワットから１ミリワットまで変動する各々の変調器３４５からの出力を結果としてもたらし得る。変調器３４５の各々を出射する光学強度は、その特定の変調器３４５と関連付けられた入力ベクトル３０５の要素の値に対応する。したがって、入力ベクトル３０５の要素の値は、１Ｄ離散的フーリエ変換を実行する、光学システム３２０の光学ネットワークにロードされる。
【0028】
複数の光学カプラ３３０を出射する光学信号は、出力値Ｘ０［０］、Ｘ１［０］、Ｘ２［０］、…、ＸＭ－１［０］によって表される。それらの値は、フーリエドメインへの変換の後の入力ベクトル３０５の値を表す。結果として、複数の出力ポート３３５に存在する光学信号は、出力ベクトル３１５を取り出すようにアクセスされ得、出力ベクトル３１５は、入力ベクトル３０５のフーリエ変換である。
【0029】
図２に示される第１の１Ｄ離散的フーリエ変換は、図２に例示される第１の列方向ベクトル２１０の要素の値を、列方向ベクトル２１０の対応する要素と関連付けられた変調器３４５にロードすることによって、光学システム３２０を使用して計算されることができる。残りの列方向ベクトル２１０の１Ｄ離散的フーリエ変換を計算するために、各々の残りの列方向ベクトル２１０の要素の値は、各々の残りの列方向ベクトル２１０の対応する要素と関連付けられた変調器３４５にロードされる。よって、図２に示されたＭ×Ｎの入力特徴マップ２０５についてのＮサイクルの後、図２におけるＭポイントＤＦＴ１Ｄによって表される１Ｄ離散的フーリエ変換が実行される。同様に、図２に示された第２の１Ｄ離散的フーリエ変換は、図２に例示された第１の行方向ベクトル２１５の要素の値を、行方向ベクトル２１５の対応する要素と関連付けられた変調器３４５にロードすることによって、光学システム３２０を使用して計算されることができる。残りの行方向ベクトル２１５の１Ｄ離散的フーリエ変換を計算するために、各々の残りの行方向ベクトル２１５の要素の値は、各々の残りの行方向ベクトル２１５の対応する要素と関連付けられた変調器３４５にロードされる。
【0030】
このようにして、光学システム３２０を使用して、複数の光学カプラ３３０に結合された変調器３４５を使用して同期してロードされる値離散的フーリエ変換を光学システム３２０が計算する１Ｄ離散的フーリエ変換の物理的実装態様が提供される。光が複数の光学カプラ３３０を通じて伝播するにつれて、複素（実部及び虚部）離散的フーリエ変換係数（Ｘ０［０］、Ｘ１［０］、Ｘ２［０］など）のアレイは、複数の出力ポート３３５に存在する光学信号の形式において計算される。上述したように、本開示の実施形態は、入力ベクトル３０５の要素の値とは独立して静的のままである物理ネットワーク（複数の光学カプラ３３０など）を利用する。よって、重みが変化するにつれて、変調器３４５の光学信号出力の強度が変化するが、複数の光学カプラ３３０のサイズ及びレイアウトが変化しないままである。入力特徴マップの列または行を光学システム３２０にロードすることによって、入力特徴マップに対して１Ｄ離散的フーリエ変換が計算される。
【0031】
図４Ａ及び４Ｂは、本開示に係る、光学システム４００を使用した実施例の２Ｄ離散的フーリエ変換計算及び２Ｄ離散的フーリエ変換と関連付けられた実施例の周波数スペクトル４２０を例示する。図４Ａに示されるように、入力特徴マップ（入力特徴マップ２０５など）の列内の要素の値（列方向ベクトル２１０など）は、図３Ｂを参照して上記議論されたような同一または類似の方式において生じ得る、変調器３４５を使用して直列にロードされることができる。結果として、時間系列セット４０５内の要素値の時間系列が各々の変調器３４５に提供されることができる。入力特徴マップの列内の要素の値は、時間Ｔ０における時間系列セット４０５の第１の列内のＭ値、時間Ｔ１における時間系列セット４０５の第２の列内のＭ値、よって、最大で時間ＴＮ－１における時間系列セット４０５のＮ番目の列内のＭ値によって例示される。
【0032】
図４Ａにおいて見られることができるように、２Ｄ入力特徴マップ（図１の入力特徴マップ１０５またはゼロパディングされた入力特徴マップ１１５など）の行にわたって離散的フーリエ変換を計算するために、入力特徴マップの各々の列内の行についてのサンプルは、時間系列セット４０５を生み出すように、サンプリング期間ＴＳなどにより、時間的に直列化される。時間系列セット４０５における値は、行ＤＦＴブロック４１０の複数の入力ポートにフィードされる。ここでの行ＤＦＴブロック４１０は、図３Ｂに示され及び上記説明された様々な光学カプラ３３０によって形成される光学ネットワークを表す。各々の期間ＴＳの後、入力特徴マップの各々の列に沿った１Ｄ離散的フーリエ変換係数が生成される。これは、時間系列セット４１５における列ごとの１Ｄフーリエ係数の時間系列を生み出す。時間系列セット４０５内の１Ｄフーリエ係数の時間系列は、時間Ｔ０、Ｔ１、Ｔ２、…、ＴＮ－１と関連付けられるとして例示される。
【0033】
１Ｄフーリエ係数の時間系列セット４１５における１Ｄフーリエ係数の各々の時間系列が関数ｙ０（ｔ）として考えられる場合、時間系列のフーリエ変換は、周波数スペクトルＹ０（ω）４２０を有する。周波数スペクトル４２０は、図４Ｂに例示される。よって、時間系列セット４１５における各々の時間系列周波数スペクトル４２０は、二次元に沿ったフーリエ変換（入力特徴マップの行など）を表す。したがって、時間系列の短時間フーリエ変換を計算することによって、入力特徴マップの２Ｄ離散的フーリエ変換が計算される。
【0034】
図３Ｂ及び４Ａでは、単一の光源３４０が例示され、単一の光源３４０は、いくつかのケースでは、単一の波長にある入力光または単一の狭波長範囲内の入力光を提供し得ることに留意されよう。しかしながら、以下で説明されるように、時間系列の短時間フーリエ変換を実行するために、多波長源も利用されることができる。
【0035】
図５Ａ乃至５Ｅは、本開示に係る、光学システム５００を使用した別の実施例の２Ｄ離散的フーリエ変換計算及び２Ｄ離散的フーリエ変換と関連付けられた周波数スペクトル５２０ａ～５２０ｍを例示する。図５Ａに示されるように、短時間フーリエ変換をデジタル的に計算する（電力消費を増大させ得る）のではなく、周波数スペクトルＹ０（ω）への関数ｙ０（ｔ）によって表される１Ｄフーリエ係数の第２の１Ｄ離散的フーリエ変換は、位相コヒーレントキャリアアレイを使用して、コヒーレント検出を介して物理フーリエ分解によって実行されることができる。この実施例では、Ｍ×Ｎの入力特徴マップ（入力特徴マップ１０５またはゼロパディングされた入力特徴マップ１１５など）について、Ｎトーンキャリアアレイ５０５が使用され、Ｎトーンキャリアアレイ５０５は、いくつかのケースでは、Δに等しいキャリア周波数間隔により周波数コーム５０５ａによってもたらされ得る。すなわち、周波数コーム５０５ａは、Δによって等しく間隔を空けられる周波数を有するＮの光学信号を生成し得る（コームが異なる周波数間隔を有することが可能である）。ここでのキャリアアレイ５０５／周波数コーム５０５ａは、上記議論された光源３４０の代わりに入力光源として使用され得る。Ｎトーンキャリアアレイ５０５における各々のキャリア信号は、同一の入力値（入力特徴マップの列方向ベクトル２１０の同一の要素など）を変調するために使用され得、それによって、行ＤＦＴブロック４１０において計算される離散的フーリエ変換係数を、Ｎのスペクトル的に区別できるコピーに複製する。図５Ｂに示されるように、例えば、周波数スペクトル４２０の６個のコピー（Ｎ個のコピーの）は、周波数ドメインシグネチャ（周波数スペクトル５２０ａ）として例示される。この実施例では、６個のコピーの各々の隣接するペアの間の間隔は、キャリア周波数間隔Δに等しい。
【0036】
入力ベクトルについてのＭ値が同期して入力されることを理由に、時間系列セット４１５における各々の時間系列をもたらすように計算される離散的フーリエ変換係数が同期して生み出される。よって、図５Ｃ乃至５Ｅに示されるようにＸ１（ｎＴｓ）に対応する周波数スペクトルの６個のコピーは、周波数ドメインシグネチャ（周波数スペクトル５２０ｂ）に包含され、Ｘ２（ｎＴｓ）に対応する周波数スペクトルの６個のコピーは、周波数ドメインシグネチャ（周波数スペクトル５２０ｃ）に包含され、ＸＭ－１（ｎＴｓ）に対応する周波数スペクトルの６個のコピーは、周波数ドメインシグネチャ（周波数スペクトル５２０ｍ）に包含される。ここで、離散的フーリエ変換係数の各々の時間系列についての周波数スペクトルのＮのスペクトル的に区別できるコピーは、Ｍの周波数ドメインシグネチャ５２０ａ～５２０ｍのセットにおいて提供される。
【0037】
再度図５Ａを参照して、列ＤＦＴブロック５１０は、Ｎ／ＴＳの帯域幅を有するコヒーレント検出器アレイ（低速コヒーレント検出器アレイなど）を実装するために使用されることができる。ローカル発振器（ＬＯ）アレイまたはバンク５１５ａからのδ＝Ｎ／ＴＳのオフセット周波数間隔を有する位相コヒーレントキャリアアレイ５１５と共に列ＤＦＴブロック５１０が使用される。よって、位相コヒーレントキャリアアレイ５１５における光学信号は、Δ＋δによって等しく間隔を空けられる周波数を有する（それらの光学信号が異なる周波数間隔を有することが可能であるが）。この配列では、各々のコヒーレント検出器セットの出力は、離散的フーリエ変換時間系列の短時間フーリエ変換係数を表し、それによって、第２の１Ｄ離散的フーリエ変換の計算を結果としてもたらし、入力特徴マップの２Ｄ離散的フーリエ変換を出力としてもたらす。
【0038】
この実施例として、図５Ｂに示されるように、ＬＯアレイまたはバンク５１５ａから位相コヒーレントキャリアアレイ５１５において提供される第１の周波数５２５は、第１の周波数ドメインシグネチャに存在する周波数スペクトル（スペクトル５２０ａ）のＮのスペクトル的に区別できるコピーの第１の周波数スペクトル５３０をサンプリングするために使用されることができ、第２の周波数５３５は、第１の周波数ドメインシグネチャに存在する周波数スペクトル（スペクトル５２０ａ）のＮのスペクトル的に区別できるコピーの第２の周波数スペクトル５４０をサンプリングするために使用されることができる、などである。したがって、ＬＯアレイまたはバンク５１５ａによって提供されるキャリアの間のキャリア周波数間隔がΔ＋δに等しいので、ＬＯアレイまたはバンク５１５ａによって提供される周波数は、周波数スペクトルの幅にわたって周波数スペクトルをサンプリングするために使用されることができる。よって、列離散フーリエ変換ブロック５１０の出力は、フーリエ係数のサンプリングされたセットである。したがって、ＬＯアレイまたはバンク５１５ａを使用してサンプリングされたフーリエ係数は、所望の短時間フーリエ変換係数である。
【0039】
図４Ａ及び４Ｂに示される実施例では、第１の周波数ドメインシグネチャのサンプリングされた出力は、周波数スペクトルＹ０（ω）に対応する。全てのＭ列が同期してロードされることを理由に、Ｍ列の各々と関連付けられた周波数スペクトルは、図５Ａにおいて同期して生成され、出力として入力特徴マップの２Ｄ離散的フーリエ変換を結果としてもたらす。列ＤＦＴブロック５１０がここでの行ＤＦＴブロック４１０に続くと共に、ＤＦＴブロック４１０及び５１０の位置が逆にされ、行ＤＦＴ及び列ＤＦＴのオーダを有効に交換することに留意されよう。結果として、演算のオーダが修正されることができ、図５Ａに例示される特定の実装態様は、１つの可能な実施例の実装態様にすぎない。
【0040】
図６は、本開示に係る、列ＤＦＴブロック５１０の実施例の実装態様を例示する。図５Ａに関連して上記議論されたように、第２の１Ｄ離散的フーリエ変換を実行するために（または、ＤＦＴブロック４１０及び５１０が逆にされる場合は第１の１Ｄ離散的フーリエ変換）、列ＤＦＴブロック５１０が使用される。図６に示されるように、時間系列６００（時間系列セット４１５における時間系列の１つを表し得る）は、Ｎのスペクトル的に区別できるコピー（図５Ｂに示された周波数スペクトル５２０ａに含まれるＮのスペクトル的に区別できるコピーなど）に分割されるために、デマルチプレクサ（ＤＭＵＸ）６０５にフィードされ得る。よって、図５Ｂにおいて第１の周波数スペクトル５３０及び第２の周波数スペクトル５４０によって例示されたスペクトル的に区別できるコピーの各々は、周波数スペクトルの別個のコピーを提供するように逆多重化される。
【0041】
デマルチプレクサ６０５の出力（周波数スペクトル４２０のスペクトル的に区別できるコピー）は、コヒーレント検出器アレイ６２０に入力として提供される。図６に例示されるように、コヒーレント検出器アレイ６２０は、コヒーレント受信機とも称され得る、複数のコヒーレント検出器６２５ａ～６２５ｎを含む。ＬＯアレイまたはバンク５１５ａからの信号６１０（位相コヒーレントキャリアアレイ５１５など）は、デマルチプレクサ６１５にフィードされ得、デマルチプレクサ６１５は、ＬＯアレイまたはバンク５１５ａによって提供される第１の周波数を第１のコヒーレント検出器６２５ａに、ＬＯアレイまたはバンク５１５ａによって提供される第２の周波数を第２のコヒーレント検出器６２５ｂに、ＬＯアレイまたはバンク５１５ａによって提供されるＮ番目の周波数をＮ番目のコヒーレント検出器６２５ｎなどにフィードし得る。よって、図５Ｂにおいて第１の周波数５２５及び第２の周波数５３５によって例示される周波数の各々は、位相コヒーレントキャリアアレイ５１５に存在する周波数を提供するように逆多重化されることができる。いくつかのケースでは、Ｎトーンキャリアアレイ５０５におけるキャリア信号の数、位相コヒーレントキャリアアレイ５１５におけるキャリア信号の数、及びコヒーレント検出器アレイ６２０におけるコヒーレント検出器６２５ａ～６２５ｎの数は等しい。
【0042】
コヒーレント検出器アレイ６２０におけるコヒーレント検出器６２５ａ～６２５ｎの各々は、デマルチプレクサ６０５によって出力される周波数スペクトルをデマルチプレクサ６１５によって出力される周波数と乗算することができる。コヒーレント検出器６２５ａ～６２５ｎが帯域制限された受信機であるので、この乗算は、デマルチプレクサ６１５によって出力される特定の周波数と関連付けられた狭周波数範囲にわたる周波数スペクトルの効果的な積分である。したがって、周波数スペクトル６３０ａ及び周波数６３５ａ、周波数スペクトル６３０ｂ及び周波数６３５ｂ、並びに周波数スペクトル６３０ｎ及び周波数６３５ｎによって例示されるように、ＬＯアレイまたはバンク５１５ａによって提供される周波数は、周波数スペクトル４２０の幅にわたって周波数スペクトル４２０をサンプリングし、短時間フーリエ変換係数を生成するために使用されることができる。図５Ａに示されるように、行ＤＦＴブロック４１０から列ＤＦＴブロック５１０へとある合計でＭの時間系列が存在するように、図６における処理は、Ｍ×Ｎの入力特徴マップの２Ｄ離散的フーリエ変換を完了させるようにＭ回繰り返されることができる。いくつかの実施形態では、図６における構造は、Ｍ回複製されることができ、その結果、時間系列セット４１５におけるＭの時間系列が同期して処理されることができる。それらの実施形態では、デマルチプレクサ６０５のアレイ、デマルチプレクサ６１５のアレイ、及び複数のコヒーレント検出器アレイ６２０が存在することができる。
【0043】
図７は、本開示に係る、重み付けを組み込んだ列ＤＦＴブロック５１０の実施例の実装態様を例示する。図６に関連して議論される列ＤＦＴブロック５１０の拡張として、重み行列（図１に例示される重みマップ１１０またはゼロパディングされた重みマップ１２０など）の事前に計算されまたはそうでなければ規定されたフーリエ等価性により、ＬＯアレイまたはバンク５１５ａによって提供される各々の周波数を変調することによって、列ＤＦＴブロック５１０のコヒーレント検出器アレイ６２０内で２Ｄ畳み込みが更に計算されることができる。
【0044】
図７に示されるように、デマルチプレクサ６１５によって出力される周波数は、対応する重み係数と乗算され、それによって、各々の２Ｄ離散的フーリエ変換係数を対応する重み係数と乗算する。いくつかの実施形態では、重み係数は、フーリエ空間重みである。図７に示される実施例では、ＬＯアレイまたはバンク５１５ａによって提供される第１の周波数は、第１のコヒーレント検出器６２５ａへの配送の前に第１の重み付け要素７１０ａを使用して第１の重みＷ０，０によって重み付けられ、ＬＯアレイまたはバンク５１５ａによって提供される第２の周波数は、第２のコヒーレント検出器６２５ｂへの配送の前に第２の重み付け要素７１０ｂを使用して第２の重みＷ０，１によって重み付けられ、ＬＯアレイまたはバンク５１５ａによって提供されるＮ番目の周波数は、Ｎ番目のコヒーレント検出器６２５ｎへの配送の前にＮ番目の重み付け要素７１０ｎを使用してＮ番目の重みＷ０，Ｎ－１によって重み付けられる。いくつかの実施形態では、重み付け要素７１０ａ～７１０ｎは、同調可能光学減衰機もしくは位相シフタなどを使用して、またはデマルチプレクサ６１５によって出力される周波数の位相及び／または振幅を修正する要素として実装されることができる。このようにして、ＬＯアレイまたはバンク５１５ａによって提供される周波数は、周波数スペクトル４２０の幅にわたって周波数スペクトル４２０をサンプリングすると共に、対応する重みを使用してサンプリングを重み付けるために使用されることができ、それによって、Ｗ０，０×Ｘ０，０、Ｗ０，１×Ｘ０，１、．．．、Ｗ０，Ｎ－１×Ｘ０，Ｎ－１に等しいＮの出力を結果としてもたらす。再度、いくつかの実施形態では、図７に示される構造は、Ｍ回複製されることができ、その結果、時間系列セット４１５におけるＭの時間系列は、同期して処理されることができる。それらの実施形態では、デマルチプレクサ６０５のアレイ、デマルチプレクサ６１５のアレイ、複数のコヒーレント検出器アレイ６２０、及び重み付け要素７１０ａ～７１０ｎの複数の集合が存在することができる。よって、例えば、重みＷ１，０－Ｗ１，Ｎ－１は、時間系列Ｘ１，０－Ｘ１，Ｎ－１により使用され、重みＷＮ－１，０－ＷＮ－１，Ｎ－１は、時間系列ＸＮ－１，０－ＸＮ－１，Ｎ－１により使用される。
【0045】
重みが相対的に不変であり得るので、いくつかの実施形態では、重みの２Ｄ離散的フーリエ変換が１回実行され得、結果は、ここで説明されるシステムの様々な実施形態における後の使用のために記憶されることができる。したがって、行ＤＦＴブロック４１０及び列ＤＦＴブロック５１０がフーリエ空間重みマップを生成するために利用されることができ、フーリエ空間重みマップの係数が後の使用のために記憶されることができる。代わりに、重みが相対的に不変であるので、従来のシステムがフーリエ空間重みマップを計算するために利用され、フーリエ空間重みマップは、メモリに記憶されることができる。図７では、例示される重みＷ０，０、Ｗ０，１、．．．、Ｗ０，Ｎ－１は、図１に例示された第２の２Ｄ離散的フーリエ変換ユニット１３０の出力に存在するフーリエ空間重みマップに対応する。よって、コヒーレント検出器アレイ６２０によって提供される出力は、図１に例示されたアダマール乗算子１３５の出力に対応する。
【0046】
コヒーレント検出器アレイ６２０によって提供される結果として生じる畳み込み積は、コヒーレント検出器アレイ６２０の出力を第２の光学システム６４０に通すことによってなど、フーリエ空間から実空間に変換され得る。第２の光学システム６４０は、重み付け行列を有さない図５Ａの複合光学システム等、図５Ａ及び６において説明される１つと同様であることができる。第２の光学システム６４０は、それに従ってその入力を回転させることによってなど、逆二次元離散的フーリエ変換を実行することができる。当業者は、多くの変形例、修正例、及び代替例を認識するであろう。
【0047】
説明されるアプローチの１つの特定の実施例の使用ケースとして、本開示の実施形態を使用して、ビデオストリームが受信及び処理されることができる。急速に変化しているデータを含むビデオストリームは、１つ以上の入力特徴マップ１０５として受信されることができる。急速に変化していないデータを含み得る、画像処理のために適切な重みマップは、重みマップ１１０として受信されることができる。本開示の実施形態を使用して、上記説明された光学システムを使用して、高速に且つ低い計算複雑度でビデオストリームが処理されることができる。画像処理用途に加えて、ニューラルネットワーク、畳み込みネットワーク、または他の畳み込み（ボイス分析及びシグネチャ分析などをサポートするシステム等）を利用する他の用途は、上記説明された実施形態の様々な実装態様を使用し得ることに留意されよう。
【0048】
本開示の実施形態は、従来の光学行列乗算子と比較して、システムサイズ及び複雑度などに関連して、著しい利点及び有利な点をもたらすことができる。例えば、６４×６４の入力特徴マップ及び３×３の重みマップについて、光学行列乗算子は、４，３５６×４，３５６のＵ行列（９，４８５，１９０の同調可能光学カプラに対応する）、４，０９６×４，０９６のＶ行列（８，３８６，５６０の同調可能光学カプラに対応する）、及び６４×６４のＤ行列（６４の可変光学減衰機に対応する）を利用し得る。バンプピッチによって制限される１５μｍ×１５μｍの光学カプラサイズ及び５０μｍ×１０５μｍの検出器サイズを想定して、光学行列乗算子の合計サイズは、約４，１２２ｍｍ２のオーダであり得る。
【0049】
いくつかの実装態様では、同一の機能性を提供する本開示の実施形態は、離散的フーリエ変換及び逆離散的フーリエ変換のそれぞれを実行するように、２つの６６×６６の離散的フーリエ変換行列を実装し得る。これは、４，２９０の固定された光学カプラ、１７，４２４のリングフィルタに対応する４つの６６×６６のチャネル波長分割多重（ＷＤＭ）アレイ（離散的フーリエ変換ごとに２つ及び逆離散的フーリエ変換ごとに２つ）、並びに４，３５６の複合（Ｉ／Ｑなど）変調器に対応する６６×６６の重み行列に対応する。バンプピッチによって制限される１５μｍ×１５μｍの光学カプラサイズ、３０μｍ×１０μｍのリングフィルタサイズ、及び１０５μｍ×１０５μｍのコヒーレント検出器サイズを想定して、この実装態様の合計サイズは、約９３．３ｍｍ２のオーダである。著しいサイズ節約に加えて、本開示の実施形態における構成要素の多くがパッシブであるので、本開示の実施形態の電力消費は、光学行列乗算子と関連付けられた電力消費よりもはるかに低い。
【0050】
図１乃至７は、離散的フーリエ変換、離散的フーリエ変換を実装する光学システム、信号スペクトル、及び関係した詳細の実施例を例示するが、様々な変更が図１Ａ乃至７に行われ得る。例えば、入力特徴マップ１０５、１１５、２０５及び重みマップ１１０、１２０の各々は、いずれかの適切な次元を有し得る。また、光学システムは、図に示されるいずれかの適切な数の各々の構成要素を含み得る。加えて、例示される各々の光学システムでは、特定の必要性によって、様々な構成要素が組み合わされ得、更に細分化され得、複製され得、省略され得、または再配列され得、追加の構成要素が追加され得る。
【0051】
図８は、本開示に係る、光学ネットワークを使用して畳み込みを実行する実施例の方法８００を例示する。説明を容易にするために、方法８００は、上記説明された光学システムのいずれかを使用して実行され得る。しかしながら、方法８００は、本開示によって設計されるいずれかの他の適切な光学システムを使用して実行され得る。
【0052】
図８に示されるように、ステップ８１０において、入力特徴マップが取得され、ステップ８１５において、重みマップが取得される。これは、例えば、処理される入力データと関連付けられた入力特徴マップ１０５を受信、生成、または取得することと、処理される入力データに適用されることになる重みマップ１１０を受信、生成、または取得することとを含み得る。ステップ８２０において、フーリエ－空間入力特徴マップを生み出すように、入力特徴マップの二次元離散的フーリエ変換が生成される。これは、例えば、入力特徴マップ１０５、２０５（または、ゼロパディングされた入力特徴マップ１１５）をフーリエ－空間入力特徴マップに変換するために、上記説明された光学ネットワークのいずれかを使用することを含み得る。ステップ８２５において、フーリエ－空間重みマップを生み出すように、重みマップの二次元フーリエ変換が生成される。これは、例えば、重みマップ１１０（または、ゼロパディングされた重みマップ１２０）をフーリエ－空間重みマップに変換するために、上記説明された光学ネットワークのいずれかを使用することを含み得る。ステップ８３０において、フーリエ－空間入力特徴マップ及びフーリエ－空間重みマップのアダマール乗算が実行される。これは、例えば、光学ネットワークが、入力特徴マップの２Ｄ離散的フーリエ変換を表す光学信号を出力することを含み得る。
【0053】
いくつかの実施形態では、ステップ８３５において、アダマール乗算によって生み出される出力の二次元逆離散的フーリエ変換を実行するために、第２の光学ネットワークが使用され得る。例えば、２Ｄ ＩＤＦＴ処理を実行するために、光学システム６４０が使用され得る。２Ｄ逆離散的フーリエ変換の出力は、入力特徴マップ１０５及び重みマップ１１０の畳み込みをもたらすことができる。また、いくつかの実施形態では、入力特徴マップを生成するために、入力マップをゼロパディングすることが行われ得、重みマップを生成するために、重み付けマップをゼロパディングすることが行われ得る（ステップ８１０及び８１５の前または間に行われることができる）。加えて、いくつかの実施形態では、ステップ８２５において、フーリエ－空間重みマップが生成され得、及びメモリに記憶され得、フーリエ－空間重みマップがメモリから取り出され得、ローカル発振器キャリアを重み付けるために利用され得る。
【0054】
図８は、光学ネットワークを使用して畳み込みを実行する方法８００の１つの実施例を例示するが、様々な変更が図８に行われ得る。例えば、一連のステップとして示されると共に、図８における様々なステップは、重複し得、並列して行われ得、異なる順序において行われ得、またはいずれかの回数で行われ得る。その上、図８における個々のステップは、個々のステップに適切であるとして、様々なシーケンスにおいて実行され得る複数のサブステップを含み得る。加えて、特定の用途に応じて、様々なステップが方法８００に追加され得、または方法８００から取り除かれ得る。当業者は、多くの変形例、修正例、及び代替例を認識するであろう。
【0055】
以下は、光学ネットワークを使用して畳み込みを実行する方法及びシステムを実装しまたはそれに関連する本開示の実施例の実施形態を説明する。しかしながら、本開示の教示に従って他の実施形態が使用され得る。
【0056】
第１の実施形態では、装置は、少なくとも１つの第１の周波数間隔を有する複数の第１のキャリア信号を生成するように構成された周波数コームを含む。装置はまた、第１のキャリア信号を変調するように構成された複数の変調器を含み、各々の変調器は、行列の対応する部分からの値の時間系列に基づいて第１のキャリア信号の対応する１つを変調するように構成される。加えて、装置は、変調された第１のキャリア信号を使用して行列の部分の一次元（１Ｄ）離散的フーリエ変換を実行するように構成された光学カプラのアレイを含み、光学カプラのアレイは、行列の対応する部分からの値各々の時間系列についての１Ｄフーリエ係数の時間系列を出力するように構成される。
【0057】
以下の特徴のいずれかの単一の１つまたはいずれかの適切な組み合わせは、第１の実施形態と共に使用され得る。光学カプラのアレイは、第１のキャリア信号の異なる周波数に基づいて、１Ｄフーリエ係数の各々の時間系列を複数のスペクトル的に区別できるコピーに複製するように構成され得る。装置はまた、第２のキャリア信号に基づいて、１Ｄフーリエ係数の時間系列をサンプリングするように構成されたコヒーレント検出器を含み得、第２のキャリア信号は、少なくとも１つの第１の周波数間隔よりも大きい少なくとも１つの第２の周波数間隔を有し得る。コヒーレント検出器は、１Ｄフーリエ係数の時間系列の短時間フーリエ変換係数を出力するように構成され得、短時間フーリエ変換係数は、行列の２Ｄ離散的フーリエ変換を表し得る。装置はまた、光学カプラのアレイから１Ｄフーリエ係数の各々の時間系列に対し、１Ｄフーリエ係数の時間系列の複数のスペクトル的に区別できるコピーを分離し、コヒーレント検出器の異なる１つに、スペクトル的に区別できるコピーの異なる１つを提供するように構成された第１のデマルチプレクサを含み得る。装置はまた、第２のキャリア信号を生成するように構成されたローカル発振器（ＬＯ）バンクまたはアレイと、光学カプラのアレイからの１Ｄフーリエ係数の各々の時間系列に対し、第２のキャリア信号を分離し、コヒーレント検出器の異なる１つに、第２のキャリア信号の異なる１つを提供するように構成された第２のデマルチプレクサと、を含み得る。装置はまた、異なる重みに基づいて第２のキャリア信号を調節し、コヒーレント検出器に、調節された第２のキャリア信号を提供するように構成された重み付け要素を含み得る。行列は、入力特徴マップを含み得、重みは、重みマップからであり得る。行列の対応する部分からの値の時間系列は、行列からの列方向ベクトルに対応し得、コヒーレント検出器によってサンプリングされる光学カプラのアレイからの１Ｄフーリエ係数の時間系列は、行方向ベクトルを含み得る。
【0058】
第２の実施形態では、装置は、少なくとも１つの第１の周波数間隔を有する第１のキャリア信号を生成するように構成された周波数コームを含む。装置はまた、第１のキャリア信号の振幅の１つを変調し、変調されたキャリア信号を生成するように構成された複数の変調器を含む。装置は更に、変調されたキャリア信号を使用して、第１の方向において一次元離散的フーリエ変換を実行するように構成された光学カプラの二次元（２Ｄ）アレイを含む。装置はまた、コヒーレント検出器のアレイと、光学カプラのアレイの出力に、及びコヒーレント検出器に光学的に結合された第１のデマルチプレクサとを含む。装置は更に、少なくとも１つの第１の周波数間隔とは異なる少なくとも１つの第２の周波数間隔を有する第２のキャリア信号を生成するように構成されたローカル発振器（ＬＯ）バンクまたはアレイを含む。加えて、装置は、ＬＯバンクまたはアレイの出力に、及びコヒーレント検出器に光学的に結合された第２のデマルチプレクサを含む。
【0059】
以下の特徴のいずれかの単一の１つまたはいずれかの適切な組み合わせは、第２の実施形態と共に使用され得る。各々のコヒーレント検出器は、第１のデマルチプレクサの出力及び第２のデマルチプレクサの１つの出力を受信し、フーリエ係数を生成するように構成され得る。コヒーレント検出器のアレイは、装置の入力に対して２Ｄ離散的フーリエ変換を完了させるように、第２の方向において第２の１Ｄ離散的フーリエ変換を出力するように構成され得る。光学カプラは、５０／５０光学カプラを含み得る。第１のキャリア信号の数、第２のキャリア信号の数、及びコヒーレント検出器のアレイにおけるコヒーレント検出器の数は等しくなり得る。装置はまた、重み行列に従って第２のキャリア信号を変調するように構成された重み付け要素を含み得る。重み行列のフーリエ等価重み行列は、事前に計算され得、及び装置に記憶され得る。
【0060】
第３の実施形態では、方法は、入力特徴マップを取得することと、光学ネットワークを使用して、フーリエ－空間入力特徴マップを生み出すように、入力特徴マップの２Ｄ離散的フーリエ変換を生成することとを含む。方法はまた、重みマップに基づいて、フーリエ－空間重みマップを取得することと、フーリエ－空間入力特徴マップ及びフーリエ－空間重みマップのアダマール乗算を実行することとを含む。
【0061】
以下の特徴のいずれかの単一の１つまたはいずれかの適切な組み合わせは、第３の実施形態と共に使用され得る。方法はまた、第２の光学ネットワークを使用して、アダマール乗算の出力の２Ｄ逆離散的フーリエ変換を生成することを含み得る。２Ｄ逆離散的フーリエ変換の出力は、入力特徴マップ及び重みマップの畳み込みを含み得る。方法はまた、光学ネットワークを使用して、フーリエ－空間重みマップを生み出すように、重みマップの２Ｄ離散的フーリエ変換を生成することと、フーリエ－空間重みマップの係数を記憶することとを含み得る。方法はまた、入力特徴マップ及び重み付けマップを生み出して、重みマップを提供するように、入力マップをゼロパディングすることを含み得る。方法はまた、フーリエ－空間重みマップを受信することと、フーリエ－空間重みマップを記憶することと、記憶装置からフーリエ－空間重みマップを取り出すことと、ＬＯキャリア信号を重み付けるために、フーリエ－空間重みマップを利用することとを含み得る。
【0062】
いくつかの実施形態では、本特許文書に記載されている種々の機能は、コンピュータ可読プログラムコードから形成されており、コンピュータ可読媒体に具現化されているコンピュータプログラムによって実装される、またはサポートされる。フレーズ「コンピュータ可読プログラムコード」は、ソースコード、オブジェクトコード、及び実行可能なコードを含む、いずれかのタイプのコンピュータコードを含む。フレーズ「コンピュータ可読媒体」は、コンピュータがアクセスすることができるいずれかのタイプの媒体、例えば、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ハードディスクドライブ（ＨＤＤ）、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、または任意の他のタイプのメモリを含む。「非一時的」なコンピュータ可読媒体は、一時的な電気または他の信号を伝送する有線、無線、光、または他の通信リンクを除外する。非一時的なコンピュータ可読媒体は、データが永続的に格納されることができる媒体、及びデータが格納され、後で上書きされることができる媒体、例えば、再書き込み可能な光ディスク、または消去可能なストレージデバイスを含む。
【0063】
本特許文書全体を通して使用される特定の単語及び語句の定義を記載しておくと有利な場合がある。用語「アプリケーション」及び「プログラム」は、適切なコンピュータコード（ソースコード、オブジェクトコード、または実行可能なコードを含む）での実装に適合された、１つ以上のコンピュータプログラム、ソフトウェアコンポーネント、命令セット、プロシージャ、機能、オブジェクト、クラス、インスタンス、関連データ、またはそれらの一部を指す。「通信する」という用語及びその派生語は、直接的な通信も間接的な通信も包含する。「を含む」及び「を備える」という用語、ならびにそれらの派生語は、制限なく含むことを意味する。「または」という用語は、包括的であり、及び／またはを意味する。「に関連する（ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ）」という語句、及びその派生語は、含む、その内に含まれる、それと相互接続する、収容する、その内に収容される、それにまたはそれと接続する、それにまたはそれと結合する、それと通信可能である、それと連携する、インターリーブする、並列する、それに最も近い、それにまたはそれとバインドされる、有する、そのプロパティを有する、それにまたはそれと関係するなどを意味することがある。「のうちの少なくとも１つ」という語句は、項目のリストと共に使用される場合、リストに挙げられた項目のうちの１つまたは複数の異なる組み合わせを使用してもよく、リスト内の１つの項目のみを必要とする場合があることを意味する。例えば、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」は、次の組み合わせ、Ａ、Ｂ、Ｃ、Ａ及びＢ、Ａ及びＣ、Ｂ及びＣ、ならびにＡ及びＢ及びＣのいずれかを含む。本開示における説明は、いずれかの特定の要素、ステップ、または機能が特許請求の範囲内に含まれなければならない必須のまたは重要な要素であることを黙示するものとして読まれるべきではない。特許主題の範囲は、許可された特許請求の範囲によってのみ定義される。更に、「のための手段（ｍｅａｎｓ ｆｏｒ）」または「のためのステップ（ｓｔｅｐ ｆｏｒ）」という正確な語句が特定の請求項において明示的に使用され、その後に機能を特定する分詞句が続かない限り、いずれの請求項も、添付の特許請求の範囲または請求項の要素のいずれに関しても、米国特許法第１１２条（ｆ）を行使しない。請求項内の「メカニズム」、「モジュール」、「デバイス」、「ユニット」、「コンポーネント」、「要素」、「部材」、「装置」、「マシン」、「システム」、「プロセッサ」、または「コントローラ」のような用語の使用は（限定ではないが）、請求項自体の特徴によって更に修正されるまたは強化される、当業者に知られている構造体を指すことが理解され、それを指すことを意図したものであり、米国特許法第１１２条（ｆ）を行使することを意図したものではない。
【0064】
本開示が特定の実施形態及び一般的に関連する方法を説明してきたが、これらの実施形態及び方法の代替形態及び置換形態は、当業者には明らかであろう。したがって、例示的な実施形態の上記の説明は、本開示を定義または制約するものではない。以下の特許請求の範囲によって定義されるような、本開示の趣旨及び範囲から逸脱することなく、他の変更、置換、及び代替も可能である。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図6】
【図7】
【図8】
【国際調査報告】