特許 7519220 光センシングのフォトニック集積装置、及び光学処理コンポーネント

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-10

(45)【発行日】2024-07-19

(54)【発明の名称】光センシングのフォトニック集積装置、及び光学処理コンポーネント

(51)【国際特許分類】

   G06N 3/067 20060101AFI20240711BHJP

   H04B 10/071 20130101ALI20240711BHJP

   G06G 7/60 20060101ALI20240711BHJP

   G06N 3/04 20230101ALI20240711BHJP

   G06N 3/08 20230101ALI20240711BHJP

   G01S 7/481 20060101ALI20240711BHJP

【ＦＩ】

G06N3/067

H04B10/071

G06G7/60

G06N3/04

G06N3/08

G01S7/481 A

【請求項の数】 4

【外国語出願】

(21)【出願番号】P 2020119238

(22)【出願日】2020-07-10

(65)【公開番号】P2021036420

(43)【公開日】2021-03-04

【審査請求日】2023-04-25

(31)【優先権主張番号】16/508,980

(32)【優先日】2019-07-11

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507342261

【氏名又は名称】トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100196601

【弁理士】

【氏名又は名称】酒井 祐市

(72)【発明者】

【氏名】シーン フィリップ ロドリゲス

(72)【発明者】

【氏名】ポール ドナルド シュマーレンベルク

(72)【発明者】

【氏名】飯塚 英男

(72)【発明者】

【氏名】イ チェソン

(72)【発明者】

【氏名】エルカン メフメト デデ

【審査官】山田 辰美

(56)【参考文献】

【文献】特開平０６－２９１３０１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０６７

Ｈ０４Ｂ １０／０７１

Ｇ０６Ｇ ７／６０

Ｇ０６Ｎ ３／０４

Ｇ０６Ｎ ３／０８

Ｇ０１Ｓ ７／４８１

(57)【特許請求の範囲】

【請求項1】

光源からの光を提供する一組の入力と、
前記一組の入力から前記光を受け取り、少なくとも１つの後続の層に関連して、光ニューラルネットワーク内の前記光の方向を制御する第１格子と、
前記第１格子から前記光を受け取り、前記光を選択的に送信するカプラと、
位相シフタであって、前記カプラと前記位相シフタはディープラーニング・アルゴリズムに従って前記光を処理する交互層に配置される、位相シフタと、
前記交互層の１つからの前記光を受け取り、結果を具現化する出力として処理された形式で前記光を提供する第２格子と、
を有する光ニューラルネットワーク。

【請求項2】

前記光源は、光検出及び測距（ＬｉＤＡＲ）センサであり、前記一組の入力は、光ファイバーである、請求項１に記載の光ニューラルネットワーク。

【請求項3】

前記第１格子は、二重溝を有する光学格子であり、前記二重溝は、第１の幅を有する第１溝及び前記第１の幅とは異なる第２の幅を有する第２溝を有する、請求項１に記載の光ニューラルネットワーク。

【請求項4】

前記位相シフタは液晶位相シフタであり、
前記カプラは、定義された効率で前記光を透過するように構成された幾何学的な溝パラメータを備えた光誘電体透過格子であり、且つ、前記交互層の少なくとも一部のエッジ境界に配置され、前記光を減衰させることなく光ニューラルネットワークに前記光を戻すように構成されるエッジカプラを有する、請求項３に記載の光ニューラルネットワーク。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書で説明される主題は、概して、光学機械感知に関し、より具体的には、プロセス構成要素及び感知構成要素を単一の光経路に統合する装置に関する。

【背景技術】

【0002】

機械感知は、一般に、周囲環境の観察を生成するために何らかの感知装置を使用することを含む。異なる装置は、自律動作、測量等の異なる目的のために観測値を使用することができる。いずれの場合も、観測値を取得するプロセスは、何らかのアナログ形式（例えば、光信号）からの観測値を、電子計算装置が使用するための電子形式に変換することを含む。このようにして、計算装置は、環境内の対象を識別するために情報を処理し、観察に従って機能（例えば、自律動作）を実行することができる。

【0003】

しかし、光検出及び測距(ＬｉＤＡＲ)センサのようなセンサは、一般に、マイクロプロセッサ、特定用途向けプロセッサ、及び他の類似の構成要素のような電気構成要素がデータ上で動作できるように、光信号（すなわち、環境内の物体から反射された感知光信号）を電子表現に変換することによって、計算装置と組み合わさって機能する。この処理は、一般に、対象の位置特定、ターゲットの追跡、対象の識別等を含む。しかし、そのようなアーキテクチャは、一般に、電気的相互接続設計による光学的コストが高く、大量の電力を消費し、データの高いスループット制約のために設計が複雑である。従って、上述の制約は、一般に、移動プラットホーム上でのそのようなセンサの使用を制限する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本明細書では、光学処理を光検知と一体化するフォトニック装置の実例が提示される。前述のように、周囲環境の態様を観察するために光学系を使用するプロセスは、一般に、装置によって感知された光学的アナログフォームからの観察を、電子プロセッサ（例えば、中央処理装置（ＣＰＵ：Central Processing Unit））によって処理するための電子形式に変換することを含む。しかし、ＣＰＵ及び他の電子処理ソリューションは、光学的観測値を電子形式に変換することに依存しており、それによって、一般に、消費電力、放熱、設計の複雑さ、計算速度等に関連する様々な困難を被る。

【課題を解決するための手段】

【0005】

従って、一つの手法では、光信号を後続の処理のために電子形式に変換するのとは対照的に、光学系を使用する統合された感知・処理経路を提供するフォトニック装置が開示される。例えば、一実施形態では、ＬｉＤＡＲは、光信号を変換し、感知されたデータの電子処理を実行することに関連する制限を回避するために、光経路内に処理コンポーネントを統合する。従って、一つの手法では、開示されたフォトニック装置は、光を放射し、周囲環境からの反射光を感知するＬｉＤＡＲを有する。一態様では、フォトニック装置は、光リレーを介して光学処理コンポーネントに周囲環境の観察を具現化する反射光を提供する。

【0006】

光リレーは、例えば、その後の処理のために反射光を条件付けるように機能する。すなわち、一実施形態では、光リレーは、ＬｉＤＡＲセンサからの反射光を増幅し、フィルタリングし、及び／又は一般に光学処理コンポーネント内に導くことができる。従って、光リレーは、処理のためだけの中間電子形態に光を変換することなく、反射光を元のアナログ形式に維持するために、様々な構成要素間の反射光を条件づけ、導波することができる。従って、光学処理コンポーネントは、光リレーを介して反射光を受け取り、反射光に対して一つ又は複数の機械感知機能を実行して、結果を生成する。一実施形態では、光学処理コンポーネントは、対象認識機能、追跡機能、分類機能、セマンティックセグメンテーション機能等の機械感知機能を実装する光ニューラルネットワーク（ＯＮＮ：Optical Neural Network）である。

【0007】

従って、ＯＮＮは、畳み込みニューラルネットワーク、再帰的ニューラルネットワーク、又は注記されたタスクを実行することができる別の形態の人工ニューラルネットワーク等のディープラーニング・ニューラルネットワークとして実装することができる。実施の観点から、ＯＮＮは、一つ又は複数の実施の形態では、マッハ・ツェンダー干渉計、自由空間要素、格子カプラ、光ファイバー束、及び／又は他の光学コンポーネントの網から構成される。どちらの実施が行われるかに関わらず、ＯＮＮは、反射光を分析し、判定を提供するために、光学処理の技術に依存する。従って、ＯＮＮの光結果を電子形式に変換するように機能する光検出器にＯＮＮの出力を提供することができ、この電子形式は、電子計算装置（例えば、電子ベースのプロセッサ上で実行される自律駆動モジュール）によって処理することができる。このようにして、フォトニック装置は、アナログ光信号を処理のための電子形式に変換する複雑さ及び計算コストを回避し、同時に、電力消費を改善し、熱エネルギ散逸を低減し、また、光センサデータを収集時点でリアルタイムに処理する。このように、フォトニック装置は、車両又は同様の装置のような移動プラットホームの文脈内で、光データのエッジコンピューティング及び複雑な解析を容易にする。

【0008】

一実施形態では、装置が開示される。装置は、装置の周囲環境からの光を感知する光感知デバイスを有する。装置は、光リレーを介して光感知デバイスに接続された光ニューラルネットワーク（ＯＮＮ）を有する。光ニューラルネットワークは、光ディープラーニング・アルゴリズムに従ってで光学処理を実行し、光学コンポーネントを使用するように設定される。

【0009】

一実施形態では、光ニューラルネットワークが開示される。光源からの光を提供する一組の入力を有する。ＯＮＮは、一組の入力から光を受け取り、少なくとも一つの後続の層に関連して光ニューラルネットワーク内の光の方向を制御する第１格子を有する。ＯＮＮは、第１格子からの光を受け、光を選択的に伝送するカプラを有する。ＯＮＮは、位相シフタを有する。カプラと位相シフタは、光ディープラーニング・アルゴリズムに従ってを処理するために交互層状に配置される。ＯＮＮは、交互層の１つから光を受け取り、結果を具現化する出力として処理された形態で光を供給する第２格子を有する。

【0010】

一実施形態では、光検出及び測距（ＬｉＤＡＲ）装置が開示される。ＬｉＤＡＲ装置には、ＬｉＤＡＲ装置からの光を周囲環境に透過させるエミッタが搭載されている。ＬｉＤＡＲ装置には検出器コンポーネントが含まれている。検出器は、周囲環境からの光の少なくとも一反射部分を受け取る受光器を有する。検出器は、受光器の出力と接続されたリレーを有する。リレーは、処理のために光の反射部分から適応光を生成するように構成される。検出器は、適応光を受光するために中継器と接続された光学処理コンポーネントを有する。光学処理コンポーネントは、適応光上で機械感知処理を実行し、機械感知処理の結果を具現化する電気信号を提供する。

【0011】

本明細書に組み込まれ、その一部を構成する添付の図面は、本開示の様々なシステム、方法、及び他の実施形態を示す。図中の図示された要素の境界（例えば、ボックス、ボックスグループ、又は他の形状）は、一実施形態の境界を表すことが理解されるであろう。いくつかの実施形態では、一つの要素は、複数の要素として設計されてもよく、又は複数の要素は、一つの要素として設計されてもよい。いくつかの実施形態では、別の素子の内部構成要素として示される素子は、外部構成要素として実装されてもよく、その逆もまた同様である。要素は、一定の縮尺で描かれていなくてもよい。

【図面の簡単な説明】

【0012】

【図1】一体化された光感知及び処理経路を有するフォトニック装置の一実施形態を示す構成図である。

【図2】光リレーの一実施形態を示す図である。

【図3】感知装置と一体化された光経路の一実施形態を示す構成図である。

【図4】光ニューラルネットワークの一実施形態を示す図である。

【図5】格子と位相シフタとの併用を使用する光ニューラルネットワークのアーキテクチャの一例を示す図である。

【図6】光ニューラルネットワークのための追加の例示的なアーキテクチャを示す図である。

【発明を実施するための形態】

【0013】

光センサを光学処理と一体化するフォトニック装置に関連するシステム、方法、及び他の実施形態が、本明細書に開示される。前述のように、周囲環境の態様を観察するために光学センサを使用するプロセスは、一般に、装置によって感知された光学的アナログフォームからの観察を、電子プロセッサ（例えば、中央処理装置（ＣＰＵ：Central Processing Unit））によって処理するための電子形式に変換することを含む。しかし、センサの光学的観測結果を電子形式に変換することに依存するＣＰＵ及び他の電子処理は、一般に、消費電力、設計の複雑さ等に関連する様々な困難を被る。例えば、従来の電子ベースのアーキテクチャ（例えば、フォン・ノイマン・アーキテクチャ）上で実行されるニューラルネットワーク等の処理手法は、これらのアーキテクチャの特性によって本質的に制限される可能性がある。すなわち、アーキテクチャは、一般に、並列処理能力に欠けているか、又は少なくとも複雑な設計によって並列処理を実施し、これは、コストを増大させ、電力消費及び関連する廃熱を増大させ、及び／又はスループットを低下させる。更に、そのようなアーキテクチャは、一般に、メモリ及び計算を共局在化せず、これは、センサデータを効率的に処理することの難しさを表し得る別の要因である。

【0014】

従って、一つの手法では、一体化された感知及び処理経路を提供するフォトニック装置が開示される。統合された経路は、例えば、受動的な光学処理及び完全に光学的な感知及びプロセシング経路の他の特性を介して、電力消費及び処理能力を改善することによって、上記の困難性に関する改善を提供する。従って、フォトニック装置は、観察を処理するための資源集約的な光－電子経路とは対照的に、包括的な手法として光学を活用する。

【0015】

例えば、一実施形態では、フォトニック装置は、光検出及び測距(ＬｉＤＡＲ)センサを連続光経路として光学処理コンポーネントと一体化する。一つ又は複数の手法では、ＬｉＤＡＲは、ソリッドステートＬｉＤＡＲ、機械的ＬｉＤＡＲ、フラッシュＬｉＤＡＲ、又は周囲環境を観察するのに適した別の種類のＬｉＤＡＲである。いずれにせよ、ＬｉＤＡＲは能動的に光を発し、周囲環境からの反射光を感知する。フォトニック装置は、一実施形態では、光リレーを介してＬｉＤＡＲから光学処理コンポーネントへの周囲環境の観測を具現化する反射光を提供する。

【0016】

一般に、光リレーは、特定の実施に応じて異なった形態をとることができるが、しかし、光リレーは、一般に、反射光をＬｉＤＡＲから光学処理コンポーネントに伝達するように機能する。従って、最も単純な形態では、光リレーは、光ファイバー及び／又はシリコン・フォトニック導波路を含んでもよい。更なる態様では、光リレーは、後続の処理のために反射光を調整／適合させるように機能してもよい。すなわち、例えば、光リレーは、ＬｉＤＡＲセンサからの反射光を増幅し、フィルタリングし、及び／又は一般に光学処理コンポーネント内に導くことができる。従って、光リレーは、処理のための中間電子形態への変換を行わずに、反射光を元のアナログ形式に維持するために、様々な構成要素間の反射光を調整及び誘導することができる。

【0017】

従って、光学処理コンポーネントは、光リレーを介して反射光を受け取り、反射光に対して一つ又は複数の機械感知機能を実行して、結果を生成する。その結果、ＬｉＤＡＲからの大量のセンサデータを電子形式に変換し、次いで、そのデータを電子計算装置で処理して結果を生成することとは対照的に、フォトニック装置は、単に、元のセンサデータの変換を回避することによって、データ及び計算（及び関連する計算費用）の大幅な削減を表す、結果に具現化された判定を提供する。

【0018】

この処理を実現するために、一実施形態では、光学処理コンポーネントは、対象認識機能、追跡機能、分類機能、意味分割機能等の機械感知機能を実装する光ニューラルネットワーク（ＯＮＮ）である。従って、ＯＮＮは、畳み込みニューラルネットワーク、再帰的ニューラルネットワーク、又は注記されたタスクを実行することができる別の形態の人工ニューラルネットワーク等のディープラーニング・ニューラルネットワークとして実装することができる。

【0019】

実施の観点から、ＯＮＮは、一つ又は複数の実施の形態では、マッハ・ツェンダー干渉計、位相シフタ、自由空間要素、格子カプラ、光ファイバー束、及び／又は他の光学コンポーネントの網から構成される。どちらの実施が行われるかに関わらず、ＯＮＮは、反射光を分析し、判定を提供するために、光学処理の技術に依存する。従って、ＯＮＮの出力は、次に、ＯＮＮの光結果を電子形式に変換するように機能する光検出器に提供されてもよく、電子計算装置（例えば、電子ベースのプロセッサ上で実行される自律駆動モジュール）によって処理されて、別の電子装置の車両動作又は動作を指示することができる。しかし、上述したように、本光学処理の結果は、一実施形態では、ＬｉＤＡＲによって感知される生センサデータに比べて、情報が比較的著しく減少することを表す。このようにして、フォトニック装置は、アナログ光信号を処理のための電子形式に変換する複雑さを回避し、同時に、電力消費を改善し、熱エネルギの発生及び散逸を低減し、また、光センサデータを収集時点でリアルタイムに処理する。そのように、フォトニック装置は、車両、ロボット、ドローン、又は同様のモバイル／エッジデバイスのような移動プラットホームのコンテクスト内での光学データのエッジ計算及び複雑な解析を容易にする。

【0020】

図１に、フォトニック装置１００の一例が示されている。図１のフォトニック装置は、周囲環境１２０から反射される（又、フォトニック装置１００から放射され得る）光１１０に関連して示されている。開示されたフォトニック装置１００は、一般に、様々な感知タスクを実行するために、ロボット、地上ベースの車両、空中車両、無人機等の電子デバイスとともに実装されるものとして説明されるが、開示された装置、デバイス等は、上記の機械と一体化され得るか、又は独立型成分として提供され得ることを理解されたい。本明細書では、自動車に関する手法を説明するが、実施形態は自動車に限定されないことを理解されたい。いくつかの実装形態では、車両は、例えば、フォトニック装置１００を介して提供される感知から恩恵を受ける、任意の他の形態の動力伝達であってもよい。更に、本明細書で使用されるように、「車両」は、任意の形態の動力伝達である。一つ又は複数の実施態様では、車両は自動車を指す。

【0021】

従って、周囲環境１２０は、上記の機械が機能する任意の環境とすることができる。一例として、そのような環境の１つは、一般に、道路、駐車場、ガレージ等の輸送環境を含む。更に、周囲環境１２０は、無人機、ヘリコプター等の航空機を含むこともできる。更に別の態様では、周囲環境１２０は、屋内環境、オフロード環境等を含むことができる。

【0022】

加えて、フォトニック装置１００は、一実施形態では、チップスケールシリコン・フォトニック装置であることに留意されたい。すなわち、一つの手法では、フォトニック装置１００に具現化された一つ又は複数の構成要素は、電子制御回路も含むことができるシリコンベースチップの形成で提供されたシリコン・フォトニック構成要素である。もちろん、様々な手法において、フォトニック装置１００は、光ファイバー又は他の光学経路を介して動作可能に接続される、マルチシリコン・フォトニック装置及び／又は他の構成要素にわたって具現化されてもよい。

【0023】

フォトニック装置１００はまた、様々な要素を含む。様々な実施形態において、フォトニック装置１００が図１に示される素子のすべてを有することは必須ではないことが理解されるであろう。フォトニック装置１００は、図１に示される様々な要素の任意の組合せを有することができる。更に、フォトニック装置１００は、図１に示されているものに付加的な要素を有することができる。いくつかの構成では、フォトニック装置１００は、図１に示す要素の一つ又は複数を実装しなくともよい。更に、様々な要素は、図１のフォトニック装置１００内に位置するように示されているが、これらの要素の一つ又は複数は、フォトニック装置１００の外部に位置することができることが理解されよう。更に、図示された要素は、様々な距離によって物理的に分離されてもよい。

【0024】

更に、説明を簡単かつ明確にするために、適切な場合には、対応する要素又は類似の要素を示すために、異なる図の間で参照番号が繰り返されていることが理解されるであろう。本説明は、本明細書に記載される実施形態の完全な理解を提供するために、多くの特定の詳細を概説する。しかし、当業者は、本明細書に記載された実施形態が、これらの要素の様々な組み合わせを使用して実施され得ることを理解するであろう。

【0025】

いずれの場合も、フォトニック装置１００は、光感知デバイス１３０、光リレー１４０、及び光ニューラルネットワーク１５０を有する。一実施形態では、光感知デバイス１３０は光検出及び測距(ＬｉＤＡＲ)センサである。最初の事項として、デバイス１３０は一般にＬｉＤＡＲセンサとして議論されるが、フォトニック装置１００は、さらなる態様で、他の光学コンポーネントとしてデバイス１３０を実装することができる。例えば、ある手法では、デバイス１３０は別の光学的検知装置である。従って、デバイス１３０は、一般に、ＬｉＤＡＲ等の能動的感知装置であるという文脈の範囲内で議論されるが、更なる態様では、デバイス１３０は、光子が電子的に変換されず、代わりに光学系１４０に渡される受動的感知装置として実装されてもよい。いずれのケースにおいても、光感知デバイス１３０は、周囲環境１２０から反射される光１１０を受け取る。

【0026】

光１１０は、一般に、周囲環境１２０の観察を表し、例えば、デバイス１３０によって最初に放出された光の１０％を含むことができる。光１１０は、一般に、デバイス１３０のエミッタに関連するレーザー又は他の光源から発する。従って、光１１０の波長及び他の特性は、動的に、又は実装の特定の態様として制御することができる。更なる事項として、光波、光信号、及び光への言及はすべて、一般に、特定の波長を有する電磁放射を指すことに留意されたい。例えば、本明細書で論じるように、光波は、赤外光（例えば、９３５ｎｍ、１５５０ｎｍ）、又は別の適切な波長（例えば、可視領域）である。更なる態様では、光の特定の波長は、実装の特定の態様に従って変更されてもよい。更に、デバイス１３０は、光１１０の他の特性（例えば、位相）を制御することもできる。

【0027】

従って、環境１２０は、放出された光を散乱させるか、さもなければ減衰させ、デバイス１３０は、反射光１１０の形でその一部を受け取る。デバイス１３０は、一組の光学系を介して光１１０を受け取り、光１１０を一組の入力に集束させる。入力は、一つ又は複数の実施形態では、感知される環境１２０の様々な高さに対応する別個のチャネル（例えば、８つの入力配列）を含む。従って、環境１２０の掃引走査を行うＬｉＤＡＲセンサの文脈において、デバイス１３０は、各時間ステップにおいて、また特定の時間ステップに従って異なる回転度に沿って、異なる仰角で対応する光１１０のスライスを受け取る。

【0028】

デバイス１３０は、光１１０を、光学経路である対応する入力に集束させる。従って、光１１０は、環境１２０の観測であるアナログ光信号を表す。加えて、光感知デバイス１３０は、光信号を電子表現に直ちに変換する代わりに、光信号として光１１０を維持する。従って、デバイス１３０は、一実施形態では、光１１０を光リレー１４０に通す。光リレー１４０は、例えば、デバイス１３０に関連する光の波長、フォトニック装置１００が配備される特定のプラットホーム等に応じて、異なる形態をとることができる。いずれにせよ、光リレーは、実施態様に応じて様々な構成要素を含むことができる。

【0029】

図２は、光リレー１４０の一実施形態を示す。図２に示すように、光リレー１４０は、光ファイバー、シリコン・フォトニック導波路、又は別の適切な光経路を介してデバイス１３０と接続される。同様に、光リレー１４０は、光ファイバー、シリコン・フォトニック導波路、又は別の好適な光経路を介して、光１１０又はその適合された形態を光ニューラルネットワーク１５０に提供する。いずれのケースにおいても、光リレー１４０自身は、一実施形態では、増幅器２００、偏光子２１０、及び波長板２２０を含む。

【0030】

前述したように、デバイス１３０は、元の形成（例えば、元の放射信号の１０％）に関連して減衰された後に、反射光１１０を受け取ることができるので、増幅器２００は、改善された振幅を有するＯＮＮ１５０内に信号を供給するために光信号をブーストする。偏光子２１０は、光１１０が一貫した偏光を有するように光信号をフィルタリングし、波長板２２０は、リレー１４０の出力が特定の選択された偏光を有するように、偏光子２１０からの光１１０を適応させる。従って、光リレー１４０は、ＯＮＮ１５０又は別の光学処理コンポーネントによる後続の加工のために光１１０を適応させるように機能する。

【0031】

このように、図１に引き続き、ＯＮＮ１５０は、光リレー１４０から光１１０を受光し、ＯＮＮ１５０の構成に応じて光１１０を処理する。すなわち、ＯＮＮ１５０は、一般的に、例えば、カプラ、位相シフタ等の光学素子の配置に応じたスタティック方式で構成される。従って、電子プロセッサ上で実行することができるソフトウェアベースのニューラルネットワークとは対照的に、ＯＮＮ１５０は、一般に、事前構成され、ＯＮＮ１５０の基本構成は、少なくとも一つの手法では、固定される。以下でより詳細に説明するように、ＯＮＮ１５０は、ソフトウェアベースの人工ニューラルネットワーク（ＡＮＮ：Artificial Neural Network）を抽象化することができるのと同様の方法で相互接続される光学コンポーネント及び連続層を含む別個の層を有する層に構成することができる。

【0032】

もちろん、ＯＮＮ１５０内の異なる要素の重みは、訓練されてもよく、一実施形態では、動的に構成されてもよい。言い換えれば、ＯＮＮ１５０は、一般に、そのタスクに適するように構成要素の特定の配置を有する特定のタスクのために構成されるが、内部要素の重み付けは、情報の異なる設定に対するトレーニングに従って調整することができる。例えば、ＯＮＮ１５０は、対象分類用のマシンラーニング・アルゴリズムとして構成されてもよい。従って、特定の実装形態に応じて、ＯＮＮ１５０は、異なるクラスの対象について訓練され得る。すなわち、交通状況では、ＯＮＮ１５０は、車両、歩行者、交通標識等を識別するように訓練されることになる。対照的に、同じＯＮＮ１５０は、屋内文脈内で機能するロボット装置の一部として実装される場合、家具、階段等の屋内の対象上で別々に訓練されてもよい。異なるクラスの対象に対する異なる訓練は、例えば、一般に、ＯＮＮ１５０内の異なるリンパ節における伝送能率を制御する異なる内的重み（ハイパーパラメータとも呼ばれる）を発生させる。

【0033】

例えば、一つの手法では、ＯＮＮ１５０は、ＯＮＮ１５０内の様々な層及びリンパ節における位相シフタの値を適応させることによって訓練される。訓練プロセスは、事前にラベル付けされたアナログ光データを使用して、ＯＮＮ１５０によって生成された結果を事前にラベル付けされたデータの既知の値と比較する監視学習プロセスと並行してもよい。一手法では、フォトニック装置１００は、更に、一実施形態では、訓練結果（例えば、既知のラベルとの結果の比較）に従ってハイパーパラメータを調整するために、種々の位相シフタを能動的に制御する制御回路（図示せず）を含む。例えば、制御回路は、熱光学制御装置、電気光学制御装置、及び／又は微小電気機械－光学制御装置（ＭＥＭｓ（Micro Electro Mechanical systems）－ｏｐｔｉｃ）を使用して、特定の位相変化を提供するように位相シフタを調整することができる。

【0034】

すなわち、ある手法では、制御回路は、ヒーター（図示せず）を制御して特定量の熱エネルギを生成し、熱エネルギを位相シフタに供給するように機能する。位相シフタを通って伝搬する光信号内に誘起される位相シフトの量は、現在の温度の機能として制御することができるので、制御回路は、所望される位相変化の量に従って熱エネルギを供給するようにヒーターを制御する。更に、付加的な態様において、電気光学制御を用いて相変化を調整するために位相シフタを制御することができる。従って、同様の方法で、制御回路は、電気光学制御を制御して、位相シフタ内の位相変化（例えば、光導波路、液晶位相シフタなど）を調整することができる。更に別の実施形態では、ＭＥＭｓベースのデバイスを使用して、導波路を機械的に変形させて、導波路屈折率の操作を通じて類似の位相シフトを生成してもよい。このようにして、フォトニック装置１００は、ＯＮＮ１５０を訓練して、種々のマシン認識タスクを実行することができる。

【0035】

いずれにせよ、光感知デバイス１３０、光リレー１４０、及びＯＮＮ１５０は、環境１２０からの反射光１１０を取得して処理するように機能する。従って、一般に、ＯＮＮ１５０は、プロセッシングの結果（例えば、識別された対象のラベル、計画された経路など）を計算装置１６０に提供する。その結果、ＯＮＮ１５０は、ＯＮＮ１５０によって生成された結果を、計算装置１６０による後続の処理のための電子形式に変換する受光器を、出力層に更に含むことができる。従って、フォトニック装置１００は、感知された光１１０を、光信号の感知処理を含む光経路全体にわたって、アナログ光信号として維持する。

【0036】

後述するように、計算装置１６０は、一実施形態では、車両又は他のロボット装置の自律制御を支援する命令の一つ又は複数モジュールを実行する電子プロセッサ（例えば、ＣＰＵ、ＧＰＵ、ＡＳＩＣ等）である。様々な実施形態では、フォトニック装置１００は、例えば、車両、ロボット装置（例えば、無人機など）、又は他のモバイルコンピューティング・プラットホーム内に具現化される計算装置１６０と一体化される。従って、周囲環境１２０の観測に関してフォトニック装置１００によって提供される結果は、障害物検出／回避、経路計画、及び車両の自律制御を支援する他の機能を容易にし得る。更なる態様では、フォトニック装置１００は、周囲環境１２０についての認識を提供するために、半自律車両又は先進運転支援システムと一体化される。更に別の態様では、フォトニック装置１００／計算装置１６０は、交差点で電柱上に、高速道路に沿って、ビルに搭載された監視装置として、又は同様の場所に搭載された監視装置として、等々に静的に搭載される。従って、フォトニック装置１００は、動き検出、侵入検出、顔認識、道路監視等の機能を実行するように別々に実装されてもよい。概して、フォトニック装置１００は、上述の利点によってエッジコンピューティングを改善し、従って、エッジコンピューティングの改善を実現するために、様々なエッジコンピューティングデバイスにおいて実装され得る。

【0037】

図３には、図１の要素と組み合わされて実現される光経路３００の一実施形態が更に示されている。図３に示されるように、光経路３００は、光感知デバイス１３０（例えば、ＬｉＤＡＲセンサ）の単一のエミッタについて示される例である。光経路３００は、実質的に、処理能力を内蔵したデバイス１３０の検出器である。従って、デバイス１３０は、デジタルライトプロセッサ（ＤＬＰ）３１０及び単一のエミッタ３２０を含むものとして示されている。代替の手法では、デバイス１３０は、後で概説するように、ＤＬＰ３１０の代わりに他の光プロセッサを使用することができる。更に、実施において、デバイス１３０は、エミッタ３２０及び／又はＤＬＰ３１０の多数の設定（例えば、８、３２、６４など）を含み得ることが理解されるべきである。いずれのケースにおいても、エミッタ３２０は、光１１０を生成し、周囲環境１２０内に透過させる。前述のように、エミッタ３２０は、波長、位相等の規定された特性を有する光１１０を生成することができる。

【0038】

デバイス１３０は、代替的に、電気光学スイッチ、ファイバー変調器などとして光ファイバーに埋め込まれた別個のタイプの光プロセッサのために、ＤＬＰ３１０を代替してもよい。ある手法では、デバイス１３０は、代替的に、偏光子、ポッケルセル、電気光学変調器（ＥＯＭ：Erectoro-Optic Modulator）(例えば、電気光学クリスタル）、又は提供された光１１０を積極的に時刻合わせするように受光に焦点を合わせる（例えば、スイッチする）別の適切なゲート機構と連動して、空間光変調器としてＤＬＰ３１０を実装する。更に、ＤＬＰ３１０は、一つ又は複数の実施形態において、フォトニック装置１００への全ての入力で動作するＤＬＰアレイである。ＤＬＰ３１０又は代替可能な他の光プロセッサは、反射光１１０を受光し、光リレー１４０を含む一組の光学系に光１１０を供給する。概して、ＤＬＰ３１０又は他の光プロセッサは、ＤＬＰ３１０／光プロセッサが、他の周囲雑音／信号を排除しながら、反射光１１０が特定のクロックに従って光経路３００に入ることを可能にするように、エミッタ３２０による光１１０の伝達と協調して、光１１０の受光をクロックするように機能する。

【0039】

いずれにせよ、デバイス１３０は、エミッタ３２０による光経路３００内の後続の構成要素への伝達に従ってゲート制御される光１１０を提供する。図３に示すように、光経路３００は、ＤＬＰ３１０と光リレー１４０との間に一つ又は複数の介在光学系を含むことができる。例えば、図示のように、光経路３００は、バンドパスフィルタ３３０と、反射防止膜３４０を有するレンズ又は他の光学系とを含む。一実施形態では、バンドパスフィルタ３３０は、レンズ及び３４０が一般に光１１０を光ファイバー３５０に通すように機能する間、光１１０に対して追加の調整を行い、光信号からノイズをフィルタリングする。光ファイバー３５０は、光経路３００を光リレー１４０内に維持し、図２に関連して前述したように、光１１０を更に適合させる。光リレー１４０の出力は、光１１０をファイバーレンズ３７０を介してＯＮＮ１５０内に導く付加的な光ファイバー３６０で接続される。

【0040】

光ファイバー３６０とＯＮＮ１５０との間の接続は、ファイバー対シリコンフォトニクス導波路遷移、ファイバー対ファイバー接続、又は光１１０をアナログ光信号として維持し、かつＯＮＮ１５０の実装（例えば、フォトニック集積回路（ＰＩＣ：Photonic Integrated Circuit）、ファイバー束等）に一般に依存する別の適切な経路であってもよい。ＯＮＮ１５０は、一つの構成で、光学コンポーネントを使用し、ディープラーニング・アルゴリズムに従って光１１０に光学処理を行う。従って、ＯＮＮ１５０は、一つ又は複数に構成された、フォトニック集積回路（ＰＩＣ）、光ファイバー束、一組の光学格子（例えば、多重溝部格子）、一組の光学自由空間素子、一組のビームスプリッタ、一組の位相シフタ（例えば、液晶位相シフタ、電気光学位相シフタ等）、マッハ・ツェンダー干渉計のアレイ／メッシュ等を含むことができる。

【0041】

概して、ＯＮＮ１５０は、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、長期短期メモリ（ＬＳＴＭ）ネットワーク、オートエンコーダネットワーク、デコンボリューションネットワーク、サポートベクトルマシン（ＳＶＭ）等のような人工ニューラルネットワーク（ＡＮＮ）の機能を達成するための特定の構成において、上述の素子の組合せを含むことができる。更に、ＯＮＮ１５０は、一般に、受光器／検出器に処理の出力（すなわち、結果）を提供して、最終結果の光学的－電気的変換を実行する。

【0042】

ＯＮＮ１５０の実施の一例として、光ニューラルネットワーク４００を示す図４を考える。光ニューラルネットワーク４００は、フォトニック装置１００との関連で議論されるが、ＯＮＮ４００は、フォトニック装置１００とは別に実装可能であることが理解されるべきである。いずれにしても、ＯＮＮ４００は、多数の異なった層を含む。一般に、ＯＮＮ４００は、２つの一般的なタイプの層を含む。すなわち、ＯＮＮ４００は、ＯＮＮ４００内に光１１０を向けるための信号処理層と、光１１０を処理するためのマシンラーニング・アルゴリズムを実装するための光学処理層とを備えている。

【0043】

信号処理層は、入力層４０５、出力層４６５、及び格子層４１０及び４６０を含む。入力層４０５は、光ファイバー等の光学素子、シリコン・フォトニック導波路、及び／又は光１１０をＯＮＮ４００内に向ける他の光学コンポーネントを含む。一実施形態では、入力層４０５は、デバイス１３０からの入力チャネルと別々に対応する定義された入力の組を含む。例えば、一つの手法では、入力層４０５は、例えば、デバイス１３０の別個のチャネルに対応する８つの別個の入力を含む。同様に、出力層４６５は、入力に対応する出力を含むことができる。更に、出力層４６５は、光１１０を処理し、光信号を電子形式に変換するＯＮＮ４００内の層の結果を受光する光検出器／受光器を更に含んでもよい。

【0044】

シグナル処理層は、第１格子層４１０及び第２格子層４６０を更に含む。格子層４１０及び４６０は、光１１０が伝搬する方向を制御するために、ＯＮＮ内に配置される。例えば、格子層４１０及び４６０は、光学格子の設定を含む。一手法では、層４１０及び４６０は、入出力チャネルの各々に対して別個の一組の格子を含む。層４１０及び４６０を形成する格子は、一実施形態では、ＳｉＯ２基板の上部に取り付けられたＴｉＯ２二重溝格子である。一つの手法では、格子層４１０及び４６０内の格子の二重溝は、期間当たり２つの異なった幅を有する。２つの異なった幅は、層４１０及び４５０が、特に、光１１０の別個のチャネルを後続の層の要素（例えば、カプラ及び／又は出力）上に向けるように構成される。更に、層４１０及び４６０の二重溝格子は、高効率（例えば、９０％より大きい）で且つ後続の構成要素への入射を容易にする角度で光１１０の伝達を提供するように構成される。

【0045】

従って、格子層４１０及び４６０は、一般に、光１１０（例えば、９３５ｎｍ）を後続の層に効率的に向ける。カプラ層４１５、４２５、４３５、４４５、及び４５５は、一般に、移相層４２０、４３０、４４０、及び４５０と交互になっている。ディープラーニング・アルゴリズムを実装するために、カプラ層と移相層の機能を併用する。更に、カプラ層４１５、４２５、４３５、４４５、及び４５５は、一つ又は複数の実施形態において、少なくとも部分的に、格子カプラに入射される光１１０の透過効率を制御する規定された溝部パラメータを有する二値誘電体透過格子である光学グレーティングカプラを含む。更に、グレーティングの特定の透過効率は、グレーティングへの光１１０の入射角に更に依存する。従って、上述のデザインパラメータ及び／又は光１１０のそれぞれのカプラへの入射角を変化させることによって、ＯＮＮ４００は、特定のマシン学習アルゴリズム及びトレーニングデータセットに従ってＯＮＮ４００のトレーニングを実施するためにＯＮＮ４００内の様々なノードの重みを適応させるように効果的に機能する、特定のカプラの伝送効率を変化させることができる。一実施形態では、格子カプラの設計パラメータは、長方形の格子形状に対する溝の深さ及び幅を含むことができる。従って、溝部パラメータの選択に応じて、格子カプラに様々な伝達を与えることができる。

【0046】

更なる態様では、カプラ層４１５、４２５、４３５、４４５、及び４５５は、光１１０の一部がエッジ部から外方に迷うことを許す代わりに、光１１０を再度ＯＮＮ４００内に向け戻すように、層のエッジ部に二重溝格子を含む。すなわち、カプラ層は、ＯＮＮ４００内のエッジの方へ向けられる光の一部を保持するために、各エッジ（例えば、右遠方のエッジ及び左遠方のエッジ）に１組の二重溝格子を含むことができる。あるいは、カプラ層は、この機能を達成するために、層のエッジにおいて、特別なリッジ高さとして、バイナリーゲーティングを実施することができる。

【0047】

加えて、層／構成要素間にあるＯＮＮ４００内の空間は、一般に自由空間（すなわち、空気）であるが、特定の光学コンポーネントは、ケイ素又はケイ素ベースの物質、金属、プラスチック等の種々の選択から形成されることを理解されたい。移相層４２０、４３０、４４０、及び４５０は、一つ又は複数の実施形態では、出力が後続の層に再収束する前にカプラ層４１５、４２５、４３５、４４５の別々の出力をシフトする液晶位相シフタ又は他の好適な位相シフタの設定を含む。様々な手法では、層当たりの位相シフタの数は、例えば、ＯＮＮ４００の層内の入力の数及び注文に応じて変化し得る。一つの例では、カプラ層は、エッジでの光を再誘導するための注記された二重溝格子も含む、交互のカプラ層を有する３つ又は４つの別個のカプラを含む。概して、層４２０、４３０、４４０、及び４５０内の位相シフタは、既知の値に従って位相を適応させることによってカプラ層４２５、４３５、４４５、及び４５５の伝送効率を変えることができるように、その中を伝播する光信号の位相を選択的に適応させるように機能する。このように、様々な層の組合せは、ディープラーニング・アルゴリズムを実現するように機能する。

【0048】

図５は、図４の光ニューラルネットワーク４００の一実施例を示す。図５に示すように、別個の層には、ディープラーニングアーキテクチャを達成するために、特定の構成で前述の光学コンポーネントが投入される。図５に示すように、ＯＮＮ４００は、光感知デバイス１３０の入力に対応する８つの入力を含む。更に、格子層４１０及び４６０は、幅が異なる対応する多数の二重溝部格子を含む。カプラ層４２５及び４４５は、更に、エッジに沿った境界位置に二重溝部格子を含み、光を再度ＯＮＮ４００内に向け直し、その間に配置された光学グレーティングカプラも含む。カプラ層４１５、４３５、及び４５５は、前述のような形態を有する光学グレーティングカプラの設定を更に含む。移相層４２０、４３０、４４０、４５０は、それぞれの組の位相シフタを含む。種々の層は、特定の数の光学コンポーネントで示されるが、光学コンポーネントの数は、実施のための多数の入力に従って変化してもよいことが理解されるべきである。追加の注記として、図５に示すように、ＯＮＮ４００を伝播する光１１０は、伝播方向を示す矢印を有する線で表され、一般に９３５ｎｍのような特定の波長である。

【0049】

図６は、光経路３００内に実装され得るようなＯＮＮ６００のさらなる実施形態を示す。最初の注記として、ＯＮＮ６００は、図６に示されるように、注記された成分を使用するＯＮＮの例示的な実施形態であり、包括的な図ではない。すなわち、図示のように、ＯＮＮ６００は、一つ又は複数接続及び／又は成分を欠いているが、一般に、そのような構成の形式を具現化する。従って、ＯＮＮ６００は、ＯＮＮ４００の層と同様の交互層の集合を含む。しかしな、ＯＮＮ６００は、光学素子を備えた自由空間から成るのではなく、代わりに、マッハ・ツェンダー干渉計の網目を形成するカプラ及び位相シフタの層に形成されたシリコン・フォトニック導波路を含む。

【0050】

示されるように、ＯＮＮ６００は、入力層６１０、カプラ層６２０、６４０、６６０、移相層６３０、６５０、及び出力層６７０を含む。概して、入力層６１０は、光リレー１４０から光１１０（例えば、１５５０ｎｍ）を受け取り、光１１０をＯＮＮ６００内に供給する。カプラ層６２０は、例えば、結合ケイ素フォトニック導波路であって、その中で伝搬される光を結合するように機能するが、光１１０を後続の分岐間で分割するようにも機能する。従って、カプラは、マッハ・ツェンダー干渉計のメッシュを形成するためのビームスプリッタとしても作用する。概して、マッハ・ツェンダー干渉計のメッシュは、ビームスプリッタ／カプラから繰り返し形成され、各ユニットとの位相シフタは、少なくとも、例えば、２つのビームスプリッタ及び２つの位相シフタを含む。しかし、アーキテクチャの相互リンクされた性質のために、図６に示されるように、マッハ・ツェンダー干渉計（ＭＺＩ）のメッシュは、明確なマッハ・ツェンダー干渉計を含んでおらず、むしろ、成分が共有される干渉計の注目されたメッシュ／連結セットを含んでいてもよい。様々な手法において、特定のアーキテクチャは、様々であってもよく、異なる数のＭＺＩを含んでもよい。

【0051】

移相層６３０及び６５０は、導波路の周囲に形成された電気光学位相シフタ、ＭＥＭベースの位相シフタ、及び／又は熱光学位相シフタを含む。一実施形態では、種々の移相層６３０及び６５０内の位相シフタは、一般に、異なるカプラ／スプリッタでの光１１０の干渉に影響する重みを変化させるように調節可能であり、それによって、異なるノードを介して光１１０を選択的に送信して、深層学習アルゴリズムを実装する。もちろん、さらなる手法では、ＯＮＮ６００は、層内の光学素子の追加の交互層及び様々な配置を含むことができる。注記された構成要素は、一般に、一体の行列演算を一組の位相シフタ及びビームスプリッタに分解し、分割比を操作して基線に対して光を追加又は除去することにより行列乗算を実行するように構成される。

【0052】

図示されているように、出力層６７０は、最終的には、電子計算装置によるその後の使用のために、ＯＮＮ６００によって生成された結果を電子形式に変換する受光器を含む。一つ又は複数の実施形態では、計算装置（例えば、装置１６０）は、電子形式（例えば、ディジタルビットを符号化する電子信号として）で結果を取得するために、出力層６７０に動作可能に接続された電子プロセッサを含み、計算装置は、一実施形態では、電子プロセッサに通信可能に結合され、電子プロセッサによって実行されたときに命令を含むモジュールを記憶するメモリを更に含み、電子プロセッサに本結果による車両を制御させる。すなわち、計算装置は、フォトニック装置１００からの入力を使用して、車両に対する軌道又は他の制御機能に関する決定を計算する、車両内の制御装置であってもよい。

【0053】

従って、本明細書で開示されるフォトニック装置１００は、光学的感知／感知及び処理経路が、電子形式への中間コンバージョンを実行することなく、どのように単一の装置に統合されるかを示す。従って、開示された光経路は、周囲環境からの反射光を受け取るだけでなく、元の形式で光信号を処理する光信号の伝播のための継続的で中断されない経路を提供し、それによりスループットを向上させる一方で、センサデータ上及びモバイル／エッジコンピューティングデバイス内に機械感知処理を提供するためにエネルギを保存する。

【0054】

ここで、図１は、本明細書で開示されるシステム及び方法が動作し得る例示的な環境として、更に詳細に説明される。フォトニック装置１００は、一つ又は複数のプロセッサを含むことができる。一つ又は複数の構成では、プロセッサは、フォトニック装置１００の主プロセッサとすることができる。例えば、プロセッサは、電子制御ユニット（ＥＣＵ：Electronic Control Unit）とすることができる。フォトニック装置１００は、一つ又は複数タイプのデータを記憶するための一つ又は複数のデータストアを含むことができる。データストアは、揮発性及び／又は不揮発性メモリを含むことができる。適切なデータストアの例としては、ＲＡＭ(ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ(読出し専用メモリ）、ＰＲＯＭ (プログラム可能読出し専用メモリ）、ＥＰＲＯＭ(消去可能プログラム可能読出し専用メモリ）、ＥＥＰＲＯＭ(電気的消去可能プログラム可能読出し専用メモリ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、又は他の適当な記憶媒体、又はこれらの任意の組合せが挙げられる。データストアは、プロセッサの構成要素であってもよく、あるいは、データストアは、それによって使用するために、プロセッサに動作可能に接続されてもよい。本明細書全体を通して使用される用語「動作可能に接続される」は、直接的な物理的接触を伴わない接続、電気的接続、光学的接続等を含む、直接的又は間接的接続を含むことができる。

【0055】

一つ又は複数のデータストアは、センサデータを含むことができる。ここで、「センサデータ」とは、フォトニック装置１００が光線を送信し、それに対する応答を受光することによって生成される情報を意味する。以下に説明するように、フォトニック装置１００は、車両又は他のデバイスのセンサシステムの一部であってもよい。「センサ」とは、一つ又は複数のセンサを含むことができる。「センサ」とは、何かを検出及び／又は感知することができる任意のデバイス、成分、及び／又はシステムを意味する。一つ又は複数センサは、リアルタイムで検出及び／又は感知するように構成することができる。本明細書で使用されるように、「リアルタイム」とは、利用者又はシステムが、特定のプロセス又は決定が行われるのに十分に即座に感知するか、又はプロセッサが何らかの外部プロセスに追従することを可能にする、処理応答性のレベルを意味する。

【0056】

センサシステムが複数のセンサ（例えば、複数のＬｉＤＡＲセンサ）を含む配置では、センサは、互いに独立して機能することができる。代替的に、２つ以上のセンサは、互いに組み合わせて動作することができる。このような場合、２つ以上のセンサは、センサネットワークを形成することができる。センサシステム及び／又は一つ又は複数センサは、プロセッサ、データストア、及び／又はフォトニック装置１００の別の要素（図１に示す要素のいずれかを含む）に動作可能に接続することができる。センサシステムは、フォトニック装置１００の外部環境（例えば、近くの車両、障害物）の少なくとも一部のデータを取得することができる。

【0057】

例えば、一つ又は複数の構成において、センサシステムは、一つ又は複数レーダーセンサ、一つ又は複数ＬｉＤＡＲセンサ、一つ又は複数ソナーセンサ及び／又は一つ又は複数カメラを含むことができる。プロセッサ及び／又はその上で実行される関連モジュール（例えば、自律駆動モジュール）は、様々な車両システム及び／又はその個々の構成要素と通信するように動作可能に接続され得る。例えば、プロセッサは、車両の動き、速度、操縦、機首方位、方向等を制御するために、様々な車両システムから情報を送信及び／又は受光するように通信することができる。プロセッサ（単数又は複数）及び／又は自律駆動モジュール（単数又は複数）は、車両のシステムのいくつか又はすべてを制御することができ、従って、部分的又は完全に自律的であってもよい。

【0058】

フォトニック装置１００及び／又は関連する計算装置１６０は、一つ又は複数のモジュールを含むことができる。本モジュールは、プロセッサによって実行されると、本明細書に記載する様々な処理の一つ又は複数を実施するコンピュータ読み取り可能なプログラムコードとして実施することができる。一つ又は複数の本モジュールは、プロセッサの構成要素であってもよく、又は、本モジュールの一つ又は複数は、プロセッサが動作可能に接続されている他の処理システム上で実行され、及び／又は他の処理システムに分散されてもよい。モジュールは、一つ又は複数プロセッサによって実行可能な命令（例えば、プログラムロジック）を含むことができる。その代わりに、又はそれに加えて、一つ又は複数データ記憶するは、そのような命令を含むことができる。

【0059】

一つ又は複数の構成では、本明細書で説明するモジュールの一つ又は複数は、人工又は計算インテリジェンス要素、例えば、ニューラルネットワーク、ファジィロジック、又は他のマシンラーニング・アルゴリズムを含むことができる。更に、一つ又は複数の構成では、モジュールの一つ又は複数は、本明細書で説明する複数のモジュールの間で分散させることができる。一つ又は複数の構成では、本明細書に記載のモジュールのうちの２つ以上を単一のモジュールに組み合わせることができる。

【0060】

本明細書では、詳細な実施形態を開示する。しかし、開示された実施形態は、例としてのみ意図されることが理解されるべきである。従って、本明細書で開示される特定の構造及び機能の詳細は、限定として解釈されるべきではなく、単に特許請求の範囲の基礎として、及び実質的に任意の適切に詳細な構造で本明細書の態様を様々に使用することを当業者に教示するための代表的な基礎として解釈されるべきである。更に、本明細書で使用される用語及び語句は、限定することを意図するものではなく、むしろ、可能な実装の理解可能な説明を提供することを意図するものである。様々な実施形態が図１～６に示されているが、実施形態は、図示された構造又はアプリケーションに限定されない。

【0061】

図中のフローチャート及びブロック図は、様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、及び動作を示す。この点に関して、フローチャート又はブロック図のそれぞれのブロックは、指定された論理機能を実施するための一つ又は複数実行可能命令を含む、モジュール、セグメント、又はコードの一部を表すことができる。又、いくつかの代替実施形態では、ブロックに記載されている機能は、図に記載されている順序とは異なって発生する可能性があることに留意されたい。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行されてもよく、又は、ブロックは、含まれる機能に応じて、時には、逆の順序で実行されてもよい。

【0062】

上述のシステム、コンポーネント及び／又はプロセスは、ハードウェア又はハードウェアとソフトウェアの組み合わせで実現することができ、一つの処理システムで集中的に、又は異なる要素がいくつかの相互接続された処理システムに分散的に分散して実現することができる。本明細書に記載の方法を実施するように適応された任意の種類の処理システム又は別の装置が適していることがある。ハードウェアとソフトウェアの典型的な組合せは、ロードされ実行されるときに、本明細書に記載する方法を実行するように処理システムを制御する、コンピュータ使用可能なプログラムコードを有する処理システムとすることができる。システム、コンポーネント及び／又はプロセスは、コンピュータプログラム製品又は他のデータプログラム記憶装置等のコンピュータ読み取り可能な記憶装置に組み込むこともでき、ここに記載された方法及びプロセスを実行するためにマシンによって実行可能な命令のプログラムを実体的に具体化する、マシンによって読み取り可能である。これらの要素は、本明細書に記載の方法の実施を可能にするすべての特徴を含み、処理システムにロードされたときにこれらの方法を実行することができるアプリケーション製品に組み込むこともできる。

【0063】

更に、本明細書で説明される構成は、コンピュータ可読プログラムコードが、例えば、記憶されて具現化された、一つ又は複数コンピュータ可読媒体で具現化されたコンピュータプログラムプロダクトの形成をとることができる。一つ又は複数のコンピュータ可読媒体の任意の組合せを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。「コンピュータ可読記憶媒体」という語句は、一時的でない記憶媒体を意味する。コンピュータ可読記憶媒体は、例えば、これらに限定されないが、電子、磁気、光学、電磁気、赤外線、または半導体のシステム、装置、またはデバイス、または前述の任意の適切な組み合わせであり得る。コンピュータ可読記憶媒体のより具体的な事例（非網羅的な一覧）は、携帯用コンピュータディスケット、ハードディスクドライブ、ソリッドステートドライブ、読取り専用メモリ、消去可能プログラム可能読取り専用メモリ、携帯用コンパクトディスク読取り専用メモリ、ディジタル汎用ディスク、光記憶装置、磁気記憶装置、又はこれらの組合せを含む。本文書の文脈において、コンピュータ読み取り可能な記憶媒体は、命令実施装置、装置、又は装置によって、又はそれに関連して使用するために、プログラムを含む、又はそれを記憶するすることができる、任意の有形媒体であってもよい。

【0064】

コンピュータ可読媒体上に具現化されたプログラムコードは、ワイヤレス、ワイヤライン、光ファイバー、ケーブル、ＲＦなど、又はこれらの任意の好適な組合せを含むが、これらに限定されない、任意の適切な媒体を使用して送信されてもよい。ここに示した態様に対する動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等の対象指向プログラミング言語、及び「Ｃ」プログラミング言語又は類似のプログラミング言語等の従来の手続き型プログラミング言語を含む、一つ又は複数プログラミング言語の任意の組合せで書くことができる。プログラムコードは、利用者のコンピュータ上で、部分的には利用者のコンピュータ上で、スタンドアロン・ソフトウェア・パッケージとして、部分的には利用者のコンピュータ上で、部分的にはリモートコンピュータ上で、又は全体的にはリモートコンピュータ又はサーバ上で実行することができる。サーバのシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、又は（例えば、インターネットサービスプロバイダを使用してインターネットを介して）外部コンピュータに接続されてもよい。

【0065】

本明細書で使用される用語「ａ」及び「ａｎ」は、一つ又は複数のものとして定義される。本明細書で使用される用語「複数」は、２つ以上として定義される。本明細書で使用される用語「別の」は、少なくとも第２のものとして定義される。本明細書で使用される用語「含む」及び／又は「有する」は、含むものとして定義される（すなわち、公開言語）。本明細書で使用される語句「少なくとも一つの・・・」は、関連する列挙された一つ又は複数項目の任意の及びすべての考えられる組合せを指し、包含する。例として、語句「Ａ、Ｂ、及びＣのうちの少なくとも１つ」は、Ａのみ、Ｂのみ、Ｃのみ、又はそれらの任意の組合せ（例えば、ＡＢ、ＡＣ、ＢＣ、又はＡＢＣ）を含む。

【0066】

本明細書の態様は、その精神又は本質的な属性から逸脱することなく、他の形態で実施することができる。従って、本明細書の技術的範囲を示すものとして、前述の明細書ではなく、以下の特許請求の技術的範囲を参照するべきである。本発明の態様の一部を以下記載する。
［態様１］
周囲環境からの光を感知する光感知デバイスと、
光リレーを介して前記光感知デバイスに接続され、ディープラーニング・アルゴリズムに従って光学部品を使用して前記光に光学処理を実行するように構成される光ニューラルネットワーク（ＯＮＮ）と、
を有する装置。
［態様２］
前記光感知デバイスは、光検出及び測距（ＬｉＤＡＲ）センサである、態様１に記載の装置。
［態様３］
前記ＯＮＮは、フォトニック集積回路（ＰＩＣ）内で実施される、態様１に記載の装置。
［態様４］
前記ＯＮＮは、
フォトニック集積回路（ＰＩＣ）、
光ファイバーバンドル、
光学格子のセット、
一連の光学自由空間要素、
の一つ又は複数から構成される、態様１に記載の装置。
［態様５］
前記ＯＮＮは、一組の位相シフタ及び一組のビームスプリッタを含むマッハ・ツェンダー干渉計のアレイで構成される、態様１に記載の装置。
［態様６］
前記ＯＮＮは、光学処理構成要素であって、前記光学処理構成要素の一部を接続及び形成する統合されたフォトニック導波路を有する光学処理構成要素を使用して、畳み込みニューラルネットワーク（ＣＮＮ）処理を実装する、態様１に記載の装置。
［態様７］
前記ＯＮＮは、対象認識、対象分類、対象追跡、及び経路計画のうちの１つまたは複数を実行するためのアルゴリズムを実装する、態様１に記載の装置。
［態様８］
前記ＯＮＮは、リカレントニューラルネットワーク（ＲＮＮ）処理を実装する、態様１に記載の装置。
［態様９］
前記光リレーは、直列に接続された増幅器、偏光子、及び波長板を有し、前記光感知デバイスから前記ＯＮＮに前記光を提供し、前記装置全体にわたって光経路を維持する、態様１に記載の装置。
［態様１０］
前記ＯＮＮに接続され、前記光学処理の結果を受信し、前記結果の光から電気への変換を実行する受光器を、更に有する態様１に記載の装置。
［態様１１］
前記受光器と動作可能に接続され、電子形式で前記結果を取得する電子プロセッサと、
前記電子プロセッサに通信可能に結合されるメモリであって、前記電子プロセッサによって実行されるときに前記結果に従って前記電子プロセッサに車両を制御させる命令を含むモジュールを記憶するメモリと、
を更に有する態様１０に記載の装置。
［態様１２］
前記ＯＮＮは、
ディープラーニング・アルゴリズムに従って前記光を処理するように構成された、光学グレーティングカプラと位相シフタの交互層を含む層を形成する光学コンポーネントの集合を有する態様１に記載の装置。
［態様１３］
光源からの光を提供する一組の入力と、
前記一組の入力から前記光を受け取り、少なくとも１つの後続の層に関連して、光ニューラルネットワーク内の前記光の方向を制御する第１格子と、
前記第１格子から前記光を受け取り、前記光を選択的に送信するカプラと、
位相シフタであって、前記カプラと前記位相シフタはディープラーニング・アルゴリズムに従って前記光を処理する交互層に配置される、位相シフタと、
前記交互層の１つからの前記光を受け取り、結果を具現化する出力として処理された形式で前記光を提供する第２格子と、
を有する光ニューラルネットワーク。
［態様１４］
前記光源は、光検出及び測距（ＬｉＤＡＲ）センサであり、前記一組の入力は、光ファイバーである、態様１３に記載の光ニューラルネットワーク。
［態様１５］
前記第１格子は、二重溝を有する光学格子であり、前記二重溝は、第１の幅を有する第１溝及び前記第１の幅とは異なる第２の幅を有する第２溝を有する、態様１３に記載の光ニューラルネットワーク。
［態様１６］
前記位相シフタは液晶位相シフタであり、
前記カプラは、定義された効率で前記光を透過するように構成された幾何学的な溝パラメータを備えた光誘電体透過格子であり、且つ、前記交互層の少なくとも一部のエッジ境界に配置され、前記光を減衰させることなく光ニューラルネットワークに前記光を戻すように構成されるエッジカプラを有する、態様１５に記載の光ニューラルネットワーク。
［態様１７］
周囲環境に光を送信するエミッタと
検出器コンポーネントであって、
前記周囲環境からの少なくとも前記光の反射部分を受光する受光器と、
前記受光器の出力部に接続され、処理のために前記光の前記反射部分から適応光を生成するように構成されたリレーと、
前記適応光を受光するためにリレーに接続され、前記適応光に対して機械知覚処理を実行し、前記機械知覚処理の結果を具体化する電気信号を提供する光学処理コンポーネントと、を有する検出器コンポーネントと、
を有する光検出及び測距（ＬｉＤＡＲ）装置。
［態様１８］
前記受光器、前記リレー、及び前記光学処理コンポーネント間の接続は、光学経路であり、前記光学処理コンポーネントは、前記適応光を光学結果に処理する内部光学経路と、前記光学結果を電気信号に変換する光検出器とを有する、態様１７に記載のＬｉＤＡＲ装置。
［態様１９］
前記光学処理コンポーネントは、前記適応光によって具現化される光学信号を処理する光ニューラルネットワーク（ＯＮＮ）であり、
前記ＯＮＮは、マッハ・ツェンダー干渉計ベース又はグレーティングカプラベースの一つ又は複数のネットワークである、態様１７に記載のＬｉＤＡＲ装置。
［態様２０］
前記リレーは、増幅器、偏光子、及び波長板を有する、態様１７に記載のＬｉＤＡＲ装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】