▶ ユニヴァーシティ オブ ワシントン センター フォー コマーシャライゼーションの特許一覧 ▶ ザ、トラスティーズ オブ プリンストン ユニバーシティの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-21
(54)【発明の名称】高品質薄レンズ撮像のためのニューラルナノ光学機器
(51)【国際特許分類】
H04N 23/95 20230101AFI20240214BHJP
G02B 3/00 20060101ALI20240214BHJP
G02B 5/18 20060101ALI20240214BHJP
H04N 23/55 20230101ALI20240214BHJP
H04N 23/56 20230101ALI20240214BHJP
G06T 5/60 20240101ALI20240214BHJP
【ＦＩ】
H04N23/95
G02B3/00 Z
G02B5/18
H04N23/55
H04N23/56
G06T5/60
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023547480
(86)(22)【出願日】2022-02-04
(85)【翻訳文提出日】2023-09-11
(86)【国際出願番号】 US2022015243
(87)【国際公開番号】W WO2022170048
(87)【国際公開日】2022-08-11
(31)【優先権主張番号】63/146,509
(32)【優先日】2021-02-05
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】514104933
【氏名又は名称】ユニヴァーシティ オブ ワシントン
(71)【出願人】
【識別番号】591003552
【氏名又は名称】ザ、トラスティーズ オブ プリンストン ユニバーシティ
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】アルカ・マジュンダール
(72)【発明者】
【氏名】シェイン・コルバーン
(72)【発明者】
【氏名】ジェームズ・ホワイトヘッド
(72)【発明者】
【氏名】ルオチェン・ファン
(72)【発明者】
【氏名】イーサン・ツェン
(72)【発明者】
【氏名】スン－ファン・ペク
(72)【発明者】
【氏名】フェリックス・ハイド
【テーマコード（参考）】
2H249
5B057
5C122
【Ｆターム（参考）】
2H249AA04
2H249AA14
2H249AA50
2H249AA55
2H249AA64
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057DA17
5B057DC40
5C122EA54
5C122FB02
5C122FB03
5C122FH00
5C122GE26
5C122GG10
(57)【要約】
メタサーフェス、および撮像するためにメタサーフェスを含むシステム、および撮像の方法が記載される。一実施形態において、メタレンズを備える撮像システムによって画像を取得するための方法は、メタレンズを照明するステップと、画像センサによって、メタレンズを通過する光を第１の画像として取得するステップと、第１の画像を後処理エンジンによって、第１の画像の逆畳み込み後の形式である第２の画像になるように処理するステップとを含む。メタレンズは、基板によって担持される複数のナノポストを含む。
【特許請求の範囲】
【請求項1】
メタレンズを備える撮像システムによって画像を取得するための方法であって、前記メタレンズを照明するステップと、
画像センサによって、前記メタレンズを通過する光を第１の画像として取得するステップと、
前記第１の画像を、後処理エンジンによって、前記第１の画像の逆畳み込み後の形式である第２の画像になるように処理するステップと、
を含み、
前記メタレンズは基板に担持された複数のナノポストを備える、方法。
【請求項2】
前記後処理エンジンによって、グランドトルース画像を前記第２の画像と比較するステップをさらに含む、請求項１に記載の方法。
【請求項3】
前記グランドトルース画像を前記第２の画像と比較することに基づいて画像勾配を決定するステップをさらに含む、請求項２に記載の方法。
【請求項4】
前記後処理エンジンは、特徴逆畳み込みブロックを備える、請求項３に記載の方法。
【請求項5】
前記画像勾配に基づいて前記特徴逆畳み込みブロックを訓練するステップをさらに含む、請求項４に記載の方法。
【請求項6】
前記特徴逆畳み込みブロックは、特徴伝播スキームを利用するニューラル逆畳み込み（ｆＤＥＣＯＮＶ）に少なくとも一部基づいており、ｆＤＥＣＯＮＶ（Ｉ）＝ｆＤＥ（ｆＺ→Ｗ（ｆＦＥ（Ｉ）））
式中、ｆＦＥおよびｆＤＥは共に、畳み込みニューラルネットワーク（ＣＮＮ）およびその最適化可能なパラメータを含み、Ｉは前記第１の画像を指す、請求項５に記載の方法。
【請求項7】
前記後処理エンジンは、ニューラルネットワークエンジンである、請求項１に記載の方法。
【請求項8】
点像分布関数（ＰＳＦ）に基づいて前記メタレンズを較正するステップをさらに含む、請求項１に記載の方法。
【請求項9】
点像分布関数（ＰＳＦ）に基づいて前記メタレンズを較正するステップは、人工画像に基づいている、請求項１に記載の方法。
【請求項10】
点像分布関数（ＰＳＦ）に基づいて前記メタレンズを較正するステップは、光学軸からの距離ｒの関数としての位相関数φを含み、【数1】
【請求項11】
ナノポストは窒化ケイ素を含む、請求項１に記載の方法。
【請求項12】
前記ナノポストは、１００ｎｍから３００ｎｍの範囲の直径（ｄ）および５００ｎｍから８００ｎｍの範囲の高さ（ｔ）を有する、請求項１１に記載の方法。
【請求項13】
基板によって担持される複数のナノポストを備えるメタレンズと、前記メタレンズに向けて光を放出するように構成された光源と、
前記メタレンズを通過する光を第１の画像として取得するように構成された画像センサと、
前記第１の画像を、前記第１の画像の逆畳み込み後の形式である第２の画像になるように処理するように構成された後処理エンジンと、
を備える、撮像システム。
【請求項14】
前記後処理エンジンは、グランドトルース画像を前記第２の画像と比較するようにさらに構成される、請求項１３に記載のシステム。
【請求項15】
前記グランドトルース画像を前記第２の画像と比較することは、画像勾配を決定することを含む、請求項１４に記載のシステム。
【請求項16】
前記第１の画像光を前記第２の画像になるように処理することは、勾配降下方法を含む、請求項１５に記載のシステム。
【請求項17】
前記後処理エンジンは、機械学習エンジンである、請求項１３に記載のシステム。
【請求項18】
前記メタレンズは、実験的点像分布関数（ＰＳＦ）に基づいた較正のために構成される、請求項１３に記載のシステム。
【請求項19】
前記ナノポストは窒化ケイ素を含む、請求項１３に記載のシステム。
【請求項20】
前記ナノポストは、１００ｎｍから３００ｎｍの範囲の直径（ｄ）および５００ｎｍから８００ｎｍの範囲の高さ（ｔ）を有する、請求項１３に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年２月５日に提出された米国特許出願第６３／１４６５０９号の利益を主張し、その開示は、その全体が参照により本明細書に組み込まれる。
本出願は、２０２１年２月５日に提出された米国特許出願第６３／１４６５０９号の利益を主張し、その開示は、その全体が参照により本明細書に組み込まれる。
【0002】
政府ライセンス権の申告
この発明は、国防高等研究計画局により授与された交付番号１４０Ｄ０４２０Ｃ００６０および米国科学財団による授与された交付番号２０４７３５９の下に政府支援により行われた。政府は、発明の一定の権利を有する。
この発明は、国防高等研究計画局により授与された交付番号１４０Ｄ０４２０Ｃ００６０および米国科学財団による授与された交付番号２０４７３５９の下に政府支援により行われた。政府は、発明の一定の権利を有する。
【背景技術】
【0003】
最近数十年の強度センサの小型化は、今日のカメラを医療撮像、商品スマートフォン、セキュリティ、ロボット工学および自律運転を含む多くの応用分野にわたって至る所に普及させてきた。しかしながら、典型的なカメラより小さいオーダーである撮像装置のみが、ナノロボット工学、生体内撮像、ＡＲ／ＶＲおよび健康管理における新規の用途を可能にすることができる。サブミクロンピクセルを有するセンサが今のところ存在するが、従来の光学機器の基本的な制限が理由でさらなる小型化は不可能である。伝統的なシステムは、収差を補正する反射素子のカスケードから成り、これらのかさばるレンズは、カメラの設置面積に対して最小寸法を課す。さらなる根本的な障壁は、焦点距離を縮小する難しさであり、これは、より大きな色収差を誘発するためである。
【0004】
一部の分散設計されたメタサーフェスは、広帯域光に焦点を合わせるために、群遅延および群遅延分散を利用することによって、従来のメタサーフェスの欠点を緩和することを目的とするが、この技術は、基本的に制限されており、約１０ミクロンの口径に設計を制限する。したがって、既存の手法は、口径数またはサポートされる波長範囲を大きく減少させることなく、達成可能な口径サイズを増大することができていない。他の試みられる解決策は、別個の波長または狭い帯域の照明にしか十分でない。
【0005】
メタサーフェスはまた、広視野（ＦＯＶ）撮像へのその有用性を制限している強い幾何学的収差を呈する。広いＦＯＶをサポートする手法は典型的には、集光を制限する小さい入力口径、または多数のメタサーフェスの使用のいずれかに依拠しており、これは、製作の複雑さを劇的に増大させる。さらに、これらの多数のメタサーフェスは、口径と共に線形に拡大縮小する隙間によって隔てられており、これにより、口径が増大するにつれてメタ光学機器のサイズの利点を取り除いてしまう。
【0006】
近年、研究者等は、後処理ソフトウェアに対する収差補正の負担を軽減するために、計算による撮像を活用している。これらの手法は、厳格な口径制限なしで、フルカラー撮像メタサーフェスを可能にするが、これらは２０°を下回るＦＯＶに制限され、再構築された空間解像度は、従来の屈折光学機器のものを下回るオーダーである。
【0007】
従来の技法での研究者等は、複合物のスタックの代わりに単一の光学機器を利用する同様に提案されたカメラ設計を有するが、これらのシステムは、低い回折率のために、商品撮像装置の性能に匹敵することはない。さらに、最も成功している手法は、１０ｍｍを超えるその長い後側焦点距離が理由で、小型化を妨げている。レンズレスカメラは代わりに、光学機器を振幅マスクで置き換えることによってサイズを縮小するが、これは空間解像度を厳しく制限し、長い取得時間を必要とする。
【0008】
サブ波長スケールで光を変調するナノ光学撮像装置は、前例のない用途をロボット工学から医学に及ぶ多様な分野に解き放つことが可能である。メタレンズは、そのような超小型撮像装置への道筋を提供するが、既存の方法は、かさばる屈折式の代替形態よりもはるかに劣る撮像品質しか達成しておらず、大きな口径および低いｆ値での収差によって基本的に制限されている。
【発明の概要】
【発明が解決しようとする課題】
【0009】
したがって、システムおよび方法は、超小型撮像装置を使用する改善された撮像に必要とされる。
【課題を解決するための手段】
【0010】
この概要は、詳細な説明において以下にさらに記載される簡素化された形態での概念の選択を採り入れるために提供されている。この概要は、特許請求の主題の重要な特徴を特定することは意図しておらず、特許請求の主題の範囲を決定する目的で使用されることも意図していない。
【0011】
この目的に向けて、本開示は、メタサーフェス物理的構造を新規のニューラル特徴ベースの画像再構築アルゴリズムと組み合わせる、完全に微分可能な学習方法を提供する。本発明の方法を実験的に実証することで、より低いオーダーの再構築誤差が達成される。いくつかの実施形態において、高品質のナノ光学撮像装置は、フルカラーメタサーフェス機能のために最も広い視野を兼ね備え、その一方で、最大の実証された０．５ｍｍ、ｆ／２口径を同時に達成する。
【0012】
本発明の技法のいくつかの実施形態において、ニューラルメタ光学機器は、既存の技術の制限を克服する学習型設計方法を利用する。手作業で作られる設計に依拠する先の製作品とは対照的に、本発明の技法は、画像形成および計算による再構築のエンドツーエンド微分可能モデルで、メタサーフェスと、逆畳み込みアルゴリズムを共に最適化する。本発明のモデルは、メモリ効率微分可能ナノ散乱体モデルならびに新規のニューラル特徴ベース再構築アーキテクチャを利用する。本発明の技法の実施形態は、焦点スポット強度などの中間計量法とは対照的に、より大きな口径サイズをサポートし、最終画像の品質を直接最適化する点において、本発明の技法は、正反対に設計されたメタ光学機器から外れている。ＤＯＥのエンドツーエンド最適化は過去に探求されてきたが、位相板を使用する既存の方法は、シフト不変システムを想定し、約５度の小さい視野（ＦＯＶ）しかサポートしない。さらに既存の学習型逆畳み込み方法は、標準エンコーダデコーダアーキテクチャ、例えばＵ－ネットなどの軽微な変形でしかなく、実験的測定値を一般化せず、メタサーフェス画像において通常見出されるような大きな空間依存収差に対処しないことが多い。
【0013】
本発明のニューラル光学機器では、本発明の技法の実施形態は、フルカラー（４００ｎｍから７００ｎｍ）で、例えば２のｆ値を有する広いＦＯＶ（４０°）撮像に対して、高品質で、偏光に影響を受けないナノ光学撮像装置を達成する。非制限的例として、５００μｍ口径の場合、本発明は１．６×１０６のナノ散乱体を最適化し、これは、既存の色収差を補正したメタ光学機器より大きなオーダーである。全ての既存のヒューリスティックに設計されたメタサーフェスおよびメタサーフェス計算撮像手法と比較して、本発明の技法の実施形態は、実験的取り込みに対する公称波長範囲の外にある再構築誤差における特定のオーダーだけ既存の方法より優れている。
【0014】
一実施形態において、メタレンズを有する撮像システムによって画像を取得するための方法は、メタレンズを照明するステップと、画像センサによって、メタレンズを通過する光を第１の画像として取得するステップと、第１の画像を、後処理エンジンによって、第１の画像の逆畳み込み後の形式である第２の画像になるように処理するステップとを含む。メタレンズは、基板によって担持される複数のナノポストを含む。
【0015】
一態様において、方法はまた、後処理エンジンによって、グランドトルース画像を第２の画像と比較するステップを含む。
【0016】
一態様において、方法はまた、グランドトルース画像を第２の画像と比較することに基づいて画像勾配を決定するステップを含む。
【0017】
別の態様において、後処理エンジンは、特徴逆畳み込みブロックを含む。
【0018】
一態様において、方法はまた、画像勾配に基づいて特徴逆畳み込みブロックを訓練するステップを含む。
【0019】
一態様において、特徴逆畳み込みブロックは、特徴伝播スキームを利用するニューラル逆畳み込み（ｆＤＥＣＯＮＶ）に少なくとも一部基づいており、
ｆＤＥＣＯＮＶ（Ｉ）＝ｆＤＥ（ｆＺ→Ｗ（ｆＦＥ（Ｉ））
式中、ｆＦＥおよびｆＤＥは共に、畳み込みニューラルネットワーク（ＣＮＮ）およびその最適化可能なパラメータを含み、Ｉは第１の画像を指す。
ｆＤＥＣＯＮＶ（Ｉ）＝ｆＤＥ（ｆＺ→Ｗ（ｆＦＥ（Ｉ））
式中、ｆＦＥおよびｆＤＥは共に、畳み込みニューラルネットワーク（ＣＮＮ）およびその最適化可能なパラメータを含み、Ｉは第１の画像を指す。
【0020】
一態様において、後処理エンジンは、ニューラルネットワークエンジンである。
【0021】
一態様において、方法はまた、点像分布関数（ＰＳＦ）に基づいてメタレンズを較正するステップを含む。
【0022】
一態様において、ＰＳＦに基づいてメタレンズを較正するステップは、人工画像に基づいている。
【0023】
一態様において、ＰＳＦに基づいてメタレンズを較正するステップは、光学軸からの距離ｒの関数としての位相関数φを含み、
式中、｛ａ０， ． ． ． ａｎ｝は最適化可能係数であり、Ｒは位相マスク半径であり、ｎは多項式項の数である。
【数1】
【0024】
一態様において、ナノポストは窒化ケイ素を含む。
【0025】
一態様において、ナノポストは、１００ｎｍから３００ｎｍの範囲の直径（ｄ）および５００ｎｍから８００ｎｍの範囲の高さ（ｔ）を有する。
【0026】
一実施形態において、撮像システムは、基板によって担持される複数のナノポストを有するメタレンズと、メタレンズに向けて光を放出するように構成された光源と、メタレンズを通過する光を第１の画像として取得するように構成された画像センサと、第１の画像を、第１の画像の逆畳み込み後の形式である第２の画像になるように処理するように構成された後処理エンジンとを含む。
【0027】
一態様において、後処理エンジンは、グランドトルース画像を第２の画像と比較するようにさらに構成される。
【0028】
一態様において、グランドトルース画像を第２の画像と比較することは、画像勾配を決定することを含む。
【0029】
一態様において、第１の画像光を第２の画像になるように処理することは、勾配降下方法を含む。
【0030】
一態様において、後処理エンジンは、機械学習エンジンである。
【0031】
一態様において、メタレンズは、実験的点像分布関数（ＰＳＦ）に基づいた較正のために構成される。
【0032】
一態様において、ナノポストは窒化ケイ素を含む。
【0033】
一態様において、ナノポストは、１００ｎｍから３００ｎｍの範囲の直径（ｄ）および５００ｎｍから８００ｎｍの範囲の高さ（ｔ）を有する。
【0034】
上述の態様および特許請求の主題の付随する利点の多くは、添付の図面と併せて、以下の詳細な説明を参照することによって、これらがよりよく理解されるため、より容易に理解されるようになるであろう。
【図面の簡単な説明】
【0035】
【図1】本技法の一実施形態によるメタレンズの走査型電子顕微鏡写真画像である。
【図2A】本技法の実施形態によるメタレンズのナノポストの図である。
【図2B】本技法の実施形態によるメタレンズのナノポストの図である。
【図2C】本技法の実施形態によるメタレンズのナノポストの図である。
【図3A】本技法の実施形態による超薄型メタ光学機器の設計、シミュレーションおよび製作を示す図である。
【図3B】本技法の実施形態による超薄型メタ光学機器の設計、シミュレーションおよび製作を示す図である。
【図3C】本技法の実施形態による超薄型メタ光学機器の設計、シミュレーションおよび製作を示す図である。
【図3D】本技法の実施形態による超薄型メタ光学機器の設計、シミュレーションおよび製作を示す図である。
【図3E】本技法の実施形態による超薄型メタ光学機器の設計、シミュレーションおよび製作を示す図である。
【図4A】本技法の実施形態による撮像メタサーフェスの特徴付けを示す図である。
【図4B】本技法の実施形態による撮像メタサーフェスの特徴付けを示す図である。
【図4C】本技法の実施形態による撮像メタサーフェスの特徴付けを示す図である。
【図4D】本技法の実施形態による撮像メタサーフェスの特徴付けを示す図である。
【図5】本技法の実施形態によるニューラルナノ光学機器に関するシミュレートされたＰＳＦ相関係数を示す図である。
【図6】本技法の実施形態によるメタサーフェス散乱体シミュレーションを示す図である。
【図7】本技法の実施形態による微分可能プロキシベースのメタサーフェスを示す図である。
【図8】本技法の実施形態によるシフト可変重畳加算逆畳み込みを示す図である。
【図9】本技法の実施形態による設計段階画像形成および逆畳み込みを示す図である。
【図10】本技法の実施形態によるニューラル特徴伝播関数ネットワークのアーキテクチャを示す図である。
【図11A】本技法の実施形態による設計の最適化および微細調整稼働に対するメトリック知覚量を示す図である。
【図11B】本技法の実施形態による設計の最適化および微細調整稼働に対するメトリック知覚量を示す図である。
【図11C】本技法の実施形態による設計の最適化および微細調整稼働に対するメトリック知覚量を示す図である。
【図12A】本技法の実施形態による実験的撮像設定を示す図である。
【図12B】本技法の実施形態による実験的撮像設定を示す図である。
【図13-1】本技法の実施形態による、実験的取り込みを使用する異なるメタ光学機器設計についての定性比較を示す図である。
【図13-2】本技法の実施形態による、実験的取り込みを使用する異なるメタ光学機器設計についての定性比較を示す図である。
【図14-1】本技法の実施形態による、シミュレーションにおける逆畳み込みアルゴリズム間の定性比較を示す図である。
【図14-2】本技法の実施形態による、シミュレーションにおける逆畳み込みアルゴリズム間の定性比較を示す図である。
【図14-3】本技法の実施形態による、シミュレーションにおける逆畳み込みアルゴリズム間の定性比較を示す図である。
【図14-4】本技法の実施形態による、シミュレーションにおける逆畳み込みアルゴリズム間の定性比較を示す図である。
【図15-1】本技法の実施形態による、対応するＭＴＦプロットでのシーメンススターチャートの再構築のための定性結果を示す図である。
【図15-2】本技法の実施形態による、対応するＭＴＦプロットでのシーメンススターチャートの再構築のための定性結果を示す図である。
【発明を実施するための形態】
【0036】
メタサーフェスおよびメタサーフェスを含むシステムが本明細書に開示される。そのようなメタサーフェスは、複数のポストから基板上に形成されてよい。メタサーフェスは、規定された波長範囲にわたって光学的に活性であるように構成されており、特定の実施形態では、レンズを形成するように構成される。
【0037】
図１は、本技法の一実施形態によるメタレンズの光学画像である。例示されるメタレンズ１００は、基板（「支持体」とも呼ばれる）１１５によって担持されるいくつかのナノ構造（「ナノポスト」または「散乱体」とも呼ばれる）１１０を含む。ナノ構造１１０は、一般に、円筒形であり、１つまたは複数の特徴的尺度（例えば、円筒形の直径ｄ）によって特徴付けられるナノスケールの構造であってよい。いくつかの実施形態において、ナノ構造１１０は、図１に例示されるように異なるサイズを有してもよい。異なる実施形態では、メタレンズ１００は、以下に記載されるプロセスによって製造されてもよい。
【0038】
いくつかの実施形態において、メタレンズ１００の製造中、最初に窒化ケイ素の６００ｎｍの層がプラズマ化学気相成長法（ＰＥＣＶＤ）を介して水晶基板上に堆積され、その後に高性能陽電子ビームレジスト（例えばＺＥＰ－５２０Ａ）でのスピンコーティングが続く。その後８ｎｍのＡｕ／Ｐｄ電荷消散層がスパッタリングされ、その後に電磁ビームリソグラフィシステム（例えばＪＥＯＬ ＪＢＸ６３００ＦＳ）に曝露される。Ａｕ／Ｐｄ層はその後、薄膜エッチング液（例えばＴＦＡ金エッチング液タイプ）で除去されてよく、酢酸アミル中でサンプルが成長してよい。いくつかの実施形態において、エッチングマスクを形成するために、５０ｎｍのアルミニウムが蒸着され、塩化メチレン、アセトンおよびイソプロピルアルコール中での超音波処理を介して取り出される。サンプルはその後、ＣＨＦ３およびＳＦ６化学反応を使用してドライエッチングされ、アルミニウムは、ＡＤ－１０フォトレジスト現像液中に浸すことによって除去される。
【0039】
図２Ａ～図２Ｃは、本技法の実施形態によるメタレンズのナノポストの複数の図を例示する。図２Ａは、基板１１５によって担持されるナノポスト１１０の等角図である。例示されるナノポスト１１０は円筒形であるが、他の実施形態では、ナノポスト１１０は、他の形状を有してもよく、例えば楕円形断面、正方形断面、矩形断面、またはサブ波長値で中心間の間隔を維持する他の断面形状を有してもよい。図２Ｂは、距離「ｐ」（ピッチ）だけ隔てられた２つの隣接するナノポストの上面図である。簡潔にするために２つのナノポストのみが図２Ｂに例示される。しかしながら実際のメタレンズ１００では、より多くのナノポストが基板１１５の上に分散される。図２Ｃは、基板１１５によって担持されるナノポスト１１０の側面図である。いくつかの実施形態において、ナノポスト（散乱体）１１０は、その広い透明な窓およびＣＭＯＳ適合性のために窒化ケイ素で作成される。
【0040】
例示されるナノポスト１１０は、高さ「ｔ」および直径「ｄ」によって特徴付けられる。いくつかの実施形態において、「ｄ」の値は、約１００ｎｍから約３００ｎｍの範囲であってよい。一般に、「ｔ」（高さ）の値は、所与のメタレンズに関して全ての直径「ｄ」について一定である（製造公差の制限の範囲内）。いくつかの実施形態において、「ｔ」の値は、約５００ｎｍから約８００ｎｍの範囲であってよい。ナノポスト（散乱体）は、水晶基板１１５上の正方格子に配列された、偏光に影響を受けない円筒形ナノポスト１１０であってよい。これらのナノポストの位相シフト機構は、ポストの頂部境界面および底部境界面で、それ自体の間で結合するナノポスト内の振動モードのアンサンブルから生じる。ナノポストの直径「ｄ」を調節することによって、モードの構成が変化し、ナノポストを通る透過係数を修正する。
【0041】
微分可能メタサーフェスプロキシモデル
図３Ａ～図３Ｅは、超薄型メタ光学機器の設計、シミュレーションおよび製作を例示する。いくつかの実施形態において、図３Ａに示されるような学習型の超薄型メタ光学機器１００は、５００μｍの厚さおよび直径であり、小型カメラの設計を可能にする。製造された光学機器（センサ）１８０が図３Ｂに示される。ズームインが、図３Ｃに示されており、ナノポストの寸法が、代表的なナノポスト１１０について図３Ｄに示される。
図３Ａ～図３Ｅは、超薄型メタ光学機器の設計、シミュレーションおよび製作を例示する。いくつかの実施形態において、図３Ａに示されるような学習型の超薄型メタ光学機器１００は、５００μｍの厚さおよび直径であり、小型カメラの設計を可能にする。製造された光学機器（センサ）１８０が図３Ｂに示される。ズームインが、図３Ｃに示されており、ナノポストの寸法が、代表的なナノポスト１１０について図３Ｄに示される。
【0042】
図３Ｃは、製作されたナノポスト１１０を示す。いくつかの実施形態において、二重面研磨融解石英ウェハから開始し、プラズマ化学気相成長法を介して７０５ｎｍの窒化ケイ素を堆積させてデバイス層を形成する。その後ＺＥＰ ５２０Ａレジストでスピンコーティングし、８ｎｍの金電荷消散層をスパッタリングし、その後、１００ｋＶおよび８ｎＡでＪＥＯＬ ＪＢＸ６３００ＦＳ電子ビームリソグラフィシステムでの露光が続く。金を剥がした後、その後にイソプロピルアルコールに浸すことによって酢酸アミル中で成長させる。エッチングマスクを画定するために、５０ｎｍのアルミニウムが蒸着され、塩化メチレン、アセトンおよびイソプロピルアルコール中での超音波処理を介して取り出す。その後、誘導結合プラズマエッチャでＣＨＦ３およびＳＦ６化学反応を使用して窒化ケイ素層をエッチングする。アルミニウムエッチングマスクの剥離に続いて、迷光を阻止するために厳格な口径を画定するために、その後に続くアルミニウム蒸着およびリフトオフによって、チップ上にＡＺ１５１２フォトレジストをコーティングしパターン形成する。
【0043】
図３Ｅに示されるエンドツーエンド撮像パイプラインは、本発明の有効メタサーフェス画像形成モデルと、プロキシモデル１６１に基づいて特徴逆畳み込みエンジン１６０（例えば、汎用コンピュータまたはコントローラ）によって実行可能な特徴ベース逆畳み込みアルゴリズムとで構成される。最適化可能な位相プロファイルから、微分可能モデルは、空間可変点像分布関数（ＰＳＦｓ）を生成し、これはその後、センサ測定値を形成するために入力画像をパッチごとに畳み込む。センサ１８０読み取り値は、その後、最終画像を生成するためにアルゴリズムを使用して逆畳み込みされる。
【0044】
図３Ｅにおける本発明の微分可能メタサーフェス画像形成モデルは、微分可能なセンサ動作を利用する３つの連続する段階で構成され、すなわちメタサーフェス位相決定（図７を参照）、ＰＳＦシミュレーションおよび畳み込み、ならびにセンサノイズである。我々のモデルでは、メタサーフェス位相を決定する多項式係数は、最適化可能変数であるのに対して、センサ読み出しおよびセンサとメタサーフェスの距離を特徴付ける実験的に較正されたパラメータは固定される。
【0045】
光軸からの距離ｒの関数としての最適化可能メタサーフェス位相関数φが
によって与えられ、式中、｛ａ０， ． ． ． ａｎ｝は最適化計数であり、Ｒは位相マスク半径であり、ｎは多項式項の数である。局所的最低値を避けるためのピクセルごとのやり方とは対照的に、この位相関数においてメタサーフェスを最適化する。しかしながらこの位相は、単一の公称設計波長に対して規定されており、これは、最適化において固定されたハイパーパラメータである。このマスク単独で、単色の光の伝播をモデル化するには十分であるが、広帯域の撮像シナリオを設計するには、全ての標的波長における位相が必要である。
【数2】
【0046】
この目的のために、メタサーフェス内の各位置において、２つの連続する動作を適用する。最初の動作は、公称設計波長での所望の位相を与えられた散乱体の幾何学形状を算出する逆向きの位相と構造のマッピングである。散乱体の幾何学形状を決定すると、残りの標的波長での位相を計算するために、その後、順方向の構造と位相のマッピングを適用することができる。０から２π範囲内の各位相シフトについて独自の幾何学形状を保証する有効な指数近似を利用して、微分可能性を保証し、散乱体の寸法を調節し、異なる標的波長で反応を算出することによって位相計数を直接最適化することができる。
【0047】
ナノ散乱体から微分可能に決定された３つの位相分布によって、その後、波長および画角を関数として点像分布関数（ＰＳＦ）を計算して、全視野（ＦＯＶ）にわたるフルカラー画像形成を効率的にモデル化することが可能になる。最終的に、逆伝播を可能にするために再度のパラメータ化およびスコア勾配技術を使用することによって、実験的に較正されたガウスおよびポワソンノイズで感知および読み出しをシミュレートする。
【0048】
有限差分時間領域法（ＦＤＴＤ）シミュレーションなどの、代替の計算による順方向シミュレーション方法と直接比較したとき、我々の技術は、近似的であるが、３オーダー以上より速く、メモリ効率がより高い。我々の設計と同じ口径について、ＦＤＴＤシミュレーションは、正確なメッシュだけのために３０テラバイトほどを必要とする。我々の技術はその代わりに、長さと共に二次的に拡大縮小するのみである。このことは、エンドツーエンドパイプライン全体が、３０００×を超えるメモリ削減を達成することを可能にし、メタサーフェスシミュレーションおよび画像再構築の両方が、数ギガバイトのＧＰＵ ＲＡＭに収まる。
【0049】
本発明の技術は、未見のテストデータに一般化しつつ、学習した優先事項を組み込むニューラル逆畳み込み方法に依拠する。具体的には、生画像強度の代わりに、学習した特徴空間に対して逆畳み込みを行うニューラルネットワークアーキテクチャを設計する。この技術は、モデルベースの逆畳み込みと、ニューラルネットワークの有効な特徴の学習の両方を組み合わせ、厳密な収差および空間的に大きいＰＳＦを有するメタ光学機器に対して画像逆畳み込みに取り組むことを可能にする。この手法は、シミュレーションのみで訓練するだけで、実験的な取り込みに対して十分に一般化する。
【0050】
本発明の再構築ネットワークアーキテクチャは、３つの段階を含み、すなわちマルチスケール特徴エキストラクタｆＦＥと、３つの特徴を逆畳み込みする伝播段階ｆＺ→Ｗ（すなわち、特徴Ｚからその逆畳み込み後の空間位置Ｗまで伝播する）と、伝播した特徴を最終画像に組み込むデコーダ段階ｆＤＥである。形式上、特徴伝播ネットワークは、以下の動作を実行し、
式中、Ｉは生センサ測定値であり、０は出力画像である。
【数3】
【0051】
特徴エキストラクタおよびデコーダは共に完全に畳み込み式のニューラルネットワークとして構築される。特徴エキストラクタは、元々備わっている解像度および多重尺度の両方において特徴を識別して、低レベル特徴および高レベル特徴の学習を容易にし、生強度を超えるより高レベルの情報をエンコードし伝播することを可能にする。その後の特徴伝播段階ｆＺ→Ｗはその後、微分可能逆畳み込み方法を使用して特徴をその逆フィルタリングされた位置まで伝播する。最終的に、デコーダ段階はその後、以下にさらに記載されるように、伝播した特徴を画像空間に戻るように変換する。既存の最先端の逆畳み込み手法と比較したとき、我々は、困難な、メタサーフェスが招いた収差を逆畳み込みするのに、４ｄＢ ＰＳＮＲを上回る改善（平均平方誤差における２．５ｘを超える削減）を達成する。
【0052】
メタサーフェス画像形成モデルおよび逆畳み込みアルゴリズムは共に、完全に微分可能なエンドツーエンド撮像チェーンに組み込まれる。メタサーフェス撮像パイプラインによって、一次の確率的最適化方法を適用して、エンドポイント損失関数Ｌを最小限にする逆畳み込みネットワークｆＤＥＣＯＮＶについて、メタサーフェス位相パラメータＰＭＥＴＡおよびパラメータＰＤＥＣＯＮＶを学習することを可能にし、これは、我々のケースではメトリック知覚量である。したがって、我々の画像形成モデルは、
のように定義され、式中、Ｉは、ＲＧＢ訓練画像であり、ｆＭＥＴＡは、ＰＭＥＴＡからメタサーフェスＰＳＦを生成し、＊は畳み込みであり、ｆＳＥＮＳＯＲは、センサノイズを含む感知プロセスをモデル化する。我々の逆畳み込み方法は、非ブラインドであるため、ｆＤＥＣＯＮＶは、ｆＭＥＴＡ（ＰＭＥＴＡ）を取り入れる。いくつかの実施形態において、特徴逆畳み込みブロックを訓練することは、画像勾配の方法に基づいている。その後以下の最適化の問題
を解く。最終の学習後のパラメータ
は、メタ光学機器を製造するのに使用され、
は、逆畳み込みアルゴリズムを決定する。
【数4】
【数5】
【数6】
【数7】
【0053】
ナノ光学機器性能の特徴付け
最適化プロセスを通じて、メタ光学機器は、全ての色チャネルにわたって色収差を最小限にするコンパクトな空間ＰＳＦを生成することを学習する。単一波長については輪郭がはっきりとした焦点を呈するが、他の波長では優位な収差を呈する設計とは異なり、我々の最適化された設計は、フルカラー撮像を容易にするために波長全体にわたる均衡を達成する。さらに、学習したメタサーフェスは、計算による撮像について以前に使用された空間的に大きなＰＳＦを回避する。最適化されたメタ光学機器に対するＰＳＦは、我々の設計について予測されるように、コンパクトな形状と、画角全体にわたる最小限の変異度の組合せを呈することを観察することができる。伝統的な双曲線メタレンズ（５１１ｎｍ）に対するＰＳＦは代わりに、画角全体にわたる優位な空間変動を有し、逆畳み込みを通して補償することができない厳しい色収差を有する。設計に対する対応する変調伝達関数（ＭＴＦ）も示される。ＭＴＦは、入射角で明らかに変化せず、可視スペクトルにわたる広範囲の空間周波数も保持する。
最適化プロセスを通じて、メタ光学機器は、全ての色チャネルにわたって色収差を最小限にするコンパクトな空間ＰＳＦを生成することを学習する。単一波長については輪郭がはっきりとした焦点を呈するが、他の波長では優位な収差を呈する設計とは異なり、我々の最適化された設計は、フルカラー撮像を容易にするために波長全体にわたる均衡を達成する。さらに、学習したメタサーフェスは、計算による撮像について以前に使用された空間的に大きなＰＳＦを回避する。最適化されたメタ光学機器に対するＰＳＦは、我々の設計について予測されるように、コンパクトな形状と、画角全体にわたる最小限の変異度の組合せを呈することを観察することができる。伝統的な双曲線メタレンズ（５１１ｎｍ）に対するＰＳＦは代わりに、画角全体にわたる優位な空間変動を有し、逆畳み込みを通して補償することができない厳しい色収差を有する。設計に対する対応する変調伝達関数（ＭＴＦ）も示される。ＭＴＦは、入射角で明らかに変化せず、可視スペクトルにわたる広範囲の空間周波数も保持する。
【0054】
撮像実証
製造の欠点を考慮するために、製作された光学機器を使用して空間ＰＳＦを取り込むＰＳＦ較正段階を実行する。その後、取り込んだＰＳＦでプロキシベースのメタサーフェスシミュレータを置き換えることによって、逆畳み込みネットワークを微細に調整する。この微細調整較正段階は、実験的な取り込みを訓練することはなく、測定されたＰＳＦのみを必要とし、広い画像データセットの実験的な収集は必要としない。完全な計算による再構築パイプラインは、リアルタイムレートで稼働し、７２０ｐｘ×７２０ｐｘＲＧＢ取り込みを処理するために、６０ｍｓしか必要としない。ニューラルナノ光学機器を使用する高品質でフルカラーの画像再構築が、以下で図面に示される。５１１ｎｍに設計された伝統的な双曲線メタレンズおよび従来の立方体メタレンズに対する比較を行う。代替の単一光学機器およびメタレンズ設計に対する追加の比較もまた図面に示され、以下で考察される。メタ光学機器よりも体積で５５００００×大きい６つの要素の複合光学機器を使用してグランドトルース画像が取得される。
製造の欠点を考慮するために、製作された光学機器を使用して空間ＰＳＦを取り込むＰＳＦ較正段階を実行する。その後、取り込んだＰＳＦでプロキシベースのメタサーフェスシミュレータを置き換えることによって、逆畳み込みネットワークを微細に調整する。この微細調整較正段階は、実験的な取り込みを訓練することはなく、測定されたＰＳＦのみを必要とし、広い画像データセットの実験的な収集は必要としない。完全な計算による再構築パイプラインは、リアルタイムレートで稼働し、７２０ｐｘ×７２０ｐｘＲＧＢ取り込みを処理するために、６０ｍｓしか必要としない。ニューラルナノ光学機器を使用する高品質でフルカラーの画像再構築が、以下で図面に示される。５１１ｎｍに設計された伝統的な双曲線メタレンズおよび従来の立方体メタレンズに対する比較を行う。代替の単一光学機器およびメタレンズ設計に対する追加の比較もまた図面に示され、以下で考察される。メタ光学機器よりも体積で５５００００×大きい６つの要素の複合光学機器を使用してグランドトルース画像が取得される。
【0055】
伝統的な双曲線メタレンズは、より大きくより短い波長で厳しい色収差を体験する。立方体メタレンズは、色チャネルにわたってより優れた一貫性を維持するが、その大きな非対称ＰＳＦのせいで歪みが問題である。対照的に、以下で結果を例示する図面の微細な詳細において実証されるように、このような収差なしの高品質画像を実証する。我々は、ニューラル画像のまだ見ぬテストセットに対する再構築誤差を測定することによって、本発明のニューラルナノ光学機器を定量的に検証し、それに対して、既存の手法より１０×低い平均平方誤差を獲得する。ニューラル画像再構築に加えて、標準テストチャートを使用して空間解像度も測定した。ナノ光学機器撮像装置は、１２０ｍｍの対象物距離で、全ての色チャネルにわたって２１４ｌｐ／ｍｍの画像側空間解像度を達成する。これまでの最新技術に対して特定のオーダーだけ空間解像度が改善され、これは３０ｌｐ／ｍｍを達成した。
【0056】
具体的に、本発明の学習型撮像方法は、既存の製作品より、実験データに対する特定のオーダーだけ低い再構築誤差を可能にする。この結果の重要な実現要因は、微分可能メタ光学機器画像形成モデルおよび新規の逆畳み込みアルゴリズムである。微分可能エンドツーエンドモデルとして一緒に組み合わせて、再構築方法からの隔離において焦点スポットサイズを不利にする既存の方法から大幅に逸脱して、完全な計算による撮像パイプラインを、逆畳み込み後のＲＧＢ画像の品質である単なる標的メトリックのみで一緒に最適化する。
【0057】
図４Ａ～図４Ｄは、本技法の実施形態による撮像メタサーフェスの特徴付けを例示する。例示される実施形態では、本発明の学習型メタ光学機器は、電子ビームリソグラフィおよびドライエッチングを使用して製作され、対応する測定されたＰＳＦ、シミュレートされたＰＳＦおよびシミュレートされたＭＴＳが示される。
【0058】
画像を取り込む前に、最初に、製作された光学機器を使用して、製作の不正確さを考慮するために空間ＰＳＦを取り込む。それにも関わらず、シミュレートされたＰＳＦと取り込まれたＰＳＦの一致は、以下のシミュレーション結果に示されるようにメタサーフェスプロキシモデルの正確さを実証する。対照的に、伝統的メタ光学機器および立方体設計のＰＳＦは、赤の波長および青の波長で、ならびに異なる画角にわたって厳しい色収差を実証する。本発明の学習型設計は、可視スペクトルにわたって、およびＦＯＶにわたって全ての画角について一貫したＰＳＦ形状を維持し、下流の逆畳み込みおよび最終画像再構築を容易にする。
【0059】
図５は、本技法の実施形態によるニューラルナノ光学機器についてシミュレートされたＰＳＦ相関係数を例示する。このシミュレートされたケースでは、係数が０．５を超える範囲が、動作帯域を決定する。例示の実施形態では、設計は、４００ｎｍ～７００ｎｍの可視スペクトルにわたる撮像をサポートする。
【0060】
この動作帯域は、波長でＰＳＦの相関係数を算出し、この帯域を係数が約０．５より上に留まる範囲として定義することによって評価される。このメトリックは、ＰＳＦが波長の関数としてどのくらい類似しているかを我々に知らせ、これは、撮像する間に広帯域の光がメタ光学機器によって取り込まれる場合であっても、ＰＳＦを別個の波長で単に実験的に較正することができるならば、重要である。より高い相関係数は、より大きな類似性を示唆し、堅固な再構築を容易にする。係数が０．５を超える波長範囲はよって、動作帯域を規定する。この係数は、ＰＳＦの正規化された内項として算出され、それ自体は、固定された参照波長にある。この分析において、参照波長を５１１ｎｍに設定する。
【0061】
本発明のメタサーフェス撮像装置は、２の低いｆ値を維持しながら５００μｍの大きな口径サイズを実証し、これは、他の製作品よりも５倍以上大きな領域である。メタ光学機器は、偏光の影響を受けず、４００ｎｍ～７００ｎｍの完全な可視スペクトルにわたる撮像を可能にする。波長でＰＳＦの相関関数を算出し、この帯域を係数が約０．５より上に留まる範囲として定義することによってこの動作帯域を評価する。このメトリックは、ＰＳＦが波長の関数としてどのくらい類似しているかを我々に知らせ、これは、撮像する間に広帯域の光がメタ光学機器によって取り込まれる場合であっても、ＰＳＦを別個の波長で単に実験的に較正することができるならば、重要である。より高い相関係数は、より大きな類似性を示唆し、堅固な再構築を容易にする。係数が０．５を超える波長範囲はよって、動作帯域を規定する。この係数は、ＰＳＦの正規化された内項として算出され、それ自体は、固定された参照波長にある。この分析において、参照波長を５１１ｎｍに設定する。
【0062】
図６は、本技法の実施形態によるメタサーフェス散乱体シミュレーションを例示する。デューティサイクルの関数としての透過係数が、厳密な結合波分析を使用して計算された。ＤＣフーリエ成分のみで散乱体の誘電率を考慮することによって、より高次のフーリエ項からの寄与は無視するが、追加のフーリエ項を有する反応が近接して続いて起こる、適切な透過係数をなおも取り込む。ここで、Ｎ＝１は、我々の設計で使用される有効な指数近似ベースの透過係数位相を表す。図６に示される結果を獲得するプロセスが以下に記載される。
【0063】
メタサーフェス位相決定および点像分布関数計算
本発明の微分可能メタサーフェスモデルは、散乱体の光学反応を近似し、その後、メモリ効率光伝播のためのフーリエ光学機器を利用する（図７）。ナノポストを設計するために、厳密な結合波分析（ＲＣＷＡ）を使用して透過係数を計算した。設計は、シミュレーションにおいて７０５ｎｍの厚さを有する融解石英（ｎ＝１．５）基板の上の７０５ｎｍの厚さ、３５０ｎｍのピッチを有する、正方形断面の窒化ケイ素（ｎ＝２．０）のナノポストで構成される。位相からデューティサイクルまでの微分可能マッピングを保証するために、デューティサイクルの関数としての位相は、単射でなければならない。これを保証するために、単位格子の有効な指数近似を採用する。これは、微分可能プロキシ位相を保証するために、誘電率のＤＣ成分のみを考慮することによって、近似透過係数を計算するが、我々の設計の透過係数は、少量の共鳴の例外と共により高いフーリエ次数を含むときに、明らかには変化しない。シミュレートされたフルメタサーフェスは、ＲＣＷＡ計算された透過係数を各ピクセルにマッピングする帯域限定角度付きスペクトル方法を利用してモデル化された。
本発明の微分可能メタサーフェスモデルは、散乱体の光学反応を近似し、その後、メモリ効率光伝播のためのフーリエ光学機器を利用する（図７）。ナノポストを設計するために、厳密な結合波分析（ＲＣＷＡ）を使用して透過係数を計算した。設計は、シミュレーションにおいて７０５ｎｍの厚さを有する融解石英（ｎ＝１．５）基板の上の７０５ｎｍの厚さ、３５０ｎｍのピッチを有する、正方形断面の窒化ケイ素（ｎ＝２．０）のナノポストで構成される。位相からデューティサイクルまでの微分可能マッピングを保証するために、デューティサイクルの関数としての位相は、単射でなければならない。これを保証するために、単位格子の有効な指数近似を採用する。これは、微分可能プロキシ位相を保証するために、誘電率のＤＣ成分のみを考慮することによって、近似透過係数を計算するが、我々の設計の透過係数は、少量の共鳴の例外と共により高いフーリエ次数を含むときに、明らかには変化しない。シミュレートされたフルメタサーフェスは、ＲＣＷＡ計算された透過係数を各ピクセルにマッピングする帯域限定角度付きスペクトル方法を利用してモデル化された。
【0064】
デューティサイクルに対する微分を可能にするために、我々は、形式の多項式プロキシ関数にこの位相データを適合し、
式中、ｄは、必要なデューティサイクルであり、φは、メタサーフェス上の特定の位置での望ましい位相であり、ｂｉは、適合されたパラメータである。正方形ナノポストの場合、Ｎ＝２までの拡張のみを必要とする。この逆マッピングを適用して、必要な物理的構造を決定した後、ナノポストデューティサイクルおよび入射波長の組合せを与えられた位相遅延にマッピングする第２のプロキシ関数を利用して、他の波長に関する位相を算出する。
【数8】
【0065】
有効指数近似の下で散乱体の事前に算出された透過係数を適合することによってこれを再度モデル化するが、このときは、以下の形式の多項式、
を利用し、式中、λは、波長であり、ＮおよびＭは、デューティサイクルおよび波長それぞれにおける次数の数である。
【数9】
【0066】
これらの適合の品質は、メタサーフェスを正確にモデル化することに関連がある。線形最小二乗法を使用することで、図７に示されるその一致によって指摘されるように、決定された多項式が、基礎となる透過係数データＣＭＥＴＡに十分に適合することを見い出した。逆マッピングおよび順方向マッピングについて算出された決定係数は、それぞれ０．９９９４および０．９９９８であった。
【0067】
固定パラメータＣＭＥＴＡは、最適化可能パラメータに対して作用するメタサーフェスプロキシ関数ｆＭＥＴＡを決定し、
これは、メタサーフェス位相関数のｎ係数として上記に記載されている。よって、入力画角θが与えられると、ｆＭＥＴＡは、空間変動ＰＳＦを算出する。
微分可能センサノイズ
ピクセルごとのガウスポワソンノイズとしてセンサノイズをモデル化する。具体的には、ｘ∈［０，１］が一部のセンサピクセル位置において入力信号であり、ｆＳＥＮＳＯＲ（ｘ）がノイズの多い測定値であるならば、このとき、
ｆＳＥＮＳＯＲ（ｘ）＝ηｇ（ｘ，σｇ）＋ηｐ（ｘ，ａｐ）であり、
式中、ηｇ（ｘ，σｇ）～Ｎ（ｘ，σ２）は、ガウスノイズ成分であり、ηｐ（ｘ，αｐ）～Ｐ（ｘ／αｐ）はポワソンノイズ成分である。よって、ｆＳＥＮＳＯＲ関数は、ノイズパラメータＣＳＥＮＳＯＲ＝｛σｇ，αｐ｝によって決定されたアプリオリである。これらのパラメータを推定するのに較正方法を使用する。σｇ＝１×１０－５およびαｐ＝４×１０－５を決定し、最適化実験および総合評価の全てについてこれらの値を使用する。
【数10】
【数11】
ピクセルごとのガウスポワソンノイズとしてセンサノイズをモデル化する。具体的には、ｘ∈［０，１］が一部のセンサピクセル位置において入力信号であり、ｆＳＥＮＳＯＲ（ｘ）がノイズの多い測定値であるならば、このとき、
ｆＳＥＮＳＯＲ（ｘ）＝ηｇ（ｘ，σｇ）＋ηｐ（ｘ，ａｐ）であり、
式中、ηｇ（ｘ，σｇ）～Ｎ（ｘ，σ２）は、ガウスノイズ成分であり、ηｐ（ｘ，αｐ）～Ｐ（ｘ／αｐ）はポワソンノイズ成分である。よって、ｆＳＥＮＳＯＲ関数は、ノイズパラメータＣＳＥＮＳＯＲ＝｛σｇ，αｐ｝によって決定されたアプリオリである。これらのパラメータを推定するのに較正方法を使用する。σｇ＝１×１０－５およびαｐ＝４×１０－５を決定し、最適化実験および総合評価の全てについてこれらの値を使用する。
【0068】
エンドツーエンド最適化パイプラインのために自動微分を採用するために、エンドポイント損失からメタ光学機器まで流れる間ずっと勾配が必要とされる。エンドツーエンドの微分可能性のために、我々はよって、微分可能なやり方での画像形成および逆畳み込みの全てのステップを実施する。これにはセンサノイズも同様に含まれるため、これらの確率関数に微分可能性を組み込むためにいくつかの技術を利用した。具体的には、微分可能ガウスノイズは、再パラメータ化手法：
ηｇ（ｘ）＝ｘ＋σ２ηｇ（０，１）
を使用して実施される。
ηｇ（ｘ）＝ｘ＋σ２ηｇ（０，１）
を使用して実施される。
【0069】
ｘからメタ光学機器パラメータまで通して流れるのに勾配が必要とされるため、それが確率関数ηｇの外に移動することは、微分可能性を可能にする。センサノイズを、画像形成パイプライン内の微分可能ステップとして表現することは、ニューラルメタサーフェスパイプラインが測定誤差にどのように適応するかを自然に学習する代わりに、損失関数において手作業で設計されたレギュラライザを必要としない点において別の利点を与える。全変動などの伝統的な手作業で作られるレギュラライザは、高周波数の詳細を曖昧にすることが多い。
【0070】
特徴空間逆畳み込み
上記に記載したように、新規の特徴伝播スキームを利用する完全に微分可能なニューラル逆畳み込み方法ｆＤＥＣＯＮＶを採用する。
ｆＤＥＣＯＮＶ（Ｉ）＝ｆＤＥ（ｆＺ→Ｗ（ｆＦＥ（Ｉ））） （７）
上記に記載したように、新規の特徴伝播スキームを利用する完全に微分可能なニューラル逆畳み込み方法ｆＤＥＣＯＮＶを採用する。
ｆＤＥＣＯＮＶ（Ｉ）＝ｆＤＥ（ｆＺ→Ｗ（ｆＦＥ（Ｉ））） （７）
【0071】
各関数成分は、最適化可能パラメータで構成される。具体的には、ｆＦＥおよびｆＤＥは共に、畳み込みニューラルネットワーク（ＣＮＮ）で構成され、その最適化可能パラメータＰＦＥおよびＰＤＥはニューラルネットワークの重みで構成される。ｆＺ→Ｗについての最適化可能パラメータＰＺ→Ｗは、特徴伝播関数の選択に依存し、例えば、ウィーナーフィルタの場合、ＰＺ→Ｗは、ＳＮＲパラメータで構成される。これらのパラメータの全ては、ＰＤＥＣＯＮＶ＝ＰＦＥ∪ＰＺ→Ｗ∪ＰＤＥによって与えられ、逆畳み込みアルゴリズム、
Ｏ＝ｆＤＥＣＯＮＶ（Ｉ，ＰＳＦ，ＰＤＥＣＯＮＶ） （８）
を定義し、ＰＤＥＣＯＮＶの全ては、ニューラル設計中にＰＭＥＴＡと併せて一緒に最適化される。
Ｏ＝ｆＤＥＣＯＮＶ（Ｉ，ＰＳＦ，ＰＤＥＣＯＮＶ） （８）
を定義し、ＰＤＥＣＯＮＶの全ては、ニューラル設計中にＰＭＥＴＡと併せて一緒に最適化される。
【0072】
空間変動画像形成
任意の所与のメタ光学機器について、逆畳み込みアルゴリズムは、空間変動色収差を扱う必要がある。しかしながら、センサ取り込みの各ピクセルを空間的に変動するやり方で逆畳み込みすることは、計算上骨の折れる作業であり、例えば、１４４ｐｘ×１４４ｐｘ前後のサイズの大きなＰＳＦなどである。我々は、シフト可変重畳加算などのパッチベース逆畳み込み手法に転じる。生センサ取り込みをオーバラップするパッチのＭ×Ｍ格子に分け、各パッチに１つのＰＳＦを割り当てる。各パッチはその後、非ブラインドニューラル特徴伝播逆畳み込みｆＤＥＣＯＮＶを使用して逆畳み込みされ、出力は、オーバラップする領域で双一次式に混合される。図８は、この手順の例示である。
任意の所与のメタ光学機器について、逆畳み込みアルゴリズムは、空間変動色収差を扱う必要がある。しかしながら、センサ取り込みの各ピクセルを空間的に変動するやり方で逆畳み込みすることは、計算上骨の折れる作業であり、例えば、１４４ｐｘ×１４４ｐｘ前後のサイズの大きなＰＳＦなどである。我々は、シフト可変重畳加算などのパッチベース逆畳み込み手法に転じる。生センサ取り込みをオーバラップするパッチのＭ×Ｍ格子に分け、各パッチに１つのＰＳＦを割り当てる。各パッチはその後、非ブラインドニューラル特徴伝播逆畳み込みｆＤＥＣＯＮＶを使用して逆畳み込みされ、出力は、オーバラップする領域で双一次式に混合される。図８は、この手順の例示である。
【0073】
ＰＳＦが推論のために固定される間、設計中、視野に沿ってサンプリングされた個々のパッチを最適化する。
【0074】
１． 画角θでのＭ×Ｍ格子の単一パッチについてＰＳＦθをＰＳＦにする。画角θ＋ＥでのＰＳＦθ＋をＰＳＦにし、式中、Ｅは、小さい角度である。パッチの外周においてＰＳＦθ＋は、有効にＰＳＦである。
【0075】
２． 順方向通過に関して、ＰＳＦθ＋を使用するが、逆畳み込みに対してはＰＳＦθを使用する。このプロセスは、ＰＳＦ設計に対する正規化として作用し、ＰＳＦθとＰＳＦθ＋の間の変動は、極端すぎることはあり得ない。
【0076】
３． Ｍ×Ｍ格子全体をカバーするためにθの他の値についても繰り返す。各逆畳み込み後のパッチについて個別の損失を算出し、その後、総損失を全ての訓練可能パラメータに対して逆伝播する。
【0077】
設計および製作後、プロキシモデルによってシミュレートされたＰＳＦとＰＳＦ較正ステップを実行することによって実験的に測定されたＰＳＦとの間のミスマッチを考慮する。Ｍ×Ｍパッチの各々に対応するＰＳＦを測定し、これらの測定されたＰＳＦを使用して逆畳み込みネットワークを微細に調整する。微細調整手順において、推論中にメタ光学機器を最適化していないため、順方向通過と逆畳み込みの両方に対して同じＰＳＦを使用することに留意されたい。
【0078】
完全に微分可能なメタサーフェス撮像
メタサーフェス撮像パイプラインは全体で、一次確率勾配最適化を適用し、ユーザ定義のエンドポイント損失関数Ｌを最小限にするＰＭＥＴＡおよびＰＤＥＣＯＮＶを一緒に最適化することを可能にする。我々のケースでは、入力ＲＧＢ画像Ｉが与えられると、Ｉを高い忠実度で回復させるパラメータ値を必要とする。したがって、エンドポイント損失Ｌは、Ｉと回復した画像Ｏとの間の知覚的画像品質を測定する。エンドツーエンド設計段階において、画像形成は、先に記載したオフセットＰＳＦ画角スキームを使用して定義され、
ＰＳＦθ＝ｆＭＥＴＡ（θ，ＰＭＥＴＡ，ＣＭＥＴＡ），ＰＳＦθ＋＝ｆＭＥＴＡ（θ＋Ｅ，ＰＭＥＴＡ，ＣＭＥＴＡ） （９）
Ｏθ＝ｆＤＥＣＯＮＶ（ｆＳＥＮＳＯＲ（Ｉθ＊ＰＳＦθ＋，ＣＳＥＮＳＯＲ），ＰＳＦθ，ＰＤＥＣＯＮＶ）） （１０）
式中、Ｉθは、画角θに対応するＩの画像パッチであり、＊は、畳み込み演算子である。
メタサーフェス撮像パイプラインは全体で、一次確率勾配最適化を適用し、ユーザ定義のエンドポイント損失関数Ｌを最小限にするＰＭＥＴＡおよびＰＤＥＣＯＮＶを一緒に最適化することを可能にする。我々のケースでは、入力ＲＧＢ画像Ｉが与えられると、Ｉを高い忠実度で回復させるパラメータ値を必要とする。したがって、エンドポイント損失Ｌは、Ｉと回復した画像Ｏとの間の知覚的画像品質を測定する。エンドツーエンド設計段階において、画像形成は、先に記載したオフセットＰＳＦ画角スキームを使用して定義され、
ＰＳＦθ＝ｆＭＥＴＡ（θ，ＰＭＥＴＡ，ＣＭＥＴＡ），ＰＳＦθ＋＝ｆＭＥＴＡ（θ＋Ｅ，ＰＭＥＴＡ，ＣＭＥＴＡ） （９）
Ｏθ＝ｆＤＥＣＯＮＶ（ｆＳＥＮＳＯＲ（Ｉθ＊ＰＳＦθ＋，ＣＳＥＮＳＯＲ），ＰＳＦθ，ＰＤＥＣＯＮＶ）） （１０）
式中、Ｉθは、画角θに対応するＩの画像パッチであり、＊は、畳み込み演算子である。
【0079】
以下を解くために自動微分オプティマイザをその後適用し、
式中、ＰＳＦθは、画角θで測定されたＰＳＦであり、ｆＳＶＯＬＡは、図Ｓ４に示されるシフト可変重畳加算手順である。
を初期化地点として使用して、以下を解くために、その後自動微分を再度適用する。
最終的な学習逆畳み込みパラメータ
は、実験使用のために学習した製作された光学機器と共に使用される。
【数12】
【数13】
【数14】
【数15】
【0080】
図７は、本技法の実施形態による微分可能プロキシベースメタサーフェスを例示する。全てのシミュレートされた波長におけるメタサーフェス位相を決定するために、微分可能な逆向きの位相マッピングおよび順方向位相マッピングを連続して適用する。公称波長での所望される位相から、必要な散乱体分布を最初に算出し、位相から逆向きのやり方で構造にマッピングする。構造を規定することで、その後順方向マッピングを適用し、デューティサイクルを、エンドツーエンド設計で使用される多様な波長に対する位相に変換する。各波長で位相を決定することで、その後電場を画像平面に回折させ、二乗された係数を取得することによって非干渉性ＰＳＦを算出することができる。
【0081】
図８は、本技法の実施形態による実験展開のためのシフト可変重畳加算逆畳み込みを例示する。生センサ取り込みを５ｘ５格子のパッチに分け、ニューラル特徴伝播逆畳み込みを各パッチに適用する。各パッチの出力は、境界線においてそれらの近接するパッチと双一次式に混合される。
【0082】
図９は、本技法の実施形態による設計段階画像形成および逆畳み込みを例示する。画像形成のために（順方向通過）、および非ブラインド逆畳み込みのために、異なるＰＳＦを使用することによってエンドツーエンド設計段階においてＰＳＦ空間変異度を最小限にする。ニューラル特徴伝播は、式（１）から（４）に関連して上記に記載される。
【0083】
図１０は、本技法の実施形態によるニューラル特徴プロパゲータネットワークのアーキテクチャを例示する。特徴エキストラクタｆＦＥは、１、２、４ダウンサンプリングされた解像度で特徴を抽出し、これは、グローバルおよびローカルな特徴の学習を可能にする。学習された特徴は、異なる解像度にわたって共有される。抽出後、特徴テンソルは、ｆＺ→Ｗを通して伝播される。ＰＳＦは、非ブラインド逆畳み込みのために特徴プロパゲータによって使用され、ＰＳＦは、異なる画像解像度のためにサイズ変更される。特徴伝播後、デコーダｆＤＥが再びＣＮＮを適用して、特徴テンソルを単一のＲＧＢ再構築に融合させる。デコーダはまた、画像解像度にわたって情報を共有する。スキップ接続（先の特徴テンソルの連結）が、ｆＦＥおよびｆＤＥの両方によって採用されて、ネットワークにわたって画像特徴をより好適に往復させる。図面では、特徴チャネルの数は、動作層の上に示されている。
【0084】
Ｔａｂｌｅ Ｔ１（表１）：特徴エキストラクタのためのニューラル特徴プロパゲータネットワークアーキテクチャ。表中、「ｃｏｎｖ－ｃ（ａ）－ｋ（ｂ）－ｓ（ｃ）－ＬＲｅｌｕ」は、ストライドｃを使用するａ出力チャネルでの、すなわちｂｘｂカーネルウィンドウでの畳み込み層を表し、その後に、Ｌｅａｋｙ Ｒｅｌｕ（α＝０．０２）活性関数が続く。転置畳み込みを表すのにｃｏｎｖＴを使用する。
【0085】
【表1】
【0086】
Ｔａｂｌｅ Ｔ２（表２）：特徴プロパゲータのためのニューラル特徴プロパゲータネットワークアーキテクチャ。このネットワークは、入力として特徴エキストラクタから層で取得する。
【0087】
【表2】
【0088】
Ｔａｂｌｅ Ｔ３（表３）：デコーダのためのニューラル特徴プロパゲータネットワークアーキテクチャ。表中、「ｃｏｎｖ－ｃ（ａ）－ｋ（ｂ）－ｓ（ｃ）－ＬＲｅｌｕ」は、ストライｃを使用する出力チャネルでの、すなわちａｂ ｘ ｂカーネルウィンドウでの畳み込み層を表し、その後に、Ｌｅａｋｙ Ｒｅｌｕ（α＝０．０２）活性関数が続く。転置畳み込みを表すのにｃｏｎｖＴを使用する。このネットワークは、入力として特徴プロパゲータから層で取得する。
【0089】
【表3】
【0090】
図１１Ａ～図１１Ｃは、本技法の実施形態による設計最適化および微細調整稼働に対するメトリック知覚量を例示する。両方の稼働を通して、メタサーフェス撮像パイプライン全体のパラメータは、フルカラーの広視野撮像のための実行可能な解法に向けて収束する。
【0091】
図１２Ａ～図１２Ｂは、本技法の実施形態による実験的撮像設定を例示する。ここでは、ＲＧＢ波長の各々について１つのレーザで、可動ピンホールおよびレーザ源を使用することによって空間変動ＰＳＦを取り込む。ひとたび取り込まれると、測定された空間ＰＳＦは、逆畳み込みアルゴリズムにおいて使用され、シミュレートされたＰＳＦに置き換わる。ピンホールおよびレーザが、画像を表示するモニタに置き換えられること以外は、同じ設定が画像を取得するためにも使用される。
【0092】
とりわけ、図１２Ａは、ＰＳＦ取得設定を例示し、図１２Ｂは、画像取り込み設定を例示する。図１２Ａは、ピンホール１３１を有するプレートを通るように光を誘導する平行光（平行ＬＥＤ）の光源１４０を有する光学システムを例示する。ピンホール１３１を通過する光は、光ビームとしてメタサーフェス１００に向かって拡張する。例示されるメタサーフェスは、０．５ｍｍの口径を有するが、他の値も可能である。
【0093】
異なる実施形態では、焦点フィールドは、中継システム１５０ （焦点フィールドを観察するためにマイクロスコープまたは別の光学要素を備える）によって観察可能である。焦点フィールドの画像は、光検出器１８０（例えばカメラ、例えば電荷結合素子（ＣＣＤ）カメラなど）によって獲得されてよい。動作中、光検出器１８０は、ピンホール１３１の画像を記録する。システムの動作は、制御コンピュータ（コントローラ）１７０によって制御されてよい。コントローラ１７０によって実行される機能の一部の例は、異なる波長のための動作の再構築／修正パラメータの計算などである。
【0094】
図１２Ｂは、画像取り込み設定を例示する。例示される実施形態では、プレート１３０およびピンホール１３１は、対象物を表示する平行光の光源１４０（ＯＬＥＤディスプレイ）によって置き換えられる。動作中、プリントされた対象物のパターンは、メタサーフェス１００上に投影され、計算による再構築１７１（後処理エンジンとも呼ばれる）を含む、さらなる分析および／または画像処理のために光検出器１８０によって記録されてよい。いくつかの実施形態において、後処理エンジンは、システムによって取得された画像（最初の画像）またはグランドトルース画像を最初の画像の逆畳み込み後の形式に対して比較するために画像勾配または勾配降下方法に依拠してもよい。いくつかの実施形態において、後処理エンジン１７１は、機械学習エンジンである。
【0095】
【0096】
図１３は、本技法の実施形態による実験的な取り込みを使用する異なるメタ光学機器設計のための定性比較を例示する。ベースラインメタ光学機器設計の収差は、高品質のフルカラー撮像を可能にするには厳しすぎるが、本発明のニューラル特徴伝播は、これらの設計での一部の詳細を回復することを成し遂げる。エンドツーエンド最適化ニューラルメタ光学機器は、ニューラル特徴伝播を使用する下流の逆畳み込みを容易にするのに成功する唯一の設計である。
【0097】
図１４は、本技法の実施形態によるシミュレーションにおける逆畳み込みアルゴリズム間の定性比較を例示する。逆畳み込みアルゴリズムの多くは、特定の欠点を持つ。例えばウィーナーフィルタリングは、センサノイズを悪化させる。Ｒｉｃｈａｒｄｓｏｎ－ＬｕｃｙおよびＡＤＭＭは共に、輪郭がはっきりとした微細な詳細を回復させない。Ｋｕｐｙｎ等は、いかなるブレの修正も回避する、局所的最低値に陥る。Ｓｏｎ等は、特徴エキストラクタを採用せず、結果として我々の方法と同レベルの性能に達することはない。ニューラル特徴伝播は、高周波内容を回復し、センサノイズをなくしつつ、正確な色を再現する。
【0098】
図１５は、本技法の実施形態による対応するＭＴＦプロットでシーメンススターチャートの再構築のための定性結果を例示する。ニューラルナノ光学機器撮像装置での再構築は、グランドトルースシーメンススターのＭＴＦに正確に一致するのに対して、他の方法のＭＴＦは、優位な空間解像度を損失する。
【0099】
本開示の目的のために、「上方」、「下方」、「垂直方向」、「水平方向」、「内側」、「外側」、「内部」、「外部」、「前方」、「後方」などの専門用語は、特許請求の主題の範囲を限定するのではなく、記述的なものとして解釈するべきである。さらに「含む」、「備える」または「有する」および本明細書のその変形形態は、その後に列挙される品目およびその等価物ならびに追加の品目を包含することを意味している。そうでないことが限定されなければ、用語「接続される」、「結合される」、「設置される」および本明細書でのその変形形態は、広範に使用され、直接および間接的接続、結合および設置を包含する。用語「約」は、記述される値の±５％を意味する。
【0100】
本開示の原理、代表的な実施形態および動作の形態が前述の説明に記載されている。しかしながら、保護されることが意図される本開示の態様は、開示される特定の実施形態に限定されるように解釈されるべきではない。さらに、本明細書に記載される実施形態は、限定ではなく例示としてみなすべきである。本発明の趣旨および範囲から逸脱することなく、他者によって変形形態および変更が行われ得ること、および等価物が利用され得ることを理解されたい。したがって、全てのそのような変形形態、変更および等価物は、特許請求される本開示の趣旨および範囲内にあることが明白に意図されている。
【0101】
例示的な実施形態が例示され記載されているが、本発明の趣旨および範囲から逸脱することなく種々の変更を行うことができることを理解されたい。
【符号の説明】
【0102】
１００ メタレンズ
１１０ ナノポスト
１１５ 基板
１３０ プレート
１３１ ピンホール
１４０ 光源
１５０ 中継システム
１６０ 特徴逆畳み込みエンジン
１６１ プロキシモデル
１７０ 制御コンピュータ
１７１ 後処理エンジン
１８０ センサ、光検出器
ｄ 直径
ｔ 高さ
ｐ ピッチ
ｒ 光軸からの距離
１１０ ナノポスト
１１５ 基板
１３０ プレート
１３１ ピンホール
１４０ 光源
１５０ 中継システム
１６０ 特徴逆畳み込みエンジン
１６１ プロキシモデル
１７０ 制御コンピュータ
１７１ 後処理エンジン
１８０ センサ、光検出器
ｄ 直径
ｔ 高さ
ｐ ピッチ
ｒ 光軸からの距離
【図1】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図12A】
【図12B】
【図13-1】
【図13-2】
【図14-1】
【図14-2】
【図14-3】
【図14-4】
【図15-1】
【図15-2】
【国際調査報告】