特表 2022-514580 機械学習による光学補正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-14

(54)【発明の名称】機械学習による光学補正

(51)【国際特許分類】

   G06T 5/00 20060101AFI20220204BHJP

   H04N 5/232 20060101ALI20220204BHJP

【ＦＩ】

G06T5/00 710

H04N5/232 290

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021535195

(86)(22)【出願日】2019-12-11

(85)【翻訳文提出日】2021-07-19

(86)【国際出願番号】 EP2019084553

(87)【国際公開番号】W WO2020126720

(87)【国際公開日】2020-06-25

(31)【優先権主張番号】102018222147.2

(32)【優先日】2018-12-18

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】511079735

【氏名又は名称】ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ

【住所又は居所原語表記】Ｅｒｎｓｔ－Ｌｅｉｔｚ－Ｓｔｒａｓｓｅ １７－３７， Ｄ－３５５７８ Ｗｅｔｚｌａｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】コンスタンティン カッペル

(72)【発明者】

【氏名】フローリアン ファールバッハ

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CD12

5B057CE03

5B057CE16

5B057DA17

5B057DB02

5B057DB06

5B057DB09

5B057DC02

5B057DC40

5C122DA01

5C122DA09

5C122EA06

5C122EA31

5C122EA55

5C122FB03

5C122FC01

5C122FC02

5C122FH06

5C122GA01

5C122HA13

5C122HA35

5C122HA46

5C122HA48

5C122HA88

5C122HB10

(57)【要約】

本発明は、光学的結像エラーを補正するニューラルネットワーク（１３０；２００；３３０）を決定するための方法に関しており、該方法は、以下のステップ、すなわち、１つ以上の画像を決定するステップ（４１８）であって、ここで、１つ以上の画像（１２６）は、少なくとも部分的に光学系（１５２）またはその仕様に関連付けられるステップと、決定された１つ以上の画像に依存して、ニューラルネットワーク（１３０；２００；３３０）を決定するステップ（４２０）であって、それにより、決定されたニューラルネットワーク（１３０；２００；３３０）が、光学系（１５２）を用いて捕捉された画像（２１０）に適用されて１つ以上の光学的結像エラーに関して補正された画像（２２０）を出力するステップと、を含む。

【特許請求の範囲】

【請求項1】

光学的結像エラーを補正するニューラルネットワーク（１３０；２００；３３０）を決定するための方法であって、前記方法は、
１つ以上の画像を決定するステップ（４１８）であって、前記１つ以上の画像は、少なくとも部分的に光学系（１５２）または光学系（１５２）の仕様に関連付けられているステップ（４１８）と、
前記決定された１つ以上の画像に依存して、ニューラルネットワーク（１３０；２００；３３０）を決定するステップ（４２０）であって、それにより、前記決定されたニューラルネットワーク（１３０；２００；３３０）が、前記光学系（１５２）を用いて捕捉された画像（２１０）に適用されて１つ以上の光学的結像エラーに関して補正された画像（２２０）を出力するステップ（４２０）と、
を含む方法。

【請求項2】

前記ニューラルネットワーク（１３０；２００；３３０）を決定するステップ（４２０）は、前記ニューラルネットワーク（１３０；２００；３３０）をトレーニングすることを含む、
請求項１記載の方法。

【請求項3】

前記１つ以上の画像を決定するステップ（４１８）は、複数の画像対（１２６）を含むトレーニング画像を決定することを含み、前記ニューラルネットワーク（１３０；２００；３３０）をトレーニングすることは、前記トレーニング画像においてトレーニングすることを含み、前記複数の画像対（１２６）の各画像対は、それぞれ、前記ニューラルネットワーク（１３０；２００；３３０）用の入力画像（Ｘ_ｉ）および目標出力画像（ｙ_０）を含む、
請求項２記載の方法。

【請求項4】

前記トレーニング画像は、捕捉された画像から生成され、前記捕捉された画像は、１つ以上の光学系を用いて、かつ／または、光学系（１５２）により捕捉されたものであり、前記１つ以上の光学系のいずれも前記光学系（１５２）と同じ仕様でないか、前記１つ以上の光学系の一部またはすべてが前記光学系（１５２）と同じ仕様であり、かつ／または、前記捕捉された画像は、１つ以上のサンプルタイプを画像化している、
請求項３記載の方法。

【請求項5】

前記トレーニング画像は、光学的結像エラーのシミュレーションによって生成される、
請求項３記載の方法。

【請求項6】

前記方法は、前記光学系（１５２）のためにまたは前記光学系（１５２）と少なくとも部分的に仕様が同一である光学系のために、少なくとも１つの光学伝達関数（ＯＴＦ）または少なくとも１つの点像分布関数（ＰＳＦ）を決定するステップをさらに含み、複数の画像対（１２６）の入力画像は、エラーのない画像と前記少なくとも１つの点像分布関数ＰＳＦのうちの１つとの畳み込みによって生成され、前記エラーのない画像は、前記複数の画像対（１２６）の対応する目標出力画像として使用される、
請求項３記載の方法。

【請求項7】

前記ニューラルネットワーク（１３０；２００；３３０）をトレーニングすることは、前記トレーニング画像とさらなるデータとにおいてトレーニングすることを含み、前記さらなるデータは、以下のうちの少なくとも１つ、すなわち、トレーニング画像に関連するパラメータデータ、検証データ、前記光学系（１５２）の製造に関連する測定データ、実験または測定の手順に関するデータ、試薬および材料に関する情報、オブジェクトまたはサンプルに関する情報、前記光学系（１５２）に関する情報、利用者関連データ、ユーザー入力および画像捕捉系に関する情報のうちの少なくとも１つを含む、
請求項３から６までのいずれか１項記載の方法。

【請求項8】

前記ニューラルネットワーク（１３０；２００；３３０）は、第１のニューラルネットワーク（１３０；２００；３３０）であり、前記第１のニューラルネットワーク（１３０；２００；３３０）をトレーニングするステップは、第２のニューラルネットワーク（１３６）を適用することを含み、前記第２のニューラルネットワーク（１３６）は、前記第１のニューラルネットワーク（１３０；２００；３３０）のトレーニング用の損失関数として適用される、
請求項２から７までのいずれか１項記載の方法。

【請求項9】

前記方法は、前記決定されたニューラルネットワーク（１３０；２００；３３０）を微調節するステップ（４３０，１４０）をさらに含む、
請求項１から８までのいずれか１項記載の方法。

【請求項10】

前記微調節するステップ（４３０）は、前記決定されたニューラルネットワーク（１３０；２００；３３０）の一部のみをトレーニングすることを含み、前記決定されたニューラルネットワーク（１３０；２００；３３０）の１つ以上のパラメータは、前記微調節するステップ（４３０）の間不変のまま維持され、かつ／または、前記微調節するステップ（４３０）は、前記光学系（１５２）用に特別にトレーニングすることを含み、かつ／または、前記微調節されたニューラルネットワーク（１５０）は、一義的に前記光学系（１５２）に割り当てることができる、
請求項９記載の方法。

【請求項11】

前記方法は、前記微調節するステップ（４３０）のための個々のトレーニングデータ（１５６）を生成するステップ（４２８）をさらに含み、前記個々のトレーニングデータ（１５６）を生成するステップ（４２８）は、前記光学系の光学特性を決定するステップ（１４２）および／または前記光学系（１５２）を用いて測定サンプルを捕捉するステップを含み、前記個々のトレーニングデータ（１５６）は、前記光学特性および／または前記測定サンプルに基づいて生成される、
請求項９または１０記載の方法。

【請求項12】

前記方法は、測定サンプル、光学特性および／または個々のトレーニングデータ（１５６）を格納するステップを含み、および／または、前記測定サンプル、前記光学特性および／または前記個々のトレーニングデータ（１５６）は、前記光学系（１５２）に一義的に割り当てられている、
請求項１１記載の方法。

【請求項13】

前記光学系（１５２）は、一義的にかつ／または自動的に識別可能であり、かつ／または、前記ニューラルネットワーク（１３０；２００；３３０）は、一義的に前記光学系（１５２）に割り当てることができる、
請求項１から１２までのいずれか１項記載の方法。

【請求項14】

前記光学系（１５２）は、電磁的識別、光学的識別（１５４）、機械的識別または磁気的識別を用いて識別可能である、
請求項１３記載の方法。

【請求項15】

前記方法は、前記決定されたニューラルネットワーク（１３０；２００；３３０）を前記捕捉されたデータ（２１０）に適用するステップを含み、前記捕捉されたデータ（２１０）は、前記光学系（１５２）または同じタイプの光学系を用いて捕捉されたデータである、
請求項１から１４までのいずれか１項記載の方法。

【請求項16】

前記１つ以上の光学的結像エラーは、以下の光学的結像エラー、すなわち、非点収差、ケラレ、コマ収差、色収差、球面収差および焦点ぼけのうちの少なくとも１つを含む、
請求項１から１５までのいずれか１項記載の方法。

【請求項17】

前記ニューラルネットワークを決定するステップ（４２０）は、前記１つ以上の画像に基づいて前記ニューラルネットワーク（１３０；２００；３３０）をトレーニングすることを含み、前記ニューラルネットワーク（１３０；２００；３３０）は、トレーニング中にオブジェクトおよび／または構造部が前記１つ以上の画像内で理想的にどのように見え、そこからの偏差をどのように補正するかを学習する、
請求項１記載の方法。

【請求項18】

前記光学系（１５２）は、顕微鏡、顕微鏡システム、カメラ、スマートフォン、望遠鏡、モバイルコンピュータ、据え置き型コンピュータまたは測定機器の結像系および／または撮像系の一部である、
請求項１から１７までのいずれか１項記載の方法。

【請求項19】

光学的結像エラーを補正するための装置（３００）であって、前記装置（３００）は、
１つ以上のプロセッサ（３１０）と、
コンピュータ実行可能命令が格納されている１つ以上のコンピュータ可読記憶媒体（３２０）と、
を含み、前記コンピュータ実行可能命令は、１つ以上のプロセッサ（３１０）によって実行されるときに、１つ以上の画像（２１０）が結像系および／または撮像系を用いて捕捉されることを引き起こし、
前記１つ以上の捕捉された画像（２１０）における１つ以上の光学的結像エラーは、結像系および／または撮像系の少なくとも一部に関連付けられ、
ニューラルネットワーク（１３０，１５０；２００；３３０）は、前記１つ以上の捕捉された画像（２１０）に適用され、前記ニューラルネットワーク（１３０，１５０；２００；３３０）は、１つ以上の補正された画像（２２０）において１つ以上の光学的結像エラーが補正または低減されるように、前記１つ以上の捕捉された画像（２１０）から１つ以上の対応する補正された画像（２２０）を生成するように構成されている、
装置（３００）。

【請求項20】

前記１つ以上の捕捉された画像（２１０）は、格納され、前記ニューラルネットワーク（１３０，１５０；２００；３３０）は、前記１つ以上の格納された捕捉された画像（２１０）に適用され、または、前記ニューラルネットワーク（１３０，１５０；２００；３３０）は、前記１つ以上の捕捉された画像（２１０）に直接適用され、前記１つ以上の補正された画像（２２０）のみが格納される、
請求項１９記載の装置（３００）。

【請求項21】

前記結像系および／または撮像系の少なくとも一部は、光学系、写真層、ｓＣＭＯＳもしくはＣＣＤセンサ、または、１つ以上の拡散ディスクを含む、
請求項１９または２０記載の装置（３００）。

【請求項22】

コンピュータプログラムであって、前記コンピュータプログラムがコンピュータによって実行されるときに、コンピュータに請求項１から１８までのいずれか１項記載の方法を実施させる命令を含んでいる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光学的結像エラーを補正するニューラルネットワークを決定するための方法および装置に関する。

【背景技術】

【0002】

光学系は、出力側から光学系を離れ光学系の入力側の波形と異なるような、光学伝達関数（ＯＴＦ）とも称される結像関数として理解することができる。これらの変動の多くは望ましくなく、収差、非点収差、ケラレおよび／またはコマ収差などの既知の光学的結像エラーにつながる。光学的結像エラーは、例えば対物レンズや個々のレンズなどの光学系の製造と機能性とに関連付けられる可能性がある。これらの光学的結像エラーは、画像内の特定の情報が直接読み取れなくなるなど画像の品質を損なわせる可能性がある。

【0003】

従来技術では、光学的結像エラーを補正するさまざまな方法が示されている。これらの光学エラーを回避するための従来技術からの１つの可能性は、光学系をそれらの製造時に最適化することにある。例えば、色収差を低減するためのレンズの被覆（コーティング）、または厳密に定められた物理的特性を有する特定のガラスや鉱物の使用により、光学的結像エラーを低減することが可能である。代替的に、特定の状況において付加的な光学的構成素子の使用により、光学系において光学特性の改善を喚起することもできる。

【0004】

しかしながら、従来技術からのこの方法には、以下で考察されるいくつかの欠点および問題がある。光学エラーは、より高品質な材料を使用するか、光学系においてさらなる光学素子を使用することによって低減することができるが、完全に回避することはできない。例えば、対物レンズにおける画像誤差の補正は、縁部に向かって減少する可能性がある。対物レンズが指定される像面上の開口数についての確定は、ある程度、開発者の裁量に委ねられており、特定の品質パラメータの低下ならびに推定すべき製造許容誤差に依存する。ただし、製造許容誤差に関連する光学的結像エラーは、光学部品の最適化によって排除することはできない。そのため、高品質の対物レンズは非常に小さな製造許容誤差しか許容できない。さらに、結像エラーを低減するこの方法によれば、高いコスト（材料コストまたは追加部品によるコスト）が発生する可能性もある。

【0005】

光学的結像エラーを補正するための別の手段は、撮像系によって捕捉された画像が、電子データ処理（ＥＤＰ）を用いて後続処理されることである。典型的には、画像誤差の補正は、数学モデルを用いて実施される。その際、エラーの個々の成分の記述は、ゼルニケ多項式を用いて行うことが可能である。これらの画像誤差は、球面収差、色収差、非点収差、コマ収差などの成分に分解され、これらは特定のゼルニケ多項式にも割り当てられる。ここで、対物レンズを用いて点光源の画像が記録され、それによって、対物レンズの点像分布関数（ＰＳＦ）が決定される場合、測定された点画像を理想的な点画像と比較することにより、個々の画像誤差の寄与、ひいてはゼルニケ多項式の振幅を推論することができる。ただし、この場合、対物レンズのＰＳＦの正確な決定が必要である。これは常に可能であるとは限らず、場合によっては過度に不正確なこともある。

【0006】

例えば、ケラレ補正やデコンボリューションなどの他の方法を、光学エラーの補正のために使用することもできる。ケラレ補正のための既存の方法では、通常、均質なサンプルを用いて基準画像が記録され、その後で、これは、線形法を用いて、サンプルの記録された画像とオフセットされる。ただし、この方法には、１つのサンプルレベルでのみ機能し、ケラレに関連する他のエラーを無視するという欠点がある。

【0007】

結像エラーを補正するための従来技術からのこれらの数学的方法の欠点は、当該数学的方法が、未知の対物レンズを用いて記録された古いデータに対してまったくか、または限定的にしか適用できないことにある。なぜなら、それらは、特定のサンプルの測定値、または対物レンズの測定とその光学特性とに依存しているからである。それゆえ、これらの従来技術からの方法は、未知の対物レンズを用いて記録された古いデータ（画像）に適用可能でないか、または不正確な結果を提供する。

【発明の概要】

【発明が解決しようとする課題】

【0008】

したがって、本発明の課題は、光学的結像エラーを補正するための改善された手段を提供することである。

【課題を解決するための手段】

【0009】

本発明は、言及された問題および課題を、光学的結像エラーを補正するニューラルネットワークを決定するための方法によって解決している。この方法は、１つ以上の画像を決定するステップであって、ここで、１つ以上の画像は、少なくとも部分的に光学系または光学系の仕様に関連付けられているステップと、決定された１つ以上の画像に依存して、ニューラルネットワークを決定するステップであって、それにより、決定されたニューラルネットワークが、光学系を用いて捕捉された画像に適用されて１つ以上の光学的結像エラーに関して補正された画像を出力するステップと、を含む。

【0010】

本発明による装置は、１つ以上のプロセッサと、１つ以上のコンピュータ可読記憶媒体と、を含み、ここで、１つ以上のコンピュータ可読記憶媒体上に、それが１つ以上のプロセッサによって実行されるときに、１つ以上の画像が結像系および／または撮像系を用いて捕捉されることを引き起こす、コンピュータ実行可能命令が格納されており、ここで、１つ以上の捕捉された画像における１つ以上の光学的結像エラーは、結像系および／または撮像系の少なくとも一部に関連付けられ、ニューラルネットワークが、１つ以上の捕捉された画像に適用され、ここで、ニューラルネットワークは、１つ以上の補正された画像において１つ以上の光学的結像エラーが補正または低減されるように、１つ以上の捕捉された画像から１つ以上の対応する補正された画像を生成するように構成されている。

【0011】

本発明による方法および本発明による装置では、ニューラルネットワークが、例えばディープランニングの意味で光学的結像エラーの補正のために決定もしくは適用されるという利点を有する。これは、既存の光学系の結像性能を向上させることを可能にする。さらに、本発明による方法および本発明による装置は、光学系の製造におけるコストが節約できることを可能にする。光学系、例えば高性能な光学系の製造コストは、光学的結像エラーを回避するためにどのような手段を講じる必要があるか（材料の選択、コーティングの被着、さらなるレンズおよびレンズ群の挿入など）に大きく依存している。光学系の製造時のさらなるコスト要因は、光学部品の許容変動にある。本発明による方法は、光学パラメータの変動に対してより高い許容誤差を可能にする。これにより、コストを削減することができる。光学的結合エラーを補正するニューラルネットワークを決定することにより、例えば、光学系の製造における特定の製造ステップを節約することができ、より費用効果の高い材料を使用することができ、かつ／または光学的構造部の簡素化（例えばレンズの削除による）を行うことができる。これにより、光学的結像エラーを補正するニューラルネットワークと組み合わせて動作する撮像系または光学系を、より費用効果の高いやり方で製造することができる。その他に、ニューラルネットワークは、これまで未知の用途についてもより良好な一般化を可能にする。

【0012】

本発明による方法および本発明による装置のさらなる利点は、画質に影響を与えることなくそれらの使用領域が拡張されるように光学系を適合化させることができる点にある。例えば、光学系の特定のパラメータに対してより細分化された要求を課すことができる。これにより、他の光学特性の自由度が高まり、このことは、新しい適用領域を開かせる。例えば、最大平坦度と最大作動距離とは相互に排他的である。光学系の平坦度に関連する光学エラーが、これらのエラーを補正するニューラルネットワークの決定によって無視することができる場合、より長い作動距離が可能になり、それによって、サンプル選択時の融通性も増す。さらに、本発明による方法は、非線形的でもある複数の光学エラーを同時に補正する手段を提供することができる。

【0013】

本発明による方法および本発明による装置は、それぞれ、特定の実施形態によってさらに改善することができる。ここでは、以下に記載される本発明の実施形態の個々の技術的特徴は、省かれた技術的特徴で得られる技術的効果が重要でない限り、任意に相互に組み合わせることができ、かつ／または任意に省くことができる。

【0014】

一実施形態では、ニューラルネットワークを決定するステップは、ニューラルネットワークをトレーニングすることを含む。この１つ以上の画像を決定するステップは、トレーニング画像を決定することを含むことができ、ここで、ニューラルネットワークをトレーニングすることは、複数の画像対を含むトレーニング画像におけるトレーニングを含む。トレーニング用の複数の画像対の各画像対は、それぞれ、ニューラルネットワーク用の入力画像および目標出力画像を含むことができる。これは、未知の対物レンズを用いて記録された古いデータの結像エラーの補正を可能にし、これによって、ニューラルネットワークが、光学系または光学系の仕様に関連して学習されたトレーニングデータに基づいて、光学的結像エラーを補正することが可能になる。つまり、個々のケースにおいて、必ずしも既存の対物レンズごとに基準測定を実施する必要はなくなる。なぜなら、ニューラルネットワークは、画像データと画像内容とがどのように見えるべきかを学習するからである。従来の方法ではこれを行うことができない。

【0015】

実施形態では、トレーニング画像は、例えば１つ以上のサンプルタイプを結像する捕捉された画像から生成することができ、ここで、捕捉された画像は、１つ以上の光学系を用いて、かつ／または光学系により捕捉されたものであり、ここで、１つ以上の光学系のいずれも光学系と同じ仕様でないか、１つ以上の光学系の一部またはすべてが光学系と同じ仕様である。先のものと組み合わせ可能なさらなる実施形態では、トレーニング画像は、光学的結像エラーのシミュレーションによって生成することができる。このシミュレーションについては、光学系または光学系の仕様に対して、光学伝達関数（ＯＴＦ）または点像分布関数（ＰＳＦ）を決定することができる。代替的に、ＯＴＦまたはＰＳＦは、シミュレーションに依存することなく決定することもできる。相互に移行させることができるＰＳＦまたはＯＴＦを用いれば、エラーのない画像とＰＳＦとの畳み込みにより、複数の画像対の入力画像を生成することができる。これは、ほぼ「完全な」トレーニングデータ（画像対）の生成を可能にする。なぜなら、エラーのない画像が、複数の画像対の対応する目標出力画像として使用できるからである。光学系は、顕微鏡、顕微鏡システム、カメラ、スマートフォン、望遠鏡、コンピュータ（好適には携帯型であってもよい）、または測定機器の結像系および／または撮像系の一部であってよく、１つ以上のコンポーネント（例えば、レンズ、ミラーおよび／または他の光学部品）を含む。

【0016】

一実施形態では、ニューラルネットワーク（以下では第１のニューラルネットワークとも称する）のトレーニングのために、さらなる（第２の）ニューラルネットワークを適用することができる。このさらなるニューラルネットワークは、第１のニューラルネットワークのトレーニング用の損失関数として適用することができる。これは、第１のニューラルネットワークの改善されたトレーニングを可能にする。なぜなら、損失関数としてのニューラルネットワークが、正確なトレーニングを可能にさせ、そこでは、ニューラルネットワークの出力が所望の画像に等しいことが保証されるからである。これは、出力画像におけるエラーが画素毎にのみ計算される場合には保証されない。そのため、出力される画像は、独立した画素のセットとして扱われるのではなく、意味的関係におかれる。

【0017】

好適な実施形態では、決定されたニューラルネットワークをさらにトレーニングする（微調節する）ことができる。この微調節（以下では微調整とも称する）には、特定の（第１の）ニューラルネットワークの一部のみをトレーニングすることを含めることができる。ここでは、決定されたニューラルネットワークの１つ以上のパラメータは、微調節中に不変のまま維持することができる。さらに、この微調節には、光学系用に特別にトレーニングすることを含めることができる。そのため、ニューラルネットワークは、光学系にとって特有の結像エラーを補正するために適合化させることができる。微調節されたニューラルネットワークは、一義的に光学系に割り当てることができる。微調節は、個々のトレーニングデータに基づいて実施することができる。個々のトレーニングデータは、光学系に関連する光学特性および／または測定サンプルに基づいて生成できる。光学系の光学特性は、１つのステップにおいて決定することができ、かつ／または測定サンプルは、光学系を用いて捕捉することができる。測定サンプル、光学特性および個々のトレーニングデータのうちの少なくとも１つは、例えばデータベースに格納することができ、この場合、これらの測定サンプル、光学特性および／または個々のトレーニングデータは、光学系に一義的に割り当てられている。

【0018】

本発明による方法の実施形態では、光学系は、一義的に、かつ／または自動的に識別可能であってよい。第１のニューラルネットワーク、ならびに適合化／微調節されたニューラルネットワークは、一義的に光学系に割り当てることができる。例えば、光学系は、電磁的識別、光学的識別、機械的識別、または磁気的識別によって識別可能であってよい。

【0019】

先の実施形態と組み合わせ可能である一実施形態では、光学的結像エラーを補正する本発明による方法は、決定されたニューラルネットワークまたは微調節されたニューラルネットワークを、捕捉されたデータに適用することを含む。捕捉されたデータ（例えば画像）は、光学系または同じタイプの光学系を用いて（ならびに光検出器、または走査システムの場合は点光検出器を用いて）捕捉されたものであってもよい。光学的結像エラーには、非点収差、ケラレ、コマ収差、色収差、球面収差、または焦点ぼけが含まれ得る。

【0020】

実施形態では、ニューラルネットワークを決定するステップは、１つ以上の特定の画像に基づいてニューラルネットワークをトレーニングすることを含むことができ、ここで、ニューラルネットワークは、トレーニング中にオブジェクトおよび／または構造部が１つ以上の画像内で理想的にどのように見え、そこからの偏差をどのように補正するかを学習する。これは、ＯＴＦが正確にわからない場合の結像エラーの補正を可能にする。この場合、ニューラルネットワークは、どのタイプのエラーが存在し、どのタイプのオブジェクトが捕捉された画像内で結像されているかを自動的に認識できる。その際、エラーのタイプもオブジェクトのタイプも明示的に指定する必要はない。ニューラルネットワークは、捕捉された画像内のオブジェクトを補正された画像に転送するようにトレーニングされ、それにより、「暗黙的に」、つまり学習されたパラメータの一部としてネットワーク内でオブジェクトが適正に再構築される。これについての前提条件は、ニューラルネットワークがトレーニングの際に類似のオブジェクトを見出すことである。ここでの類似が意味することは、補正すべき画像内でも同じ画像特徴がトレーニング画像内に存在していたことである。つまり、トレーニング画像は、捕捉された画像との脈絡がある。

【0021】

一実施形態では、本発明による装置は、１つ以上の捕捉された画像を格納し、格納された１つ以上の捕捉された画像にニューラルネットワークを適用するように構成されている。代替的に、ニューラルネットワークは、１つ以上の捕捉された画像に直接適用し、１つ以上の補正された画像のみを格納することもできる。それにより、光学的結像エラーの補正を、既に画像の記録中に、つまり画像の格納前に（「リアルタイム」で）行うことができ、あるいは画像が既に格納された後で初めて行うことができる。結像系および／または撮像系の少なくとも一部は、光学系、写真層、ｓＣＭＯＳ、またはＣＣＤセンサ、または１つ以上の拡散ディスクを含むことができる。

【0022】

本発明の発明対象は、さらに例示的な図面に基づいて、より詳細に説明される。これらの図面には、本発明の好適な実施形態の例が示されている。

【図面の簡単な説明】

【0023】

【図1】一実施形態による、光学的結像エラーを補正するニューラルネットワークを決定するための本発明による方法の概略図である。

【図2】一実施形態による、ニューラルネットワークを用いた光学的結像エラーを補正する本発明による方法の概略図である。

【図3】一実施形態による、本発明による装置の概略図である。

【図4】本発明による方法の実施形態の概略的フローチャートである。

【発明を実施するための形態】

【0024】

図１は、ニューラルネットワーク１３０を決定するための方法の概略図を示す。光学的結像エラーを補正するニューラルネットワーク１３０は、以下では「補正ネットワーク」とも称され、複数のステップ１１０および１２０で決定することができ、かつ／またはトレーニングすることができる。付加的に、決定されたニューラルネットワーク１３０は、さらなるトレーニングステップ１４０で微調節することができる。画像誤差を補正するニューラルネットワーク１３０は、例えば、オートエンコーダ、Ｕ－Ｎｅｔ、または“Generative Adversarial Network”（ＧＡＮ）を含むことができ、画像を出力するように構成されている。ニューラルネットワーク１３０は、ＣＮＮとも称される“Convolutional Neural Networks”のクラスに属する。

【0025】

任意である第１のステップ１１０では、ステップ１２０および／または１４０のトレーニングを準備することができる。可能なトレーニングの準備は、トレーニングステップ１２０におけるトレーニング用の損失関数１３６を決定することを含む。例えば、第２のニューラルネットワーク１１６を決定またはトレーニングし、少なくとも部分的に損失関数１３６の基礎として使用することができる。例えば、第２のニューラルネットワーク１１６または第２のニューラルネットワーク１１６の一部、好適には画像パラメータまたは画像特性を抽出する第２のニューラルネットワーク１１６の一部を、損失関数１３６または目標関数としてニューラルネットワーク１３０のトレーニングに用いることができる。この場合、損失関数１３６は損失ネットワークである。

【0026】

この第２のニューラルネットワーク１１６（以下では「マスターモデル」とも称する）は、データメモリ１１４に格納されている複数のニューラルネットワークから選択することができ、またこの第２のニューラルネットワーク１１６は、それ自体が画像を出力するニューラルネットワークである必要はない。例えば、マスターモデル１１６は、分類問題を解決する事前トレーニングされたニューラルネットワークであり得る。

【0027】

代替的に、マスターモデルは、いわゆる「トレーニング」１１２での機械学習を用いて検出または決定することもできる。したがって、マスターモデルは、異なる適用領域（例えば、単一細胞培養、３次元細胞培養、組織切片、オルガノイド、スフェロイド、天然臓器、または生体など）からの複数のサンプルに基づいてトレーニングすることができる。ここでは、いわゆる「教師ありトレーニング」を使用することができる。このトレーニングについては、モデルが例えば分類問題を解決する、つまり、画像自体はまったく出力されないシナリオを使用することができる。マスターモデルは、ニューラルネットワーク１３０の事後的な使用領域に関連付けた脈略でトレーニングすることができる。例えば、マスターモデルは顕微鏡画像のデータセットを用いてトレーニングすることができる。

【0028】

マスターモデルは、いわゆる「活性化」を計算するための「Feature-Extractor」として使用することができる。活性化は、どの「ニューロン」が特定の画像部分（Features）に応答するか、つまり、例えば顔または（顕微鏡の脈絡では）細胞小器官が認識されたことを示す。集約された形態では、マスターモデルの全体もしくは一部のすべてのニューロンの活性化は、「画像性」の尺度、ひいては補正された画像の適正さとして見なすことができ、それゆえ、損失関数として使用することができる。

【0029】

実施形態では、ニューラルネットワーク１３０を用いて予測を行うか、またはニューラルネットワーク１３０の収束を「Transfer Learning」によって加速するために、マスターモデルまたはマスターモデルの一部を使用することができる。

【0030】

補正ネットワーク１３０は、入力画像Ｘ_ｉを出力画像

【数1】

に変換するように、または入力画像Ｘｉを出力画像

【数2】

に結像するように構成されてよい。損失関数１３６は、補正ネットワーク１３０の予測

【数3】

と目標出力画像ｙ_０（エラーのない画像）とがどの程度良好に一致するかについての数値的尺度Ｉ_ｆｅａｔを出力することができる。これらの変数

【数4】

およびｙ_０は、ベクトルもしくは行列であり、それらの要素が画像の画素に割り当てられている。トレーニングすべき補正ネットワーク１３０および損失関数１３６は、補正ネットワーク１３０をトレーニングするためのシステムを形成する。

【0031】

損失ネットワークまたは損失関数は、画像、出力画像

【数5】

および対応する目標出力画像ｙ_０間の内容の知覚的差異を測定する１つ以上の損失関数を定めるために使用することができる。補正ネットワーク１３０のトレーニング中、損失ネットワークは変更またはトレーニングされない。

【0032】

補正ネットワーク１３０は、実施形態では、ニューラルネットワーク、例えば重み（“weights”）Ｗによってパラメータ化される「残余畳み込みニューラルネットワーク」であってもよい。補正ネットワーク１３０は、結像

【数6】

を介して入力画像Ｘ_ｉを出力画像

【数7】

に変換する。１つ以上の損失関数の各損失関数は、出力画像

【数8】

と目標出力画像もしくは目標画像ｙ_０との間の差分を表すスカラー値を計算することができる。補正ネットワークは、ディープランニングメソッドを用いてトレーニングすることができる。例えば、補正ネットワークは、損失関数１３６の重み付けされた組み合わせを最小化するために、確率的勾配降下法（“stochastic gradient descent”）を用いてトレーニングすることができる。例えば、重みＷは、特徴復元損失Ｉ_ｆｅａｔが最小になるように適合化される。

【0033】

画素毎の損失に基づく損失関数は、エラーの影響を受けやすく、トレーニングに不正確な結果をもたらす可能性がある。これらの欠点に対抗するために、実施形態において、複数の画像の間で知覚的差異および意味的差異を決定する損失関数を使用することができる。画像分類のために訓練されたマスターモデル１１６は、入力画像の特徴または意味情報を隠された表現（“hidden representations”）または隠された特徴で表現する特性を既に有している。これらの隠された表現は、画像の類似性についての予測を適中させるために使用できる。したがって、ニューラルネットワーク１１６は、隠された表現、ひいては意味情報が相互に比較される損失関数１３６を定めることができる。この損失ネットワーク１３６は、特徴復元損失Ｉ_ｆｅａｔを定めることができ、これは、目標出力画像ｙ_０と補正ネットワーク１３０の出力画像

【数9】

との間の画像の内容における差異についての尺度を示す。

【0034】

したがって、損失ネットワーク１３６により、知覚的エラー（英語表記；“perceptual loss”）を決定することができる。したがって、損失ネットワーク１３６を用いることにより、ニューラルネットワーク１３０の出力

【数10】

が推定すべき画像のように見えることを保証することができる。これは、画像の画素毎にのみエラーを計算する損失関数の場合には生じない。したがって、出力画像

【数11】

は、独立した画素の量として扱われるのではなく、意味的関係におかれる。

【0035】

実施形態では、トレーニングデータセットが生成される。このトレーニングデータセットは、画像対１２６（トレーニング画像）を含むことができ、この場合、これらの画像対１２６は、当該画像対の一方の画像がニューラルネットワーク１３０用の入力画像Ｘ_ｉであり、当該画像対の他方の画像はニューラルネットワーク１３０の目標出力画像ｙ_０に対応していることによって優れている。入力画像Ｘ_ｉは、エラーを含んだ画像または測定もしくは捕捉された画像として見ることができ、目標出力画像ｙ_０は、エラーのない所望の画像または補正された画像として見ることができる。画像対１２６、特に目標出力画像に基づいて、ニューラルネットワーク１３０を、可能な複数の結像エラーの１つ以上の結像エラーを補正するようにトレーニングすることができる。画像対１２６を用いることにより、入力画像内に存在しかつ目標出力画像において欠落もしくは減衰している結像エラーを補正するようにニューラルネットワークをトレーニングすることができる。代替的または付加的に、ニューラルネットワーク１３０のトレーニング用のトレーニングデータセットは、さらなるデータを含むことができる。このさらなるデータは、以下のうちの少なくとも１つ、すなわち、画像対１２６またはトレーニング画像に関連するパラメータデータ、検証データ、光学系の製造に関連付けた測定データ、実験または測定の手順に関するデータ、試薬および材料に関する情報、オブジェクトまたはサンプルに関する情報、光学系に関する情報、利用者関連データ、ユーザー入力および画像捕捉系に関する情報のうちの少なくとも１つを含み得る。

【0036】

トレーニングデータセットは、さまざまな方法を用いて生成することができ、あるいはこれらの方法の組み合わせからも生成することができる。図１では、組み合わせ可能であるトレーニングデータの生成のための２つのステップ１２２と１２４との間で区別がなされる。ステップ１２２では、トレーニングデータを人為的に作成することができる。例えば、結像エラーは、画像処理によって人為的に生成することができる。ステップ１２４では、トレーニングデータは、測定もしくは捕捉されたデータから生成することができ、この場合、これらの測定もしくは捕捉されたデータは、１つ以上の光学系を用いて捕捉され、光学的結像エラーは、１つ以上の光学系によって生成される。生成されたトレーニングデータは、データメモリ１２８に格納することができる。トレーニングデータを作成するためのいくつかの可能な方法は、以下でより詳細に説明される。

【0037】

ニューラルネットワークのトレーニングのためのトレーニングデータを生成する第１の方法（ズームイン戦略）は、１つ以上の光学系を用いた均質なサンプルの画像の記録に基づいている。これらの均質なサンプルから、ズームの異なる画像が作成される。例えば、光学系の最大ズームを用いた第１の記録と、同じ光学系の最小ズームを用いた第２の記録と、は均質なサンプルから生成される。均質なサンプルの画像中央で最大または大きなズームで記録する場合、（ほぼ）エラーのない画像を作成することができ、最小または小さなズームの場合、エラーを含んだ画像を作成することができる。この方法では、画像中央のいくつかの結像エラーは、縁部よりも弱いレベルの影響を与えるという事実が利用されている。

【0038】

トレーニングデータを生成する第２の方法（シフト戦略）は、均質で構造化されたサンプルの記録から画像対１２６を生成することを可能にする。第１の方法のように、この方法でも、画像中央の特定の光学的結像エラーが画像縁部よりも弱い影響を与えるという事実が利用される。この第２の方法では、少なくとも１つの画像が、任意のズームで例えば平均的なズームまたは高いズームで記録される。目標出力画像は、少なくとも１つの記録された画像の記録画像の画像中央から作成され、入力画像は、記録された画像からの記録画像の縁部または隅の所定の位置において生成される。トレーニングデータセット用の画像対１２６は、複数のさまざまな所定の位置および／または異なるズームを含むことができる。トレーニングデータセットの作成のために、記録は、１つ以上の均質なサンプルおよび／または構造化されたサンプルにおいて、１つ以上のタイプの１つ以上の光学系を用いて実施することができる。

【0039】

トレーニングデータを生成する第３の方法（シミュレーション戦略）は、光学的結像エラーのシミュレーションに基づいている。光学系のフーリエ変換された点像分布関数（ＰＳＦ）に等しい光学伝達関数（ＯＴＦ）、または光学系のＰＳＦが既知であるか、または測定もしくはシミュレートできるならば、画像対１２６は、人為的に生成することができる。目標出力画像として用いることのできるエラーのない画像は、例えば、エラーのない画像と光学系のＰＳＦとの畳み込みなどの数学的方法によって、入力画像として用いることができるエラーを含んだ画像に変換することができる。

【0040】

トレーニングデータセットは、複数の光学系、例えば複数の対物レンズを用いてさまざまな仕様が作成可能である。これには、これらのトレーニングデータでトレーニングされたニューラルネットワークが使用されるすべての光学系または光学系のタイプが含まれる。例えば、トレーニングデータは、さまざまな対物レンズを用いて生成することができ、ニューラルネットワークは、これらのトレーニングデータを用いてトレーニングすることができる。このニューラルネットワークは、さまざまな対物レンズの１つ以上によって捕捉された測定画像内の結像エラーを補正するために使用できる。

【0041】

トレーニングデータセットは、クラウド、データメモリ１２８、例えば、スタンドアロンコンピュータなどのコンピュータ、またはニューラルネットワークのトレーニングに適したサーバーに格納することができる。次いで、サーバーまたはコンピュータは、トレーニングを実施し、トレーニングからの結果を再びメモリ（例えば、データメモリ１２８または他のメモリ）に格納することができる。

【0042】

ニューラルネットワークは、ディープラーニングメソッドでトレーニングできる。これには、少なくとも１つのディープランニング手法の計画された適用が含まれるが、特定の目標を達成するために複数のディープランニング手法が好適である。この場合、この目標には、画像処理（例えば、１つ以上の光学エラーの補正、別の画像からの画像の生成、ここでは画像内の少なくとも１つの特徴が異なっているなど）を含めることができる。ディープランニング手法は、手順をわかりやすいステップに細分化し、この手順を繰り返すことができるようにした一連の方法ステップを含むことができる。これらの方法ステップは、特定のディープランニングアルゴリズムであってよいが、ネットワークを学習させるメソッド（バックプロパゲーションなど）であってもよいし、データ収集の種類、またはハードウェアを介してデータを処理する方式などであってもよい。

【0043】

ニューラルネットワーク１３０のトレーニングのために、上記の１つ以上の方法で生成されたような、または第三者によって提供されたようなトレーニングデータセットを使用することができる。一実施形態では、トレーニングのための目標は、入力画像、例えば、光学系を用いて捕捉された画像を、補正された画像に変換するニューラルネットワーク１３０を生成することであり、この場合、変換された画像は、光学系によって入力画像内に引き起こされた少なくとも１つの結像エラーを補正または低減する。これは、例えばコントラストまたはシャープネスなどの画質が、出力画像内で（１つ以上の領域において）入力画像に比べて向上したことを意味する。理想的なケースでは、エラーを含んだ画像からエラーのない画像が生成できる。

【0044】

さらなる段階１４０、いわゆる「微調整」では、補正ネットワーク１３０をさらに最適化することができる。光学系は、通常、完成品における所定の許容誤差を伴って製造される。それゆえ、同じ製造プロセスによって製造された光学系は、製造許容誤差の範囲で互いに偏差を有している可能性がある。これらの偏差は、光学系によって引き起こされる光学的結像エラーに影響を与える可能性がある。それゆえ、同じ仕様の光学系は、異なるＯＴＦに関連付けることができる。

【0045】

生産におけるこれらの許容誤差を補償するために、ステップ１４２において光学系の特性を決定することができる。例えば、個々の光学系１５２の光学特性を測定することができる。光学系１５２からの測定は、１つ以上の測定サンプルを捕捉することを含み得る。これらの測定サンプルおよび／または光学系の特性は、データメモリ１４４に格納することができる。実施形態では、光学系１５２の特性を決定することは、この製造された光学系１５２のためのＯＴＦおよび／またはＰＳＦを決定することを含む。測定サンプルおよび／または光学系の特性を含むデータセットは、光学系のライフサイクル全体にわたって利用可能であってよい。一実施形態では、測定サンプルおよび／または光学系の特性を含むデータセットは、クラウドに格納することができる。

【0046】

例えば対物レンズなどの光学系１５２の測定サンプルおよび／または特性を、光学系１５２に割り当てることができるようにするために、測定サンプルおよび／または光学系の特性を含むデータは、光学系の識別子１５４に割り当てられ、この識別子１５４に依存して、または識別子１５４に対応する識別番号と一緒に格納することができる。光学系１５２は、製造中にその識別子１５４を受け取ることができ、この場合、識別子１５４は、光学系毎に一義的であり、恒久的に光学系１５２に取り付けられてよい。例えば、識別子１５４は、光学的コーディング（例えば、バーコード、クイックレスポンスコード、識別子、または特定の色など）、１つ以上のスレッドおよび／または１つ以上の機械部品のコーディング、特定の形状、特定の重量、サウンドストリップ、鋼版画、無線周波数トランスポンダ、磁気ストライプチップカード、または磁気ペイントを含み得る。

【0047】

それにより、光学系１５２は、電磁的識別、光学的識別、機械的識別、磁気的識別、またはそれらの組み合わせを用いて識別することができる。

【0048】

測定サンプルおよび／または光学特性に基づいてトレーニングデータ１５６を生成することができる。これらのトレーニングデータは、トレーニングデータのように生成することができ、この場合、トレーニングデータ１５６は、光学系１５２とのみ関連付けられるか、または光学系１５２と特別に関連付けられる。これらのトレーニングデータ１５６は、光学系１５２によって記録された画像を含むことができる測定サンプルに基づいて、または光学系１５２のＯＴＦまたは関連するＰＳＦを用いたシミュレーションに基づいて生成することができる。

【0049】

光学系の測定サンプルおよび光学特性は、この光学系１５２に割り当てることができるので、トレーニングデータ１５６もこの光学系１５２に割り当てることができる。それゆえ、トレーニングデータ１５６は、識別子１５４に依存して格納することができる。これらのデータ１５６は、図１に示されるように識別子１５４に依存してデータメモリ１４４に格納することができる。実施形態では、１つ以上のデータメモリ１１４、１２８および１４４は同一であってもよい。例えば、すべてのトレーニングステップ１１０、１２０および１３０は、光学系１５２のメーカーで実施することができる。代替的に、例えば微調整１３０などの個々のトレーニングステップ１１０、１２０および１３０も、光学系１５２のユーザーで実施することができる。

【0050】

光学系１５２の測定サンプルおよび／または特性を含むデータセット、または光学系に属するトレーニングデータ１５６を含むデータセットには、光学系１５２の識別子１５４に基づいて、または識別子１５４に対応する識別番号に基づいてアクセスすることができる。実施形態では、これらのデータセットは、メーカーのサーバー上かまたはクラウドに格納することができる。例えば、ユーザーは、ユーザー名およびパスワードかまたは光学系１５２の識別番号などの権限証明を用いてこれらのデータセットにアクセスすることができる。

【0051】

トレーニングステップ１４０では、トレーニングステップ１２０からのニューラルネットワーク１３０を微調節することができる。以下ではこの微調整を、例示的にニューラルネットワーク１３０に基づいて説明する。ただし、代替的に、他のソースからのニューラルネットワーク、例えばニューラルネットワークのユーザーからのネットワークなどもさらに微調節することができる。

【0052】

微調整とは、重要な画像特徴を既に認識できる、以前にトレーニングされたニューラルネットワークを、新しい未知のデータセットに適合化させることを指す。ニューラルネットワーク１３０などのニューラルネットワークは、特定の画像誤差が補正されるように事前トレーニングすることができる。この目的のために、可及的に広範なデータセットを使用することができる。したがって、具体的な光学部品または具体的な光学系、例えば特定の対物レンズについては、当該対物レンズを用いて（より小さな）トレーニングデータセット１５６を作成し、事前トレーニングされたネットワーク１３０を「微調節」、つまり適合化することによる微調整を用いて予測精度、すなわち出力画像の画質を改善することができるはずである。この種の微調整は、光学系のメーカーで行うことができる。代替的に、この微調整は、顧客または第三者のもとで行うこともできる。微調整は、特定の光学系または１つ以上の特定のサンプルに関連して行うことができる。これらの１つ以上の特定のサンプルは、例えば、元のトレーニングデータセットに含まれていないか、過小評価されている可能性がある。したがって、微調整により、ニューラルネットワークの予測精度を向上させることができる。この微調整では、学習速度（“learning rate”）が１～２桁低い、事前トレーニングされたニューラルネットワークを新しいデータでトレーニングすることができる。この意味での“learning rate”とは、学習されたモデルパラメータを変更するためのステップ幅を決定する数値最適化のためのスケーリングファクタである。これが大きいならば、モデルはより少ないステップで収束できるが、モデルパラメータが再び最適値から逸脱するリスクも生じる。微調整の場合、事前トレーニングされたパラメータが既に最適値に近いことを前提としてもよい。それゆえ、損失関数のグローバル最小値を見つけるために、ステップ１２０でのトレーニングと比較して、ステップ幅または学習速度を低減することができる。それにより、モデルパラメータによって表されるモデルの既存の「知識」が、過度に大きなステップによって破壊されることが防止され得る。

【0053】

トレーニングデータセット１５６は、ニューラルネットワーク１３０の微調整のために使用することができる。この微調整では、既存のニューラルネットワーク、例えばニューラルネットワーク１３０は、さらなるトレーニング用の基礎として使用される。このさらなるトレーニングには、ニューラルネットワークの一部のみがトレーニングされることが含まれる。ここでは、ニューラルネットワークのいくつかのパラメータは、固定かまたは不変のままであり、それに対して、残りのパラメータは、さらなるトレーニングによって影響を受けるかまたは変更することができる。これは、迅速なトレーニングを可能にする。さらなるトレーニングは、異なる学習率でニューラルネットワーク内のパラメータの位置に応じて実施することができる。

【0054】

トレーニングデータ１５６におけるさらなるトレーニングについては、さまざまなディープランニングメソッドを使用することができる。実施形態では、ニューラルネットワーク１５０は、第２のニューラルネットワークを用いて損失関数としてトレーニングされる。これは、図１のトレーニングステップ１２０のように行うことができる。

【0055】

さらなるトレーニングにより、光学系１５２のために特別にトレーニングされた適合化されたニューラルネットワーク１５０が生じる。それにより、一方では、特定の光学エラーを補正することができるという補正ネットワーク１３０の基本的な特性の存在は維持しながら、具体的な光学系１５２（例えば対物レンズなど）へのニューラルネットワーク１５０の個々の適合化を達成することができる。

【0056】

適合化されたニューラルネットワーク１５０は、光学系１５２の識別子１５４に関連付けて、または識別子１５４に対応する識別番号とともに、データメモリ、サーバー、またはクラウドに格納することができる。実施形態では、適合化されたニューラルネットワーク１５０は、サーバーまたはクラウド上に実装され、使用される。そのため、サーバーまたはクラウドは、適合化されたニューラルネットワーク１５０を用いて、画像内の光学的結像エラーを補正するように構成されている。例えば、エラーを含んだ画像は、クラウドまたはサーバーにアップロードすることができる。次いで、適合化されたニューラルネットワーク１５０を用いて、エラーのないまたはエラーの低減された画像を生成して、提供することができる。適合化されたニューラルネットワーク１５０には、識別子１５４または光学系１５２の対応する識別番号に基づいてアクセスすることができる。例えば、ユーザーは、ユーザー名およびパスワードなどの権限証明を用いて、適合化されたニューラルネットワーク１５０にアクセスすることができる。ユーザーの権限証明は、光学系の購入または受け取りによって取得することができる。代替的に、対物レンズまたは光学系１５２は、撮像系の一部であってもよく、ニューラルネットワーク１５０は、撮像系に実装することができる。

【0057】

それにより、光学系の製造時に発生する製造許容誤差の範囲内の差異を個別に考慮することができ、光学系１５２の光学性能は、光学系１５２によって捕捉された画像への適合化されたニューラルネットワーク１５０の適用に関連付けて改善することができる。

【0058】

実施形態では、光学系のタイプまたは仕様に対する微調整を、個々の光学系に代わって実施することができる。ここでは、さまざまなタイプの光学系を用いて生成されたトレーニングデータに基づいてトレーニングされた補正ネットワーク１３０を微調節することができ、この場合、トレーニングデータ１５６は、１つのタイプの光学系に関連付けて作成されたものである。この場合、適合化されたニューラルネットワーク１５０は、光学系のタイプについての識別子に関連付けて格納することができる。

【0059】

図２は、光学的結像エラーを補正するニューラルネットワーク２００の機能性の概略図を示す。このニューラルネットワーク２００は、図１のようにトレーニングされた補正ネットワーク１３０または適合化されたニューラルネットワーク１５０を含むことができる。ニューラルネットワークは、ニューラルネットワーク２００が、エラーのない画像またはエラーの低減された画像２２０を生成することによって画像２１０からの光学的結像エラーを低減または除去するように構成されている。入力画像２１０は、例えばケラレなどの１つ以上の光学的結像エラーを含むことができる。代替的または付加的に、画像２１０は、非点収差、コマ収差、色収差、球面収差、像面湾曲、歪み、ガウス誤差、または焦点ぼけなどの１つ以上の光学的結像エラーも含むことができる。収差は、技術的な理由に起因してもよい。例えば、光学系の要素（レンズおよびミラー）の寸法および形状偏差、光学系の要素の想定された位置からの偏差、光学系のレンズの製造に起因して偏差した屈折率、光学部品または光学系のガラス内の不均一性（縞）、または光学部品の内部応力や応力複屈折に結び付く可能性のあるフレームによる応力は、捕捉された画像内の収差に関連付けられる。

【0060】

ニューラルネットワーク２００がエラーを含んだ画像２１０に適用されるか、またはこのエラーを含んだ画像２１０がニューラルネットワークに入力される場合、ニューラルネットワーク２００は、この画像２１０から出力画像２２０を生成することができる。この出力画像２２０では、１つ以上の光学的結像エラーが低減または排除されてよい。これは、出力画像２２０または出力画像２２０の領域における画質（例えば詳細コントラスト）が、入力画像２１０または入力画像の対応する領域におけるものよりも大きいことによって表すことができる。

【0061】

ニューラルネットワーク２００の適用は、使用されるデータセットによるニューラルネットワーク２００のトレーニングとは異なる。トレーニングの際には、１つ以上のエラーを含んだ画像がニューラルネットワークに入力され、ニューラルネットワークの内部パラメータは、ニューラルネットワークの出力画像が目標出力画像と可及的に一致するように適合化される。ニューラルネットワークを適用する場合、画像データは一度ニューラルネットワークを通過し、ニューラルネットワークは予測としての出力画像を生成する。

【0062】

ニューラルネットワークは結果を表すことができ、この場合、これらは、少なくとも１つのディープランニングプロセスおよび／または少なくとも１つのディープランニングメソッドを通じて学習されたものである。これらのニューラルネットワークは、自動化された学習を通じて適切なやり方で特定のタスクアンサンブルに収集された知識に凝縮され、それによって、特定のタスクが以後自動化されて最高品質で実施できるようになる。

【0063】

結像系および／または撮像系は、１つ以上の画像を捕捉するように構成されてよく、この場合、１つ以上の捕捉された画像内の１つ以上の光学的結像エラーは、結像系および／または撮像系の少なくとも一部に関連付けられる。１つ以上の画像は、ニューラルネットワーク２００を用いて処理することができる画像２１０を含むことができる。結像系および／または撮像系は、例えば、対物レンズ、光学部品もしくは個々のレンズ、写真層、ｓＣＭＯＳ（“scientific complementary metal-oxide-semiconductor”）もしくはＣＣＤ（“charge-coupled device”）センサ、または１つ以上の拡散ディスクなどの光学系を含むことができる。実施形態では、１つ以上の捕捉された画像を格納することができ、１つ以上の格納された画像をニューラルネットワーク２００に供給することができる。代替的に、１つ以上の捕捉された画像を直接ニューラルネットワーク２００に供給することができ、１つ以上の補正された画像のみを格納することができる。

【0064】

図３は、１つ以上のプロセッサ３１０および１つ以上の記憶媒体３２０を含む装置３００を示している。この装置３００は、結像系および／または撮像系を含むことができる。代替的に、装置３００は、結像系および／または撮像系から空間的に離間されてもよく、ネットワーク、例えば無線ネットワークを介して結像系および／または撮像系に接続されてもよい。この場合、装置は、ワークステーションコンピュータ、サーバー、小型コンピュータ、コンピュータ、または組み込みコンピュータを含むことができる。

【0065】

１つ以上のプロセッサ３１０は、グラフィカルプロセッシングユニット（ＧＰＵ）などの計算機アクセラレータ、機械学習（ＭＬ）および／またはディープランニング（ＤＬ）に特化した特定用途向け集積回路（ＡＳＩＣｓ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）上のテンソルプロセッシングユニット（ＴＰＵ）、または少なくとも１つの中央処理ユニット（ＣＰＵ）を含むことができる。特定用途向け集積回路（英語表記；Application Specific Integrated Circuit,ASIC,Custom Chip）は、集積回路として実現できる電子回路である。ＡＳＩＣは、特定の問題にそのアーキテクチャを適合化させているため、マイクロコントローラーのソフトウェア毎の機能的に同等の実装よりも非常に効率的にかつはるかに高速に動作する。テンソルプロセッサとも称されるテンソルプロセッシングユニット（ＴＰＵ）は、特定用途向けチップであり、ＣＰＵと比較して機械学習の枠内での適用を高速化できる。このハードウェアまたは類似の専用ハードウェアは、ディープランニングタスクを最適に解決するために使用することができる。特に、トレーニングよりも桁違いに少ない計算能力しか要さないニューラルネットワークの適用、つまりモデルの開発は、一般的なＣＰＵでも機能する。

【0066】

さらに、装置は、実施形態では１つ以上のニューラルネットワーク３３０を含むことができる。１つ以上のニューラルネットワーク３３０により、この装置３００は、人工知能（ＡＩ）を用いて画像内の光学的結像エラーを補正または最小化することを可能にすることができる。１つ以上のニューラルネットワーク３３０は、１つ以上のプロセッサ３１０によって実行することができる。このニューラルネットワーク３３０の実行には、ニューラルネットワークのトレーニングまたは開発よりも桁違いに少ない計算能力しか要さない。

【0067】

装置３００上へのニューラルネットワーク３３０の実装により、この装置は、付加的な「インテリジェンス」を獲得する。それにより、この装置３００を、所望のタスクを独立して解決できる状態に変えることができる。これにより、認知的に拡張された装置３００が得られる。認知的に拡張されたとは、装置がニューラルネットワーク（またはディープランニングモデル）または他の機械学習方法を使用して、画像内容または他のデータを意味的に認識して処理することを成し遂げることができるようになることを意味する。

【0068】

さらに、装置３００は、１つ以上のコンポーネント３４０を含むことができる。例えば、この１つ以上のコンポーネント３４０は、ユーザインターフェースおよび／またはニューラルネットワークを装置３００にダウンロードするためのインターフェースを含むことができる。一実施形態では、１つ以上のコンポーネント３４０は、画像を捕捉する撮像系を含む。

【0069】

実施形態では、装置３００は、ニューラルネットワーク３３０をトレーニングするために使用することができる。この目的のために、装置３００は、光学的結像エラーを補正するニューラルネットワークを決定するための装置を含むことができる。１つ以上のコンピュータ可読記憶媒体３２０に格納されたコンピュータ実行可能な命令は、１つ以上のプロセッサ３１０によって実行されるときに、図１および／または図４による方法の１つまたは一部を実行させることができる。

【0070】

図４は、光学的結像エラーを補正する第１のニューラルネットワークを決定するための本発明による（コンピュータに実装される）方法４００の一実施例による概略的フローチャートを示す。この方法４００は、１つ以上の画像に基づいて第１のニューラルネットワークを決定する（ステップ４２０）ために、１つ以上の画像を決定するステップ４１８を含む。１つ以上の画像を決定するステップ４１８は、第１のニューラルネットワークをトレーニングするためのトレーニング画像を決定するステップを含み得る。トレーニングデータもしくはトレーニング画像を決定するステップは、トレーニングデータを生成するために、１つ以上の光学系または光学系のタイプ（仕様）および／または１つ以上のサンプルタイプに関連付けた１つ以上の測定および／または１つ以上のシミュレーションを含むことができる。代替的に、データベースに格納されているか、または第三者によって提供可能であるトレーニングデータをトレーニング用に決定することもできる。トレーニングデータには、１つ以上の画像対が含まれ、ここで、これらの画像対には、エラーを含む入力画像やエラーのないもしくはエラーの少ない目標出力画像が含まれる。

【0071】

任意のステップ４１０では、トレーニングを準備することができる。このステップ４１０では、トレーニング条件を確定することができる。これは、第１のニューラルネットワーク（トレーニングすべきニューラルネットワーク）用の損失関数として第２のニューラルネットワークを決定することを含むことができる。例えばこれは、第２のニューラルネットワークをトレーニングすることによって行うことができる。代替的に、この決定は、複数のニューラルネットワークから第２のニューラルネットワークを選択することを含むことができる。この場合、複数のニューラルネットワークは、さまざまなサンプルタイプにおいてトレーニングされたものであり、これらのサンプルタイプに依存して第２のニューラルネットワークが選択される。第２のニューラルネットワークは、第１のニューラルネットワークの事後的な用途に関連するサンプルタイプでトレーニングされたものか、またはトレーニングされる可能性がある。第２のニューラルネットワークは、例えば分類などの予測を、第２のニューラルネットワーク用の入力値としての画像に基づいて適中させるように構成されてもよい。

【0072】

ステップ４２０では、第１のニューラルネットワークが、ステップ４１８からのトレーニングデータに基づいてトレーニングされる。ステップ４２０でのトレーニングの間、第１のニューラルネットワークの内部パラメータ（例えば、重み「Ｗ」および閾値「Ｂ」）が検出され、第１のニューラルネットワークに入力された複数の入力画像が最適にもしくは可能な限り目標出力画像へ結像される。これにより、第１のニューラルネットワークは、複数の画像から新しい画像を生成し、トレーニングデータに関連付けたタスクを解決することができる。第１のニューラルネットワークは、画像内の１つ以上の光学的結像エラーを除去または低減するようにトレーニングすることができ、それによって、入力画像は、例えば、第１のニューラルネットワークの対応する出力画像よりも低い詳細コントラストもしくはシャープネスを有する。

【0073】

ステップ４２６では、光学系が決定される。この光学系を一義的に識別できるようにするために、光学系には識別子を割り当てることができる。この目的のために、光学系は、個別のコーディングを備えることができる。これは、光学系の製造中に行うことができる。

【0074】

ステップ４２８では、個々のトレーニングデータが決定される。実施形態では、個々のトレーニングデータを決定するステップは、ステップ４２６で決定された個々の光学系の光学特性を決定することを含む。これは、光学系の測定および／またはシミュレーションを含むことができる。例えば、光学伝達関数ＯＴＦは、個々の光学系について決定することができる。これは、光学系の製造中または製造後に行うことができる。この光学系は、光学系の識別子を用いてＯＴＦに一義的に割り当てることができる。この場合は、光学系の光学特性に基づいて微調整用の個々のトレーニングデータを生成することができる。ＯＴＦの知識を用いれば、個々のトレーニングデータとして画像対を生成することができる。なぜなら、ＯＴＦは、関連する光学系の光学的結像エラーを記述するからである。

【0075】

ステップ４３０では、ステップ４２０で決定された第１のニューラルネットワークを微調節することができる。ここでは、第１のニューラルネットワークは、適合化された（第３の）ニューラルネットワークを得るためにさらにトレーニングされる。適合化されたニューラルネットワークは、特殊な用途向けにトレーニングすることができる。例えば、第１のニューラルネットワークは、ステップ４２８で生成された個々のトレーニングデータに基づいてさらにトレーニングすることができる。そのため、適合化された（第３の）ニューラルネットワークは、個々の光学系用に特別にトレーニングすることができる。代替的に、第１のニューラルネットワークは、微調整のために（特定用途との脈絡がある）特定のサンプルタイプのトレーニングデータを使用することによって、特定用途向けにさらにトレーニングすることもできる。

【0076】

ステップ４３０でのさらなるトレーニング（微調整）では、事前にトレーニングされた（第１の）ニューラルネットワークの少なくとも一部をさらにトレーニングするために、これらの個々のトレーニングデータを使用することができる。例えば、ニューラルネットワークの内部パラメータの一部のみをさらなるトレーニングに依存して変更することができる。この場合、残りの内部パラメータは、さらなるトレーニングによって変更することはできない。これは、ニューラルネットワークを、例えば特定の光学系によって捕捉された画像の光学的結像エラーの補正などの特定用途に迅速かつ個別に適合化させることを可能にする。

【0077】

ニューラルネットワークを微調整することにより、それらを持続的に改善したり、ニューラルネットワークの適用領域を特定したりすることができる。これは、好適には、ニューラルネットワーク内の少数のノードのみのトレーニングによって行うことができる。例えば、わずかに損傷した光学系は、当該損傷した光学系を用いて捕捉された画像の品質を損なわせる可能性がある。本発明の方法によるニューラルネットワークの微調節および／またはトレーニングによって、これらのエラーを補正するニューラルネットワークを決定することができる。

【0078】

さらなるステップ４４０では、適合化されたニューラルネットワークが、第三者に提供され、装置上で使用可能にされる。この場合、装置は、光学系に関連付けるか、またはクラウドに格納され、サーバーまたは別のデータメモリに格納される。

【0079】

光学系の製造および機能性に関連付けられるさまざまな光学的収差は、機械学習（ＭＬ）メソッドを用いて補正することができる。説明されているＭＬメソッドには、機械が経験から学習することができ、特定のタイプのニューラルネットワークであるいわゆる「ディープラーニング」（ＤＬ）から生じるアルゴリズムが含まれる。結像エラーの効果的な補正は、高性能対物レンズのより経済的な製造を可能にする。なぜなら、画像誤差が著しく大きい、特に、同じモデルの個々の個体間の変動が著しく大きい対物レンズの結像エラーを補正することができるからである。これにより、一方では、対物レンズ間の許容誤差を、許容誤差におけるより大きなばらつきの許容によって補償することができる。その上さらに、対応する対物レンズを、光軸上での結像品質が最適化されるように構成することができる。画像フィールド縁部における光学補正は、ニューラルネットワークによって補正することができるため、それほど高くする必要はない。例えば、対物レンズの構造においても、対物レンズまたはソフトウェア後処理（ニューラルネットワークの適用）による補正がどれほど複雑であるかに応じて、結像エラーを評価することができる。ＭＬ／ＤＬネットワークを用いることにより、対物レンズの構造／構想において、特に補正が容易なエラーの優先順位を下げることができる。

【符号の説明】

【0080】

１１０，１２０，１４０ トレーニングステップ
１１２ 方法ステップ
１１４，１２８，１４４ データメモリ
１１６，１３０，１５０ ニューラルネットワーク
１２２，１２４ 方法ステップ
１２６ 画像対
１３６ 損失関数
１４２ 方法ステップ
１５２ 光学系
１５４ 識別子
１５６ 個々のトレーニングデータ
２００ ニューラルネットワーク
２１０ 光学的結像エラーを有する画像
２２０ 補正された画像
３００ 装置
３１０ プロセッサ
３２０ 記憶媒体
３３０ ニューラルネットワーク
３４０ コンポーネント
４００ 方法
４１０～４４０ 方法ステップ

【図1】

【図2】

【図3】

【図4】

【国際調査報告】