特表 2023-513079 深層フォトメトリック学習（ＤＰＬ）システム、装置、及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-03-30

(54)【発明の名称】深層フォトメトリック学習（ＤＰＬ）システム、装置、及び方法

(51)【国際特許分類】

   H04N 23/95 20230101AFI20230323BHJP

   G06T 7/00 20170101ALI20230323BHJP

   G06T 7/50 20170101ALI20230323BHJP

   H04N 23/56 20230101ALI20230323BHJP

   H04N 23/743 20230101ALI20230323BHJP

【ＦＩ】

H04N23/95

G06T7/00 350C

G06T7/50

H04N23/56

H04N23/743

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022546545

(86)(22)【出願日】2021-02-03

(85)【翻訳文提出日】2022-09-13

(86)【国際出願番号】 US2021016474

(87)【国際公開番号】W WO2021158703

(87)【国際公開日】2021-08-12

(31)【優先権主張番号】62/969,574

(32)【優先日】2020-02-03

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】511289471

【氏名又は名称】ナノトロニクス イメージング インコーポレイテッド

【氏名又は名称原語表記】ＮＡＮＯＴＲＯＮＩＣＳ ＩＭＡＧＩＮＧ，ＩＮＣ．

【住所又は居所原語表記】２２５１ ＦＲＯＮＴ ＳＴＲＥＥＴ，ＳＵＩＴＥ １１０，Ｐ．Ｏ．ＢＯＸ ３０６，ＣＵＹＡＨＯＧＡ ＦＡＬＬＳ，ＯＨＩＯ ４４２２３，Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110002321

【氏名又は名称】弁理士法人永井国際特許事務所

(72)【発明者】

【氏名】プットマン，マシュー シー

(72)【発明者】

【氏名】ピンスキー，バディム

(72)【発明者】

【氏名】ナロン，タナポーン ナ

(72)【発明者】

【氏名】シャロウコフ，デニス ワイ

(72)【発明者】

【氏名】イヴァノフ，トニスラフ

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122DA12

5C122DA30

5C122EA06

5C122FA08

5C122FA09

5C122FH11

5C122FH18

5C122GC07

5C122GC52

5C122GG17

5C122GG24

5C122HA88

5C122HB01

5C122HB10

5L096CA04

5L096CA17

5L096HA11

5L096KA04

(57)【要約】

撮像システムが本明細書で開示される。撮像システムは、撮像装置及びコンピューティングシステムを含む。撮像装置は、試料を支持するように構成されたステージに対して複数の位置及び複数の角度に配置された複数の光源を含む。撮像装置は、試料の表面の複数の画像を捕捉するように構成される。撮像装置と通信するコンピューティングシステム。試料の表面の複数の画像を、撮像装置から受信し、深層学習モデルを介して撮像装置によって、複数の画像に基づいて試料の表面の高さマップを生成し、深層学習モデルによって生成される高さマップに基づいて試料の表面の３Ｄ再構成を出力することによって、試料の表面の３Ｄ再構成を生成するように構成されたコンピューティングシステム。

【特許請求の範囲】

【請求項1】

試料を支持するように構成されたステージに対して複数の位置及び複数の角度に配置された複数の光源を備える、撮像装置であって、前記撮像装置は前記試料の表面の複数の画像を捕捉するように構成された、撮像装置と、
前記撮像装置と通信するコンピューティングシステムであって、前記コンピューティングシステムは、
前記試料の前記表面の前記複数の画像を前記撮像装置から受信するステップと、
深層学習モデルを介して前記撮像装置によって、前記複数の画像に基づいて前記試料の前記表面の高さマップを生成するステップと、
前記深層学習モデルによって生成された前記高さマップに基づいて、前記試料の前記表面の３Ｄ再構成を出力するステップと
によって、前記試料の前記表面の３Ｄ再構成を生成するように構成された、コンピューティングシステムと
を備える、撮像システム。

【請求項2】

前記深層学習モデルが畳み込みニューラルネットワークを含む、請求項１に記載の撮像システム。

【請求項3】

前記畳み込みニューラルネットワークが、入力として前記複数の画像を受信し、単一の画像を出力するように構成された、請求項２に記載の撮像システム。

【請求項4】

前記コンピューティングシステムは、
複数の訓練データセットを生成するステップであって、前記複数の訓練データセットは複数の合成高さマップを含む、ステップと、
前記複数の訓練データセットを使用して前記深層学習モデルを訓練するステップと
によって、前記深層学習モデルを訓練するようにさらに構成された、請求項１に記載の撮像システム。

【請求項5】

前記複数の訓練データセットが、
ノイズのない及びチルトのない第１の訓練データセットと、
一定量のノイズを含み、及びチルトを含まない第２の訓練データセットと、
チルトを含み、及びノイズを含まない第３の訓練データセットと
を含む、請求項４に記載の撮像システム。

【請求項6】

前記コンピューティングシステムは、
一例示的な試料の複数の顕微鏡画像を生成するステップと、
前記複数の顕微鏡画像を使用して前記深層学習モデルの精度を試験するステップと
によって、前記深層学習モデルを試験するようにさらに構成された、請求項１に記載の撮像システム。

【請求項7】

前記複数の顕微鏡画像が、固定されたカメラ角度及び様々な照明方向で撮影された画像を含む、請求項６に記載の撮像システム。

【請求項8】

コンピューティングシステムによって、撮像装置から、前記撮像装置のステージ上に配置された試料の表面の複数の画像を受信するステップと、
深層学習モデルを介して前記コンピューティングシステムによって、前記複数の画像に基づいて前記試料の前記表面の高さマップを生成するステップと、
前記コンピューティングシステムによって、前記深層学習モデルによって生成された前記高さマップに基づいて前記試料の前記表面の３Ｄ再構成を出力するステップと
を含む、試料の表面の３Ｄ再構成を生成する方法。

【請求項9】

前記深層学習モデルが畳み込みニューラルネットワークを含む、請求項８に記載の方法。

【請求項10】

前記畳み込みニューラルネットワークが、入力として前記複数の画像を受信し、単一の画像を出力するように構成された、請求項９に記載の方法。

【請求項11】

前記コンピューティングシステムによって、複数の訓練データセットを生成するステップであって、前記複数の訓練データセットは複数の合成高さマップを含む、ステップと、
前記コンピューティングシステムによって、前記複数の訓練データセットを使用して前記深層学習モデルを訓練するステップと
をさらに含む、請求項８に記載の方法。

【請求項12】

前記複数の訓練データセットが、
ノイズのない及びチルトのない第１の訓練データセットと、
一定量のノイズを含み、及びチルトを含まない第２の訓練データセットと、
チルトを含み、及びノイズを含まない第３の訓練データセットと
を含む、請求項１１に記載の方法。

【請求項13】

前記コンピューティングシステムによって、一例示的な試料の複数の顕微鏡画像を生成するステップと、
前記コンピューティングシステムによって、前記複数の顕微鏡画像を使用して前記深層学習モデルの精度を試験するステップと
をさらに含む、請求項８に記載の方法。

【請求項14】

前記複数の顕微鏡画像が、固定されたカメラ角度及び様々な照明方向で撮影された画像を含む、請求項１３に記載の方法。

【請求項15】

１つ又は複数のプロセッサによって実行されると、コンピューティングシステムに動作を実行させる１つ又は複数の命令のシーケンスを含む非一時的コンピュータ可読媒体であって、前記動作は、
前記コンピューティングシステムによって、撮像装置から、前記撮像装置のステージ上に配置された試料の表面の複数の画像を受信するステップと、
深層学習モデルを介して前記コンピューティングシステムによって、前記複数の画像に基づいて前記試料の前記表面の高さマップを生成するステップと、
前記コンピューティングシステムによって、前記深層学習モデルによって生成された前記高さマップに基づいて前記試料の前記表面の３Ｄ再構成を出力するステップと
を含む、非一時的コンピュータ可読媒体。

【請求項16】

前記深層学習モデルが畳み込みニューラルネットワークを含む、請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項17】

前記コンピューティングシステムによって、複数の訓練データセットを生成するステップであって、前記複数の訓練データセットは複数の合成高さマップを含む、ステップと、
前記コンピューティングシステムによって、前記複数の訓練データセットを使用して前記深層学習モデルを訓練するステップと
をさらに含む、請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項18】

前記複数の訓練データセットが、
ノイズのない及びチルトのない第１の訓練データセットと、
一定量のノイズを含み、及びチルトを含まない第２の訓練データセットと、
チルトを含み、及びノイズを含まない第３の訓練データセットと
を含む、請求項１７に記載の非一時的コンピュータ可読媒体。

【請求項19】

前記コンピューティングシステムによって、一例示的な試料の複数の顕微鏡画像を生成するステップと、
前記コンピューティングシステムによって、前記複数の顕微鏡画像を使用して前記深層学習モデルの精度を試験するステップと
をさらに含む、請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項20】

前記複数の顕微鏡画像が、固定されたカメラ角度及び様々な照明方向で撮影された画像を含む、請求項１９に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年２月３日に出願された米国特許仮出願第６２／９６９５７４号明細書の優先権を主張し、その全体が参照により本明細書に組み込まれる。

【0002】

本開示は、一般に、撮像システムに関し、より詳細には、撮像システムによって捕捉された試料の表面の３Ｄ再構成を生成することに関する。

【背景技術】

【0003】

光のランバート反射に基づいて深度及び表面配向を推定するために、フォトメトリックステレオ技術をコンピュータビジョンで使用することができる。物体の表面法線及び反射率マップは、異なる照明方向を伴う固定視野角を使用して撮影された入力画像から計算することができる。

【発明の概要】

【0004】

いくつかの実施形態では、撮像システムが本明細書で開示される。撮像システムは、撮像装置及びコンピューティングシステムを含む。撮像装置は、試料を支持するように構成されたステージに対して複数の位置及び複数の角度に配置された複数の光源を含む。撮像装置は、試料の表面の複数の画像を捕捉するように構成される。コンピューティングシステムは、撮像装置と通信することができる。コンピューティングシステムは、試料の表面の複数の画像を、撮像装置から受信し、深層学習モデルを介して撮像装置によって、複数の画像に基づいて試料の表面の高さマップを生成し、深層学習モデルによって生成される高さマップに基づいて試料の表面の３Ｄ再構成を出力することによって、試料の表面の３Ｄ再構成を生成するように構成することができる。

【0005】

いくつかの実施形態では、試料の表面の３Ｄ再構成を生成する方法が本明細書に開示される。コンピューティングシステムは、撮像装置から、撮像装置のステージ上に配置された試料の表面の複数の画像を受信する。コンピューティングシステムは、深層学習モデルを介して、複数の画像に基づいて試料の表面の高さマップを生成する。コンピューティングシステムは、深層学習モデルによって生成された高さマップに基づいて、試料の表面の３Ｄ再構成を出力する。

【0006】

いくつかの実施形態では、非一時的コンピュータ可読媒体（Ａ ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）が本明細書で開示される。非一時的コンピュータ可読媒体は、１つ又は複数のプロセッサによって実行されると、コンピューティングシステムに動作を実行させる１つ又は複数の命令のシーケンスを含む。動作は、コンピューティングシステムによって、撮像装置から、撮像装置のステージ上に配置された試料の表面の複数の画像を受信することを含む。動作は、深層学習モデルを介してコンピューティングシステムによって、複数の画像に基づいて試料の表面の高さマップを生成することをさらに含む。動作は、コンピューティングシステムによって、深層学習モデルによって生成された高さマップに基づいて試料の表面の３Ｄ再構成を出力することをさらに含む。

【0007】

本開示の上記の特徴が詳細に理解され得るように、上記で簡潔に要約された本開示のより具体的な説明は、実施形態を参照することによって得ることができ、そのいくつかは添付の図面に示されている。しかしながら、添付の図面は、本開示の典型的な実施形態のみを示しており、したがって、本開示が他の等しく有効な実施形態を認めることができるため、その範囲を限定すると見なされるべきではないことに留意されたい。

【図面の簡単な説明】

【0008】

【図1】例示的な実施形態による、撮像システムを示すブロック図である。

【0009】

【図2】例示的な実施形態による、図１の撮像システムからの深層学習モジュールの一例示的なアーキテクチャを示す図である。

【0010】

【図3】例示的な実施形態による、深層学習モジュールを訓練する方法を示す流れ図である。

【0011】

【図4A】例示的な実施形態による、試料の３Ｄ再構成を生成する方法を示す流れ図である。

【0012】

【図4B】例示的な実施形態による、顕微鏡表面の３Ｄ再構成を生成する方法を示す流れ図である。

【0013】

【図5】例示的な実施形態による、試料の例示的な３Ｄ再構成を示す図である。

【0014】

【図6A】例示的な実施形態による、システムバスコンピューティングシステムアーキテクチャを示す図である。

【0015】

【図6B】例示的な実施形態による、チップセットアーキテクチャを有するコンピュータシステムを示す図である。

【発明を実施するための形態】

【0016】

理解を容易にするために、可能であれば、図に共通する同一の要素を示すために同一の参照番号が使用されている。一実施形態に開示された要素は、特定の記載なしに他の実施形態で有益に利用することができると考えられる。

【0017】

フォトメトリックステレオは、異なる照明角度から物体の表面法線を計算することによって実行され得る３Ｄ再構成のための１つの技術であり得る。この技術は、大きな特徴を伴う静的物体の高さプロファイルを推定するのに有効であり得るが、半導体ウェハなどの小さな特徴を伴う物体又は小さな窪みを伴う平坦な環境では失敗することが多い。本明細書に記載の１つ又は複数の技術は、フォトメトリックステレオを使用する従来の３Ｄ再構成技術を超える改善を提供する。例えば、本明細書に記載の１つ又は複数の技術は、表面法線計算の進歩と共に、ニューラルネットワークを使用して予期されるノイズを補償する複合方法を含むことができる。１つ又は複数の技術は、サンプルノイズ及び不均一なサンプル照明をフォトメトリックステレオモデルに組み込むいくつかの方法を含む。いくつかの実施形態では、以下に説明する提案されたモデルは、合成及び実験データセット上のノイズ感受性の減少を実証することができる。そのような手法は、破壊的又は高価な分析方法を使用する必要なしに、複雑な表面の迅速な検査及び再構成を可能にすることができる。

【0018】

一般に、深度推定のためのフォトメトリックステレオのほとんどの用途は、マクロスケールの物体のためのものであった。最近では、アルベド、表面法線、及び高さマップを正規化最小化手法（ｒｅｇｕｌａｒｉｚｅｄ ｍｉｎｉｍｉｚａｔｉｏｎ ａｐｐｒｏａｃｈ）によって計算する顕微鏡ステレオ方法が深度推定に使用されている。しかしながら、顕微鏡入力画像の使用は、発光ダイオード（ＬＥＤ）ランプ又は他の光源が撮像段階に近接して設定された場合の特徴のサイズ及び近接場照明条件に起因して、３Ｄ再構成に課題を課した。これらの表面及び照明条件は、顕微鏡表面上の古典的なフォトメトリックステレオの性能を制限する可能性がある。

【0019】

本明細書に記載の１つ又は複数の技術は、顕微鏡フォトメトリックステレオ法のエントロピー最小化フレームワーク（ｔｈｅ ｅｎｔｒｏｐｙ ｍｉｎｉｍｉｚａｔｉｏｎ ｆｒａｍｅｗｏｒｋ ｏｆ ｍｉｃｒｏｓｃｏｐｉｃ ｐｈｏｔｏｍｅｔｒｉｃ ｓｔｅｒｅｏ ｍｅｔｈｏｄｓ）の代わりに、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ （ＣＮＮ））を使用した顕微鏡表面の３Ｄ再構成のための深層フォトメトリック学習モデル（ｄｅｅｐ ｐｈｏｔｏｍｅｔｒｉｃ ｌｅａｒｎｉｎｇ ｍｏｄｅｌｓ（ＤＰＬ））を利用する。例えば、本明細書に記載の１つ又は複数の技術は、深層フォトメトリック学習性能を古典的なフォトメトリックステレオ実装と比較するために、合成及び実験入力を使用して深層学習モジュールを訓練することを含むことができる。合成データでは、例えば、合成入力画像に不均一な照明プロファイル、ガウスノイズ、及び表面チルトを組み込むことによって非理想的な表面及び照明条件をシミュレートし、これらの条件に対する深層フォトメトリック学習及びフォトメトリックステレオ手法の両方のロバスト性を分析することができる。深層学習技術のそのような使用は、ランバート面へのシステムの依存を低減することができる。

【0020】

図１は、例示的な実施形態による、試料の斜め照明及びステージ上に支持された試料の表面の３Ｄ再構成のための例示的なコンピューティング環境１００を示す。図示のように、コンピューティング環境１００は、例示的な実施形態によれば、コンピューティングシステム１５０と通信する装置１０２を含むことができる。装置１０２は、試料１０１を１つ又は複数の光源１０４、１０６で照明するように構成されてもよい。１つ又は複数の光源１０４、１０６は、斜め光１０８、１１０をある角度で試料１０１に向けるように構成されてもよい。斜め照明は、反射光１１２として試料１０１の表面から反射され得る。装置１０２は、反射光を捕捉するように構成された画像センサを有するカメラデバイス１１４を含むことができる。いくつかの実施形態では、光源１０４、１０６は、物体の周りに円周方向に配置された異なる位置に移動することができ、各位置で画像が撮影される。

【0021】

いくつかの実施形態では、装置１０２は、カメラデバイス１１４によって捕捉された画像を処理のためにコンピューティングシステム１５０に提供することができる。コンピューティングシステム１５０は、１つ又は複数の通信チャネルを介して装置１０２と通信することができる。いくつかの実施形態では、１つ又は複数の通信チャネルは、セルラーネットワーク又はＷｉ－Ｆｉネットワークなどのインターネットを介した個々の接続を表すことができる。いくつかの実施形態では、１つ又は複数の通信チャネルは、無線周波数識別（ＲＦＩＤ）、近距離無線通信（ＮＦＣ）、Ｂｌｕｅｔｏｏｔｈ（商標）、低エネルギーＢｌｕｅｔｏｏｔｈ（商標）（ＢＬＥ）、Ｗｉ－Ｆｉ（商標）、ＺｉｇＢｅｅ（商標）、周囲後方散乱通信（ＡＢＣ）プロトコル、ＵＳＢ、ＷＡＮ、又はＬＡＮなどの直接接続を使用して端末、サービス、及びモバイルデバイスを接続することができる。コンピューティングシステム１５０は、カメラデバイス１１４によって捕捉された画像を分析し、試料１０１のトポグラフィを生成するように構成することができる。

【0022】

図示のように、コンピューティングシステム１５０は、前処理エンジン１５２及び深層学習モデル１５４を含むことができる。前処理エンジン１５２及び深層学習モデル１５４の各々は、１つ又は複数のソフトウェアモジュールを含むことができる。１つ又は複数のソフトウェアモジュールは、１つ又は複数のアルゴリズムステップを実装する一連の機械命令（例えば、プログラムコード）を表す、メディア（例えば、コンピューティングシステム１５０のメモリ）に記憶されたコード又は命令の集合であってもよい。そのような機械命令は、プロセッサが命令を実施するために解釈する実際のコンピュータコードであってもよく、又は、代替的に、実際のコンピュータコードを取得するために解釈される命令のより高いレベルのコーディングであってもよい。１つ又は複数のソフトウェアモジュールはまた、１つ又は複数のハードウェア構成要素を含むことができる。一例示的なアルゴリズムの１つ又は複数の態様は、命令の結果としてではなく、ハードウェア構成要素（例えば、回路）自体によって実行されてもよい。

【0023】

深層学習モデル１５４は、試料の３Ｄ再構成を生成するように構成することができる。いくつかの実施形態では、深層学習モデル１５４は、１つ又は複数の合成訓練データセットを使用して訓練することができる。合成データセットを作成するために、前処理エンジン１５２は、空白の高さマップ上に複数（例えば、１００）の重なり合わない半球をランダムに配置することによって、１つ又は複数の合成高さマップを作成することができる。いくつかの実施形態では、均一に約４から約２０ピクセルの範囲の半径を伴う半球を正方向のバンプ及び負方向の穴（例えば、又はその逆）として追加することができ、高さは３２ビットのピクセル値として表される。いくつかの実施形態では、前処理エンジン１５２は、１つ又は複数のモデリング及びレンダリングパッケージを使用して、各高さマップを手続き的に３Ｄ形状にさらに変換することができる。いくつかの実施形態では、前処理エンジン１５２は、複数の照明光ベクトル（例えば、８つの照明光ベクトル）に対する「点」光源の位置を計算することができる。各光ベクトルについて、白黒１６ビット画像をレイトレーシングエンジン（例えば、サイクルレイトレーシングエンジン）を使用してレンダリングすることができる。

【0024】

いくつかの実施形態では、深層学習モデル１５４は、畳み込みニューラルネットワーク（ＣＮＮ）を実装することができる。いくつかの実施形態では、ＣＮＮモデルは、ＰｙＴｏｒｃｈのＵ－Ｎｅｔモデルと同様であってもよい。いくつかの実施形態では、深層学習モデル１５４は、３つのタイプの合成訓練データセット、すなわち、ノイズなし及びチルトなしの第１の訓練データセット（例えば、「ＤＰＬ」）、一定量のガウスノイズを伴うがチルトなしの第２の訓練セット（例えば、「ＤＰＬｎ」）、並びにノイズなしであるがチルトを伴う第３の訓練セット（例えば、ＤＰＬｔ）で訓練されてもよい。いくつかの実施形態では、各データセットは約５００個の訓練例を含んでいた。深層学習モデル１５４の性能は、様々なサイズの試験データセットで定量化することができる。例えば、試験データセットは、ＤＰＬ及びＤＰＬｎのサイズ１０（初期データセットの入力画像に追加され得るガウシアンノイズの量を増加させる）並びにＤＰＬｔのサイズ５０を含むことができる。

【0025】

いくつかの実施形態では、深層学習モデル１５４は、チルトを伴う訓練例のための追加の入力としてチルト角を含むように修正することができる。いくつかの実施形態では、実験データに対する検証のために、深層学習モデル１５４は、より良好に一致する照明プロファイルを有する複数の訓練例のデータセットを使用して再訓練されてもよく、実験光ベクトルに一致するように特に生成されてもよい。

【0026】

いくつかの実施形態では、コンピューティングシステム１５０は、統合エンジン（ｉｎｔｅｇｒａｔｉｏｎ ｅｎｇｉｎｅ）１５６をさらに含むことができる。深層学習モデル１５４は、最終的な高さマップを直接予測するように構成することができるが、いくつかの実施形態では、深層学習モデル１５４を使用して、試料のローカル表面を予測することができる。試料のローカル表面の予測に続いて、統合エンジン１５６は、ローカル表面予測を使用して高さマップを生成するように構成され得る。例えば、統合エンジン１５６は、高さマップを生成するために、３Ｄ再構成の表面法線を統合するように構成されてもよい。一般に、勾配マップ

【数1】

は、法線マップ

【数2】

から計算することができる。いくつかの実施形態では、方程式

【数3】

は、この関数を最小化することによって解くことができる。

【数4】

【0027】

いくつかの実施形態では、オイラー－ランゲージ方程式は、

【数5】

及び

【数6】

が以下のポアソン方程式を満たす必要があり得る。すなわち、

【数7】

【0028】

いくつかの実施形態では、統合エンジン１５６は、高さマップを計算するためにポアソン方程式を解くために様々な技術を使用することができる。

【0029】

図２は、例示的な実施形態による、深層学習モデル１５４のアーキテクチャ２００を示す。図示のように、アーキテクチャ２００は、入力層２０２、複数の畳み込み層２０４、複数の活性化層２０６、複数の最大プーリング層２０８、複数のアップサンプリング層２１０、複数の連結層２１２、及び出力層２１４を含む。いくつかの実施形態では、入力層２０２は、６

【数8】

の寸法を有することができる。いくつかの実施形態では、出力層２１４は寸法

【数9】

を有することができる。

【0030】

図３は、例示的な実施形態による、深層学習モデル１５４を訓練する方法３００を示す流れ図である。方法３００は、ステップ３０２で開始することができる。

【0031】

ステップ３０２では、コンピューティングシステム１５０は、複数の訓練データセットを生成することができる。例えば、前処理エンジン１５２は、空白の高さマップ上に複数（例えば、１００）の重なり合わない半球をランダムに配置することによって、１つ又は複数の合成高さマップを作成することができる。いくつかの実施形態では、均一に約４から約２０ピクセルの範囲の半径を伴う半球を正方向のバンプ及び負方向の穴（例えば、又はその逆）として追加することができ、高さは３２ビットのピクセル値として表される。いくつかの実施形態では、前処理エンジン１５２は、１つ又は複数のモデリング及びレンダリングパッケージを使用して、各高さマップを手続き的に３Ｄ形状にさらに変換することができる。いくつかの実施形態では、前処理エンジン１５２は、複数の照明光ベクトル（例えば、８つの照明光ベクトル）に対する「点」光源の位置を計算することができる。各光ベクトルについて、白黒１６ビット画像をレイトレーシングエンジン（例えば、サイクルレイトレーシングエンジン）を使用してレンダリングすることができる。

【0032】

ステップ３０４では、コンピューティングシステム１５０は、複数の訓練データセットで深層学習モデル１５４を訓練することができる。例えば、コンピューティングシステム１５０は、複数の訓練データセットに基づいて高さマップを生成するように深層学習モデル１５４を訓練することができる。いくつかの実施形態では、コンピューティングシステム１５０は、実データ（例えば、実際の画像）で深層学習モデル１５４をさらに訓練することができる。

【0033】

ステップ３０６では、コンピューティングシステム１５０は、実際の画像で深層学習モデル１５４を試験することができる。例えば、合成入力の代わりに、コンピューティングシステム１５０は、ゴム表面の実際の顕微鏡画像を使用して深層学習モデル１５４を試験することができる。いくつかの実施形態では、固定されたカメラ角度及び様々な照明方向を伴う各サンプルの複数の（例えば、６）画像を撮影することができる。正確に既知のグラウンドトゥルースを伴う合成データとは異なり、ゴムサンプルのグラウンドトゥルース高さ測定値を使用することができる。

【0034】

ステップ３０８では、コンピューティングシステム１５０は、完全に訓練された深層学習モデル１５４を出力することができる。例えば、訓練及び試験動作に続いて、深層学習モデル１５４は、装置１０２又は他の同様の装置で使用するために完全に訓練されてもよい。

【0035】

図４Ａは、例示的な実施形態による、顕微鏡表面の３Ｄ再構成を生成する方法４００を示す流れ図である。方法４００は、ステップ４０２で開始することができる。

【0036】

ステップ４０２では、コンピューティングシステム１５０は、試料の複数の画像を受信することができる。例えば、装置１０２の１つ又は複数の光源１０４、１０６は、斜め光１０８、１１０を様々な角度で試料１０１に向けることができる。装置１０２のカメラデバイス１１４は、反射光を捕捉することができる。いくつかの実施形態では、光源１０４、１０６は、物体の周りに円周方向に配置された異なる位置に移動することができ、各位置で画像が撮影される。これらの画像の各々は、さらなる処理のためにコンピューティングシステム１５０に提供されてもよい。

【0037】

ステップ４０４では、コンピューティングシステム１５０は、複数の画像に基づいて試料の高さマップを生成するように構成することができる。例えば、コンピューティングシステム１５０は、複数の画像を入力として深層学習モデル１５４に提供することができる。深層学習モデル１５４は、複数の画像に基づいて、試料の表面に対応する高さマップを生成することができる。

【0038】

ステップ４０６では、コンピューティングシステム１５０は、深層学習モデル１５４からの出力に基づいて顕微鏡表面の３Ｄ再構成を生成することができる。例えば、コンピューティングシステム１５０は、深層学習モデル１５４から出力された高さマップに基づいて顕微鏡表面の３Ｄ再構成を生成することができる。

【0039】

図４Ｂは、例示的な実施形態による、顕微鏡表面の３Ｄ再構成を生成する方法４５０を示す流れ図である。方法４５０は、ステップ４５２で開始することができる。

【0040】

ステップ４５２では、コンピューティングシステム１５０は、試料の複数の画像を受信することができる。例えば、装置１０２の１つ又は複数の光源１０４、１０６は、斜め光１０８、１１０を様々な角度で試料１０１に向けることができる。装置１０２のカメラデバイス１１４は、反射光を捕捉することができる。いくつかの実施形態では、光源１０４、１０６は、物体の周りに円周方向に配置された異なる位置に移動することができ、各位置で画像が撮影される。これらの画像の各々は、さらなる処理のためにコンピューティングシステム１５０に提供されてもよい。

【0041】

ステップ４５４では、コンピューティングシステム１５０は、複数の画像に基づいて試料の表面予測を生成するように構成することができる。例えば、コンピューティングシステム１５０は、複数の画像を入力として深層学習モデル１５４に提供することができる。深層学習モデル１５４は、複数の画像に基づいて、試料の表面予測を生成することができる。

【0042】

ステップ４５６では、コンピューティングシステム１５０は、試料の予測された表面に基づいて高さマップを生成することができる。例えば、統合エンジン１５６は、上述したように、高さマップを生成するために、３Ｄ再構成の表面法線を統合することができる。

【0043】

ステップ４５８では、コンピューティングシステム１５０は、深層学習モデル１５４からの出力に基づいて顕微鏡表面の３Ｄ再構成を生成することができる。例えば、コンピューティングシステム１５０は、深層学習モデル１５４から出力された高さマップに基づいて顕微鏡表面の３Ｄ再構成を生成することができる。

【0044】

図５は、例示的な実施形態による、試料の例示的な３Ｄ再構成５００を示す。上述したように、３Ｄ再構成５００は、深層学習モデル１５４による解析後のコンピューティング環境１００からの一例示的な出力であってもよい。

【0045】

図６Ａは、例示的な実施形態による、システムバスコンピューティングシステムアーキテクチャ６００を示す。システム６００の１つ又は複数の構成要素は、バス６０５を使用して互いに電気的に通信することができる。システム６００は、プロセッサ（例えば、１つ又は複数のＣＰＵ、ＧＰＵ、又は他のタイプのプロセッサ）６１０、並びに読み取り専用メモリ（ＲＯＭ）６２０及びランダムアクセスメモリ（ＲＡＭ）６２５などのシステムメモリ６１５を含む様々なシステム構成要素をプロセッサ６１０に結合するシステムバス６０５を含むことができる。システム６００は、プロセッサ６１０と直接接続されているか、近接しているか、又はその一部として統合されている高速メモリのキャッシュを含むことができる。システム６００は、プロセッサ６１０による迅速なアクセスのために、メモリ６１５及び／又は記憶デバイス６３０からキャッシュ６１２にデータをコピーすることができる。このようにして、キャッシュ６１２は、データを待つ間にプロセッサ６１０の遅延を回避する性能向上を提供することができる。これらのモジュール及び他のモジュールは、様々なアクションを実行するようにプロセッサ６１０を制御するか、又は制御するように構成することができる。他のシステムメモリ６１５も同様に使用するために利用可能であり得る。メモリ６１５は、異なる性能特性を伴う複数の異なるタイプのメモリを含むことができる。プロセッサ６１０は、単一のプロセッサ又は複数のプロセッサを表すことができる。プロセッサ６１０は、プロセッサ６１０を制御するように構成された、記憶デバイス６３０に記憶されたサービス１ ６３２、サービス２ ６３４、及びサービス３ ６３６などの汎用プロセッサ又はハードウェアモジュール又はソフトウェアモジュール、並びにソフトウェア命令が実際のプロセッサ設計に組み込まれている専用プロセッサの１つ又は複数を含むことができる。プロセッサ６１０は、本質的に、複数のコア又はプロセッサ、バス、メモリコントローラ、キャッシュなどを含む完全に自己完結型のコンピューティングシステムであってもよい。マルチコアプロセッサは、対称又は非対称であってもよい。

【0046】

コンピューティングデバイス６００とのユーザ対話を可能にするために、音声用のマイクロフォン、ジェスチャ又はグラフィック入力用のタッチ感知スクリーン、キーボード、マウス、動き入力、音声などの任意の数の入力機構とすることができる入力デバイス６４５。出力デバイス６３５はまた、当業者に知られているいくつかの出力機構の１つ又は複数であってもよい。場合によっては、マルチモーダルシステムは、ユーザがコンピューティングデバイス６００と通信するために複数のタイプの入力を提供することを可能にすることができる。通信インターフェース６４０は、一般に、ユーザ入力及びシステム出力を制御及び管理することができる。特定のハードウェア構成上で動作することに制限はなく、したがって、ここでの基本的な特徴は、それらが開発されるときに改善されたハードウェア又はファームウェア構成の代わりに容易に置き換えることができる。

【0047】

記憶デバイス６３０は、不揮発性メモリであってもよく、磁気カセット、フラッシュメモリカード、ソリッドステートメモリデバイス、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）６２５、読み出し専用メモリ（ＲＯＭ）６２０、及びそれらのハイブリッドなど、コンピュータによってアクセス可能なデータを記憶することができるハードディスク又は他のタイプのコンピュータ可読媒体であってもよい。

【0048】

記憶デバイス６３０は、プロセッサ６１０を制御するためのサービス６３２、６３４、及び６３６を含むことができる。他のハードウェア又はソフトウェアモジュールが考えられる。記憶デバイス６３０は、システムバス６０５に接続することができる。一態様では、特定の機能を実行するハードウェアモジュールは、機能を実行するために、プロセッサ６１０、バス６０５、ディスプレイ６３５などの必要なハードウェア構成要素に関連してコンピュータ可読媒体に記憶されたソフトウェア構成要素を含むことができる。

【0049】

図６Ｂは、例示的な実施形態による、チップセットアーキテクチャを有するコンピュータシステム６５０を示す。コンピュータシステム６５０は、開示された技術を実施するために使用され得るコンピュータハードウェア、ソフトウェア、及びファームウェアの一例であり得る。システム６５０は、識別された計算を実行するように構成されたソフトウェア、ファームウェア、及びハードウェアを実行することができる任意の数の物理的及び／又は論理的に別個のリソースを表す、１つ又は複数のプロセッサ６５５を含むことができる。１つ又は複数のプロセッサ６５５は、１つ又は複数のプロセッサ６５５への入力及びそこからの出力を制御することができるチップセット６６０と通信することができる。この例では、チップセット６６０は、ディスプレイなどの出力６６５に情報を出力し、例えば、磁気媒体及び固体媒体を含むことができる記憶デバイス６７０に対して情報の読み出し及び書き込みを行うことができる。チップセット６６０はまた、ＲＡＭ６７５からのデータの読み出し及びＲＡＭへのデータの書き込みを行うことができる。チップセット６６０とインターフェースするために、様々なユーザインターフェース構成要素６８５とインターフェースするためのブリッジ６８０を設けることができる。そのようなユーザインターフェース構成要素６８５は、キーボード、マイクロフォン、タッチ検出及び処理回路、マウスなどのポインティングデバイスなどを含むことができる。一般に、システム６５０への入力は、様々なソース、機械生成及び／又は人間生成のいずれかからもたらされ得る。

【0050】

チップセット６６０はまた、異なる物理インターフェースを有することができる１つ又は複数の通信インターフェース６９０とインターフェースすることができる。そのような通信インターフェースは、有線及び無線ローカルエリアネットワーク、広帯域無線ネットワーク、並びにパーソナルエリアネットワークのためのインターフェースを含むことができる。本明細書で開示されるＧＵＩを生成、表示、及び使用するための方法のいくつかのアプリケーションは、物理インターフェースを介して順序付けられたデータセットを受信すること、又はストレージ６７０もしくは６７５に記憶されたデータを分析する１つもしくは複数のプロセッサ６５５によってマシン自体によって生成されることを含むことができる。さらに、機械は、ユーザインターフェース構成要素６８５を通してユーザからの入力を受信し、これらの入力を１つ又は複数のプロセッサ６５５を使用して解釈することにより、ブラウジング機能などの適切な機能を実行することができる。

【0051】

例示的なシステム６００及び６５０は、より大きな処理能力を提供するために、複数のプロセッサ６１０を有するか、又は一緒にネットワーク接続されたコンピューティングデバイスのグループ又はクラスタの一部とすることができることが理解されよう。

【0052】

上記は本明細書に記載の実施形態に関するものであるが、その基本的な範囲から逸脱することなく、他の及びさらなる実施形態を考案することができる。例えば、本開示の態様は、ハードウェアもしくはソフトウェア、又はハードウェアとソフトウェアとの組み合わせで実施することができる。本明細書に記載の一実施形態は、コンピュータシステムで使用するためのプログラム製品として実装することができる。プログラム製品のプログラムは、実施形態の機能（本明細書に記載の方法を含む）を定義し、様々なコンピュータ可読記憶媒体に含めることができる。例示的なコンピュータ可読記憶媒体には、これらに限定されないが、以下が含まれる、すなわち、（ｉ）情報が恒久的に記憶される書き込み不可能な記憶媒体（例えば、コンピュータ内の読み出し専用メモリ（ＲＯＭ）デバイス、例えば、ＣＤ－ＲＯＭドライブによって読み取り可能なＣＤ－ＲＯＭディスク、フラッシュメモリ、ＲＯＭチップ、又は任意のタイプのソリッドステート不揮発性メモリ）、並びに（ｉｉ）変更可能な情報が記憶される書き込み可能な記憶媒体（例えば、ディスケットドライブ内のフロッピーディスクもしくはハードディスクドライブ又は任意のタイプのソリッドステートランダムアクセスメモリ）である。そのようなコンピュータ可読記憶媒体は、開示された実施形態の機能を指示するコンピュータ可読命令を搬送する場合、本開示の実施形態である。

【0053】

前述の例は例示的なものであり、限定的なものではないことが当業者には理解されよう。本明細書を読み、図面を検討することで、当業者にはすべての置換、拡張、等価物、及びそれらの改良は、明らかであり、本開示の真の趣旨及び範囲内に含まれることが意図される。したがって、以下の添付の特許請求の範囲は、これらの教示の真の趣旨及び範囲内に含まれるすべてのそのような修正、置換、及び均等物を含むことが意図される。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【国際調査報告】