特開 2024-70810 深度情報推定方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024070810

(43)【公開日】2024-05-23

(54)【発明の名称】深度情報推定方法及び装置

(51)【国際特許分類】

   G06T 7/50 20170101AFI20240516BHJP

   G06T 7/00 20170101ALI20240516BHJP

【ＦＩ】

G06T7/50

G06T7/00 350C

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2023134472

(22)【出願日】2023-08-22

(31)【優先権主張番号】10-2022-0150687

(32)【優先日】2022-11-11

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】金 智煥

(72)【発明者】

【氏名】徐 成住

(72)【発明者】

【氏名】安 民修

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA08

5L096BA18

5L096CA01

5L096EA03

5L096EA15

5L096EA16

5L096FA66

5L096HA11

5L096KA15

(57)【要約】

【課題】
深度情報推定方法が開示される。
【解決手段】
一実施形態に係る深度情報推定方法は、第１深度マップをシミュレーターに入力し、第１シミュレーション映像を取得するステップと、第１深度マップおよび第１シミュレーション映像に基づいて人工神経網モデルを学習するステップと、実際の映像を人工神経網モデルに入力して第２深度マップを取得するステップと、第２深度マップをシミュレーターに入力して第２シミュレーション映像を取得するステップと、を含む。
【選択図】 図２

【特許請求の範囲】

【請求項1】

深度情報推定方法であって、
第１深度マップと共に提供されるシミュレーターを用いて第１シミュレーション映像を生成するステップと、
前記第１深度マップと前記第１シミュレーション映像に基づいて人工神経網モデルを学習するステップと、
実際の映像と共に提供される前記学習された人工神経網モデルを用いて第２深度マップを生成するステップと、
前記第２深度マップと共に提供される前記シミュレーターを用いて第２シミュレーション映像を生成するステップと、
を含む、方法。

【請求項2】

前記方法は、さらに、
前記第２深度マップと前記第２シミュレーション映像に基づいて、前記学習された人工神経網モデルを再学習するステップ、
を含む、請求項１に記載の方法。

【請求項3】

前記方法は、さらに、
前記第２深度マップからランダムノイズ付加、イメージ回転、スケール調整、イメージ移動、ランダムクロップ、及び色の歪曲のうちの１つ又は２以上の組み合わせを含むデータ増強に基づいて、複数の変形深度マップを生成するステップと、
前記複数の変形深度マップ及び前記第２シミュレーション映像に基づいて、前記学習された人工神経網モデルを再学習するステップと、
を含む、請求項１に記載の方法。

【請求項4】

前記実際の映像は、ＳＥＭ映像を含む、
請求項１に記載の方法。

【請求項5】

前記第１深度マップは、前記ＳＥＭ映像に基づいて生成される、
請求項４に記載の方法。

【請求項6】

前記第１深度マップは、前記ＳＥＭ映像及びＴＥＭ映像に基づいて生成される、
請求項４に記載の方法。

【請求項7】

実際の映像を人工神経網モデルに入力して前記実際の映像に対応する深度マップを生成するステップ、を含み、
前記人工神経網モデルは、前記深度マップと共に提供されるシミュレーターに基づいて生成されるシミュレーション映像、および、前記深度マップに基づいて学習される、
深度情報推定方法。

【請求項8】

複数のコンピュータ命令を含むコンピュータプログラムであって、
コンピュータのプロセッサにより実行されると、請求項１に記載の方法を前記コンピュータに実施させる、
コンピュータプログラム。

【請求項9】

プロセッサを含む電子装置であって、前記プロセッサは、
第１深度マップをシミュレーターに入力して、第１シミュレーション映像を生成し、
前記第１深度マップと前記第１シミュレーション映像に基づいて、人工神経網モデルを学習し、
実際の映像を前記人工神経網モデルに入力して、第２深度マップを生成し、
第２深度マップをシミュレーターに入力して、第２シミュレーション映像を生成する、
電子装置。

【請求項10】

前記電子装置は、さらに、
命令語を格納するメモリを含み、
前記プロセッサは、前記メモリに格納された命令語を実行することによってシミュレーション映像を生成し、
前記第１深度マップ及び前記第１シミュレーション映像に基づいて、前記人工神経網モデルを学習し、前記第２深度マップ及び前記第２シミュレーション映像を生成する、
請求項９に記載の電子装置。

【請求項11】

前記プロセッサは、前記第２深度マップ及び前記第２シミュレーション映像に基づいて、前記学習された人工神経網モデルを再学習する、
請求項９に記載の電子装置。

【請求項12】

前記プロセッサは、
前記第２深度マップからランダムノイズ付加、イメージ回転、スケール調整、イメージ移動、ランダムクロップ、及び、色の歪曲のうちの１つ又は２以上の組み合わせを含むデータ増強に基づいて、複数の変形深度マップを生成し、
前記複数の変形深度マップ及び前記第２シミュレーション映像に基づいて、前記学習された人工神経網モデルを再学習する、
請求項９に記載の電子装置。

【請求項13】

前記実際の映像は、ＳＥＭ映像を含む、
請求項９に記載の電子装置。

【請求項14】

前記ＳＥＭ映像に基づいて、前記第１深度マップを生成する、
請求項１３に記載の電子装置。

【請求項15】

前記ＳＥＭ映像及びＴＥＭ映像に基づいて、前記第１深度マップを生成する、
請求項１３に記載の電子装置。

【請求項16】

プロセッサを含む電子装置であって、前記プロセッサは、
第１深度マップ及び前記第１深度マップと共に提供されたシミュレーターを用いて生成された第１シミュレーションイメージに基づいて、人工神経網モデルを学習し、
第２深度マップに基づいて、前記学習された人工神経網モデルを学習し、
前記第２深度マップは、前記学習された人工神経網モデルと共に提供されるシミュレーターによって生成され、
前記学習された人工神経網モデルは、ＳＥＭ映像及び第２シミュレーター映像と共に提供され、
前記第２シミュレーター映像は、前記第２深度マップと共に提供される前記シミュレーターによって生成される、
電子装置。

【請求項17】

前記シミュレーターは、Ｎｅｂｕｌａシミュレーターである、
請求項１６に記載の電子装置。

【請求項18】

前記プロセッサは、前記電子装置を使用して、半導体ウェハー内の深度を推定するように構成される、
請求項１６に記載の電子装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、深度情報推定方法及び装置に関する。より具体的には、映像データを推定するシミュレーターを活用して、逆に映像データから深度情報を推定する方法に関する。

【背景技術】

【0002】

走査電子顕微鏡（ＳＥＭ：ｓｃａｎｎｉｎｇ ｅｌｅｃｔｒｏｎ ｍｉｃｒｏｓｃｏｐｅ）は、集束された電子ビームをサンプルで走査（ｓｃａｎ）し、サンプルから放出される２次電子又は後方散乱電子に関する電子信号を用いてサンプルの表面状態を観察し、または、サンプルの成分を分析する装置である。

【0003】

半導体工程の微細化により、既存の光学設備を介して解釈できない領域が次第に増加することになり、そのため、走査電子顕微鏡の活用領域が増加している。半導体の微細工程時に走査電子顕微鏡を用いて、サンプルの表面状態、即ち、２次元的な平面イメージを取得することができる。サンプルの２次元的イメージだけでは半導体装置を含むサンプルの構造を解釈するのに充分ではなく、サンプルの３次元的なイメージの抽出が求められている。

【0004】

上記の情報には、本開示の理解を助けるための背景情報のみが提供されている。前記情報のいずれかが本開示に関連して先行技術として適用されるかに対しては、いかなる決定も行われておらず、いかなる主張も行われていない。

【発明の概要】

【課題を解決するための手段】

【0005】

一実施形態に係る深度情報推定方法は、第１深度マップと共に提供されるシミュレーターを用いて第１シミュレーション映像を生成するステップと、前記第１深度マップと前記第１シミュレーション映像に基づいて人工神経網モデルを学習するステップと、実際の映像と共に提供される前記学習された人工神経網モデルを用いて第２深度マップを生成するステップと、前記第２深度マップと共に提供される前記シミュレーターを用いて第２シミュレーション映像を生成するステップと、を含む。

【0006】

一実施形態に係る深度情報推定方法は、さらに、前記第２深度マップと前記第２シミュレーション映像に基づいて前記学習された人工神経網モデルを再学習するステップ、を含むことができる。

【0007】

一実施形態に係る深度情報推定方法は、さらに、前記第２深度マップからランダムノイズ付加、イメージ回転、スケール調整、イメージ移動、ランダムクロップ、及び色の歪曲のうちの１つ又は２以上の組み合わせを含むデータ増強に基づいて複数の変形深度マップを生成するステップと、前記複数の変形深度マップ及び前記第２シミュレーション映像に基づいて、前記学習された人工神経網モデルを再学習するステップと、を含むことができる。

【0008】

前記実際の映像は、ＳＥＭ映像を含むことができる。

【0009】

前記第１深度マップは、前記ＳＥＭ映像に基づいて生成され得る。前記第１深度マップは、前記ＳＥＭ映像及びＴＥＭ映像に基づいて生成され得る。実際の映像を人工神経網モデルに入力して前記実際の映像に対応する深度マップを生成するステップを含み、前記人工神経網モデルは、前記深度マップと共に提供されるシミュレーターに基づいて生成されるシミュレーション映像および前記深度マップに基づいて学習され得る。

【0010】

一実施形態に係る電子装置は、第１深度マップをシミュレーターに入力して、第１シミュレーション映像を生成し、前記第１深度マップと前記第１シミュレーション映像に基づいて、人工神経網モデルを学習し、実際の映像を前記人工神経網モデルに入力して、第２深度マップを生成し、第２深度マップをシミュレーターに入力して、第２シミュレーション映像を生成する、プロセッサを含むことができる。

【0011】

一実施形態に係る電子装置は、さらに、命令語を格納するメモリを含み、前記プロセッサは、前記メモリに格納された命令語を実行することによってシミュレーション映像を生成し、前記第１深度マップ及び前記第１シミュレーション映像に基づいて前記人工神経網モデルを学習し、前記第２深度マップ及び前記第２シミュレーション映像を生成することができる。

【0012】

前記プロセッサは、前記第２深度マップ及び前記第２シミュレーション映像に基づいて前記学習された人工神経網モデルを再学習することができる。

【0013】

前記プロセッサは、前記第２深度マップからランダムノイズ付加、イメージ回転、スケール調整、イメージ移動、ランダムクロップ、及び、色の歪曲のうちの１つ又は２以上の組み合わせを含むデータ増強に基づいて、複数の変形深度マップを生成し、前記複数の変形深度マップ及び前記第２シミュレーション映像に基づいて、前記学習された人工神経網モデルを再学習することができる。

【0014】

前記実際の映像は、ＳＥＭ映像を含むことができる。

【0015】

一実施形態に係る電子装置は、前記ＳＥＭ映像に基づいて、前記第１深度マップを生成することができる。

【0016】

一実施形態に係る電子装置は、前記ＳＥＭ映像及びＴＥＭ映像に基づいて、前記第１深度マップを生成することができる。

【0017】

一実施形態に係る電子装置は、第１深度マップ及び前記第１深度マップと共に提供されたシミュレーターを用いて生成された第１シミュレーションイメージに基づいて、人工神経網モデルを学習し、第２深度マップに基づいて、前記学習された人工神経網モデルを学習するプロセッサを含み、前記第２深度マップは、前記学習された人工神経網モデルと共に提供されるシミュレーターによって生成され、前記学習された人工神経網モデルは、ＳＥＭ映像及び第２シミュレーター映像と共に提供され、前記第２シミュレーター映像は、前記第２深度マップと共に提供される前記シミュレーターによって生成され得る。

【0018】

前記シミュレーターは、Ｎｅｂｕｌａシミュレーターである。

【0019】

前記プロセッサは、半導体ウェハー内の深度を推定するために、前記電子装置を使用するように構成され得る。

【図面の簡単な説明】

【0020】

【図1】人工神経網（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用したディープラーニング演算方法を説明するための図である。

【図2】一実施形態に係る深度情報を推定するシステムを説明するための図である。

【図3】一実施形態に係る深度情報推定方法を説明するための図である。

【図4】一実施形態に係る初期深度マップを生成する方法を説明するための図である。

【図5】一実施形態に係るデータ増強方法を説明するための図である。

【図6】一実施形態に係る深度情報スケーリング方法を説明するための図である。

【図7】一実施形態に係る深度情報推定方法を説明するためのフローチャートである。

【図8】一実施形態に係る電子装置の構成を示す図である。

【発明を実施するための形態】

【0021】

実施形態に対する特定な構造的又は機能的な説明は、単なる例示のための目的として開示されたものであって、様々な形態に変更され得る。したがって、実施形態は、特定な開示形態に限定されるものではなく、本発明範囲は、技術的な思想に含まれる変更、均等物、ないし代替物を含む。

【0022】

第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は、１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は、第２構成要素と命名することができ、同様に、第２構成要素は、第１構成要素とも命名することができる。

【0023】

いずれかの構成要素が他の構成要素に「連結」されているか、「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか、又は、接続されているが、中間に他の構成要素が存在し得る、ものと理解されなければならない。構成要素間の関係を説明する表現、例えば、「～間の」と、「すぐ～間の」または「～に隣接する」と、「～に直接隣接する」など、も同様に解釈されなければならない。

【0024】

単数の表現は、文脈上、明白に異なる意味をもたない限り、複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

【0025】

異なるように定義されない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものとして解釈されなければならず、そして、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

【0026】

実施形態は、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、テレビ、スマート家電機器、知能型自動車、キオスク、ウェアラブル装置、など様々な形態の製品において具現化できる。以下、添付する図面を参照しながら、実施形態を詳細に説明する。図面を参照して説明する際には、図面符号に拘わらず、同じ構成要素は同じ参照符号を付与し、これに対する重複した説明は省略する。

【0027】

図１は、人工神経網（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用したディープラーニング演算方法を説明するための図である。

【0028】

機械学習モデル、例えば、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）人工神経網（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＡＮＮ）モデルは、畳み込み演算を含み得る。人工神経網モデルは、生物学的な脳をモデリングしたコンピュータ科学的アーキテクチャー（Ｃｏｍｐｕｔａｔｉｏｎａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ）を意味する。人工神経網モデル内で、脳のニューロンに該当するノードは、互いに接続されており、入力データを処理するために集合的に動作する。様々な種類のニューラルネットワークに対する例として、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）、回帰ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＲＮＮ）、ディープブリーフネットワーク（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ、ＤＢＮ）、制限されたボルツマン機械（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎ Ｍａｃｈｉｎｅ、ＲＢＭ）方式などがあるが、これに制限されるものではない。フィード－フォワード（ｆｅｅｄ－ｆｏｒｗａｒｄ）ニューラルネットワークで神経網のノードは、主にモデルの入力から出力まで、他のノードに加重値が適用された接続を有し得る。神経網の脈絡で例題を説明するが、これは説明の便宜のためのものであり、例題が、必ずしも神経網に限定されることはない。

【0029】

図１を参照すると、人工神経網モデルに入力データが入力され、１つ以上のレイヤを含む人工神経網モデル（例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ））を介して出力データが出力される構造が示されている。人工神経網モデルは、２つ以上のレイヤを保持したディープニューラルネットワークであり得る。

【0030】

人工神経網モデルは、入力データから枠、線の色などのような「特徴（ｆｅａｔｕｒｅｓ）」を抽出するために用いられ得る。人工神経網モデルは、複数のレイヤを含んでもよい。それぞれのレイヤは、データを受信し、該当レイヤに入力されるデータを処理して、該当レイヤから出力されるデータを生成することができる。レイヤから出力されるデータは、人工神経網モデルに入力されたイメージ又は入力された特徴マップを、１つ以上のフィルタのウェイト値と畳み込み演算して生成した特徴マップであってよい。非限定的な例として、入力データで次第に複雑な特徴を順次抽出するようにＡＮＮモデルの一部レイヤを構成得る。人工神経網モデルの初期レイヤは、入力からエッジ又は勾配のような低いレベルの特徴を抽出するように動作される。人工神経網モデルの次のレイヤは、イメージ内の目、鼻などのような徐々に複雑な特徴を抽出することができる。

【0031】

図２は、一実施形態に係る深度情報を推定するシステムを説明するための図である。

【0032】

図２を参照すると、一実施形態に係るコンピューティングシステム２００は、映像２１０を受信し、映像２１０に対応する深度情報２２０を推定する。非制限的な例として、電子装置２３０は、図８に示す電子装置８００に対応する。コンピューティングシステム２００は、電子装置２３０に含まれ得る。深度情報２２０は、深度マップの形態で表現され得る。深度マップは、映像２１０に存在するピクセルの相対的な距離を予め決定した形式（例えば、グレイスケール（ｇｒａｙ ｓｃａｌｅ））に区分して示した映像であってよい。例えば、深度マップは、ピクセルの明度に基づいて、映像２１０の深度情報２２０を表現し得る。例えば、深度マップは、距離が近い部分は、明るいピクセルであり、距離が遠い部分は、暗いピクセルに映像２１０の深度情報２２０を表現し得る。

【0033】

以下、コンピューティングシステム２００は、半導体サンプルを深度計測するためのシステムであり得る。ウェハーの収率を最適化するための工程製造制御においては、半導体サンプルの正確な深度計測が必須である。

【0034】

半導体サンプルの深度計測のためのシステムにおいて、映像２１０で走査電子顕微鏡を介して取得された映像（以下、ＳＥＭ映像に称する）、透過電子顕微鏡（ＴＥＭ：Ｔｒａｎｓｍｉｓｉｏｎ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ）を介して取得された映像（以下、ＴＥＭ映像と称する）、走査探針顕微鏡を介して取得された映像（ＡＦＭ：Ａｔｏｍｉｃ Ｆｏｒｃｅ Ｍｉｃｒｏｓｃｏｐｅ）（以下、ＡＦＭ映像と称する）、などを用いてもよい。例えば、半導体サンプルを深度計測するためのシステムは、ＳＥＭ映像、ＴＥＭ映像、及び／又は、ＡＦＭ映像を受信して、半導体サンプルの深度情報を推定することができる。

【0035】

ＳＥＭ映像に基づいて深度情報を推定することは、費用が安くて迅速に行えるという長所があるが、正確度が低い。ＴＥＭ映像に基づいて深度情報を推定することは、正確度は高いものの、ウェハーの切断が必要で費用が高いことから、大量にデータを取得することが難い。ＡＦＭ映像に基づいて深度情報を推定することは、一部のローカル領域では高い正確度を有するが、該当領域以外の領域では低い正確度を有する。

【0036】

コンピューティングシステム２００は、映像２１０を受信し、映像２１０に対応する深度情報２２０を推定する人工神経網モデルを含み得る。一般的に、人工神経網モデルは、入力学習データ、および、入力学習データに対応する正解データの対（ｐａｉｒ）に基づいて学習される。しかし、入力学習データに対応する実測データは、場合に応じて、容易に取得されないこともある。深度情報２２０は、また、１つ以上のプロセッサ又は１つ以上のメモリを代表し、１つ以上のプロセッサによって実行されるとき、１つ以上のプロセッサが本明細書に説明された方法のうちの１つ以上を行うように構成する命令語を格納する。

【0037】

例えば、半導体サンプルを深度計測するためのシステムである場合には、ＳＥＭ映像に対応する深度マップを、人工神経網モデルを学習するのに充分な程度に、確保し難い場合もある。

【0038】

以下で、詳細に説明するが、一実施形態に係る深度情報推定方法は、人工神経網モデルの学習のための深度情報２２０を充分に確保し難しい状況であっても、深度情報２２０を受信して、映像２１０を推定するシミュレーターの出力を人工神経網モデルに入力し、再び、人工神経網モデルの出力をシミュレーターに入力する方法により、信頼度の高い深度情報を推定することができる。

【0039】

図３は、一実施形態に係る深度情報推定方法を説明するための図である。

【0040】

図２を参照して説明した内容は図３と同一に適用され、重複する内容は省略されてもよい。例えば、図２を参照して説明したコンピューティングシステム２００は、図３に示すコンピューティングシステム３００に同一に適用されてもよい。

【0041】

図３を参照すると、一実施形態に係るコンピューティングシステム３００（例えば、図２のコンピューティングシステム２００）は、シミュレーター３１０及び人工神経網モデル３２０を含んでいる。しかしながら、開示された構成要素の全てが必ずしも構成要素ではない。設計に応じて、図３に示された構成のうちの一部が省略されたり、新しい構成がさらに追加されることを、本実施形態に関する技術分野で通常の知識を有する者であれば、理解することができる。

【0042】

以下で、説明の便宜のために、コンピューティングシステム３００が、半導体サンプルの深度計測のためのシステムであることを基準にして説明されているが、必ずしもこれに限定されることはない。

【0043】

シミュレーター３１０は、１つ以上のプロセッサ、１つ以上のプロセッサ及びファームウェア、１つ以上のプロセッサ及び１つ以上のメモリ、として代表される。シミュレーター３１０は、深度マップを受信して、深度マップに対応する映像（例えば、ＳＥＭ映像）を推定するモジュールであり得る。用語「１つ以上のプロセッサ」は、例えば、ハードウェア、ソフトウェア、又はファームウェア（ｆｉｒｍｗａｒｅ）のうちの１つ又は２以上の組み合わせを含むユニットを意味する。例えば、「１つ以上のプロセッサ」は、知られたり、後で開発される、いずれかの動作を行うＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）チップ、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、又はプログラム可能論理装置（ｐｒｏｇｒａｍｍａｂｌｅ－ｌｏｇｉｃ ｄｅｖｉｃｅ）のうち少なくとも１つを含んでよい。コンピューティングシステム３００は、シミュレーター３１０として電子－物質の相互作用シミュレーター、例えば、Ｎｅｂｕｌａシミュレーター、を使用できるが、これに限定されるものではない。

【0044】

シミュレーター３１０に入力するための深度マップが用意されていないことがあるため、コンピューティングシステム３００が、初期深度マップ３０１を生成できる初期深度マップ３０１を生成するための具体的な方法が、下記の図４を参照して説明される。

【0045】

図４は、一実施形態に係る初期深度マップを生成する方法を説明するための図である。

【0046】

図３を参照して説明した内容は、図４に対して同様に適用されてよく、重複する内容は、省略されてもよい。

【0047】

初期深度マップ３０１は、シミュレーター３１０に入力するための別途の深度マップが準備されていないときに使用される、深度マップであり得る。初期深度マップ３０１は、人工神経網モデルにより生成された深度マップよりも深度情報の正確度が低下し得るが、シミュレーター３１０に入力されるほどの深度情報（例えば、概略的な形（ｓｈａｐｅ）情報）を有する深度マップであり得る。初期深度マップ３０１は、ＳＥＭ映像４０１及び／又はＴＥＭ映像４０３に基づいて生成されるが、これに限定されるものではない。

【0048】

再び図３を参照すると、シミュレーター３１０は、初期深度マップ３０１を受信し、初期深度マップ３０１に対応するシミュレーション映像（例えば、シミュレーションＳＥＭ映像）３０２を推定することができる。説明の便宜のために、シミュレーター３１０は、深度マップを受信してシミュレーションＳＥＭ映像を推定するものと記述されているが、これに限定されるものではない。シミュレーションＳＥＭ映像は、ｓｉｍｕｌａｔｅｄ ＳＥＭと称されてもよい。シミュレーター３１０は、複数の初期深度マップ３０１を用いて複数のシミュレーションＳＥＭ映像３０２を生成することができる。

【0049】

初期深度マップ３０１および初期深度マップ３０１に対応するシミュレーションＳＥＭ映像３０２を取得した深度情報推定システム３００は、初期深度マップ３０１およびシミュレーションＳＥＭ映像３０２の対に基づいて、人工神経網モデル３２０を学習することができる。例えば、深度情報推定システム３００は、ＡＮＮモデル３２０を訓練し得る。

【0050】

深度情報推定システム３００は、シミュレーションＳＥＭ映像３０２を、人工神経網モデル３２０にフィードフォワードして取得した結果、データと初期深度マップ３０１との差異が最小化されるように、人工神経網モデル３２０を学習できる人工神経網モデル３２０は、映像を受信して映像に対応する深度マップを推定するように学習される点で、逆シミュレーター（ｉｎｖｅｒｓｅ ｓｉｍｕｌａｔｏｒ）に呼ばれてもよい。

【0051】

初期深度マップ３０１およびシミュレーションＳＥＭ映像３０２に基づいて人工神経網モデル３２０を学習した後で、コンピューティングシステム３００は、人工神経網モデル３２０に実際のＳＥＭ映像３０３を入力して、実際のＳＥＭ映像３０３に対応する深度マップ３０４を取得することができる。実際のＳＥＭ映像は、シミュレーター３１０を介して取得されたＳＥＭ映像ではない、走査電子顕微鏡を介して取得された映像を意味する。人工神経網モデル３２０を介して取得された深度マップ３０４は、疑似深度マップ（Ｐｓｅｕｄｏ ｄｅｐｔｈ ｍａｐ）と称されてもよい。

【0052】

深度マップをシミュレーター３１０に入力して、シミュレーションＳＥＭ映像を取得し、深度マップおよびシミュレーションＳＥＭ映像に基づいて、人工神経網モデル３２０を学習し、人工神経網モデル３２０に実際のＳＥＭ映像又はシミュレーションＳＥＭ映像を入力して、疑似深度マップを生成する過程は、１つのイテレーション（ｉｔｅｒａｔｉｏｎ）として定義され、イテレーションで入力として使用される深度マップを第１深度マップ、疑似深度マップを第２深度マップとして定義する。複数のイテレーションのうち１つのイテレーションは、シミュレーター３１０に深度マップを入力してシミュレーションＳＥＭ映像を取得する演算、深度マップ、及びシミュレーションＳＥＭ映像に基づいて、人工神経網モデル３２０を学習する演算、実際のＳＥＭ映像、又はシミュレーションＳＥＭ映像を人工神経網モデル３２０に入力して、疑似深度マップを生成する演算、を含んでもよい。

【0053】

深度情報推定システム３００は、イテレーションを繰り返して、人工神経網モデル３２０の性能を次第に向上させることができる。例えば、深度情報推定システム３００は、２番目のイテレーションで、深度マップ３０４を再びシミュレーター３１０に入力して、深度マップ３０４に対応するシミュレーションＳＥＭ映像を取得し、該当シミュレーションＳＥＭ映像および深度マップ３０４を用いて、人工神経網モデル３２０を再び学習することができる。２番目のイテレーションで人工神経網モデル３２０を学習するために使用された深度マップ３０４は、最初のイテレーションで使用された初期深度マップ３０１よりも正確度が高く、従って、イテレーションを繰り返すほど、より正確度の高いデータで人工神経網モデル３２０が学習されるので、イテレーションを繰り返して、人工神経網モデル３２０の性能が向上し得る。

【0054】

深度情報推定システム３００は、学習された人工神経網モデル３２０を用いて、映像に対応する深度マップを取得することができる。例えば、学習が完了した人工神経網モデル３２０は、実際のＳＥＭ映像を受信し、該当映像に対応する深度マップを出力し得る。

【0055】

図５は、一実施形態に係るデータ増強方法を説明するための図である。

【0056】

図３を参照して説明した内容は、図５に対して同様に適用され、重複する内容が省略され得る。

【0057】

図５を参照すると、一実施形態に係る深度情報推定システム（例えば、図３の深度情報推定システム３００）は、深度マップ５１０（例えば、図３の深度マップ３０４）にデータ増強（ｄａｔａ ａｕｇｍｅｎｔａｔｉｏｎ）を行い、複数の変形深度マップ５２０を生成することができる。

【0058】

深度情報推定システムは、人工神経網モデル（例えば、図３の人工神経網モデル３２０）を介して取得された疑似深度マップから、ランダムノイズ付加、イメージ回転、スケール調整、イメージ移動、ランダムクロップ、又は色の歪曲のようなデータ増強を行い、これによって生成された複数の変形深度マップ５２０を用いて、より様々な映像－深度マップの対データを取得することができる。

【0059】

深度情報推定システムは、複数の変形深度マップ５２０をシミュレーター（例えば、図３のシミュレーター３１０）に入力して、シミュレーションＳＥＭ映像を取得し、変形深度マップとシミュレーションＳＥＭ映像に基づいて、人工神経網モデルを学習することができる。

【0060】

図６は、一実施形態に係る深度情報スケーリング方法を説明するための図である。

【0061】

図３を参照して説明した内容は、図６に対して同様に適用され、重複する内容が省略され得る。

【0062】

図６を参照すると、一実施形態に係る深度情報推定システムは、第１人工神経網モデル６１０及び第２人工神経網モデル６２０を含む。

【0063】

第１人工神経網モデル６１０（例えば、図３の人工神経網モデル３２０）は、第１映像を受信して、第１映像に対応する第１深度マップを推定することができる。第２人工神経網モジュール６２０は、第１人工神経網モデル６１０に使用された映像と同じ対象を他の方式を介して取得された第２映像に基づいて、第２深度マップを推定する人工神経網モデルである。例えば、第１映像は、ＳＥＭ映像であってよく、第２映像は、ＡＦＭ映像であってもよいが、これに限定されるものではない。

【0064】

上述のように、ＡＦＭ映像に基づいて深度情報を推定する場合、一部のローカル領域では、高い正確度を有する。深度情報推定システムは、ＡＦＭ映像に基づいて推定された第２深度マップで正確度の高い領域を検出し、該当領域で、第２深度マップに対応する第１深度マップを特定して、第１深度マップと第２深度マップとの差が小さくなるように、第１人工神経網モデル６１０を学習することができる。

【0065】

深度情報推定システムは、ＳＥＭ映像だけでなく、ＡＦＭ映像をさらに活用し、深度マップをスケーリング（例えば、ナノメートル単位でスケーリング）して、正確度を向上させることができる。

【0066】

図７は、一実施形態に係る深度情報推定方法を説明するためのフローチャートである。

【0067】

図３を参照して説明した内容は、図７に対して同様に適用され、重複する内容が省略され得る。説明の便宜のために、ステップ７１０～７４０は、図３に示された深度情報推定システムを用いて実行されるものとして記述される。しかし、このステップＳ７１０～Ｓ７４０は、いずれかの他の適切な電子機器を介して、そして、いずれかの適切なシステム内でも使用できるのであろう。

【0068】

さらに、図７の動作は、示された順序及び方式で実行され得るが、図示された実施形態の思想及び範囲を超えることなく、一部の動作の順序が変更されたり、一部の動作が省略されてもよい。図７に示された複数の動作は、並列又は同時に実行されてもよい。

【0069】

図７を参照すると、ステップＳ７１０において、深度情報推定システムは、第１深度マップをシミュレーターに入力して、第１シミュレーション映像を取得する。第１深度マップは、イテレーションで入力として使用される深度マップとして、初期深度マップを含んでもよい。

【0070】

ステップＳ７２０において、深度情報推定システムは、第１深度マップおよび第１シミュレーション映像に基づいて、人工神経網モデルを学習する。

【0071】

ステップＳ７３０において、深度情報推定システムは、実際の映像を人工神経網モデルに入力して、第２深度マップを取得する。

【0072】

ステップＳ７４０において、深度情報推定システムは、第２深度マップをシミュレーターに入力して、第２シミュレーション映像を取得する。

【0073】

さらに、深度情報推定システムは、第２深度マップおよび前記第２シミュレーション映像に基づいて、前記人工神経網モデルを学習することができる。

【0074】

図８は、一実施形態に係る電子装置の構成を示す図である。

【0075】

図８を参照すると、一実施形態に係る電子装置８００は、１つ以上のプロセッサ８１０、メモリ８２０、及びセンサ８３０を含む。図１～図７を参照して説明した内容は、図８に対して同様に適用され得る。深度情報推定システムは、電子装置８００を含んでよい。

【0076】

一実施形態に係るメモリ８２０は、コンピュータで読出し可能な命令語を格納し得る。メモリ８２０に格納された命令語がプロセッサ８１０によって実行されると、プロセッサ８１０は、命令語により定義される動作を処理することができる。メモリ８２０は、例えば、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｉｅｓ）、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｉｅｓ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｉｅｓ）、又は、この技術分野で知られた異なる形態の不揮発性メモリ、を含み得る。メモリ８２０は、予め学習された人工神経網モデルを格納し得る。

【0077】

一実施形態に係るセンサ８３０は、走査電子顕微鏡、透過電子顕微鏡、走査探針顕微鏡を含むが、記載された例に制限されるものではない。角度センサの機能は、その名称から当業者が直観的に推論することができるため、具体的な説明は省略することにする。

【0078】

一実施形態に係る１つ以上のプロセッサ８１０は、電子装置８００の全体的な動作を制御する。プロセッサ８１０は、目的とする動作（ｄｅｓｉｒｅｄ ｏｐｅｒａｔｉｏｎｓ）を実行させるための物理的な構造を有する回路を有するハードウェアで具現された装置であり得る。目的とする動作は、プログラムに含まれたコード（ｃｏｄｅ）又は命令語を含んでよい。ハードウェアで具現された装置は、マイクロプロセッサー（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；ＣＰＵ）、グラフィック処理装置（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；ＧＰＵ）、プロセッサコア（ｐｒｏｃｅｓｓｏｒ ｃｏｒｅ）、マルチ－コアプロセッサ（ｍｕｌｔｉ－ｃｏｒｅ ｐｒｏｃｅｓｓｏｒ）、マルチプロセッサ（ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＮＰＵ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）など、を含むことができる

【0079】

一実施形態に係るプロセッサ８１０は、第１深度マップをシミュレーターに入力し、第１シミュレーション映像を取得し、第１深度マップと第１シミュレーション映像に基づいて人工神経網モデルを学習し、実際の映像を人工神経網モデルに入力し、第２深度マップを取得し、第２深度マップをシミュレーターに入力し、第２シミュレーション映像を取得することができる。

【0080】

以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又は、ハードウェア構成要素及びソフトウェア構成要素の組み合せで具現化される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現化される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答して、データをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は、１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者であれば、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことを把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ、及び、１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

【0081】

ソフトウェアは、コンピュータプログラム、コード、命令、又は、そのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成し、または、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈され、または、処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、もしくは、送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納され、または、実行され得る。ソフトウェア及びデータは、一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。

【0082】

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現化され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものであってよく、または、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及び、ＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置、を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。

【0083】

上記で説明したハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成されてよく、また、その逆も同様である。

【0084】

上述のように、実施形態が限定された図面によって説明されてきたとしても、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて、様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法とは異なる順に実行され、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてよく、他の構成要素又は均等物によって置き換え又は置換されたとしても、適切な結果を達成することができる。

【0085】

したがって、他の具現、他の実施形態、及び特許請求の範囲と均等なものも後述する特許請求範囲の範囲に属する。

【符号の説明】

【0086】

２００ コンピューティングシステム
２１０ 映像
２２０ 深度情報
３２０ 逆シミュレータネットワーク
６１０ 第１人工神経網モデル
６２０ 第２人工神経網モデル
８００ 電子装置
８１０ プロセッサ
８２０ メモリ
８３０ センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】