ホーム > 特許ランキング > ライトビジョン インク．
知財求人 - 知財ポータルサイト「IP Force」
特表2024-540899ディープラーニングを利用して仮想のＴＥＭ ＳＡＤＰ映像と実際のＴＥＭ ＳＡＤＰ映像を相互変換させる回折パターン映像変換システム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-06
(54)【発明の名称】ディープラーニングを利用して仮想のＴＥＭ ＳＡＤＰ映像と実際のＴＥＭ ＳＡＤＰ映像を相互変換させる回折パターン映像変換システム及び方法
(51)【国際特許分類】
G06T 1/00 20060101AFI20241029BHJP
G06T 5/60 20240101ALI20241029BHJP
H01J 37/22 20060101ALI20241029BHJP
【ＦＩ】
G06T1/00 500B
G06T5/60
H01J37/22 501Z
H01J37/22 501J
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024523278
(86)(22)【出願日】2022-10-12
(85)【翻訳文提出日】2024-04-17
(86)【国際出願番号】 KR2022015361
(87)【国際公開番号】W WO2023068632
(87)【国際公開日】2023-04-27
(31)【優先権主張番号】10-2021-0138141
(32)【優先日】2021-10-18
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2021-0171533
(32)【優先日】2021-12-03
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フォトショップ
(71)【出願人】
【識別番号】521550998
【氏名又は名称】ライトビジョン インク．
(74)【代理人】
【識別番号】110000051
【氏名又は名称】弁理士法人共生国際特許事務所
(72)【発明者】
【氏名】ジョン，ジン ハ
(72)【発明者】
【氏名】ラ，ムン ス
(72)【発明者】
【氏名】イ，へ ヨン
(72)【発明者】
【氏名】イ，ヒョン ジ
【テーマコード（参考）】
5B057
5C101
【Ｆターム（参考）】
5B057AA20
5B057CC01
5B057CD20
5B057CE02
5B057CE20
5B057DA01
5B057DA06
5B057DB02
5C101AA04
5C101JJ03
5C101JJ04
5C101KK06
(57)【要約】
【課題】本発明の目的は、ディープラーニングを利用して仮想のＴＥＭ ＳＡＤＰ映像と実際のＴＥＭ ＳＡＤＰ映像を相互変換させる回折パターン映像変換システム及び方法を提供することにある。
【課題の解決手段】本発明の回折パターン映像変換システムは、実際の回折パターン映像において不要な情報を除去する実際の回折パターン映像リファイン部と、前記不要な情報を除去した実際の回折パターン映像に対応する仮想の回折パターン映像を獲得する仮想の回折パターン生成部と、前記不要な情報を除去した実際の回折パターン映像と前記仮想の回折パターン映像のうち少なくとも一つを利用して、仮想の回折パターンから実際と類似した回折パターンを生成することができるアルゴリズムを学習させるアルゴリズム学習部を含むことを特徴とする。
【選択図】図１４
【課題の解決手段】本発明の回折パターン映像変換システムは、実際の回折パターン映像において不要な情報を除去する実際の回折パターン映像リファイン部と、前記不要な情報を除去した実際の回折パターン映像に対応する仮想の回折パターン映像を獲得する仮想の回折パターン生成部と、前記不要な情報を除去した実際の回折パターン映像と前記仮想の回折パターン映像のうち少なくとも一つを利用して、仮想の回折パターンから実際と類似した回折パターンを生成することができるアルゴリズムを学習させるアルゴリズム学習部を含むことを特徴とする。
【選択図】図１４
【特許請求の範囲】
【請求項1】
実際の回折パターン映像において不要な情報を除去する実際の回折パターン映像リファイン部と、前記不要な情報を除去した実際の回折パターン映像に対応する仮想の回折パターン映像を獲得する仮想の回折パターン生成部と、
前記不要な情報を除去した前記実際の回折パターン映像と前記仮想の回折パターン映像のうち少なくとも一つを利用して、仮想の回折パターンドメインに属する映像から実際の回折パターンドメインに属する映像を生成するか、または前記実際の回折パターンドメインに属する映像から前記仮想の回折パターンドメインに属する映像を生成する実際－仮想相互変換アルゴリズム学習部とを含むことを特徴とする回折パターン映像変換システム。
【請求項2】
前記回折パターン映像は、ＴＥＭ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ）ＳＡＤＰ（Ｓｅｌｅｃｔｅｄ Ａｒｅａ Ｄｉｆｆｒａｃｔｉｏｎ Ｐａｔｔｅｒｎ）映像であることを特徴とする請求項１に記載の回折パターン映像変換システム。
【請求項3】
前記不要な情報は、注釈、縮尺またはインデックスに関する情報であることを特徴とする請求項２に記載の回折パターン映像変換システム。
【請求項4】
前記実際の回折パターン映像リファイン部は、前記実際の回折パターン映像において前記不要な情報を検出し、ｈｏｌｅ－ｆｉｌｌｉｎｇアルゴリズムを利用して検出された前記不要な情報の周辺情報を利用して前記不要な情報があった領域を埋めることを特徴とする請求項３に記載の回折パターン映像変換システム。
【請求項5】
前記仮想の回折パターン生成部は、ＴＥＭ ＳＡＤＰシミュレーションプログラムを利用し、 前記ＴＥＭ ＳＡＤＰシミュレーションプログラムは、入力された格子定数及び単位格子に基づいて、実際の前記ＴＥＭ ＳＡＤＰ映像に対応する仮想のＴＥＭ ＳＡＤＰ映像を生成することを特徴とする請求項２に記載の回折パターン映像変換システム。
【請求項6】
前記格子定数と前記単位格子に関する情報は、ＣＩＦ（Ｃｒｙｓｔａｌｌｏｇｒａｐｈｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｆｉｌｅ）、ＦＨＩ－ａｉｍｓまたはＸＹＺのようなファイル形態で提供され得ることを特徴とする請求項５に記載の回折パターン映像変換システム。
【請求項7】
前記仮想の回折パターン生成部は、格子定数、単位格子内の原子の相対的位置、晶帯軸パラメータのうち少なくとも一つを利用して試料を生成する試料生成部と、
前記単位格子に対応する逆格子ベクトルを生成するベクトル生成部と、
生成された前記試料内の原子に到達する電子ビームの明るさを求める光源生成部と、
生成された前記逆格子ベクトル、前記試料内の原子の相対的位置及び求められた前記電子ビームの明るさを利用して仮想の回折パターン映像を生成する回折パターン生成部と、
生成された前記仮想の回折パターン映像のうち前記実際の回折パターン映像に対応する仮想の回折パターン映像を選択する選択部とを含むことを特徴とする請求項２に記載の回折パターン映像変換システム。
【請求項8】
前記試料生成部は、ＨＯＬＺ（ＨｉｇｈｅｒＯｒｄｅｒ Ｌａｕｅ Ｚｏｎｅ）（高次ラウエ帯）が回折パターンに含まれるか、または回折点がぼやけた回折パターンが生成される現象を防止するように入力されたパラメータのうち前記格子定数と前記晶帯軸パラメータに応じてｓｌａｂの層数を適応的に決定し、前記光源生成部は、前記光源の不連続点から発生可能な回折パターンのリンギング効果を防止するように前記光源の形態と前記光源の強度を入力されたｓｌａｂの大きさまたは回折パターン映像の大きさに応じて適応的に可変させることを特徴とする請求項７に記載の回折パターン映像変換システム。
【請求項9】
前記実際－仮想相互変換アルゴリズム学習部は、ディープラーニングモデルを活用して前記仮想の回折パターンドメインに属する回折パターン映像から前記実際の回折パターンドメインに属する回折パターン映像を生成することを特徴とする請求項２に記載の回折パターン映像変換システム。
【請求項10】
前記実際－仮想相互変換アルゴリズム学習部は、前記実際の回折パターン映像と前記仮想の回折パターン映像が準備されると、特定のアルゴリズムを利用して前記仮想の回折パターンドメインに属する回折パターン映像から前記実際の回折パターンドメインに属する回折パターン映像を生成することを特徴とする請求項９に記載の回折パターン映像変換システム。
【請求項11】
前記実際－仮想相互変換アルゴリズム学習部は、Ｒｅａｌ２Ｓｉｍ変換部と、
Ｓｉｍ２Ｒｅａｌ変換部と、
前記Ｓｉｍ２Ｒｅａｌ変換部を介して実際の回折パターンと類似した形態に変換された仮想の回折パターンと実際のＴＥＭを介して撮影された回折パターンを区分するディープラーニングモデルを学習させる実際の回折パターン分別部と、
前記Ｒｅａｌ２Ｓｉｍ変換部を介して仮想の回折パターンと類似した形態に変換された実際の回折パターンとシミュレーションを通じて生成された仮想の回折パターンを区分するディープラーニングモデルを学習させる仮想の回折パターン分別部とを含み、
前記Ｒｅａｌ２Ｓｉｍ変換部は、前記実際の回折パターンドメインに属する映像を前記仮想の回折パターンドメインに属する映像に変換するディープラーニングモデルを学習させ、
前記Ｓｉｍ２Ｒｅａｌ変換部は、前記仮想の回折パターンドメインに属する映像を前記実際の回折パターンドメインに属する映像に変換するディープラーニングモデルを学習させることを特徴とする請求項２に記載の回折パターン映像変換システム。
【請求項12】
実際の回折パターン映像において不要な情報を除去する実際の回折パターン映像リファイン部と、前記不要な情報を除去した前記実際の回折パターン映像に対応する仮想の回折パターン映像を獲得する仮想の回折パターン生成部と、
前記実際の回折パターン映像と前記仮想の回折パターン映像のうち少なくとも一つを利用して学習されたディープラーニングアルゴリズムを利用して、仮想の回折パターンドメインに属する回折パターン映像から実際の回折パターンドメインに属する回折パターン映像を生成するアルゴリズム学習部とを含むことを特徴とする回折パターン映像変換システム。
【請求項13】
前記アルゴリズム学習部は、前記実際の回折パターン映像と前記仮想の回折パターン映像が準備されると、特定のアルゴリズムを利用して前記仮想の回折パターンドメインに属する回折パターン映像から前置実際の回折パターンドメインに属する回折パターン映像を生成することを特徴とする請求項１２に記載の回折パターン映像変換システム。
【請求項14】
実際の回折パターン映像において不要な情報を除去する実際の回折パターン映像リファイン部と、前記不要な情報を除去した前記実際の回折パターン映像に対応する仮想の回折パターン映像を獲得する仮想の回折パターン生成部と、
前記実際の回折パターン映像と前記仮想の回折パターン映像のうち少なくとも一つを利用して学習されたディープラーニングアルゴリズムを利用して、実際の回折パターンドメインに属する回折パターン映像から仮想の回折パターンドメインに属する回折パターン映像を生成するアルゴリズム学習部とを含むことを特徴とする回折パターン映像変換システム。
【請求項15】
プログラムコードを記録したコンピュータ読み取り可能な記録媒体において、前記プログラムコードは、
実際の回折パターン映像において不要な情報を除去するステップと、
前記不要な情報を除去した前記実際の回折パターン映像に対応する仮想の回折パターン映像を生成するステップと、
前記不要な情報を除去した前記実際の回折パターン映像と前記仮想の回折パターン映像のうち少なくとも一つを利用して、仮想の回折パターンドメインに属する映像から実際の回折パターンドメインに属する映像を生成するか、または前記実際の回折パターンドメインに属する映像から前記仮想の回折パターンドメインに属する映像を生成するステップとを含む方法を遂行するために使用されることを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力パラメータに適応的に対応して高い分別力を有するＴＥＭ ＳＡＤＰ映像生成システム及び方法に関するものである。
また、本発明は、ディープラーニングを利用して仮想のＴＥＭ ＳＡＤＰ映像と実際のＴＥＭ ＳＡＤＰ映像を相互変換させる回折パターン映像変換システム及び方法に関するものである。
また、本発明は、ディープラーニングを利用して仮想のＴＥＭ ＳＡＤＰ映像と実際のＴＥＭ ＳＡＤＰ映像を相互変換させる回折パターン映像変換システム及び方法に関するものである。
【背景技術】
【0002】
実際のＴＥＭ ＳＡＤＰ映像では、電子ビームが最も多く透過されて映像中央に明るい点が現れるようになる。前記点は周辺の回折点に比べて相対的に高い明るさを有するため、周辺の回折点が見えにくくなる。したがって、一般的にＴＥＭ ＳＡＤＰ映像を撮影するときには、図１５のようにｂｅａｍ ｓｔｏｐｐｅｒで映像中央の明るい点を遮る。しかし、従来のシミュレーションプログラムにおいては、このようなｂｅａｍ ｓｔｏｐｐｅｒの影響を考慮していない。
また、実際のＴＥＭ ＳＡＤＰは、電子ビームの方向と晶帯軸が正確に合わないため発生する誤差、光学系において発生可能な誤差、ＣＣＤ／ＣＭＯＳなどの映像センサを介して回折パターンを獲得する過程において発生可能な誤差などの多様な形態の誤差が存在する。しかし、従来のシミュレーションプログラムはこのような影響を考慮していない。
さらに、ＴＥＭの製造会社によって、獲得されるＳＡＤＰ映像のクオリティ差が発生するか、または誤差の態様が異なり得るが、シミュレーションプログラムにおいてはこのような影響を考慮していない。
また、実際のＴＥＭ ＳＡＤＰは、電子ビームの方向と晶帯軸が正確に合わないため発生する誤差、光学系において発生可能な誤差、ＣＣＤ／ＣＭＯＳなどの映像センサを介して回折パターンを獲得する過程において発生可能な誤差などの多様な形態の誤差が存在する。しかし、従来のシミュレーションプログラムはこのような影響を考慮していない。
さらに、ＴＥＭの製造会社によって、獲得されるＳＡＤＰ映像のクオリティ差が発生するか、または誤差の態様が異なり得るが、シミュレーションプログラムにおいてはこのような影響を考慮していない。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の目的は、入力パラメータに適応的に対応して高い分別力を有するＴＥＭ ＳＡＤＰ映像生成システム及び方法を提供するものである。
また、本発明は、ＴＥＭにおいて利用可能な仮想の回折パターン映像生成システム及び方法を提供するものである。
さらに、本発明は、回折パターン映像においてリンギング効果、ＨＯＬＺ（高次ラウエ帯）が含まれたり、またはぼやけた回折点が含まれたりする現象を防止できる技術を提供するものである。
さらに、本発明は、ユーザーによって入力されたパラメータを数学的に解釈して回折パターン映像を生成できる技術を提供するものである。
また、本発明は、ＣＰＵ並列処理またはＧＰＧＰＵを活用して高速で処理できるコンピューティング装置を提供するものである。
さらに、本発明は、ガンマ補正などの映像処理技法を活用する技術を提供するものである。
さらに、本発明は、入力パラメータに適応的に対応して生成されたＳＡＤＰ映像を活用する技術を提供するものである。
本発明の目的は、多くの走査ビーム出力によって素材が破壊される現象を防止できる技術を提供するものである。
さらに、本発明は、ディープラーニングを利用して仮想のＴＥＭ ＳＡＤＰ映像と実際のＴＥＭ ＳＡＤＰ映像を相互変換させる回折パターン映像変換システム及び方法を提供するものである。
また、本発明は、ＴＥＭにおいて利用可能な仮想の回折パターン映像生成システム及び方法を提供するものである。
さらに、本発明は、回折パターン映像においてリンギング効果、ＨＯＬＺ（高次ラウエ帯）が含まれたり、またはぼやけた回折点が含まれたりする現象を防止できる技術を提供するものである。
さらに、本発明は、ユーザーによって入力されたパラメータを数学的に解釈して回折パターン映像を生成できる技術を提供するものである。
また、本発明は、ＣＰＵ並列処理またはＧＰＧＰＵを活用して高速で処理できるコンピューティング装置を提供するものである。
さらに、本発明は、ガンマ補正などの映像処理技法を活用する技術を提供するものである。
さらに、本発明は、入力パラメータに適応的に対応して生成されたＳＡＤＰ映像を活用する技術を提供するものである。
本発明の目的は、多くの走査ビーム出力によって素材が破壊される現象を防止できる技術を提供するものである。
さらに、本発明は、ディープラーニングを利用して仮想のＴＥＭ ＳＡＤＰ映像と実際のＴＥＭ ＳＡＤＰ映像を相互変換させる回折パターン映像変換システム及び方法を提供するものである。
【課題を解決するための手段】
【0004】
前述した目的を達成するために、本発明の回折パターン映像変換システムは、実際の回折パターン映像において不要な情報を除去する実際の回折パターン映像リファイン部と、前記不要な情報を除去した前記実際の回折パターン映像に対応する仮想の回折パターン映像を獲得する仮想の回折パターン生成部と、前記不要な情報を除去した前記実際の回折パターン映像と前記仮想の回折パターン映像のうち少なくとも一つを利用して、仮想の回折パターンドメインに属する映像から実際の回折パターンドメインに属する映像を生成するか、または前記実際の回折パターンドメインに属する映像から前記仮想の回折パターンドメインに属する映像を生成する実際－仮想相互変換アルゴリズム学習部とを含むことを特徴とする。
【0005】
本発明の回折パターン映像変換システムは、実際の回折パターン映像において不要な情報を除去する実際の回折パターン映像リファイン部と、前記不要な情報を除去した前記実際の回折パターン映像に対応する仮想の回折パターン映像を獲得する仮想の回折パターン生成部と、前記実際の回折パターン映像と前記仮想の回折パターン映像のうち少なくとも一つを利用して学習されたディープラーニングアルゴリズムを利用して、仮想の回折パターンドメインに属する回折パターン映像から実際の回折パターンドメインに属する回折パターン映像を生成するアルゴリズム学習部とを含む。
【0006】
本発明の回折パターン映像変換システムは、実際の回折パターン映像において不要な情報を除去する実際の回折パターン映像リファイン部と、前記不要な情報を除去した前記実際の回折パターン映像に対応する仮想の回折パターン映像を獲得する仮想の回折パターン生成部と、前記実際の回折パターン映像と前記仮想の回折パターン映像のうち少なくとも一つを利用して学習されたディープラーニングアルゴリズムを利用して、実際の回折パターンドメインに属する回折パターン映像から仮想の回折パターンドメインに属する回折パターン映像を生成するアルゴリズム学習部とを含む。
【0007】
本発明のプログラムコードを記録したコンピュータ読み取り可能な記録媒体において、前記プログラムコードは、実際の回折パターン映像において不要な情報を除去するステップと、前記不要な情報を除去した前記実際の回折パターン映像に対応する仮想の回折パターン映像を生成するステップと、前記不要な情報を除去した前記実際の回折パターン映像と前記仮想の回折パターン映像のうち少なくとも一つを利用して、仮想の回折パターンドメインに属する映像から実際の回折パターンドメインに属する映像を生成するか、または前記実際の回折パターンドメインに属する映像から前記仮想の回折パターンドメインに属する映像を生成するステップとを含む方法を遂行するために使用されることを特徴とする。
【発明の効果】
【0008】
本発明によるＴＥＭ ＳＡＤＰ映像生成システム及び方法は、入力パラメータに適応的に対応してＨＯＬＺ（Ｈｉｇｈ Ｏｒｄｅｒ Ｌａｕｅ Ｚｏｎｅ）（高次ラウエ帯）が回折パターンに含まれたり、回折点がぼやけた回折パターンが生成されたりする現象を防止し、光源の不連続点から発生可能な回折パターンのリンギング効果を防止することができる。
さらに、本発明の回折パターン映像変換システムは、仮想のＴＥＭ ＳＡＤＰ映像に対応する実際と類似したＴＥＭ ＳＡＤＰ映像を生成し、したがって、実際のＴＥＭ実験において発生可能な多様な誤差を模擬することができる。
さらに、本発明の回折パターン映像変換システムは、仮想のＴＥＭ ＳＡＤＰ映像に対応する実際と類似したＴＥＭ ＳＡＤＰ映像を生成し、したがって、実際のＴＥＭ実験において発生可能な多様な誤差を模擬することができる。
【図面の簡単な説明】
【0009】
【図1】実際のＴＥＭ ＳＡＤＰ映像の一例を図示した図面である。
【図2】ＪＥＭＳプログラムによって生成された仮想のＳＡＤＰ映像を図示した図面である。
【図3】ＨＯＬＺ（高次ラウエ帯）パターンが含まれたＳＡＤＰ映像を図示した図面である。
【図4】ぼやけた回折点パターンが含まれたＳＡＤＰ映像を図示した図面である。
【図5】リンギング効果が含まれたＳＡＤＰ映像を図示した図面である。
【図6】本発明のＴＥＭ ＳＡＤＰ映像生成システムの構成を概略的に図示したブロック図である。
【図7】本発明のＴＥＭ ＳＡＤＰ映像生成方法を利用して生成されたリンギング効果が消えたＳＡＤＰ映像を図示した図面である。
【図8】立方晶系（ｃｕｂｉｃ ｓｙｓｔｅｍ）に属する素材の格子定数の一例を図示した図面である。
【図9】六方晶系（ｈｅｘａｇｏｎａｌ ｓｙｓｔｅｍ）に属する素材の格子定数の一例を図示した図面である。
【図10】電子ビーム、Ｅｗａｌｄ ｓｐｈｅｒｅ（エワルド球）、逆格子及び回折パターンの関係を図示した図面である。
【図11】単位格子を整列させる前と後を図示した図面である。
【図12】本発明の晶帯軸と整列した単位格子を利用してｓｌａｂ形態の試料を製作した結果を図示した図面である。
【図13】本発明のＴＥＭ ＳＡＤＰ映像生成システムによって生成された回折パターンの一例を図示した図面である。
【図14】本発明の実際のＴＥＭ ＳＡＤＰ映像と仮想のＴＥＭ ＳＡＤＰ映像を相互変換するシステムを図示した図面である。
【図15】Ｂｅａｍ ｓｔｏｐｐｅｒを利用して映像中央の明るい点を遮った例示を図示した図面である。
【図16】縮尺情報が表示された実際のＴＥＭ ＳＡＤＰ映像の例示を図示した図面である。
【図17】実際のＴＥＭ ＳＡＤＰ映像において縮尺情報を除去した例示を図示した図面である。
【図18】ＪＥＭＳプログラムを介して生成された仮想のＴＥＭ ＳＡＤＰ映像の例示を図示した図面である。
【図19】仮想のＴＥＭ ＳＡＤＰ映像から実際と類似した形態で生成されたＴＥＭ ＳＡＤＰ映像の例示を図示した図面である。
【図20】本発明の実際－仮想相互変換アルゴリズムの例示を図示した図面である。
【発明を実施するための形態】
【0010】
本明細書において使用される単数の表現は、文脈上明らかに異なるように意味しない限り、複数の表現を含む。本明細書において、「構成される」または「含む」などの用語は、明細書上に記載された複数の構成要素、または複数のステップを必ずしもすべて含むものと解釈されてはならず、その中の一部構成要素または一部ステップは含まれないこともでき、または追加的な構成要素またはステップをさらに含むことができるものと解釈されるべきである。また、明細書に記載された「．．．部」、「モジュール」などの用語は、少なくとも一つの機能や動作を処理する単位を意味し、これはハードウェアまたはソフトウェアで具現されるか、またはハードウェアとソフトウェアの結合で具現されることができる。
【0011】
本発明は、入力パラメータに適応的に対応して高い分別力を有するＴＥＭ（透過電子顕微鏡、Ｔｒａｎｓｍｉｓｓｉｏｎ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ）ＳＡＤＰ（制限視野回折パターン、Ｓｅｌｅｃｔｅｄ Ａｒｅａ Ｄｉｆｆｒａｃｔｉｏｎ Ｐａｔｔｅｒｎ）映像生成システム及び方法に関するものであって、光源の不連続点から発生可能な回折パターンのリンギング効果（ｒｉｎｇｉｎｇ ｅｆｆｅｃｔ）、ＨＯＬＺ（Ｈｉｇｈ Ｏｒｄｅｒ Ｌａｕｅ Ｚｏｎｅ）（高次ラウエ帯）が回折パターンに含まれる現象及びぼやけた回折点が回折パターンに含まれる現象が発生しない、分別力のある優れた品質のＴＥＭ ＳＡＤＰ映像を生成することができる。
【0012】
素材の特性を把握するために、ＴＥＭを介して電子ビームを素材に走査してＳＡＤＰ映像を獲得するが、電子ビームの出力回数が多くなると素材が破壊されることがある。したがって、本発明は、このような素材の破壊を防止できるように実際の電子ビームを走査することなくプログラムでＳＡＤＰ映像を提供することができる。したがって、このように生成されたＳＡＤＰ映像を多様な分野に活用することができる。
【0013】
以下では、添付の図面を参照して本発明の多様な実施形態を詳細に説明する。
図６は、本発明の一実施形態に係るＴＥＭ ＳＡＤＰ映像生成システムの構成を概略的に図示したブロック図であり、図７は、本発明のＴＥＭ ＳＡＤＰ映像生成方法を利用して生成されたリンギング効果が消えたＳＡＤＰ映像を図示した図面である。
図６に示すとおり、本実施形態のＴＥＭ ＳＡＤＰ映像生成システムは、入力パラメータに適応的に対応して回折パターンのリンギング効果、ＨＯＬＺ（高次ラウエ帯）が回折パターンに含まれる現象、ぼやけた回折点が含まれる現象などが発生しないＳＡＤＰ映像を生成することができる。
図６は、本発明の一実施形態に係るＴＥＭ ＳＡＤＰ映像生成システムの構成を概略的に図示したブロック図であり、図７は、本発明のＴＥＭ ＳＡＤＰ映像生成方法を利用して生成されたリンギング効果が消えたＳＡＤＰ映像を図示した図面である。
図６に示すとおり、本実施形態のＴＥＭ ＳＡＤＰ映像生成システムは、入力パラメータに適応的に対応して回折パターンのリンギング効果、ＨＯＬＺ（高次ラウエ帯）が回折パターンに含まれる現象、ぼやけた回折点が含まれる現象などが発生しないＳＡＤＰ映像を生成することができる。
【0014】
このようなＴＥＭ ＳＡＤＰ映像生成システムは、パラメータ設定部６００、試料生成部６０２、ＨＫＬベクトル生成部６０４、光源生成部６０６、回折パターン生成部６０８及びこれらの動作を全般的に制御する制御部（図示せず）を含むことができる。ここで、ＴＥＭ ＳＡＤＰ映像生成システムは一つの装置であることができ、例えば、サーバであることができ、またはコンピューティング装置という名称で通称されることができる。
【0015】
パラメータ設定部６００は、ＳＡＤＰ映像生成のためのパラメータを設定することができる。例えば、パラメータ設定部６００は、ユーザーの入力を受けてパラメータを設定することができる。
一実施形態によれば、パラメータ設定部６００は、格子定数（ｌａｔｔｉｃｅ ｃｏｎｓｔａｎｔ）、単位格子内の原子の相対的位置、晶帯軸（ｚｏｎｅ ａｘｉｓ）、電子ビームの波長と強度、カメラ距離、回折パターン映像の大きさなどのパラメータを設定することができる。これらのパラメータは、ユーザーによって全部入力されることができ、またはユーザーが一部入力すると他のパラメータが自動的に生成されることもできる。
一実施形態によれば、パラメータ設定部６００は、格子定数（ｌａｔｔｉｃｅ ｃｏｎｓｔａｎｔ）、単位格子内の原子の相対的位置、晶帯軸（ｚｏｎｅ ａｘｉｓ）、電子ビームの波長と強度、カメラ距離、回折パターン映像の大きさなどのパラメータを設定することができる。これらのパラメータは、ユーザーによって全部入力されることができ、またはユーザーが一部入力すると他のパラメータが自動的に生成されることもできる。
【0016】
試料生成部６０２は、単位格子内の原子の相対的位置及び晶帯軸パラメータを利用してｓｌａｂ形態の試料を生成することができる。ここで、ｓｌａｂ形態は薄い板状を意味することができる。もちろん、生成される試料は、ｓｌａｂ形態に限定されるものではない。
【0017】
ＨＫＬベクトル生成部６０４は、仮想のＥｗａｌｄ ｓｐｈｅｒｅ（エワルド球）と交わる逆格子（ｒｅｃｉｐｒｏｃａｌ ｌａｔｔｉｃｅ）ベクトルを生成することができる。ここで、逆格子は、パラメータ設定部６００によって設定された単位格子に応じて特定のプログラムを利用することにより自動的に生成されるパラメータであることができる。
【0018】
光源生成部６０６は、試料内の各原子に到達する電子ビームの相対的な明るさを計算することができる。
【0019】
回折パターン生成部６０８は、試料に含まれた全ての原子と電子の相互作用において発生した回折を累積して仮想のＳＡＤＰ映像を生成することができる。この過程で設定されたパラメータ、逆格子ベクトル及び原子に到達する電子ビームの相対的明るさなどが使用されることができる。
【0020】
整理すると、本実施形態のＴＥＭ ＳＡＤＰ映像生成システムは、多様な入力パラメータに対応して適応的に仮想のＳＡＤＰ映像を生成し、ＳＡＤＰ映像には、リンギング効果、ＨＯＬＺ（高次ラウエ帯）パターンが回折パターンに含まれる現象及びぼやけた回折点が回折パターンに含まれる現象が発生しないことが可能である。
また、ＴＥＭ ＳＡＤＰ映像生成システムは、並列処理またはＧＰＧＰＵを活用して高速でＳＡＤＰ映像を生成することができる。
すなわち、ＴＥＭ ＳＡＤＰ映像生成システムは、高速で多量の仮想ＳＡＤＰ映像を生成することができ、生成されたＳＡＤＰ映像は実際のＳＡＤＰ映像とほぼ同一であることができる。
また、ＴＥＭ ＳＡＤＰ映像生成システムは、並列処理またはＧＰＧＰＵを活用して高速でＳＡＤＰ映像を生成することができる。
すなわち、ＴＥＭ ＳＡＤＰ映像生成システムは、高速で多量の仮想ＳＡＤＰ映像を生成することができ、生成されたＳＡＤＰ映像は実際のＳＡＤＰ映像とほぼ同一であることができる。
【0021】
一方、上記では、ユーザーによって入力されるパラメータについて特定的に言及したが、ユーザーによって入力されたパラメータを利用して試料を生成する限り、パラメータは制限されない。
すなわち、ＴＥＭ ＳＡＤＰ映像生成システムは、ユーザーによって入力されたパラメータを利用してｓｌａｂ形態の試料を生成する試料生成部、入力された光源の形態と光源の強度を利用して試料内の原子に到達する電子ビームの明るさを求める光源生成部及び試料内の原子の位置と求められた電子ビームの明るさを利用して仮想の回折パターン映像を生成する回折パターン生成部を含むことができる。
すなわち、ＴＥＭ ＳＡＤＰ映像生成システムは、ユーザーによって入力されたパラメータを利用してｓｌａｂ形態の試料を生成する試料生成部、入力された光源の形態と光源の強度を利用して試料内の原子に到達する電子ビームの明るさを求める光源生成部及び試料内の原子の位置と求められた電子ビームの明るさを利用して仮想の回折パターン映像を生成する回折パターン生成部を含むことができる。
【0022】
一方、逆格子ベクトル、電子ビームの明るさ及び回折パターンは、ユーザーによって入力されたパラメータを数学的に適用して生成されることができる。これに関する詳細な説明は後述する。
また、ＴＥＭ ＳＡＤＰ映像を生成するためにユーザーがパラメータを入力したが、実際のＳＡＤＰ映像からパラメータを抽出し、抽出されたパラメータを利用して仮想のＴＥＭ ＳＡＤＰ映像を生成することもできる。すなわち、ＴＥＭ ＳＡＤＰ映像生成システムは、実際のＳＡＤＰ映像を基準にして多数の仮想のＴＥＭ ＳＡＤＰ映像を生成することができる。
また、ｓｌａｂの層数、逆格子ベクトル及び電子ビームの明るさなどは固定的ではなく、ユーザーが入力したパラメータまたは実際のＳＡＤＰ映像から抽出されたパラメータに応じて適応的に変化することができる。これに関する詳細な説明は後述する。
また、ＴＥＭ ＳＡＤＰ映像を生成するためにユーザーがパラメータを入力したが、実際のＳＡＤＰ映像からパラメータを抽出し、抽出されたパラメータを利用して仮想のＴＥＭ ＳＡＤＰ映像を生成することもできる。すなわち、ＴＥＭ ＳＡＤＰ映像生成システムは、実際のＳＡＤＰ映像を基準にして多数の仮想のＴＥＭ ＳＡＤＰ映像を生成することができる。
また、ｓｌａｂの層数、逆格子ベクトル及び電子ビームの明るさなどは固定的ではなく、ユーザーが入力したパラメータまたは実際のＳＡＤＰ映像から抽出されたパラメータに応じて適応的に変化することができる。これに関する詳細な説明は後述する。
【0023】
以下では、ＴＥＭ ＳＡＤＰ映像生成過程を添付図面を参照して具体的に説明する。
図８は、立方晶系（ｃｕｂｉｃ ｓｙｓｔｅｍ）に属する素材の格子定数の一例を図示した図面である。図９は、六方晶系（ｈｅｘａｇｏｎａｌ ｓｙｓｔｅｍ）に属する素材の格子定数の一例を図示した図面であり、図１０は、電子ビーム、Ｅｗａｌｄ ｓｐｈｅｒｅ（エワルド球）、逆格子及び回折パターンの関係を図示した図面であり、図１１は、単位格子を整列させる前と後を図示した図面である。図１２は、本発明の一実施形態に係る晶帯軸と整列した単位格子を利用してｓｌａｂ形態の試料を製作した結果を図示した図面であり、図１３は、本発明のＴＥＭ ＳＡＤＰ映像生成システムによって生成された回折パターンの一例を図示した図面である。
図８は、立方晶系（ｃｕｂｉｃ ｓｙｓｔｅｍ）に属する素材の格子定数の一例を図示した図面である。図９は、六方晶系（ｈｅｘａｇｏｎａｌ ｓｙｓｔｅｍ）に属する素材の格子定数の一例を図示した図面であり、図１０は、電子ビーム、Ｅｗａｌｄ ｓｐｈｅｒｅ（エワルド球）、逆格子及び回折パターンの関係を図示した図面であり、図１１は、単位格子を整列させる前と後を図示した図面である。図１２は、本発明の一実施形態に係る晶帯軸と整列した単位格子を利用してｓｌａｂ形態の試料を製作した結果を図示した図面であり、図１３は、本発明のＴＥＭ ＳＡＤＰ映像生成システムによって生成された回折パターンの一例を図示した図面である。
【0024】
パラメータ設定部６００は、格子定数、単位格子内の原子の相対的位置、晶帯軸、電子ビームの波長及び強度、カメラ距離、回折パターン映像の大きさなどのパラメータを設定することができる。これらのパラメータは、ユーザーによって入力されるか、または実際のＳＡＤＰ映像から抽出されることができる。
このとき、格子定数及び単位格子内の原子の相対的位置は、ＣＩＦ（Ｃｒｙｓｔａｌｌｏｇｒａｐｈｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｆｉｌｅ）、ＦＨＩ－ａｉｍｓ、ＸＹＺのようなファイル形態で入力されることができる。
このとき、格子定数及び単位格子内の原子の相対的位置は、ＣＩＦ（Ｃｒｙｓｔａｌｌｏｇｒａｐｈｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｆｉｌｅ）、ＦＨＩ－ａｉｍｓ、ＸＹＺのようなファイル形態で入力されることができる。
【0025】
試料生成部６０２は、入力された格子定数、単位格子内の原子の相対的位置及び晶帯軸に対するパラメータを利用してｓｌａｂ形態の試料を生成することができる。
具体的には、格子定数は、格子ベクトルの大きさａ、ｂ、ｃと格子ベクトル間の角度α、β、γの六つの変数で構成されることができる。図８のようにａ＝ｂ＝ｃ、α＝β＝γ＝９０°であれば該当物質は立方晶系に属し、図９のようにａ＝ｂ≠ｃ、α＝β＝９０°、γ＝１２０°であれば該当物質は六方晶系に属する。
単位格子内の原子の相対的位置は、単位格子内の３次元空間を０と１の間で表現したとき、下記表１のように表すことができる。
具体的には、格子定数は、格子ベクトルの大きさａ、ｂ、ｃと格子ベクトル間の角度α、β、γの六つの変数で構成されることができる。図８のようにａ＝ｂ＝ｃ、α＝β＝γ＝９０°であれば該当物質は立方晶系に属し、図９のようにａ＝ｂ≠ｃ、α＝β＝９０°、γ＝１２０°であれば該当物質は六方晶系に属する。
単位格子内の原子の相対的位置は、単位格子内の３次元空間を０と１の間で表現したとき、下記表１のように表すことができる。
【0026】
【表1】
【0027】
試料生成部６０２は、図１１に図示されたように、電子ビームの方向と晶帯軸と対応する格子面が垂直になるように単位格子を整列させて、図１２に図示するようにｓｌａｂ形態の試料を生成することができる。ここで、ｓｌａｂ形態の試料は、単位格子が板状に配列される構造を意味することができる。図１２では立方晶系の素材を生成したが、六方晶系の試料も同一方式で生成することができる。このとき、３次元ベクトルで表すことができる電子ビームの方向と晶帯軸を整列させるためにＲｏｄｒｉｇｕｅｓ ｆｏｒｍｕｌａを使用することができる。
【0028】
一実施形態によれば、ｓｌａｂの層数を入力された格子定数と晶帯軸パラメータに応じて適応的に決定して、ＨＯＬＺ（高次ラウエ帯）が回折パターンに含まれる現象や回折点がぼやけた回折パターンが生成される現象を防止することができる。
すなわち、試料生成部６０２は、ＨＯＬＺ（高次ラウエ帯）が回折パターンに含まれる現象や回折点がぼやけた回折パターンが生成されることを防止できるように、入力された格子定数と晶帯軸パラメータに応じてｓｌａｂの層数を適応的に決定することができる。このように決定されたｓｌａｂの層に単位格子が整列されることができる。その結果、同じ素材であっても、ユーザーによって入力されたパラメータに応じてｓｌａｂの層数が異なり得る。
すなわち、試料生成部６０２は、ＨＯＬＺ（高次ラウエ帯）が回折パターンに含まれる現象や回折点がぼやけた回折パターンが生成されることを防止できるように、入力された格子定数と晶帯軸パラメータに応じてｓｌａｂの層数を適応的に決定することができる。このように決定されたｓｌａｂの層に単位格子が整列されることができる。その結果、同じ素材であっても、ユーザーによって入力されたパラメータに応じてｓｌａｂの層数が異なり得る。
【0029】
ＨＫＬベクトル生成部６０４は、図１０に図示するように、仮想のＥｗａｌｄ ｓｐｈｅｒｅ（エワルド球）と交わる逆格子ベクトルを生成することができる。Ｅｗａｌｄ ｓｐｈｅｒｅ（エワルド球）と交わる逆格子において回折が発生することができ、したがって回折パターンを求めるために回折が発生する逆格子を検出することができる。ここで、逆格子は、パラメータ設定部６００によって設定された単位格子に応じて、特定のプログラムまたは数式を利用することにより自動的に生成されるパラメータであることができる。
具体的に、ＨＫＬベクトル生成部６０４は、電子ビームが位置する原点から既設定の距離（ｄ）だけ離隔された映像座標（ｘ，ｙ）と電子ビームの波長（λ）を利用して、逆格子ベクトルｈ（ｘ，ｙ）、ｋ（ｘ，ｙ）、ｌ（ｘ，ｙ）を下記数式１及び数式２で計算することができる。
具体的に、ＨＫＬベクトル生成部６０４は、電子ビームが位置する原点から既設定の距離（ｄ）だけ離隔された映像座標（ｘ，ｙ）と電子ビームの波長（λ）を利用して、逆格子ベクトルｈ（ｘ，ｙ）、ｋ（ｘ，ｙ）、ｌ（ｘ，ｙ）を下記数式１及び数式２で計算することができる。
【0030】
【数1】
【0031】
【数2】
【0032】
数式１に図示されたように、映像座標（ｘ，ｙ）、波長（λ）及び電子ビームが位置する原点からの距離（ｄ）を知っていればχを求めることができ、求めたχを利用すれば逆格子ベクトル［ｈ（ｘ，ｙ）、ｋ（ｘ，ｙ）、ｌ（ｘ，ｙ）］が自動的に求められることができる。
【0033】
光源生成部６０６は、光源の形態と光源の強度を入力として受け、試料内の各原子に到達する電子ビームの明るさを求めることができる。このとき、光源の形態は、電子ビームの方向と垂直の格子面を基準にして平坦であるか、または２Ｄ Ｇａｕｓｓｉａｎ形態を有することができる。
【0034】
試料内の原子の３次元位置を（ｘｊ，ｙｊ，ｚｊ）としたとき、平坦な光源の形態を仮定すると、各原子に到達する電子ビームの明るさは下記数式３の通りである。
【0035】
【数3】
ここで、Ｉ０は光源の強度を示す。
【0036】
２Ｄ Ｇａｕｓｓｉａｎ光源の形態を仮定すると、各原子に到達する電子ビームの明るさは、下記数式４の通りである。
【0037】
【数4】
ここで、σｘはｘ軸への標準偏差を意味し、σｙはｙ軸への標準偏差を表す。
【0038】
３Ｄ Ｇａｕｓｓｉａｎ光源の形態を仮定すると、各原子に到達する電子ビームの明るさは、下記数式５の通りである。
【0039】
【数5】
ここで、σｚはｚ軸への標準偏差を意味する。
【0040】
光源生成部６０６では、連続的な光源形態を作るために３次元Ｇａｕｓｓｉａｎを活用することができる。このとき、Ｇａｕｓｓｉａｎの３σを試料の横、縦、高さより小さく設定して、試料の縁に不連続点が生じないように設定することができる。
【0041】
他の実施形態によれば、光源生成部６０６は、２次元Ｇａｕｓｓｉａｎとｅｘｐｏｎｅｎｔｉａｌ ｄｅｃａｙ関数を同時に活用して、２次元Ｇａｕｓｓｉａｎでは試料の横、縦方向において発生可能な不連続点を除去し、ｅｘｐｏｎｅｎｔｉａｌ ｄｅｃａｙ関数では試料の高さ方向において発生可能な不連続点を除去する方法を使用することもできる。
【0042】
一方、電子ビームの方向基準にｅｘｐｏｎｅｎｔｉａｌ ｄｅｃａｙを適用して、電子ビームが試料を通過しながら落ちる明るさを模擬することができる。Ｅｘｐｏｎｅｎｔｉａｌ ｄｅｃａｙが適用された光源は、下記の数式６のように定義することができる。
【0043】
【数6】
ここで、λｄはｅｘｐｏｎｅｎｔｉａｌ ｄｅｃａｙのパラメータを表す。
【0044】
光源生成部６０６で生成された光源の大きさと形態は、入力されたｓｌａｂの大きさと回折パターン映像の大きさなどに応じて適応的に可変されることができ、その結果、光源の不連続点（ｄｉｓｃｏｎｔｉｎｕｉｔｙ）から発生可能な回折パターンのリンギング効果を防止することができ、これは図７に図示される。すなわち、光源生成部６０６は、回折パターンのリンギング効果を防止するために、光源の大きさと形態を入力されたｓｌａｂの大きさと回折パターン映像の大きさに応じて適応的に可変して使用することができる。
【0045】
回折パターン生成部６０８は、ＨＫＬベクトル生成部６０４によって求められた逆格子ベクトル［ｈ（ｘ，ｙ）、ｋ（ｘ，ｙ）、ｌ（ｘ，ｙ）］、試料内の原子の位置及び光源生成部６０６において獲得された電子ビームの明るさ（Ｉ（ｘｊ，ｙｊ，ｚｊ））を利用して、下記数式７のように累積された回折パターン（Ｆ（ｈ，ｋ，ｌ））を計算することができる。
【0046】
【数7】
ここで、ｆｏｊ （ｈ，ｋ，ｌ）は、ｊ番目の原子の散乱因子（ｓｃａｔｔｅｒｉｎｇ ｆａｃｔｏｒ）を意味する。この散乱因子は原子の種類によって異なり得る。
【0047】
続いて、回折パターン生成部６０８は、累積された回折パターンの最大値を計算し、計算された最大値を基準に累積された回折パターンを線形的に正規化して回折パターン映像を生成することができる。
他の実施形態によれば、回折パターン生成部６０８は、ガンマ補正（ｇａｍｍａ ｃｏｒｒｅｃｔｉｏｎ）のような映像処理技法を使用して非線形的に正規化して回折パターン映像を生成することもできる。このとき、回折パターン生成部６０８において試料に含まれた各々の原子と電子の相互作用から発生する回折は独立的に計算できるため、ＣＰＵ並列処理またはＧＰＧＰＵ（Ｇｅｎｅｒａｌ Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を活用して高速に計算することができる。このように生成されたＳＡＤＰ映像は図１３に図示される。図１３に図示されるように、ＳＡＤＰ映像にリンギング効果、ＨＯＬＺ（高次ラウエ帯）が回折パターンに含まれる現象、回折点がぼやけた回折パターンは発生しない。
他の実施形態によれば、回折パターン生成部６０８は、ガンマ補正（ｇａｍｍａ ｃｏｒｒｅｃｔｉｏｎ）のような映像処理技法を使用して非線形的に正規化して回折パターン映像を生成することもできる。このとき、回折パターン生成部６０８において試料に含まれた各々の原子と電子の相互作用から発生する回折は独立的に計算できるため、ＣＰＵ並列処理またはＧＰＧＰＵ（Ｇｅｎｅｒａｌ Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を活用して高速に計算することができる。このように生成されたＳＡＤＰ映像は図１３に図示される。図１３に図示されるように、ＳＡＤＰ映像にリンギング効果、ＨＯＬＺ（高次ラウエ帯）が回折パターンに含まれる現象、回折点がぼやけた回折パターンは発生しない。
【0048】
一方、回折パターン生成部６０８は、累積された回折値をＳＡＤＰ映像に製作するために多様な関数を適用することができる。例えば、回折パターン生成部６０８は、線形関数を適用して回折パターンを生成することもでき、Ｖｏ＝ＡＶｉγのようにガンマ補正において用いられる関数を使用して回折パターンを生成することもできる。
整理すると、本実施形態のＳＡＤＰ映像生成システムは、逆格子ベクトル、試料内の原子の位置及び電子ビームの明るさを利用してリンギング効果、ＨＯＬＺ（高次ラウエ帯）が回折パターンに含まれる現象及び回折点がぼやけた回折パターンが生成される現象を防止するＳＡＤＰ映像を生成することができる。
整理すると、本実施形態のＳＡＤＰ映像生成システムは、逆格子ベクトル、試料内の原子の位置及び電子ビームの明るさを利用してリンギング効果、ＨＯＬＺ（高次ラウエ帯）が回折パターンに含まれる現象及び回折点がぼやけた回折パターンが生成される現象を防止するＳＡＤＰ映像を生成することができる。
【0049】
以下では、ディープラーニングを利用して実際のＴＥＭ ＳＡＤＰ映像と仮想のＴＥＭ ＳＡＤＰ映像を変換するシステム及び方法を添付図面を参照して説明する。
図１４は、本発明の一実施形態に係る実際のＴＥＭ ＳＡＤＰ映像と仮想のＴＥＭ ＳＡＤＰ映像を相互変換するシステムを図示した図面であり、図１５は、Ｂｅａｍ ｓｔｏｐｐｅｒを利用して映像中央の明るい点を遮った例示を図示した図面であり、図１６は、縮尺情報が表示された実際のＴＥＭ ＳＡＤＰ映像の例示を図示した図面である。図１７は、実際のＴＥＭ ＳＡＤＰ映像において縮尺情報を除去した例示を図示した図面であり、図１８は、ＪＥＭＳプログラムを介して生成された仮想のＴＥＭ ＳＡＤＰ映像の例示を図示した図面であり、図１９は、仮想のＴＥＭ ＳＡＤＰ映像から実際と類似した形態で生成されたＴＥＭ ＳＡＤＰ映像の例示を図示した図面である。図２０は、本発明の一実施形態に係る実際－仮想相互変換アルゴリズムの例示を図示した図面である。
図１４は、本発明の一実施形態に係る実際のＴＥＭ ＳＡＤＰ映像と仮想のＴＥＭ ＳＡＤＰ映像を相互変換するシステムを図示した図面であり、図１５は、Ｂｅａｍ ｓｔｏｐｐｅｒを利用して映像中央の明るい点を遮った例示を図示した図面であり、図１６は、縮尺情報が表示された実際のＴＥＭ ＳＡＤＰ映像の例示を図示した図面である。図１７は、実際のＴＥＭ ＳＡＤＰ映像において縮尺情報を除去した例示を図示した図面であり、図１８は、ＪＥＭＳプログラムを介して生成された仮想のＴＥＭ ＳＡＤＰ映像の例示を図示した図面であり、図１９は、仮想のＴＥＭ ＳＡＤＰ映像から実際と類似した形態で生成されたＴＥＭ ＳＡＤＰ映像の例示を図示した図面である。図２０は、本発明の一実施形態に係る実際－仮想相互変換アルゴリズムの例示を図示した図面である。
【0050】
本実施形態の実際のＴＥＭ ＳＡＤＰ映像と仮想のＴＥＭ ＳＡＤＰ映像を相互変換するシステムは、実際の回折パターン映像リファイン部１４００、仮想の回折パターン生成部１４０２、実際－仮想相互変換アルゴリズム学習部１４０４及びこれらの動作を全般的に制御する制御部を含む。
実際の回折パターン映像リファイン部１４００は、実際のＴＥＭ ＳＡＤＰ映像、例えば、実験を介して収集した実際のＴＥＭ ＳＡＤＰ映像またはウェブを介して収集した実際のＴＥＭ ＳＡＤＰ映像において不要な部分を除去することができる。
例えば、実際の回折パターン映像リファイン部１４００は、図１５に図示されたように、実際のＴＥＭ ＳＡＤＰ映像内の追加的な情報記入のために追加された注釈情報、縮尺情報、格子面インデックス情報などを除去することができる。
実際の回折パターン映像リファイン部１４００は、実際のＴＥＭ ＳＡＤＰ映像、例えば、実験を介して収集した実際のＴＥＭ ＳＡＤＰ映像またはウェブを介して収集した実際のＴＥＭ ＳＡＤＰ映像において不要な部分を除去することができる。
例えば、実際の回折パターン映像リファイン部１４００は、図１５に図示されたように、実際のＴＥＭ ＳＡＤＰ映像内の追加的な情報記入のために追加された注釈情報、縮尺情報、格子面インデックス情報などを除去することができる。
【0051】
一実施形態によれば、実際の回折パターン映像リファイン部１４００は、実際のＴＥＭ ＳＡＤＰ映像から注釈情報を除去し、フォトショップなどの商用映像処理プログラムまたは映像の失われた部分を埋めるｈｏｌｅ－ｆｉｌｌｉｎｇアルゴリズムを利用して除去した部分に背景を合成することができる。このような過程を通じて獲得されたＳＡＤＰ映像が図１７に図示される。もちろん、除去した部分を埋める限り、プログラムの制限はない。
他の例として、実際の回折パターン映像リファイン部１４００は、図１６に図示されたような縮尺情報が表示された実際のＴＥＭ ＳＡＤＰ映像から、縮尺情報を除去し、ｈｏｌｅ－ｆｉｌｌｉｎｇアルゴリズムなどを介して除去した部分に背景を合成した、図１７に図示されたようなＳＡＤＰ映像を生成することができる。
他の例として、実際の回折パターン映像リファイン部１４００は、図１６に図示されたような縮尺情報が表示された実際のＴＥＭ ＳＡＤＰ映像から、縮尺情報を除去し、ｈｏｌｅ－ｆｉｌｌｉｎｇアルゴリズムなどを介して除去した部分に背景を合成した、図１７に図示されたようなＳＡＤＰ映像を生成することができる。
【0052】
仮想の回折パターン生成部１４０２は、入力された格子定数及び単位格子に基づいて、ＪＥＭＳ、ＱＳＴＥＭ、ａｂＴＥＭ、Ｌａｄｙｎｅ Ｓｏｆｔｗａｒｅ Ｓｕｉｔｅ、ＳｉｎｇｌｅＣｒｙｓｔａｌ、ＣｏｎｄｏｒなどのＴＥＭ ＳＡＤＰシミュレーションプログラムを利用して、実際のＴＥＭ ＳＡＤＰ映像に対応する仮想のＴＥＭ ＳＡＤＰ映像を生成することができる。ここで、格子定数及び単位格子は、ユーザーによって入力されることができ、実際のＴＥＭ ＳＡＤＰ映像から抽出されて獲得されることもできる。
【0053】
格子定数と単位格子に関する情報がＣＩＦ（Ｃｒｙｓｔａｌｌｏｇｒａｐｈｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｆｉｌｅ）、ＦＨＩ－ａｉｍｓ、ＸＹＺのようなファイル形態で与えられたときに、ＪＥＭＳプログラムを利用して生成した仮想のＴＥＭ ＳＡＤＰ映像が図１８に図示される。このとき、生成された仮想のＳＡＤＰ映像は、この後実際－仮想相互変換アルゴリズム学習に使用されるため、多様なプログラムを利用してＳＡＤＰ映像を生成するより一つのプログラムを利用してＳＡＤＰ映像を生成する方が、学習過程においてデータの多様性に起因する混乱を減らすことができる。
例えば、同じＪＥＭＳプログラムを利用して不要な部分が除去された実際のＴＥＭ ＳＡＤＰ映像に対応する仮想のＴＥＭ ＳＡＤＰ映像を生成することができ、仮想のＴＥＭ ＳＡＤＰ映像を生成するために他のプログラムを使用しないこともできる。
例えば、同じＪＥＭＳプログラムを利用して不要な部分が除去された実際のＴＥＭ ＳＡＤＰ映像に対応する仮想のＴＥＭ ＳＡＤＰ映像を生成することができ、仮想のＴＥＭ ＳＡＤＰ映像を生成するために他のプログラムを使用しないこともできる。
【0054】
【0055】
他の観点では、仮想の回折パターン生成部１４０２は、図６～図１３において説明した方法を介して実際のＴＥＭ ＳＡＤＰ映像に対応する仮想のＳＡＤＰ映像を生成することもできる。
この場合、仮想の回折パターン生成部１４０２は、格子定数、単位格子内の原子の相対的位置、晶帯軸パラメータのうち少なくとも一つを利用して試料を生成する試料生成部、単位格子に対応する逆格子ベクトルを生成するベクトル生成部、生成された試料内の原子に到達する電子ビームの明るさを求める光源生成部、生成された逆格子ベクトル、試料内の原子の位置及び求められた電子ビームの明るさを利用して仮想の回折パターン映像（ＴＥＭ ＳＡＤＰ映像）を生成する回折パターン生成部及び生成された仮想の回折パターン映像のうち実際の回折パターン映像に対応する仮想の回折パターン映像を選択する選択部を含むことができる。
この場合、仮想の回折パターン生成部１４０２は、格子定数、単位格子内の原子の相対的位置、晶帯軸パラメータのうち少なくとも一つを利用して試料を生成する試料生成部、単位格子に対応する逆格子ベクトルを生成するベクトル生成部、生成された試料内の原子に到達する電子ビームの明るさを求める光源生成部、生成された逆格子ベクトル、試料内の原子の位置及び求められた電子ビームの明るさを利用して仮想の回折パターン映像（ＴＥＭ ＳＡＤＰ映像）を生成する回折パターン生成部及び生成された仮想の回折パターン映像のうち実際の回折パターン映像に対応する仮想の回折パターン映像を選択する選択部を含むことができる。
【0056】
実際－仮想相互変換アルゴリズム学習部１４０４は、実際のＳＡＤＰ映像及び仮想のＳＡＤＰ映像を活用して仮想の回折パターンドメインに属する映像から実際の回折パターンドメインに属する映像を生成するか、または実際の回折パターンドメインに属する映像から仮想の回折パターンドメインに属する映像を生成する実際－仮想相互変換アルゴリズムを学習させることができる。
【0057】
続いて、実際－仮想相互変換アルゴリズム学習部１４０４は、ディープラーニングモデルを活用して、すなわち、ディープラーニング技術を利用して仮想の回折パターンドメインに属するＳＡＤＰ映像から実際の回折パターンドメインに属するＳＡＤＰ映像を生成することができる。例えば、図１９に図示されたように、左側に表示される仮想のＴＥＭ ＳＡＤＰ映像から右側に表示される実際と類似した形態で生成されたＳＡＤＰ映像を生成することができる。
このとき、実際の回折パターンと同じ回折点位置を有する仮想の回折パターンを準備したのであれば、両ドメインに属する映像対が必要なアルゴリズムを使用することができる。一方、実際の回折パターンと仮想の回折パターンのうち一つのみ準備された場合には、両ドメインに属する映像対に関する情報が要求されないアルゴリズムを使用することができる。
このとき、実際の回折パターンと同じ回折点位置を有する仮想の回折パターンを準備したのであれば、両ドメインに属する映像対が必要なアルゴリズムを使用することができる。一方、実際の回折パターンと仮想の回折パターンのうち一つのみ準備された場合には、両ドメインに属する映像対に関する情報が要求されないアルゴリズムを使用することができる。
【0058】
このような一連の過程を介して、実際－仮想相互変換アルゴリズムは、実際のＴＥＭ ＳＡＤＰ映像に含まれた多様な誤差の影響とｂｅａｍ ｓｔｏｐｐｅｒの影響などを統合的に考慮して実際と類似したＴＥＭ ＳＡＤＰ映像を生成することができる。
【0059】
他の実施形態によれば、実際－仮想相互変換アルゴリズム学習部１４０４は、仮想の回折パターンドメインに属するＳＡＤＰ映像から実際の回折パターンドメインに属するＳＡＤＰ映像を生成することができるだけでなく、実際の回折パターンドメインに属するＳＡＤＰ映像から仮想の回折パターンドメインに属するＳＡＤＰ映像を生成することもできる。もしＴＥＭ ＳＡＤＰ映像を基盤にディープラーニングアプリケーションを作るとしたら、入力は実際のＴＥＭ ＳＡＤＰ映像であり得る。
このとき、実際の回折パターンドメインに属する入力されたＳＡＤＰ映像を仮想の回折パターンドメインに属するＳＡＤＰ映像に変換すれば、仮想の回折パターンドメインに属するＳＡＤＰ映像で学習したディープラーニングモデルを活用することができる。
このとき、実際の回折パターンドメインに属する入力されたＳＡＤＰ映像を仮想の回折パターンドメインに属するＳＡＤＰ映像に変換すれば、仮想の回折パターンドメインに属するＳＡＤＰ映像で学習したディープラーニングモデルを活用することができる。
【0060】
図２０に示すとおり、実際－仮想相互変換アルゴリズム学習部１４０４を具体的に説明すると、実際－仮想相互変換アルゴリズム学習部１４０４は、実際の回折パターン分別部、仮想の回折パターン分別部、Ｒｅａｌ２Ｓｉｍ変換部、Ｓｉｍ２Ｒｅａｌ変換部を含むことができる。
【0061】
実際の回折パターン分別部は、Ｓｉｍ２Ｒｅａｌ変換部を介して実際の回折パターンと類似した形態に変換された仮想の回折パターンと実際のＴＥＭを介して撮影された回折パターンを区分するディープラーニングモデルを学習する。このとき、実際の回折パターンと類似した形態に変換された仮想の回折パターンと実際のＴＥＭを介して撮影された回折パターンは、全て実際の回折パターンドメインに属する映像である。
【0062】
仮想の回折パターン分別部は、Ｒｅａｌ２Ｓｉｍ変換部を介して仮想の回折パターンと類似した形態に変換された実際の回折パターンとシミュレーションを通じて生成された仮想の回折パターンを区分するディープラーニングモデルを学習する。このとき、仮想の回折パターンと類似した形態に変換された実際の回折パターンとシミュレーションを通じて生成された仮想の回折パターンは、全て仮想の回折パターンドメインに属する映像である。
【0063】
Ｒｅａｌ２Ｓｉｍ変換部は、実際の回折パターンドメインに属する映像を仮想の回折パターンドメインに属する映像に変換するディープラーニングモデルを学習する。このとき、Ｓｉｍ２Ｒｅａｌ変換部の目標は、仮想の回折パターン分別部が自身が生成した映像とシミュレーションを通じて生成した映像を区分できないほど類似した映像を生成することである。
【0064】
Ｓｉｍ２Ｒｅａｌ変換部は、仮想の回折パターンドメインに属する映像を実際の回折パターンドメインに属する映像に変換するディープラーニングモデルを学習する。このとき、Ｓｉｍ２Ｒｅａｌ変換部の目標は、実際の回折パターン分別部が自身が生成した映像と実際のＴＥＭを介して撮影した映像を区分できないほど類似した映像を生成することである。
【0065】
実際－仮想相互変換アルゴリズム学習部１４０４に属する四つの構成要素は、互いに影響を与えて、それぞれ自身に与えられた目標をうまく遂行できるディープラーニングモデルを学習することになり、最終的には実際の回折パターンドメインに属する映像と仮想の回折パターンドメインに属する映像を円滑に相互変換できるようになる。
【0066】
実験を介して実際のＴＥＭ ＳＡＤＰ映像を獲得する過程は多くの時間を必要とするため、もし仮想の回折パターンドメインに属するＳＡＤＰ映像で学習したディープラーニングモデルを実際のアプリケーションにおいて使用することができれば、大量の学習データセットを容易に取得することができ、高い性能を持つアプリケーションを構築することができる。
整理すると、本実施形態の実際のＴＥＭ ＳＡＤＰ映像と仮想のＴＥＭ ＳＡＤＰ映像を相互変換するシステム（映像変換システム）は、収集した実際のＴＥＭ ＳＡＤＰ映像において不要な情報を除去し、不要な情報が除去された実際のＴＥＭ ＳＡＤＰ映像に対応する仮想のＴＥＭ ＳＡＤＰ映像を生成し、生成された仮想のＴＥＭ ＳＡＤＰ映像と実際のＴＥＭ ＳＡＤＰ映像を活用して、実際－仮想相互変換アルゴリズムを学習することができる。このとき、実際－仮想相互変換アルゴリズムは、仮想の回折パターンドメインに属するＳＡＤＰ映像から実際の回折パターンドメインに属するＳＡＤＰ映像を生成することもでき、実際の回折パターンドメインに属するＳＡＤＰ映像から仮想の回折パターンドメインに属するＳＡＤＰ映像を生成することもできる。
整理すると、本実施形態の実際のＴＥＭ ＳＡＤＰ映像と仮想のＴＥＭ ＳＡＤＰ映像を相互変換するシステム（映像変換システム）は、収集した実際のＴＥＭ ＳＡＤＰ映像において不要な情報を除去し、不要な情報が除去された実際のＴＥＭ ＳＡＤＰ映像に対応する仮想のＴＥＭ ＳＡＤＰ映像を生成し、生成された仮想のＴＥＭ ＳＡＤＰ映像と実際のＴＥＭ ＳＡＤＰ映像を活用して、実際－仮想相互変換アルゴリズムを学習することができる。このとき、実際－仮想相互変換アルゴリズムは、仮想の回折パターンドメインに属するＳＡＤＰ映像から実際の回折パターンドメインに属するＳＡＤＰ映像を生成することもでき、実際の回折パターンドメインに属するＳＡＤＰ映像から仮想の回折パターンドメインに属するＳＡＤＰ映像を生成することもできる。
【0067】
仮想のＴＥＭ ＳＡＤＰから実際と類似したＴＥＭ ＳＡＤＰ映像を生成することによって、実際のＴＥＭ実験において発生し得る多様な誤差を模擬することができる。
また、ＴＥＭ ＳＡＤＰ映像を活用したディープラーニングアプリケーションを作るときに、実際－仮想相互変換アルゴリズムを介して実際のＴＥＭ ＳＡＤＰと仮想のＴＥＭ ＳＡＤＰ間の間隙を減らすことにより、シミュレーションで生成した仮想のデータがディープラーニング学習に効果的に使用されることができる。
また、ＴＥＭ ＳＡＤＰ映像を活用したディープラーニングアプリケーションを作るときに、実際－仮想相互変換アルゴリズムを介して実際のＴＥＭ ＳＡＤＰと仮想のＴＥＭ ＳＡＤＰ間の間隙を減らすことにより、シミュレーションで生成した仮想のデータがディープラーニング学習に効果的に使用されることができる。
【0068】
一方、前述した実施形態の構成要素は、プロセス的な観点から容易に把握されることができる。すなわち、各構成要素はそれぞれのプロセスとして把握されることができる。また、前述した実施形態のプロセスは、装置の構成要素の観点から容易に把握されることができる。
また、前述した技術的内容は、様々なコンピュータ手段を介して遂行され得るプログラム命令の形態で具現されてコンピュータ読み取り可能な媒体に記録されることができる。コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独で、または組み合わせて含むことができる。媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであるか、またはコンピュータソフトウェア当業者に公知されて使用可能なものであることができる。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラによって作成されるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行されることができる高級言語コードを含む。ハードウェア装置は、実施形態の動作を遂行するために一つ以上のソフトウェアモジュールとして動作するように構成されることができ、その逆も同様である。
また、前述した技術的内容は、様々なコンピュータ手段を介して遂行され得るプログラム命令の形態で具現されてコンピュータ読み取り可能な媒体に記録されることができる。コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独で、または組み合わせて含むことができる。媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであるか、またはコンピュータソフトウェア当業者に公知されて使用可能なものであることができる。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラによって作成されるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行されることができる高級言語コードを含む。ハードウェア装置は、実施形態の動作を遂行するために一つ以上のソフトウェアモジュールとして動作するように構成されることができ、その逆も同様である。
【0069】
前述した本発明の実施形態は例示の目的のために開示されたものであり、本発明についての通常の知識を有する当業者であれば、本発明の思想と範囲内で種々の修正、変更、付加が可能であり、このような修正、変更及び付加は下記の特許請求の範囲に属するものとみなすべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【国際調査報告】