特許 6739668 画像系列整列システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6739668

(24)【登録日】2020年7月27日

(45)【発行日】2020年8月12日

(54)【発明の名称】画像系列整列システム及び方法

(51)【国際特許分類】

   G06T 7/37 20170101AFI20200730BHJP

   G06T 1/00 20060101ALI20200730BHJP

   H01J 37/22 20060101ALI20200730BHJP

   G01N 23/04 20180101ALI20200730BHJP

【ＦＩ】

   G06T7/37

   G06T1/00 280

   H01J37/22 501Z

   H01J37/22 501J

   G01N23/04

【請求項の数】14

【全頁数】19

(21)【出願番号】特願2019-558736(P2019-558736)

(86)(22)【出願日】2018年2月14日

(65)【公表番号】特表2020-518911(P2020-518911A)

(43)【公表日】2020年6月25日

(86)【国際出願番号】IB2018050911

(87)【国際公開番号】WO2018197960

(87)【国際公開日】20181101

【審査請求日】2019年12月26日

(31)【優先権主張番号】62/490,968

(32)【優先日】2017年4月27日

(33)【優先権主張国】US

(31)【優先権主張番号】62/608,966

(32)【優先日】2017年12月21日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】319003493

【氏名又は名称】キング・アブドゥッラー・ユニバーシティ・オブ・サイエンス・アンド・テクノロジー

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ダーリェン・チャン

(72)【発明者】

【氏名】ユー・ハン

(72)【発明者】

【氏名】クン・リ

(72)【発明者】

【氏名】イハン・ジュー

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２０１１−１８６９０９（ＪＰ，Ａ）

【文献】 特開昭６２−０８９１７０（ＪＰ，Ａ）

【文献】 特開２００２−０５６７９８（ＪＰ，Ａ）

【文献】 特開２００３−０８６１２６（ＪＰ，Ａ）

【文献】 Harold S. Stone et al.，"A Fast Direct Fourier-Based Algorithm for Subpixel Registration of Images"，IEEE Transaction on Geoscience and Remote Sensing，米国，IEEE，２００１年１０月３１日，Vol.39, No.10，pp.2235-2243

【文献】 青木 孝文、外３名，“位相限定相関法に基づく高精度マシンビジョン”，Ｆｕｎｄａｍｅｎｔａｌｓ Ｒｅｖｉｅｗ，日本，社団法人電子情報通信学会，２００７年 ７月 １日，Vol.1, No.1，pp.30-40

【文献】 藤山 雅晶、外３名，“位相差スペクトルを用いた画像間位置ずれ検出”，電子情報通信学会２００１年総合大会講演論文集 情報・システム２，日本，社団法人電子情報通信学会，２００１年 ３月 ７日，p.163

【文献】 幸月 勇、外４名，“位相差からの画像シフト量検出精度の検討”，映像情報メディア学会技術報告，日本，（社）映像情報メディア学会，２００２年 １月２５日，Vol.26, No.7，pp.31-36

【文献】 Harold Stone et al.，"Subpixel Registration of Images"，Conference Record of the Thirty-Third Asilomar Conference on Signals, Systems, and Computers，米国，IEEE，１９９９年１０月２４日，pp.1446-1452

【文献】 Yifan Cheng et al.，"A Primer to Single-Particle Cryo-Electron Microscopy"，Cell，NL，Elsevier B. V.，２０１５年 ４月２３日，Vol.161, No.3，pp.438-449

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

Ｇ０１Ｎ ２３／０４

Ｈ０１Ｊ ３７／２２，３７／２６

(57)【特許請求の範囲】

【請求項1】

撮像検出器で物体の一連の画像を取得することであって、前記一連の画像のうちの少なくとも二つの連続した画像が互いに空間的にシフトしている、ことと、
プロセッサにおいて前記物体の一連の画像を受信することであって、前記一連の画像の画像毎の１画素当たりの平均電子数が０．６７未満である、ことと、
前記プロセッサによって、前記一連の画像の各画像をフーリエ変換を用いてフーリエ領域に変換して、対応する複数のフーリエ変換画像を生成することと、
前記プロセッサによって、前記複数のフーリエ変換画像の振幅成分に基づいて、フーリエ領域において振幅フィルタリングされたパターンを計算することと、
前記プロセッサによって、前記振幅フィルタリングされたパターンを用いて、前記一連の画像のうちの連続した画像の対についての空間シフトを決定することと、
前記プロセッサによって、決定された前記空間シフトに基づいて、前記一連の画像のうちの複数の画像を整列させることと、
前記プロセッサによって、整列させた前記複数の画像を足し合わせて、画像シフトが補正され足し合わされた画像を形成することと、を備え、
前記振幅フィルタリングされたパターンを計算することが、
前記フーリエ変換画像の振幅成分を足し合わせて、振幅パターンを生成することと、
前記振幅パターンに振幅閾値を適用して、前記振幅フィルタリングされたパターンを生成することと、を備え、前記振幅フィルタリングされたパターンが、前記振幅閾値以上の振幅を有する振幅パターンの画素を含む、方法。

【請求項2】

前記連続した画像の対についての空間シフトを決定することが、
前記複数のフーリエ変換画像の各々の振幅成分を前記振幅フィルタリングされたパターンと置き換えて、複数のフィルタリングされたフーリエ変換画像を形成することと、
前記複数のフィルタリングされたフーリエ変換画像の各々に逆フーリエ変換を行い、対応する複数の逆変換されたフィルタリング画像を形成することと、
前記複数の逆変換されたフィルタリング画像を前記複数の逆変換されたフィルタリング画像のうちの連続した次の画像と相互相関させて、前記複数の逆変換されたフィルタリング画像についての画像シフト情報を生成することと、を備える、請求項１に記載の方法。

【請求項3】

前記複数の画像を整列させることが、前記画像シフト情報を前記一連の画像のうちの複数の画像に適用することを更に備える、請求項２に記載の方法。

【請求項4】

前記連続した画像の対についての空間シフトを決定することが、
前記振幅フィルタリングされたパターンの複数の画素に対応する前記複数のフーリエ変換画像の各々から位相成分を抽出することであって、前記複数の画素が、前記振幅閾値以上の振幅を有する振幅パターンの画素に対応する、ことと、
前記複数のフーリエ変換画像の各画像の複数の画素から少なくとも一対の画素を選択することと、
選択された前記少なくとも一対の画素について抽出された前記位相成分に基づいて、前記複数のフーリエ変換画像の各画像についての画像シフトベクトルを決定することと、を更に備える、請求項１に記載の方法。

【請求項5】

前記画像シフトベクトルを決定することが、
選択された前記少なくとも一対の画素について抽出された前記位相成分に基づいて、前記画像シフトベクトルの少なくとも二つの同一直線上にない画像シフト成分ベクトルを決定することと、
前記少なくとも二つの同一直線上にない画像シフト成分ベクトルの係数を二倍にすることと、
二倍にした前記少なくとも二つの同一直線上にない画像シフト成分ベクトルの係数に基づいて、画像シフトサークルを決定することと、を更に備え、前記画像シフトベクトルが前記画像シフトサークルの半径に対応する、請求項４に記載の方法。

【請求項6】

前記複数のフーリエ変換画像の各画像について複数対の画素が選択され、選択された前記複数対の画素の各々について複数の画像シフトベクトルが決定され、
前記方法が、
所定の量よりも大きく逸脱している前記複数の画像シフトベクトルのうちの画像シフトベクトルを前記複数の画像シフトベクトルのうちの他の画像シフトベクトルから特定することと、
前記複数の画像シフトベクトルから一組の画像シフトベクトルを形成することであって、特定された前記画像シフトベクトルが前記一組の画像シフトベクトルに含まれない、ことと、
前記一組の画像シフトベクトルに統計計算を行い、決定された前記空間シフトを生成することと、を更に備える、請求項５に記載の方法。

【請求項7】

前記一連の画像が前記プロセッサによって透過型電子顕微鏡の撮像検出器から受信される、請求項１に記載の方法。

【請求項8】

プロセッサ命令を記憶しているメモリと、
前記メモリに結合されたプロセッサと、を備え、
前記プロセッサが、前記メモリに記憶されたプロセッサ命令を実行するように構成されていて、前記プロセッサ命令が、前記プロセッサに、
物体の一連の画像を受信することであって、前記一連の画像のうちの少なくとも二つの連続した画像が互いに空間的にシフトしていて、前記物体の一連の画像が撮像検出器で撮られ、前記一連の画像の画像毎の１画素当たりの平均電子数が０．６７未満である、ことと、
前記一連の画像の各画像をフーリエ変換を用いてフーリエ領域に変換して、対応する複数のフーリエ変換画像を生成することと、
前記複数のフーリエ変換画像の振幅成分に基づいて、フーリエ領域において振幅フィルタリングされたパターンを計算することと、
前記振幅フィルタリングされたパターンを用いて、前記一連の画像のうちの連続した画像の対についての空間シフトを決定することと、
決定された前記空間シフトに基づいて、前記一連の画像のうちの複数の画像を整列させることと、
整列させた前記複数の画像を足し合わせて、画像シフトが補正され足し合わされた画像を形成することと、を行わせ、
前記プロセッサ命令が、前記プロセッサに、
前記フーリエ変換画像の振幅成分を足し合わせて、振幅パターンを生成することと、
前記振幅パターンに振幅閾値を適用して、前記振幅フィルタリングされたパターンを生成することと、
によって、前記振幅フィルタリングされたパターンを計算することを行わせ、
前記振幅フィルタリングされたパターンが、前記振幅閾値以上の振幅を有する振幅パターンの画素を含む、システム。

【請求項9】

前記プロセッサ命令が、前記プロセッサに、
前記複数のフーリエ変換画像の各々の振幅成分を前記振幅フィルタリングされたパターンと置き換えて、複数のフィルタリングされたフーリエ変換画像を形成することと、
前記複数のフィルタリングされたフーリエ変換画像の各々に逆フーリエ変換を行い、対応する複数の逆変換されたフィルタリング画像を生成することと、
前記複数の逆変換されたフィルタリング画像を前記複数の逆変換されたフィルタリング画像のうちの連続した次の画像と相互相関させて、前記複数の逆変換されたフィルタリング画像についての画像シフト情報を生成することと、
によって、前記連続した画像の対についての空間シフトを決定することを行わせる、請求項８に記載のシステム。

【請求項10】

前記プロセッサ命令が、前記プロセッサに、前記一連の画像のうちの複数の画像に前記画像シフト情報を適用することによって、前記複数の画像を整列させることを行わせる、請求項９に記載のシステム。

【請求項11】

前記プロセッサ命令が、前記プロセッサに、
前記振幅フィルタリングされたパターンの複数の画素に対応する前記複数のフーリエ変換画像の各画像から位相成分を抽出することであって、前記複数の画素が、前記振幅閾値以上の振幅を有する振幅パターンの画素に対応する、ことと、
前記複数のフーリエ変換画像の各画像の複数の画素から少なくとも一対の画素を選択することと、
選択された前記少なくとも一対の画素について抽出された前記位相成分に基づいて、前記複数のフーリエ変換画像の各画像についての画像シフトベクトルを決定することと、
によって、前記連続した画像の対についての空間シフトを決定することを行わせる、請求項８に記載のシステム。

【請求項12】

前記プロセッサ命令が、前記プロセッサに、
選択された前記少なくとも一対の画素について抽出された前記位相成分に基づいて、前記画像シフトベクトルの少なくとも二つの同一直線上にない画像シフト成分ベクトルを決定することと、
前記少なくとも二つの同一直線上にない画像シフト成分ベクトルの係数を二倍にすることと、
二倍にした前記少なくとも二つの同一直線上にない画像シフト成分ベクトルの係数に基づいて、画像シフトサークルを決定することと、
によって、前記画像シフトベクトルを決定することを行わせ、
前記画像シフトベクトルが前記画像シフトサークルの半径に対応する、請求項１１に記載のシステム。

【請求項13】

前記プロセッサ命令が、前記プロセッサに、前記複数のフーリエ変換画像の各画像について複数対の画素を選択させることを行わせ、選択された前記複数対の画素の各々について複数の画像シフトベクトルが決定され、
前記プロセッサ命令が、前記プロセッサに、
所定の量よりも大きく逸脱している前記複数の画像シフトベクトルのうちの画像シフトベクトルを前記複数の画像シフトベクトルのうちの他の画像シフトベクトルから特定することと、
前記複数の画像シフトベクトルから一組の画像シフトベクトルを形成することであって、特定された前記画像シフトベクトルが前記一組の画像シフトベクトルに含まれない、ことと、
前記一組の画像シフトベクトルに統計計算を行い、決定された前記空間シフトを生成することと、を更に行わせる、請求項１２に記載のシステム。

【請求項14】

電子銃と、
撮像検出器と、
前記電子銃と前記撮像検出器との間に位置する物体ホルダと、を更に備え、
前記プロセッサが、前記撮像検出器から前記物体の一連の画像を受信する、請求項８に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の主題の実施形態は、概して、物体の時系列の一連の画像を整列させるためのシステム及び方法に関する。

【背景技術】

【0002】

物体を撮像するために電子線を使用するタイプのデバイスの一つは、透過型電子顕微鏡（ＴＥＭ，ｔｒａｎｓｍｉｓｓｉｏｎ ｅｌｅｃｔｒｏｎ ｍｉｃｒｏｓｃｏｐｅ）である。ＴＥＭは、規則的に配列した原子から成る結晶性固体を撮像するための高分解能透過型電子顕微鏡法（ＨＲＴＥＭ，ｈｉｇｈ ｒｅｓｏｌｕｔｉｏｎ ｔｒａｎｓｍｉｓｓｉｏｎ ｅｌｅｃｔｒｏｎ ｍｉｃｒｏｓｃｏｐｙ）において一般的に用いられている。結晶性固体等の物体のＨＲＴＥＭ研究は、典型的には、物体の時系列順の一連の画像を撮ることを含み、各画像は非常に短い曝露時間で撮られる。ＨＲＴＥＭ研究の一部として撮像される結晶性固体等の一部の物体は、電子線に敏感であり、電子線によって損傷し得るので、各撮像期間中に物体に適用される電子放射の量は非常に少ないものとなり得る。一部の物質は、１Ａ^２当たり１０個の電子という累積電子線量で損傷し得て、多くの物質は、１０〜２０ｅ⁻Å^−２の範囲内の累積線量で損傷し得る。損傷の種類としては、ノックオン損傷、加熱損傷、放射線分解が挙げられる。低加速電圧（例えば、６０〜１２０ｋＶ）を用いることでノックオン損傷に対処することができるが、低エネルギー電子の使用は、画像分解能の悪さと侵入深さの短さに繋がる。

【0003】

短い曝露で少量の電子放射を適用することは、一連の画像の各画像を非常にノイズの多いものにするので、一枚の画像では物体の観測が困難である場合が多い。ノイズはランダムなので、ＨＲＴＥＭ研究では、調べられている画像の全体的な信号対ノイズ比を改善するために一連の画像を足し合わせることが一般的である。

【0004】

撮像段階中に物体が動いたりドリフトしたりすることは極めて一般的なことであり、典型的には不可避であるので、一連の画像のうちの異なる画像では物体が異なる位置に現れる。この平面的なシフト（変位）に対処するために典型的には画像整列が採用されて、一組の画像を組み合わせた際に、それら画像内の共通の位置に物体が存在するようにする。一般的な整列法は位相補正と特徴部照合を含む。更に、信号対ノイズ比が低いので、周波数フィルタ（ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタが挙げられる）を、フーリエ領域において一連の画像のうちの複数の画像に適用し、次いで画像を元の領域に変換し直して組わせることも多くある。こうした方法は、一部の画像を改善することができるものであるが、電子線放射の非常に短い曝露時間と低い線量を用いて撮像される電子線に敏感な物質の画像における低い信号対ノイズ比に適切に対処するものではない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

従って、電子線放射の非常に短い曝露時間と低い線量を用いて撮られる物体の一連の画像を整列させて、更なる研究のために各画像を整列させて足し合わせることができるシステム及び方法が必要とされている。

【課題を解決するための手段】

【0006】

一実施形態に係る方法は、物体の一連の画像を受信することを含み、それらの一連の画像のうちの少なくとも二つの連続した画像は互いに空間的にシフトしている。フーリエ変換を用いて、各画像をフーリエ領域に変換して、対応する複数のフーリエ変換画像を生成する。複数のフーリエ変換画像の振幅成分に基づいて、フーリエ領域において振幅フィルタリングされたパターンを計算する。振幅フィルタリングされたパターンを用いて、一連の画像のうちの連続した画像の対についての画像シフトを決定する。決定された画像シフトに基づいて、一連の画像のうちの複数の画像を整列させて、整列させた複数の画像を足し合わせて、画像シフトが補正され足し合わされた画像を形成する。

【0007】

他の実施形態に係るシステムは、プロセッサ命令を記憶しているメモリと、メモリに結合されたプロセッサとを含む。プロセッサは、メモリに記憶されたプロセッサ命令を実行するように構成され、そのプロセッサ命令は、プロセッサに、物体の一連の画像を受信すること（一連の画像のうちの少なくとも二つの連続した画像が互いに空間的にシフトしている）と、一連の画像の各画像をフーリエ変換を用いてフーリエ領域に変換して、対応する複数のフーリエ変換画像を生成することと、複数のフーリエ変換画像の振幅成分に基づいて、フーリエ領域において振幅フィルタリングされたパターンを計算することと、振幅フィルタリングされたパターンを用いて、一連の画像のうちの連続した画像の対についての空間シフトを決定することと、決定された空間シフトに基づいて、一連の画像のうちの複数の画像を整列させることと、整列させた複数の画像を足し合わせて、画像シフトが補正され足し合わされた画像を形成することと、を行わせる。

【0008】

更に他の実施形態に係る方法は、プロセッサによって、一連の画像の複数のフーリエ変換画像の振幅成分に基づいて、フーリエ領域において振幅フィルタリングされたパターンを計算することを含む。プロセッサは、複数のフーリエ変換画像の振幅成分を振幅パターンと置き換えて、複数のフィルタリングされたフーリエ変換画像を形成する。プロセッサは、複数のフィルタリングされたフーリエ変換画像に逆フーリエ変換を行い、対応する複数の逆変換されたフィルタリング画像を形成する。プロセッサは、複数の逆変換されたフィルタリング画像を用いて、画像シフト情報を決定する。プロセッサは、一連の画像のうちの複数の画像に画像シフト情報を適用して、複数の整列された画像を形成する。

【0009】

明細書に組み込まれてその一部を成す添付図面は、一つ以上の実施形態を例示するものであり、明細書と共にそれらの実施形態を説明するものである。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る時系列の一連の画像を整列させるためのシステムの概略図である。

【図2】一実施形態に係る時系列の一連の画像を整列させるための方法のフローチャートを示す。

【図3】一実施形態に係る時系列の一連の画像を整列させるための方法のフローチャートを示す。

【図4A】一実施形態に係る時系列の一連の画像を整列させるのに用いられた物体の画像である。

【図4B】一実施形態に係る時系列の一連の画像を整列させるのに用いられた物体の画像である。

【図4C】一実施形態に係る時系列の一連の画像を整列させるのに用いられた物体の画像である。

【図4D】一実施形態に係る時系列の一連の画像を整列させるのに用いられた物体の画像である。

【図4E】一実施形態に係る一連の画像のＸ軸とＹ軸にわたるドリフトプロットのグラフを示す。

【図4F】一実施形態に係る時系列の一連の画像を整列させるのに用いられた物体の画像である。

【図4G】一実施形態に係る時系列の一連の画像を整列させるのに用いられた物体の画像である。

【図5A】一実施形態に係る時系列の一連の画像を整列させるための方法のフローチャートを示す。

【図5B】一実施形態に係る時系列の一連の画像を整列させるための方法のフローチャートを示す。

【図6A】一実施形態に係る時系列の一連の画像を整列させるのに用いられた物体の画像である。

【図6B】一実施形態に係る時系列の一連の画像を整列させるのに用いられた物体の画像である。

【図6C】一実施形態に係る画像シフトサークルを示す。

【図6D】一実施形態に係る一連の画像から抽出された位相プロットを示す。

【図6E】一実施形態に係る一連の画像のＸ軸とＹ軸にわたるドリフトプロットのグラフを示す。

【図6F】一実施形態に係る時系列の一連の画像を整列させるのに用いられた物体の画像である。

【発明を実施するための形態】

【0011】

以下の例示的な実施形態の説明では添付図面を参照する。異なる図面における同じ参照番号は同一又は同様の要素を示す。以下の詳細な説明は本発明を限定するものではなくて、本発明の範囲は添付の特許請求の範囲によって定められるものである。以下の実施形態では、分かり易くするために、高分解能透過型電子顕微鏡法（ＨＲＴＥＭ）の用語及び構造に関して説明する。しかしながら、以下で説明される実施形態は、ＨＲＴＥＭに限定されるものではなくて、比較的高い信号対ノイズ比を有する一連の画像の整列を要するあらゆる種類の画像分析、例えば、他の種類の顕微鏡法の画像分析、医療用画像、コンピュータビジョンにも適用可能である。

【0012】

明細書全体に亘る「一実施形態」への言及は、或る実施形態に関して説明される特定の特徴、構造、特性が、本開示の主題の少なくとも一つの実施形態に含まれることを意味する。従って、明細書全体に亘って色々な箇所に登場する「一実施形態」との記載は、必ずしも同一の実施形態について言及するものではない。また、特定の特徴、構造、特性は一つ以上の実施形態において適切に組み合わせ可能である。

【0013】

一実施形態によると、物体の一連の画像を受信するが、その一連の画像のうちの少なくとも二つの連続した画像は互いに空間的にシフト（変位）している。一連の画像のうちの各画像は、フーリエ変換を用いてフーリエ領域に変換されて、対応する複数のフーリエ変換画像を生成する。複数のフーリエ変換画像の振幅成分に基づいて、振幅フィルタリングされたパターンがフーリエ領域において計算される。振幅フィルタリングされたパターンを用いて、一連の画像のうちの連続する画像の対についての空間シフトが決定される。決定された空間シフトに基づいて、一連の画像のうちの複数の画像が整列されて、整列された複数の画像が足し合わされて、画像シフトが補正され足し合わされた画像を形成する。

【0014】

図１は、一実施形態に係るＴＥＭの概略図である。システム１００は、ホルダ１０８に置かれた物体１０６（調べられているサンプルであり得る）に電子線１０４を当てる電子銃１０２を含む。サンプル１０６を通過する電子線１１０を撮像検出器１１２によって受け、その撮像検出器１１２は、フィルムやデジタル画素検出器、例えば、直接検出電子計数（ＤＤＥＣ，ｄｉｒｅｃｔ‐ｄｅｔｅｃｔｉｏｎ ｅｌｅｃｔｒｏｎ‐ｃｏｕｎｔｉｎｇ）カメラ（例えば、Ｇａｔａｎ社のＫ２ Ｓｕｍｍｉｔ）や、電荷結合素子（ＣＣＤ，ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）カメラである。ＤＤＥＣカメラは超低電子線量を可能にする高い検出量子効率（ＤＱＥ，ｄｅｔｅｃｔｉｖｅ ｑｕａｎｔｕｍ ｅｆｆｉｃｉｅｎｃｙ）に起因して特に有用である。例えば、ＤＤＥＣカメラは、原子分解能（つまり、０．５７Å×０．５７Åの画素サイズ）に達する少なくとも５５０００倍の倍率での画像取得を、１画素当たり２〜４個のｅ⁻という低さの電子線量（つまり、６〜１２ｅ⁻Å^−２という低さの線量）で可能にする。撮像検出器が、サンプル１０６の画像を取得するための或る種の構造を代表するものであることを当業者は認識しているものである。

【0015】

また、システム１００は制御システム１１４を有し、その制御システム１１４は、プロセッサ１１６と、メモリ１１８と、入出力インターフェース１２０と、サンプルホルダ位置決めコントローラ１２２とを含み、これらはバス１２４を介して互いに通信可能である。入出力インターフェース１２０は、操作者が、プロセッサ１１６、メモリ１１８、及び／又は位置決めコントローラ１２２と通信して、ＴＥＭを操作することを可能にする。例えば、入出力インターフェース１２０は、撮像検出器１１２によって撮像されたサンプルを表示するための一つ以上のディスプレイと、ＴＥＭの多様な性状（例えば、焦点、サンプル位置等）を手動制御するための、また、以下でより詳細に説明する画像系列整列を開始するための一つ以上の入力デバイスとを含み得る。

【0016】

位置決めコントローラ１２２が、サンプルの向きを制御するためにＴＥＭで用いられる或る種の構造を称することを当業者は認識しているものである。分かり易くするために図示していないが、プロセッサ１１６は、電子銃１０２及び撮像検出器１１２にもバス１２４を介して通信可能に結合されて、これらのデバイスを制御する命令を提供し、これらのデバイスからの出力を受信する。

【0017】

説明を簡単にするために、ＴＥＭの幾つかの部品を図示していない。そうした追加の部品は本開示の実施形態を理解するために必要ではない。

【0018】

本開示の画像系列整列は、メモリ１１８に記憶されプロセッサ１１６によって実行されるプロセッサ命令を用い、撮像検出器１１２から得られた一連の画像を用いて実行され得る。従って、プロセッサ命令は、以下で説明する方法を行うようにＴＥＭにロードされ得る。代わりに、画像系列整列を、ＴＥＭの外部のプロセッサを用いて行うことができ、この場合、システム１００が、入出力インターフェース１２０を介して外部プロセッサに一連の画像を提供する。外部プロセッサはＴＥＭと同じ場所にあるか、又は異なる離れた場所に置かれ得る。従って、プロセッサ１１６への言及は、内部プロセッサと外部プロセッサのいずれを称するものとして理解されるものである。

【0019】

図２は、一実施形態に係る時系列の一連の画像を整列させる方法のフローチャートを示す。まず、プロセッサ１１６は、画像検出器１１２から物体の一連の画像を受信する（ステップ２０５）。上述のように、撮像段階中には不可避な動きやドリフトがあるので、一連の画像のうちの少なくとも二つの連続した画像は互いに空間的にシフトしていて、つまり、ホルダ１０８が延在する平面内においてシフトしている。プロセッサ１１６は、一連の画像（ｆ_１（ｘ，ｙ）、ｆ_２（ｘ，ｙ）、…、ｆ_ｎ（ｘ，ｙ））のうちの各画像（ｆ_ｉ）をフーリエ変換を用いてフーリエ領域に変換して、対応する複数のフーリエ変換画像（Ｆ_ｉ）を生成する（ステップ２１０）。

【0020】

次いで、プロセッサ１１６は、複数のフーリエ変換画像（Ｆ_ｉ）の振幅成分に基づいて、フーリエ領域において振幅フィルタリングされたパターン（Ｈ）を計算する（ステップ２１５）。振幅フィルタリングされたパターンは、振幅閾値以上の振幅を有する画素を含み、閾値未満の振幅成分を有する画素を排除している。複数のフーリエ変換画像（Ｆ_ｉ）の位相成分と振幅フィルタリングされたパターンを用いて、一連の画像のうちの連続した画像の対についての空間シフトが決定される（ステップ２２０）。周波数フィルタを採用している従来の方法とは対照的に、振幅フィルタは、振幅に基づいて画素をフィルタリングする。次いで、プロセッサ１１６は、決定された画像シフトに基づいて、一連の画像のうちの複数の画像を整列させて（ステップ２２５）、整列させた複数の画像を足し合わせて、画像シフトが補正され足し合わされた画像を形成する（ステップ２３０）。次いで、画像シフトが補正され足し合わされた画像が、例えば入出力インターフェース１２０を介してディスプレイに出力され得る（ステップ２３５）。

【0021】

図２に関して説明されるいくつかのステップの更なる詳細については、残りの図面の説明に関して以下で与えられる。

【0022】

図３は、一実施形態に係る時系列の一連の画像を整列させるための方法のフローチャートを示す。本フローチャートは、一実施形態に係る図２のフローチャートのステップの追加的な詳細を与える。まず、プロセッサ１１６は、複数の別々の期間にわたって物体に電子線を当てることによって物体の一連の画像を生成するように電子銃１０２及び撮像検出器１１２を制御する（ステップ３０２）。図４Ａは、一連の画像の内の一枚の画像の例であり、各画像に非常にノイズが多く、コントラストがノイズレベルに近いことを示しているが、これは、各画像を取得するための曝露時間が非常に短いこと、及び／又は、画像を生成するために適用される電子線量が低いことに起因し得る。複数の別々の期間は、一連の画像の画像数に対応する。

【0023】

図４Ａの画像及び図面に示されている他の全ての例の画像は、Ｋ２‐ＩＳ ＣＭＯＳカメラ（Ｇａｔａｎ社製）を搭載したＴｉｔａｎ Ｉｍａｇｅ Ｃｓ補正キューブ型透過型電子顕微鏡（ＦＥＩ社製）を用いて、画像毎に０．０５秒間の曝露で、全部で１２０枚の画像で、各画像において略０．０１３ｅ／画素の平均計測数で撮影されたものである。撮像された物体は、ＵｉＯ‐６６ナノサイズ金属有機構造体（ＭＯＦ，ｍｅｔａｌ ｏｒｇａｎｉｃ ｆｒａｍｅｗｏｒｋ）結晶である。対照的に、従来の方法では、信頼できる整列のための十分な信号対ノイズ比を得るために、各フレームで画素毎に０．６７ｅ⁻よりも高い線量を要する。

【0024】

プロセッサ１１６は、撮像検出器１１２から物体の一連の画像（ｆ_１（ｘ，ｙ）、ｆ_２（ｘ，ｙ）、…、ｆ_ｎ（ｘ，ｙ））を受信し（ステップ３０５）、その一連の画像は、上述のように、互いに空間的にシフトした一連の画像のうちの少なくとも二つの連続した画像を含む。次いで、プロセッサ１１６は、一連の画像（ｆ_１（ｘ，ｙ）、ｆ_２（ｘ，ｙ）、…、ｆ_ｎ（ｘ，ｙ））の各画像（ｆ_ｉ）をフーリエ変換を用いてフーリエ領域に変換して、対応する複数のフーリエ変換画像（Ｆ_ｉ）を生成する（ステップ３１０）。ｉ個の画像（ｆ_１（ｘ，ｙ）、ｆ_２（ｘ，ｙ）、…、ｆ_ｎ（ｘ，ｙ））を含む一連の画像の場合、各画像（ｆ_ｉ（ｘ，ｙ））のフーリエ変換は以下のようになる：

【0025】

【数1】

【0026】

極形式での式は以下のとおりである：

【0027】

【数2】

【0028】

ここで、｜Ｆ_ｉ（ｕ，ｖ）｜は振幅であり、φ（ｕ，ｖ）はＦ_ｉ（ｕ，ｖ）の位相である。

【0029】

プロセッサ１１６は、フーリエ変換画像（Ｆ_ｉ）の振幅成分を足し合わせて振幅パターン（Ｆ_Ａ）を形成し（ステップ３１５Ａ）、次いで、振幅パターン（Ｆ_Ａ）に振幅閾値を適用して、振幅フィルタリングされたパターン（Ｈ）を生成すること（ステップ３１５Ｂ）によって、フーリエ領域において振幅フィルタリングされたパターンを計算する。振幅フィルタリングされたパターン（Ｈ）は、振幅閾値以上の振幅を有する振幅パターン（Ｆ_Ａ）の画素を含む。具体的には、一連の画像のうちの全ての画像からのフーリエ変換振幅成分が振幅パターン（Ｆ_Ａ）を形成し、以下のように表示することができる：

【0030】

【数3】

【0031】

非限定的な一実施形態では、振幅閾値Ｉ_ｔは以下の範囲内の値となり得る：

【0032】

【数4】

【0033】

ここで、Ｉ_ｍｅａｎとＩ_ｍｉｎは、振幅パターン（Ｆ_Ａ）の全ての画素の平均値と最小値である。式（４）は振幅閾値Ｉ_ｔをどのように計算するのかの一例を説明するものであって、振幅閾値Ｉ_ｔを計算する他の多数の方法が存在することを認識されたい。

【0034】

振幅フィルタリングされたパターンを以下のように表すことができる：

【0035】

【数5】

【0036】

ここで、Ｉ_ｕｖは、振幅パターンＦ_Ａ（ｕ，ｖ）中の点（ｕ，ｖ）における強度値である。式（５）は振幅フィルタリングされたパターンＨ（ｕ，ｖ）をどのように計算するのかを一例を説明するものであって、振幅フィルタリングされたパターンＨ（ｕ，ｖ）を計算する他の多数の方法が存在することを認識されたい。そうした代替案の一つは、Ｉ_ｕｖ≧Ｉ_ｔの場合にＩ_ｕｖの値を保つことを含むものであり得る（Ｉ_ｕｖ−Ｉ_ｔの値を用いる代わりに）。

【0037】

図４Ｂに示されるように、振幅パターン（Ｆ_Ａ）は信号対ノイズ比を低減して、撮像された物体の原子構造に対応する振幅ピークをノイズ上に観測することができるようにする。図４Ｃの画像は、振幅フィルタリングされたパターンＨ（ｕ，ｖ）であり、振幅フィルタの振幅閾値未満の振幅値を有する振幅パターンの全ての画素を排除している一方で、振幅フィルタの振幅閾値を超える振幅値を有する画素を保持している。図４Ｃの画像は、フーリエ変換されて足し合わされた画像の最高の振幅を有する略１００画素に対応するものを除いて全ての画素を排除する振幅閾値を用いて生成されたものである。従って、例えば、振幅フィルタリングされたパターン（Ｈ）に所定の数の画素をもたらすように振幅閾値を設定することができる。

【0038】

次に、プロセッサ１１６は、個々のフーリエ変換画像Ｆ_ｉ（ｕ，ｖ）の振幅成分｜Ｆ_ｉ（ｕ，ｖ）｜を振幅フィルタリングされたパターンＨ（ｕ，ｖ）に置き換えて、複数のフィルタリングされたフーリエ変換画像（Ｇ_ｉ）を形成する（ステップ３２０Ａ）。これを以下の式で表すことができる：

【0039】

【数6】

【0040】

次いで、プロセッサ１１６は、複数のフィルタリングされたフーリエ変換画像（Ｇ_ｉ）の各々に逆フーリエ変換を行い、対応する複数の逆変換されたフィルタリング画像（ｇ_ｉ）を生成する（ステップ３２０Ｂ）。具体的には、各フィルタリングされた画像ｇ_ｉ（ｘ，ｙ）は以下のように表される：

【0041】

【数7】

【0042】

図４Ｄは、振幅成分を振幅フィルタリングされたパターン（Ｈ）で置き換えて、元の領域に変換し直した後の図４Ａの画像の例を示す。見て取れるように、撮像された物体の格子の特徴が目に見えるようになっているが、この特徴は図４Ａに示される元の個々の画像では目に見えないものである。

【0043】

次いで、プロセッサ１１６は、複数の逆変換されたフィルタリング画像（ｇ_ｉ）を、それら複数の逆変換されたフィルタリング画像のうちの連続した次のもの（ｇ_ｉ＋１）と相互相関させて、複数の逆変換されたフィルタリング画像（ｇ_ｉ）の各々について画像シフト情報を生成する（ステップ３２０Ｃ）。従って、一番目の画像（ｇ_１）についてはシフト情報が計算されず、後続の各画像（ｇ_ｉ＋１）についての画像シフト情報は、その前の順序の画像（つまり、二番目の画像についてはｇ_１、二番目の画像の後の各画像についてはそれぞれｇ_ｉ−１）に基づいたものとなる。固定された画像は相互相関には使用されない。何故ならば、フィルタリングされた画像ｇ_ｉ（ｘ，ｙ）は周期的な格子を含むので、ドリフトの決定は、周期単位内での動きに対してのみ有効だからである。相互相関に連続した画像を使用することで、この問題に対処する。何故ならば、二つの連続した画像の間のドリフトが、単位格子の長さを超えることはないからである。

【0044】

図４Ｅは、相互相関から計算されたドリフトプロットの一例のグラフであり、一連の画における前の画像に対する各画像のＸ軸及びＹ軸のドリフト量を示す。この例のドリフトプロットは比較的線形であるが、全ての実施形態でこうなる訳ではなくて、撮像中の物体の動きに応じて、ドリフトプロットはあらゆる形状を取り得るものであり、一例では、ランダムなシフトを含むように現れる。

【0045】

次いで、プロセッサ１１６は、一連の画像の元の各画像（ｆ_ｉ）に画像シフト情報を適用することによって、一連の画像（ｆ_１（ｘ，ｙ）、ｆ_２（ｘ，ｙ）、…、ｆ_ｎ（ｘ，ｙ））の元の画像（ｆ_ｉ）を整列させる（ステップ３２５）。従って、相互相関の一回の反復サイクルが、一連の画像の全ての画像のドリフト決定工程とドリフト補正工程を含む。ドリフト補正の決定がｍ回のサイクルを含み、反復サイクルｋにおいて（画像１に対して）画像ｉについて決定されたドリフトがｒ_ｉｋ＝［Δｘ_ｉｋ，Δｙ_ｉｋ］であるとすると、画像１に対する画像ｉの全ドリフトｒ_ｉは以下のようになる：

【0046】

【数8】

【0047】

従って、複数回の反復サイクルを行うことによって、全体的な整列を改善することができる。一実施形態では、反復サイクルの回数は、例えば１０サイクルである。

【0048】

次いで、プロセッサ１１６は、整列させた複数の画像を足し合わせて、画像シフトが修正されて足し合わされた画像を形成する（ステップ３３０）。次いで、画像シフトが修正されて足し合わされた画像を、例えば入出力インターフェース１２０を介してディスプレイに出力することができる（ステップ３３５）。図４Ｆは、一連の画像の画像整列を行わずに足し合わせて生成された画像を示し、図４Ｇは、図３に関して説明したようにして整列させて足し合わせた画像を示す。見て取れるように、図４Ｆのものと比較すると、図４Ｇの足し合わされた画像では格子の特徴がはるかに明らかになっている。

【0049】

図５Ａ及び図５Ｂは、一実施形態に係る時系列の一連の画像を整列させるための方法のフローチャートを示し、図２の方法の追加的な詳細を与える。本実施形態は、振幅フィルタと、位相に基づいた画像整列方法とを採用し、フーリエ領域の各画像の特定の画素の位相成分を用いて画像系列の画像を整列させる。

【0050】

フーリエ変換は、画像を異なる空間周波数の成分に分解し、これら成分が空間周波数の複素関数を構築及び生成し、各空間周波数は、元の画像に存在していたその周波数の大きさを表す振幅成分と、その周波数の基本正弦曲線の位相オフセット（ずれ）成分とを有する。フーリエ領域に変換された周期的特徴を有する画像は、実空間における周期的配列を表すピークのアレイを含む。一連の画像のうちの画像間の平面的なシフトは、振幅成分に影響を与えず、代わりに、画像間の平面的なシフトに対応する位相成分の変化を生じさせる。

【0051】

さて、図５Ａ及び図５Ｂの方法の詳細に話を移すと、図２及び図３に例示される方法に関して上述したのと同様に、プロセッサ１１６は、電子銃１０２及び撮像検出器１１２を制御して、複数の別々の期間にわたって電子線を物体に当てることによって、物体の一連の画像（ｆ_１（ｘ，ｙ）、ｆ_２（ｘ，ｙ）、…、ｆ_ｎ（ｘ，ｙ））を生成し（ステップ５０２）、撮像検出器１１２から物体の一連の画像（ｆ_１（ｘ，ｙ）、ｆ_２（ｘ，ｙ）、…、ｆ_ｎ（ｘ，ｙ））を受信し（ステップ５０５）、一連の画像のうちの各画像（ｆ_ｉ）をフーリエ変換を用いてフーリエ領域に変換して、対応する複数のフーリエ変換画像（Ｆ_ｉ）を生成する（ステップ５１０）。

【0052】

次いで、プロセッサ１１６は、まず、フーリエ変換画像（Ｆ_ｉ）の振幅を足し合わせて振幅パターン（Ｆ_Ａ）を形成し（ステップ５１５Ａ）、次いで、振幅パターン（Ｆ_Ａ）に振幅閾値値を適用して振幅フィルタリングされたパターン（Ｈ）を生成すること（ステップ５１５Ｂ）によって、振幅フィルタリングされたパターンを計算する。上述のように、振幅フィルタリングされたパターンは、振幅閾値以上の振幅を有する振幅パターン（Ｆ_Ａ）の画素を含むので、本実施形態では、フーリエ変換画像（Ｆ_ｉ）の位相変化の評価のための候補となる画素を特定する。フーリエ領域におけるノイズレベルは、特に信号対ノイズ比が低い場合において位相分析の精度に影響するので、振幅フィルタリングされたパターンが、信号対ノイズ比が最大であるフーリエ領域のピークの中心に後続の位相分析を限定することを可能にする。図６Ａは、整列させずに一連の画像を足し合わせた画像であり、図６Ｂは、ステップ５１５Ａの結果である振幅パターン（Ｆ_Ａ）である。見て取れるように、図６Ａと比較すると図６Ｂの足し合わされた画像においては、対象画素をノイズ上により簡単に観測することができる。

【0053】

次いで、プロセッサ１１６は、まず、フィルタリングされた振幅パターン（Ｈ）の複数の画素に対応する複数のフーリエ変換画像（Ｆ_ｉ）の各々から位相成分を抽出すること（５２０Ａ）によって、連続した画像の対についての空間シフトを決定する。複数の画素は、振幅閾値以上の振幅を有するフィルタリングされた振幅パターン（Ｈ）の画素に対応する。次いで、プロセッサ１１６は、複数のフーリエ変換画像（Ｆ_ｉ）の各画像の複数の画素から少なくとも一対の画素を選択して（ステップ５２０Ｂ）、選択された少なくとも一対の画素について抽出された位相成分に基づいて、複数のフーリエ変換画像（Ｆ_ｉ）の各画像についての画像シフトベクトルを決定する（ステップ５２０Ｃ）。

【0054】

本実施形態では、画像シフトベクトルを決定するために画像シフトサークルを採用し、その一例が図６Ｃに示されていて、このようにして画像シフトサークルを採用する方法が図５Ｂに示されている。図６Ｃにおいて、Ｏ_Ｆはフーリエ変換画像の中心であり、Ｏは画像シフトサークルの中心であり、ｖは画像シフトベクトルであり、ｖ_ｎは選択された画素に対応するシフトベクトルである。画像シフトサークルの中心Ｏと画像シフトベクトルｖは処理のこの時点においては未知であるが、フーリエ変換画像の中心Ｏ_Ｆは既知であるので、画像シフトサークルを定めて、Ｏ_ＦからＯに向かうベクトルｖに対応する画像シフトを決定するのには画像シフトサークルの円周上のあと二つの点のみが必要となる。

【0055】

従って、プロセッサ１１６は、まず、選択された少なくとも一対の画素について抽出された位相情報に基づいて、画像シフトベクトルの少なくとも二つの同一直線上にない画像シフト成分ベクトルを決定すること（ステップ５２０Ｃ_１）によって、画像シフトベクトルを決定する（ステップ５２０Ｃ）。次いで、プロセッサ１１６は、少なくとも二つの同一直線上にない画像シフト成分ベクトルの係数を二倍にする（ステップ５２０Ｃ_２）。二倍にした係数に基づいて、プロセッサ１１６は画像シフトサークルを決定し、画像シフトベクトルは画像シフトサークルの半径に対応する。

【0056】

本方法は一対の画素のみを用いて行うことができるものであるが、複数対の画素を用いることによってシフト決定の精度を上昇させることができ、その詳細がステップ５２０Ｃ_３〜ステップ５２０Ｃ_５に示されている。選択される画素対の数が、精度の上昇とプロセッサ１１６の負荷の上昇（本開示の方法を行うのに必要な総時間を増やし得る）との間のトレードオフであることを当業者は認識しているものである。従って、プロセッサ１１６は、複数のフーリエ変換画像（Ｆ_ｉ）の各画像の複数の画素対を選択して、選択された複数の画素対の各々について複数の画像シフトベクトルを決定する。

【0057】

具体的には、プロセッサ１１６は、所定の量よりも大きく逸脱している複数の画像シフトベクトルのうちの画像シフトベクトルを複数の画像シフトベクトルのうちの他の画像シフトベクトルから特定して（ステップ５２０Ｃ_３）、複数の画像シフトベクトルから一組の画像シフトベクトルを形成する（ステップ５２０Ｃ_４）。特定された画像シフトベクトルは異常値とみなされるので、一組の画像シフトベクトルには含まれない。最後に、プロセッサ１１６は、一組の画像シフトベクトルに統計計算を行い、決定された空間シフトを生成する（ステップ５２０Ｃ_５）。平均値、最頻値、中央値等のあらゆる種類の統計計算を適用することができる。図６Ｄは、画像毎に画像シフトベクトルの二つよりも多くの同一直線上にない画像シフト成分ベクトルの組を用いて決定された位相を示し、図６Ｅは、最終的に計算された位相シフトを示す。図６Ｄにおいては、各画像に対して複数の位相シフトが計算されていて、これらに統計計算を行い、図６Ｅに示される最終的な位相シフトが得られる。

【0058】

図５Ａに戻ると、次いで、プロセッサ１１６は、決定された空間シフトに基づいて、一連の画像のうちの複数の画像を整列させる（ステップ５２５）。最後に、プロセッサは、整列された画像を足し合わせて、画像シフトが補正され足し合わされた画像を形成する（ステップ５３０）。次いで、画像シフトが補正され足し合わされた画像を、例えば入出力インターフェース１２０を介してディスプレイに出力し得る（ステップ５３５）。図６Ｆは、画像シフトが補正され足し合わされた画像の一例を示し、図６Ａの整列されていない画像を足し合わせたものと比較すると、画像ノイズから明確に区別して、物体の結晶学的な詳細を示している。

【0059】

例示的な実施形態を透過型電子顕微鏡（ＴＥＭ）、高分解能透過型電子顕微鏡法（ＨＲＴＥＭ）、物体を撮像するための電子線の使用に関して説明してきたが、本発明は、物体の画像系列が透過型電子顕微鏡、高分解能塔型電子顕微鏡法、電子線を用いて生成されたものであるかにかかわらず、周期的な特徴を含む物体の画像系列に関しても使用可能である。

【0060】

本開示の実施形態は、一連の画像を整列させるためのシステム及び方法を与える。本説明は本発明を限定するものではないことを理解されたい。逆に、例示的な実施形態は代替物、変更物、等価物をカバーするものであって、これらも添付の特許請求の範囲によって定められる要旨及び範囲内に含まれるものである。更に、例示的な実施形態の詳細な説明においては、特許請求される発明の包括的な理解を与えるために多数の具体的な詳細が与えられている。しかしながら、そのような具体的な詳細を有さずに多数の実施形態を実施することができることを当業者は理解するものである。

【0061】

本願の例示的な実施形態の特徴や要素が実施形態においては特定の組み合わせで説明されているが、各特徴や各要素は、実施形態の他の特徴や要素を用いずに単独で使用可能でもあり、本開示の他の特徴や要素と多様に組み合わせて又は組み合わせずにも使用可能である。

【0062】

本説明は、開示されている主題の例を当業者がそれを実施すること（デバイスやシステムを作製して使用すること、組み込まれる方法を行うことを含む）ができるように用いている。本主題の特許可能な範囲は、特許請求の範囲によって定められるものであり、当業者に想起される他の例も含み得る。そのような他の例も特許請求の範囲内にある。

【符号の説明】

【0063】

１００ システム
１０２ 電子銃
１０４ 電子線
１０６ 物体
１０８ ホルダ
１１０ 電子線
１１２ 撮像検出器
１１４ 制御システム
１１６ プロセッサ
１１８ メモリ
１２０ 入出力インターフェース
１２２ 位置決めコントローラ
１２４ バス

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【図4G】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図6F】