知財求人 - 知財ポータルサイト「IP Force」
▶ ナノトロニクス イメージング リミテッド ライアビリティ カンパニーの特許一覧
特許7553978基板上の流動的対象を自動的にマッピングするための方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-10
(45)【発行日】2024-09-19
(54)【発明の名称】基板上の流動的対象を自動的にマッピングするための方法およびシステム
(51)【国際特許分類】
G01N 21/956 20060101AFI20240911BHJP
【ＦＩ】
G01N21/956 A
【請求項の数】
20
(21)【出願番号】P 2023014817
(22)【出願日】2023-02-02
(62)【分割の表示】P 2021521121の分割
【原出願日】2019-09-26
(65)【公開番号】P2023052869
(43)【公開日】2023-04-12
【審査請求日】2023-03-03
(31)【優先権主張番号】16/164,990
(32)【優先日】2018-10-19
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】511289471
【氏名又は名称】ナノトロニクス イメージング インコーポレイテッド
【氏名又は名称原語表記】ＮＡＮＯＴＲＯＮＩＣＳ ＩＭＡＧＩＮＧ，ＩＮＣ．
【住所又は居所原語表記】２２５１ ＦＲＯＮＴ ＳＴＲＥＥＴ，ＳＵＩＴＥ １１０，Ｐ．Ｏ．ＢＯＸ ３０６，ＣＵＹＡＨＯＧＡ ＦＡＬＬＳ，ＯＨＩＯ ４４２２３，Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】110002321
【氏名又は名称】弁理士法人永井国際特許事務所
(72)【発明者】
【氏名】プットマン，マシュー シー
(72)【発明者】
【氏名】プットマン，ジョン ビー
(72)【発明者】
【氏名】クルックシャンク，ジョン
(72)【発明者】
【氏名】オーランド，ジュリー
(72)【発明者】
【氏名】フランクル，アデル
(72)【発明者】
【氏名】スコット，ブランドン
【審査官】山田 辰美
(56)【参考文献】
【文献】特開２００２－０７６０７１（ＪＰ，Ａ）
【文献】特開２０１３－０７６６８８（ＪＰ，Ａ）
【文献】特開２００６－２３８８０２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１０／０００７７２７（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
Ｇ０１Ｎ ２１／９５６
(57)【特許請求の範囲】
【請求項1】
計算システムによって、調査の異なる段階において基板上の対象の座標を予測するための予測モジュールを生成するステップであって、
基板上の既知の対象のラベル付きの例と、基板上の変形した対象のラベル付きの例とを含む、訓練データを生成すること、及び、
予測モジュールを訓練して、基板上の対象を検出し、調査の異なる段階における各対象の座標を予測すること、
により、予測モジュールを生成するステップと、
前記計算システムによって、顕微鏡検査システムのステージ上に位置する複数の対象の調査の情報を受け取るステップと、
前記計算システムによって、前記複数の対象のそれぞれの位置を識別するステップと、
前記予測モジュールを介した前記計算システムによって、調査の異なる段階における前記複数の対象のそれぞれの座標を予測するステップと、
を含む方法。
【請求項2】
前記計算システムによって、調査の異なる段階における前記複数の対象のそれぞれの座標を予測するステップが、調査の後の段階における各対象の座標を予測することを含む、請求項１に記載の方法。
【請求項3】
前記計算システムによって、前記各対象の予測された座標を、前記各対象の識別された前記位置と比較するステップと、前記計算システムによって、前記各対象の予測された座標が前記各対象の識別された前記位置からの許容範囲を超えていると判断すると、警報を生成するステップと、
をさらに含む、請求項１に記載の方法。
【請求項4】
前記計算システムによって、前記複数の対象のそれぞれの座標を予測するステップによる予測に基づいて前記対象の変形の量を評価するステップをさらに含む、請求項１に記載の方法。
【請求項5】
前記計算システムによって、調査の後の段階において、前記対象の実際の変形の量を識別するステップと、前記計算システムによって、前記実際の変形の量と座標の予測に基づく前記対象の変形の量との比較に基づき、前記予測モジュールの精度を評価するステップと、
をさらに含む、請求項４に記載の方法。
【請求項6】
前記計算システムによって、前記複数の対象のそれぞれの座標を予測するステップによる予測に基づき、対象マッピング情報を生成するステップをさらに含む、請求項１に記載の方法。
【請求項7】
前記計算システムによって、前記対象マッピング情報を用いて、対象レイアウトマップを生成するステップをさらに含む、請求項６に記載の方法。
【請求項8】
プロセッサとメモリとを含む顕微鏡検査システムであって、前記プロセッサは、顕微鏡システムと通信し、この顕微鏡システムは、上に配置された複数の対象を移動させるためのステージと画像化デバイスとを含み、この画像化デバイスは、前記ステージから前記複数の対象を走査し、
前記メモリは、そこに記憶されたプログラミング命令を有し、該プログラミング命令が、前記プロセッサによって実行されると、１つまたは複数の動作を行うものであり、
前記動作は、
調査の異なる各段階において基板上の対象の座標を予測するための予測モジュールを生成することであって、
基板上の既知の対象のラベル付きの例と、基板上の変形した対象のラベル付きの例とを含む、訓練データを生成すること、及び
予測モジュールを訓練して、基板上の対象を検出し、調査の異なる各段階における各対象の座標を予測すること、
により、予測モジュールを生成することと、
前記顕微鏡システムの前記ステージ上に位置する複数の対象の調査の情報を受け取ることと、
前記複数の対象のそれぞれの位置を識別することと、
前記予測モジュールによって、調査の異なる各段階における前記複数の対象のそれぞれの座標を予測することと、
を含む顕微鏡検査システム。
【請求項9】
調査の異なる各段階における前記複数の対象のそれぞれの座標を予測することが、調査の後の段階における各対象の座標を予測することを含む、請求項８に記載の顕微鏡検査システム。
【請求項10】
前記複数の対象のそれぞれについて予測された前記座標を、前記複数の対象のそれぞれについて識別された前記位置と比較することと、前記各対象の前記予測された座標が、前記各対象の識別された前記位置からの許容範囲を超えていると判断すると、警報を生成することと、
をさらに含む、請求項８に記載の顕微鏡検査システム。
【請求項11】
前記予測することに基づいて、前記対象の変形の量を評価することをさらに含む、請求項８に記載の顕微鏡検査システム。
【請求項12】
調査の後の段階において、前記対象の実際の変形の量を識別することと、前記実際の変形の量と、前記予測することに基づく前記対象の前記変形の量との比較に基づき、前記予測モジュールの精度を評価することと、
をさらに含む、請求項１１に記載の顕微鏡検査システム。
【請求項13】
前記予測モジュールによって予測した前記複数の対象のそれぞれの座標に基づき、対象マッピング情報を生成することをさらに含む、請求項８に記載の顕微鏡検査システム。
【請求項14】
前記対象マッピング情報を用いて、対象レイアウトマップを生成することをさらに含む、請求項１３に記載の顕微鏡検査システム。
【請求項15】
計算システムによって、予測モジュールを訓練して、調査の前の段階における基板上の対象の検出された位置に基づき、調査の後の段階における基板上の対象の座標を予測するステップと、前記計算システムによって、顕微鏡システムのステージ上に位置する複数の対象の調査の情報を受け取るステップと
前記計算システムによって、前記複数の対象のそれぞれの位置を識別するステップと、
前記予測モジュールを介した前記計算システムによって、調査の異なる段階における前記複数の対象のそれぞれの座標を予測するステップと
を含む方法。
【請求項16】
前記計算システムによって、前記複数の対象のそれぞれについて予測された前記座標を、前記複数の対象のそれぞれについて識別された前記位置と比較するステップと、前記計算システムによって、前記各対象の前記予測された座標が、前記各対象の識別された前記位置からの許容範囲を超えていると判断すると、警報を生成するステップと
をさらに含む、請求項１５に記載の方法。
【請求項17】
前記計算システムによって、前記予測することに基づいて、前記対象の変形の量を評価するステップをさらに含む、請求項１５に記載の方法。
【請求項18】
前記計算システムによって、前記調査の後の段階において、前記対象の実際の変形の量を識別するステップと前記計算システムによって、前記実際の変形の量と前記対象の変形の量との比較に基づき、前記予測モジュールの精度を評価するステップと
をさらに含む、請求項１７に記載の方法。
【請求項19】
前記計算システムによって、前記基板上の前記対象の座標の予測に基づき、対象マッピング情報を生成するステップをさらに含む、請求項１５に記載の方法。
【請求項20】
前記計算システムによって、前記対象マッピング情報を用いて、対象レイアウトマップを生成するステップをさらに含む、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０１８年１０月１９日に出願した米国特許出願第１６／１６４９９０号の優先権を主張するものであり、この特許出願の内容全体は、参照により本明細書に組み込まれている。
本出願は、２０１８年１０月１９日に出願した米国特許出願第１６／１６４９９０号の優先権を主張するものであり、この特許出願の内容全体は、参照により本明細書に組み込まれている。
【0002】
本開示の実施形態は、基板上の流動的対象の自動マッピングに関する。
【背景技術】
【0003】
材料の均一性の検査および異常の検出は、製造技術から生物学に関する科学研究にわたる研究領域において重要である。検査には、しばしば、基板（例えばウェーハ）上の電子工学的対象、またはスライドの上に取り付けられた生物学的試料の特徴を調査し、かつ、測定するために顕微鏡検査システムが使用されている。試料は、当業者によって理解されているように、調査の物品を意味している（例えばウェーハまたは生物学的スライド）。基板上の電子工学的対象としては、トランジスタ、抵抗、コンデンサ、集積回路、マイクロチップ、等々などのデバイスを含むことができる。生物学的試料は、顕微鏡検査のために典型的にはスライドの上に取り付けられる。対象は、当業者によって理解されているように、本明細書に提供され、また、特許請求の範囲に記載されている広義の意味を有しており、また、基板上の電子工学的対象、またはとりわけスライドの上に取り付けられた生物学的試料に見出される細胞、組織、等々などの生物学的対象を意味することができる。以下の説明は、基板上の対象であって、性質が電気的である対象の調査を参照しているが、本明細書において説明されている自動マッピングは、スライドの上に取り付けられた生物学的試料および対象を調査するために使用することができる。
【0004】
顕微鏡検査システムは、基板上の対象を画像化して、後で解析するために使用することができる。正確な解析を容易にするためには、類似の複数の対象からの統一性のとれた画像または一つの対象からの統一性のとれた複数の画像、およびその基準テンプレート（黄金テンプレートと呼ばれることもある）を撮像することが有用である。例えば対象が画像化デバイスの視野より小さい場合、同様の対象は、画像化デバイスに関連して同じ方法でアラインメントさせることができ、したがって同様の対象の撮像された画像は、すべて、画像化された対象の同様のアラインメントを示す（本明細書においては「画像化アラインメント位置」と呼ばれる）。例えば図１Ａおよび図１Ｂに示されている一実施形態では、対象１２０、１２０の左上隅１１５、１１５は、それぞれ、単一の正方形１１０、１１０によって表された画像化デバイスの視野の左上隅に出現している。対象１２０の配向は回転しているが、視野１１０も同じく回転して、撮像された画像における対象１２０および１２０の同じアラインメントを維持している。
【0005】
視野という用語は、当業者によって理解されるようにデジタル顕微鏡の文脈であり、画像センサによって同時に撮像される調査の領域を意味していることに留意されたい。さらに、視野、画像およびタイルという用語は、本明細書においては交換可能に使用されていることは当業者には容易に理解されよう。
【0006】
図２に示されている別の例では、基板３１０上の対象２２０が個々のタイル２１５によって表されている画像化デバイスの視野を越える場合、対象全体を撮像するためには場合によっては一連の画像（例えばタイル１～１８）が必要である。視野およびタイルは、本明細書においては交換可能に使用されていることに留意されたい。正確な解析を容易にするためには、同様の対象全体にわたって、あるいは基準テンプレートと比較して同様の画像化アラインメント位置を使用して、一連の画像を統一性のとれた方式で撮像することが有用である。一例では、第１の画像は、対象上の特定の特徴または対象上の特定の位置（例えば左上隅１１５）（本明細書においては「開始走査位置」と呼ばれ、＊によって示されている）から開始して撮像することができ、また、後続する画像は、例えば定義済みの順序付け経路（例えば図２に示されている順序付け経路２３０によって示されている蛇行方式）で撮像することができる。一連の画像における個々の画像には番号（例えば１～１８）を割り当てることができ、また、同じ番号を有する画像を同様の対象にわたって比較することができ、あるいは基準テンプレートに対して比較することができる。
【0007】
個々の対象の厳密な位置および配向を知り、および／または基板上の対象の特徴を知ることにより、ステージ、画像化デバイスおよび対象の適切なアラインメントを容易にすることができ、それにより同様の対象が視野内で統一性がとれるようにアラインメントされている画像を撮像することができ、あるいは同様の一連の画像が同様の対象に対して撮像される。画像の撮像とは別に、対象の位置および配向を知り、および／または基板上の対象の特徴を知ることは、製造プロセスまたは調査プロセスの様々な段階のために、および／または異常解析のために有用であり得る。いくつかの実施形態では、対象は、対象の配向の決定を補助するためのインジケータを対象自体の上に有することができる（例えば試料２２０の左上隅に出現しているアスタリスク（＊）２２５ａ、および右下隅に出現しているプラス符号（＋）２２５ｂ）。
【0008】
初期対象レイアウトマップは、基板上の個々の対象のＸ、Ｙ、θ座標を規定することができる（「期待される位置」または「元の位置」）。例えばＸ、Ｙは、基板上の共通基準点（例えば原点）に対する個々の対象２２０の座標位置を表すことができ、また、θは、本明細書においてさらに説明されるように、知られている座標系に対する原点に対する個々の対象２２０または生物学的試料の配向を表すことができる。しかしながら初期対象レイアウトマップは、典型的には、調査プロセスおよび／または製造プロセスの間、対象の初期Ｘ、Ｙ、θ座標からのそれらの動きのある状態に対処しない（すなわち動きのある状態は、本明細書および特許請求の範囲においては「流動的」と呼ばれ、また、対象は、元の位置からもっと後の位置へ動くことができることを意味している）。曲げることができる基板、すなわちエラストマ（「可撓性」）基板（例えばポリイミド、ＰＥＥＫまたは透明導電性ポリエステル膜）の上に対象を印刷する場合、可撓性対象（例えば可撓性ＯＬＥＤ）を印刷する場合、スライドの上に取り付けられた流動的生物学的試料を調査する場合、および／またはダイシング後の対象を調査する場合（例えばフープリング上、Ｇｅｌ－Ｐａｋ（登録商標）上、ワッフルパック上で）、対象は、それらの元の、または期待されるＸ、Ｙ、θ座標（例えば初期対象レイアウトマップに規定されている）からシフトすることがある。また、可撓性基板および／または可撓性対象の変形が同じく生じることがあり、これも、基板上の対象またはスライド上の生物学的試料の期待されるＸ、Ｙ、θ座標を変えることがある。変形（当業者にはモーフィングとして同じく知られている）は、対象と基準対象の間の総合寸法および／または対象の個々の特徴の逸脱を意味することができる。基準対象は、その対象タイプおよび／または対象のもっと早いバージョンのための基準テンプレート画像を意味することができる。
【先行技術文献】
【特許文献】
【0009】
【文献】米国特許第１０，０４８，４７７号
【非特許文献】
【0010】
【文献】Ｂａｒｂａｒａ Ｚｉｔｏｖａ、「Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｍｅｔｈｏｄｓ： Ａ Ｓｕｒｖｅｙ」 Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ、２００３年１０月１１日、Ｖｏｌｕｍｅ ２１、Ｉｓｓｕｅ １１、９７７－１０００頁
【文献】Ｄｏｎａｌｄ Ｈ． Ｈｏｕｓｅ ｅｔ ａｌ．、Ｆｏｕｎｄａｔｉｏｎｓ ｏｆ Ｐｈｙｓｉｃａｌｌｙ Ｂａｓｅｄ Ｍｏｄｅｌｉｎｇ ａｎｄ Ａｎｉｍａｔｉｏｎ、３３５－３４１頁、２０１７年
【発明の概要】
【発明が解決しようとする課題】
【0011】
したがって（例えば初期対象レイアウトマップと比較して）基板上の対象の期待される座標からシフトした対象を突き止めるために、また、調査プロセスまたは製造プロセスの異なる段階における基板上の対象のＸ、Ｙ、θ座標を予測するために、（例えば基板上の個々の対象のＸ、Ｙ、θ座標を決定することによって）基板上の流動的対象を自動的にマッピングするための新しい機構を提供することが望ましい。
【課題を解決するための手段】
【0012】
本開示の実施形態は、顕微鏡システムおよびコンピュータ解析システムを有する顕微鏡検査システムを含む顕微鏡検査システムを使用して、基板上の流動的対象をマッピングするための方法を対象としている。顕微鏡システムは、光源と、画像化デバイスと、基板を移動させるためのステージであって、ステージの上に基板が配置される、ステージと、制御モジュールとを含む。コンピュータ解析システムは対象識別モジュールを含む。方法は、顕微鏡検査システムを使用して基板の走査を行うステップと、アルゴリズム、ネットワーク、機械、ならびに人工知能および画像処理アルゴリズムを含むシステムを使用して、基板上の対象毎に、一組のＸ、Ｙおよびθ座標を含む基板上の対象位置を識別するステップとを含む。対象のうちの少なくとも１つは流動的であり、先行する位置からシフトしているか、または先行する大きさから変形している。方法は、対象の各々の位置、および対象毎のシフトまたは変形の量を反映する対象マッピング情報を生成するステップを同じく含む。対象マッピング情報を生成するステップは、アルゴリズム、ネットワーク、機械、ならびに人工知能および画像処理アルゴリズムを含むシステムを使用して自動的に実施される。
【0013】
本開示の別の実施形態は、顕微鏡システムおよびコンピュータ解析システムを有する顕微鏡検査システムを含む顕微鏡検査システムを使用して、基板上の流動的対象をマッピングするための方法を対象としている。顕微鏡システムは、光源と、画像化デバイスと、基板を移動させるためのステージであって、ステージの上に基板が配置される、ステージと、制御モジュールとを含む。コンピュータ解析システムは、対象識別モジュールおよび対象レイアウト予測モジュールを含む。方法は、顕微鏡検査システムを使用して基板の走査を行うステップと、アルゴリズム、ネットワーク、機械、ならびに人工知能および画像処理アルゴリズムを含むシステムを使用して、基板上の対象毎に、一組のＸ、Ｙおよびθ座標を含む基板上の対象位置を識別するステップとを含む。対象のうちの少なくとも１つは流動的であり、先行する位置からシフトしているか、または先行する大きさから変形している。方法は、対象の各々の位置、および対象毎のシフトまたは変形の量を反映する対象マッピング情報を生成するステップを同じく含む。対象マッピング情報を生成するステップは、アルゴリズム、ネットワーク、機械、ならびに人工知能および画像処理アルゴリズムを含むシステムを使用して自動的に実施される。
【0014】
本開示のさらに別の実施形態は、光源と、画像化デバイスと、基板を移動させるためのステージであって、ステージの上に基板が配置される、ステージと、制御モジュールとを有する顕微鏡システムを含む、基板上の流動的対象をマッピングするためのシステムを対象としている。画像化デバイスは基板を走査する。また、システムは、アルゴリズム、ネットワーク、機械、ならびに人工知能および画像処理アルゴリズムを含むシステムを使用して、基板上の対象毎に、一組のＸ、Ｙおよびθ座標を含む基板上の対象位置を識別するための対象レイアウト識別モジュールを同じく含む。対象のうちの少なくとも１つは流動的であり、また、対象のうちの少なくとも１つは先行する位置からシフトしているか、または先行する大きさから変形している。対象レイアウト識別モジュールは、対象の各々の位置、および対象毎のシフトまたは変形の量を反映する対象マッピング情報を生成する。
【0015】
本開示の上で記載した利点および他の利点ならびに特徴を得ることができる方法を記述するために、添付の図面に例証されているその特定の実施形態を参照することにより、上で簡単に記述した原理についてのより特定の記述が与えられる。これらの図面は本開示の例示的実施形態を描写したものにすぎず、したがってそれらの範囲を限定するものと見なしてはならず、本明細書における原理は、添付の図面を使用することにより、追加特性および詳細と共に記述され、かつ、説明されることを理解されたい。
【図面の簡単な説明】
【0016】
【図1A】画像化タイル上の対象の視野の上面図である。
【0017】
【0018】
【図2】個々のタイルによって表されている画像化デバイスの視野を越える基板上の対象を示す図であり、対象全体を撮像するためには一連の画像（例えばタイル１～１８）が必要である。
【0019】
【図3A】製造プロセスの異なる段階における、あるいは調査プロセスにおける異なる時間に生じる、基板上の対象Ａ～Ｆの例示的レイアウトを含む初期対象レイアウトを示す図である。
【0020】
【0021】
【図4】顕微鏡システムおよびコンピュータ解析モジュールを含む自動マッピング顕微鏡検査システムの例を示す図である。
【0022】
【図5A】画像化デバイス、光源、対物レンズ、試料、ステージ、制御モジュールおよびコンピュータ解析モジュールを示す顕微鏡システムの実施形態の側面図である。
【0023】
【図5B】画像化デバイス、光源、対物レンズ、試料、ステージ、制御モジュールおよびコンピュータ解析システムを示す顕微鏡システムの実施形態の正面図である。
【0024】
【図6A】基板上の流動的対象を自動的にマッピングするための例示的方法ステップを示す図である。
【0025】
【図6B】予測ステップを含む、基板上の流動的対象を自動的にマッピングするための例示的方法ステップを示す図である。
【0026】
【図7A】第１の実例における対象Ｑを示す図であり、対象Ｑは仮想タイルの左上の位置でアラインメントされている。
【0027】
【0028】
【図8】コンピュータ解析システムの実施形態の一般的な構成を示す図である。
【0029】
【図9】対象識別モジュールが基板上の対象を検出し、かつ、認識して特定の出力を提供することができるよう、訓練データを使用して最初に訓練される画像処理アルゴリズムを示す図である。
【0030】
【0031】
【図11】特定の仮定を得るために、特定の入力および出力を使用して試料レイアウトアルゴリズムに供給する例示的訓練モデルを示す図である。
【発明を実施するための形態】
【0032】
開示される主題のいくつかの実施形態によれば、基板上の対象の初期位置または期待される位置からシフトした（例えば初期対象レイアウトマップと比較して）対象を突き止めるために、基板上の流動的対象を自動的にマッピングする（例えば基板上の個々の対象のＸ、Ｙ、θ座標を決定することによって）ための機構（方法、システム、デバイス、装置、等々を含むことができる）が提供される。これは、対象の適切な画像を撮像するべく、ステージ、画像化デバイスおよび対象のアラインメントを容易にするために有用であり、それにより、調査プロセスまたは製造プロセスのもっと後の段階を較正して、対象のあらゆるシフトおよび／または異常解析に対処することができる。また、これは、基板のための初期対象レイアウトマップが提供されていない場合に、さらには対象が全くシフトしていない場合に対象を突き止めるために同じく有用であり得る。いくつかの実施形態では、自動マッピングは、基板上の実際のＸ、Ｙ、θ座標対象ではなく、調査プロセスまたは製造プロセスの異なる段階の間に存在するであろう、基板上の対象のＸ、Ｙ、θ座標の予測を含む。これは、基板上で対象を適切に位置づけるのに有用であり、あるいは製造プロセスまたは調査プロセスにおけるステップおよび／または構成要素を較正して、対象および／または基板の期待されるシフトおよび／または変形に適応するのに有用であり得る。
【0033】
図３Ａ（初期対象レイアウト）および図３Ｂ（もっと後の対象レイアウト）は、開示される主題のいくつかの実施形態による、製造プロセスの異なる段階における、あるいは調査プロセスにおける異なる時間に生じる、基板３１０上の対象Ａ～Ｆの例示的レイアウトを例証したものである。個々のタイル２１５は、画像または視野を表している。図３Ａおよび図３Ｂに示されているように、デカルトＸＹ座標系を使用して基板３１０上の個々の対象Ａ～ＦのＸ、Ｙ位置を定義することができる。個々の対象Ａ～ＦのＸＹ座標位置は、原点（Ｏ）で合致している座標軸３１２Ａおよび３１２Ｂからの距離を表している。いくつかの実施形態では、座標軸は、基板３１０上で見出される２つの基準インデックス３１３Ａおよび３１３Ｂから展開している一対の垂直線であってもよい。座標軸３１２Ａおよび３１２Ｂならびに原点Ｏは単なる例にすぎず、対象Ａ～Ｆの座標位置は、他の座標軸および原点Ｏから測定することも可能であり、および／または別の基準点から測定することも可能であることに留意されたい。他の実施形態では、対象は、原点に対するその極座標および／または任意の他の適切な位置によって配置することができる。ＸＹ位置は、対象の特定の部分の位置（例えば左上隅）および／または対象の特定の特徴の位置と呼ぶことができる。
【0034】
個々の対象Ａ～Ｆは、原点Ｏに対する対象の配向を決定するために使用することができる配向マーク３１４Ａ（例えばアスタリスク（＊））および３１４Ｂ（例えばプラス符号（＋））を含む。例えば図３Ａに示されている対象の初期レイアウトでは、アスタリスクは個々の対象の左上隅に出現しており、また、プラス符号は個々の対象の右下隅に出現している。図３Ａは、対象Ａ～Ｆのためのモデル位置を表している。また、モデル位置は、対象Ａ～Ｆのための基準テンプレートと同じ位置であってもよく、図３Ｂに示されているように対象Ａ～Ｆのあらゆるシフトを解析するために使用することができる。図３Ｂでは、対象のうちの多くがそれらの初期ＸＹ位置からシフトしており、また、原点Ｏに対するアスタリスクおよびプラス符号の新しい位置によって立証されているように、対象の配向も同じく変化している。配向マーク３１４Ｂ、３１４Ｂは単なる例にすぎず、他の配向マークを使用して配向を決定し、また、期待される配向または初期配向からの回転の程度を決定することも可能である。いくつかの実施形態では、対象の特徴を使用して対象の配向を決定することができる。基板上の対象は、同じタイプの対象であっても、あるいは異なるタイプの対象であってもよいことに留意されたい。
【0035】
本明細書において開示されているように、いくつかの実施形態では、人工知能を使用して対象を検出し、対象タイプを分類し、対象のための画像化アラインメント位置を識別し、開始走査位置を識別し、対象のＸ、Ｙおよびθ座標を決定し、および／または基板上の個々の対象のＸ、Ｙ、θ座標を予測することができる。人工知能アルゴリズムは、機械学習、隠れマルコフモデル、回帰型ニューラルネットワーク、畳み込みニューラルネットワーク、ベイズ記号法、敵対的生成ネットワーク、サポートベクターマシン、画像レジストレーション法、応用機械学習技法、応用ルールベースシステムおよび／または任意の他の適切な人工知能アルゴリズムのうちの１つまたは複数を、単独または組み合わせて含むことができる。このようなアルゴリズム、ネットワーク、機械およびシステムは、任意の「人工知能を使用して対象を自動的に検出するための手段」に関して使用される構造の例を提供する。
【0036】
図４は、開示される主題のいくつかの実施形態による、基板上の流動的対象の自動マッピングを実現することができる例示的自動マッピング顕微鏡検査システム４００を例証したものである。基板上の流動的対象の自動マッピングは、基板上の個々の対象（または対象のサブセット）に対する、ｉ）対象の検出および分類、ｉｉ）基板上の対象のＸ、Ｙ、θ座標の決定、ｉｉｉ）対象変形の決定、ｉｖ）対象シフトの決定、ｖ）対象開始走査位置の決定、ｖｉ）対象画像化アラインメント位置の決定、および／またはｖｉｉ）対象順序付け経路の決定を含むことができる。
【0037】
高いレベルでは、いくつかの実施形態による自動マッピング顕微鏡検査システム４００の基本構成要素は、顕微鏡システム４１０およびコンピュータ解析システム４５０を含む。コンピュータ解析システム４５０の機能構成は、顕微鏡システム４１０の中に組み込むことができ（例えば図５Ａおよび図５Ｂに示されているように）、あるいは個別の構成要素であってもよい（例えば図４に示されているように）。顕微鏡システム４１０は、対象に光を当てるための照明源４１５、画像化デバイス４２０、ステージ４２５、低解像度対物レンズ４３０、高解像度対物レンズ４３５、およびハードウェア、ソフトウェアおよび／またはファームウェアを備える制御モジュール４４０を含むことができる。
【0038】
顕微鏡システム４１０は、任意の適切なタイプの顕微鏡の部分として実現することができる。例えばいくつかの実施形態では、システム４１０は、透過した光または反射した光を使用する光学顕微鏡の部分として実現することができる。より詳細には、システム４１０は、Ｏｈｉｏ州Ｃｕｙａｈｏｇａ Ｆａｌｌｓ在所のＮａｎｏｔｒｏｎｉｃｓ Ｉｍａｇｉｎｇ， Ｉｎｃ．から入手することができるｎＳｐｅｃ（登録商標）光学顕微鏡の部分として実現することができる。また、顕微鏡システム４１０は、共焦または２光子励起顕微鏡法の部分として実現することも同じく可能である。
【0039】
図５Ａ（側面図）および図５Ｂ（正面図）は、開示される主題のいくつかの実施形態による顕微鏡システム４１０の実施形態の一般的な構成を示したものである。いくつかの実施形態によれば、顕微鏡システム４１０は、低解像度対物レンズ４３０および高解像度対物レンズ４３５を含むことができる。低解像度対物レンズ４３０および高解像度対物レンズ４３５は異なる解像力を有している。また、低解像度対物レンズ４３０および高解像度対物レンズ４３５は異なる拡大能を同じく有しており、および／または明視野／暗視野顕微鏡法、微分干渉（ＤＩＣ）顕微鏡法、および／または蛍光を含む任意の他の適切な形態の顕微鏡法と共に動作するように構成することができる。いくつかの実施形態では、走査型電子顕微鏡（ＳＥＭ）、透過型電子顕微鏡（ＴＥＭ）および／または原子間力顕微鏡（ＡＦＭ）のような高解像度顕微鏡を使用することによって対象の高解像度走査を行うことができる。いくつかの実施形態では、高解像度顕微鏡は、低解像度顕微鏡（例えば５倍）より大きい拡大能（例えば１００倍）を有する顕微鏡であってもよい。対象を検査するために使用される対物レンズおよび／または顕微鏡技法は、いくつかの実施形態では、ソフトウェア、ハードウェアおよび／またはファームウェアによって制御することができる。
【0040】
いくつかの実施形態では、ステージ４２５のためにはＸＹ並進ステージを使用することができる。ＸＹ並進ステージは、ステッパーモータ、サーバーモータ、リニアモータ、圧電モータおよび／または任意の他の適切な機構によって駆動することができる。ＸＹ並進ステージは、いくつかの実施形態では、任意の適切なコントローラの制御の下で、対象をＸ軸方向および／またはＹ軸方向に移動させるように構成することができる。アクチュエータ（示されていないが、当技術分野で知られている）を使用して、例えば０から５ｍｍ、０から１０ｍｍ、０から３０ｍｍ、および／または任意の他の適切な範囲の距離の大まかな焦点調整を実施することができる。また、いくつかの実施形態では、同じくアクチュエータを使用して、例えば０から５０μｍ、０から１００μｍ、０から２００μｍ、および／または任意の他の適切な範囲の距離の微細焦点を提供することも可能である。いくつかの実施形態では、顕微鏡システム４１０は、ステージ４２５をＺ方向に対物レンズ４３０および４３５に向かって、および対物レンズ４３０および４３５から離れる方向に調整し、および／または低解像度対物レンズ４３０および高解像度対物レンズ４３５をステージ４２５に向かって、およびステージ４２５から離れる方向に調整する焦点機構を含むことができる。
【0041】
光源４１７は、その強度、使用される光源の数、および／または照明の位置および角度を変更することができる。光源４１７は、反射光イルミネータ４１８を介して光を送ることができ、また、光がチューブレンズ４２３を介して上に向かって画像化デバイス４２０（例えばカメラ）へ反射するよう、試料の一部を照明するために使用することができ、また、画像化デバイス４２０は、対象の画像および／またはビデオを撮像することができる。いくつかの実施形態では、使用される光源４１７は、白色光平行化発光ダイオード（ＬＥＤ）、紫外線平行化ＬＥＤ、レーザまたは蛍光灯であってもよい。
【0042】
いくつかの実施形態では、画像化デバイス４２０は、画像センサを含んだ回転式カメラであってもよい。画像センサは、例えばＣＣＤ、ＣＭＯＳ画像センサ、および／または光を１つまたは複数の電気信号に変換する任意の他の適切な電子デバイスであってもよい。このような電気信号を使用して対象の画像および／またはビデオを形成することができる。参照によりその全体が本明細書に組み込まれている、「Ｃａｍｅｒａ ａｎｄ Ｏｂｊｅｃｔ Ａｌｉｇｎｍｅｎｔ ｔｏ Ｆａｃｉｌｉｔａｔｅ Ｌａｒｇｅ Ａｒｅａ Ｉｍａｇｉｎｇ ｉｎ Ｍｉｃｒｏｓｃｏｐｙ」という名称の米国特許第１０，０４８，４７７号に、顕微鏡システム４１０に使用することができるカメラを回転させるためのいくつかの例示的方法が記載されている。
【0043】
異なるトポグラフィ画像化技法（それらに限定されないが、焦点からの形状アルゴリズム、陰影からの形状アルゴリズム、フォトメトリックステレオアルゴリズムおよびフーリエタイコグラフィ変調アルゴリズムを含む）を、照明光の定義済みの大きさ、数および位置と共に使用して、対象の１つまたは複数の三次元トポグラフィ画像を生成することができる。
【0044】
いくつかの実施形態では、図５ａに示されている制御モジュール４４０は、コントローラおよびコントローラインタフェースを含み、自動マッピング顕微鏡検査システム４００（例えば光源４１７、低解像度対物レンズ４３０および高解像度対物レンズ４３５、ステージ４２５および画像化デバイス４２０）の任意の設定、ならびに通信、操作（例えば画像の取得、光源４１７のターンオンおよびターンオフ、ステージ４２５および／または対物レンズ４３０、４３５の移動、および／または画像化デバイス４２０の回転）を制御することができる。本明細書において説明されている制御モジュール４４０および応用計算システムならびに構成要素は、例えばコンピュータ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、書替え可能ゲートアレイ（ＦＰＧＡ）およびデジタル信号プロセッサ（ＤＳＰ）（これらは、すべて、ハードウェアプロセッサと呼ぶことができる）、符号器、符号器を読み出すための回路機構、記憶デバイス（１つまたは複数のＥＰＲＯＭ、１つまたは複数のＥＥＰＲＯＭ、ダイナミックランダムアクセスメモリ（「ＤＲＡＭ」）、スタティックランダムアクセスメモリ（「ＳＲＡＭ」）および／またはフラッシュメモリを含む）、および／または任意の他の適切なハードウェア要素などの任意の適切なハードウェア（いくつかの実施形態ではソフトウェアを実行することができる）を含むことができる。いくつかの実施形態では、自動マッピング顕微鏡検査システム４００内の個々の構成要素は、個々の構成要素を制御し、また、自動マッピング顕微鏡検査システム４００内の他の構成要素と通信するためのそれら自身のソフトウェア、ファームウェアおよび／またはハードウェアを含むことができる。
【0045】
いくつかの実施形態では、制御モジュール（例えばコントローラおよびコントローラインタフェース）と自動マッピング顕微鏡検査システム４００の構成要素との間の通信には、アナログ技術（例えばリレー論理）、デジタル技術（例えばＲＳ２３２、イーサネットまたは無線）、ネットワーク技術（例えばローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネット）、ブルートゥース（登録商標）技術、近距離場通信技術、セキュアＲＦ技術、および／または任意の他の適切な通信技術などの任意の適切な通信技術を使用することができる。
【0046】
いくつかの実施形態では、任意の適切な入力デバイス（例えばキーボード、マウス、ジョイスティック、タッチ）を使用してオペレータ入力を制御モジュール４４０に通信することができる。
【0047】
もう一度図４を参照すると、自動マッピング顕微鏡検査システム４００のコンピュータ解析システム４５０は、アナログ技術（例えばリレー論理）、デジタル技術（例えばＲＳ２３２、イーサネットまたは無線）、ネットワーク技術（例えばローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネット）、ブルートゥース（登録商標）技術、近距離場通信技術、セキュアＲＦ技術、および／または任意の他の適切な通信技術などの任意の適切な通信技術を使用して、任意の適切な方法で顕微鏡システム４１０に結合することができ、あるいは顕微鏡システム４１０に含めることができる。コンピュータ解析システム４５０およびコンピュータ解析システム４５０内のモジュールは、顕微鏡システム４１０によって出力され、および／またはコンピュータ可読媒体によって記憶された画像を使用して、本明細書においてさらに説明されるいくつかの機能を行うように構成することができる。
【0048】
コンピュータ解析システム４５０は、例えばコンピュータ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、書替え可能ゲートアレイ（ＦＰＧＡ）およびデジタル信号プロセッサ（ＤＳＰ）（これらは、すべて、ハードウェアプロセッサと呼ぶことができる）、符号器、符号器を読み出すための回路機構、記憶デバイス（１つまたは複数のＥＰＲＯＭ、１つまたは複数のＥＥＰＲＯＭ、ダイナミックランダムアクセスメモリ（「ＤＲＡＭ」）、スタティックランダムアクセスメモリ（「ＳＲＡＭ」）および／またはフラッシュメモリを含む）、および／または任意の他の適切なハードウェア要素などの任意の適切なハードウェア（いくつかの実施形態ではソフトウェアを実行することができる）を含むことができる。
【0049】
コンピュータ可読媒体は、コンピュータによってアクセスすることができる任意の利用可能な媒体であってもよく、また、揮発性媒体および不揮発性媒体の両方、取外し可能媒体および非取外し可能媒体の両方を含む。非制限の一例として、コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を備えることができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータなどの情報を記憶するための任意の方法または技術で実現される、揮発性媒体および不揮発性媒体の両方、取外し可能媒体および非取外し可能媒体の両方を含む。コンピュータ記憶媒体は、それらに限定されないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ－ＲＯＭ、デジタルビデオディスク（ＤＶＤ）または他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶デバイス、または所望の情報を記憶するために使用することができ、かつ、コンピュータによってアクセスすることができる任意の他の媒体を含む。
【0050】
いくつかの実施形態によれば、コンピュータ解析システム４５０は、対象識別モジュール４６０（後で説明され、また、図８に示されている）および対象レイアウト予測モジュール４７０（後で説明され、また、図８に示されている）を含むことができる。
【0051】
図６Ａおよび図６Ｂは、開示される主題のいくつかの実施形態による、人工知能を使用して基板上に流動的対象を自動的にマッピングするための例示的方法６００Ａおよび６００Ｂを高いレベルで示したものである。いくつかの実施形態では、自動マッピング操作６００Ａおよび６００Ｂは、自動マッピング顕微鏡検査システム４００を使用することができる。開示される主題のいくつかの実施形態による、コンピュータ解析システム４５０の個々のモジュールを構成することができる方法を説明するさらなる詳細については、図８に関連して説明される。
【0052】
６１０Ａで顕微鏡システム４１０は、例えば低解像度対物レンズ４３０または高解像度対物レンズ４３５を使用して基板を走査することができる。いくつかの実施形態では、基板は、基板の表面全体または所望の区域（「重要な領域」）が走査されるまで、画像化デバイス４２０および／またはステージ４２５をＸ／Ｙ方向に移動させることによって走査することができる。低解像度走査画像データは、低解像度対物レンズ４３０を使用して画像化デバイス４２０によって撮像または生成される、基板または基板の一部の一連の低解像度画像と呼ぶことができる。高解像度走査画像データは、高解像度対物レンズ４３５を使用して画像化デバイス４２０によって撮像または生成される、基板または基板の一部の一連の高解像度画像と呼ぶことができる。
【0053】
いくつかの実施形態では、基板の個々の画像は、タイル２１５（図２に示されている）と呼ばれ、個々のタイル２１５は、基板空間におけるそのＸＹ座標位置によって配置することができる。タイル２１５は、それらのＸＹ座標位置および／または特徴に基づくレジストレーション方法に基づいて、付け合わせて一つにまとめ、基板３１０の単一のコヒーレント走査画像データにすることができる。いくつかの実施形態では、異なる焦点レベルを使用し、また、ステージ４２５および／または低解像度対物レンズ４３０をＺ方向に移動させることにより、基板３１０の１つまたは複数の区域を走査することができる。もう一度図６Ａを参照すると、６２０Ａで対象識別モジュール４６０（図８に示されている）は、走査された基板の低解像度画像または高解像度画像を受け取ることができ、また、人工知能アルゴリズム、コンピュータビジョンおよび／または他の適切なコンピュータプログラム（本明細書においてさらに説明される）を使用して、ｉ）基板上の対象の検出、ｉｉ）対象タイプの識別、ｉｉｉ）対象のＸ、Ｙ、θ座標の決定、ｉｖ）画像化アラインメント位置の識別およびこのような位置のＸ、Ｙ、θ座標の決定、ｖ）開始走査位置の識別およびこのような位置のＸ、Ｙ、θ座標の決定、ｖｉ）基板上の対象毎の、または任意の数の対象の画像化シーケンスの決定、ｖｉｉ）対象および／または基板変形（例えば先行する大きさまたは元の大きさと比較して）、および／または元の位置からの対象シフト（例えば初期対象レイアウトマップと比較して）の計算を含む対象マッピング情報を決定し、かつ、生成することができる。いくつかの実施形態では、対象マッピング情報は、対象レイアウト識別モジュール４６０が使用して、対象および／または基板の可撓性が基板の初期対象レイアウトマップから異なり得ることによる基板上の対象の現在のレイアウトを表す、基板の対象レイアウトマップを生成することができる。
【0054】
もう一度図６Ａを参照すると、６３０Ａで対象識別モジュール４６０は、対象マッピング情報を制御モジュール４４０に送ることができる。いくつかの実施形態では（例えば対象が視野より小さい実施形態の場合）、制御モジュール４４０は、対象の新しいＸ、Ｙ、θ座標および／または変形に対処するために、ステージ、画像化デバイスおよび対象をアラインメントすることができる。例えば対象が視野より小さい場合、制御モジュール４４０は、基板に対する対象マッピング情報に従って、基板上の対象毎に（または任意の数の対象に対して）ステージ４２５および／または画像化デバイス４２０を画像化アラインメント位置に駆動することができる。画像化アラインメント位置は、同様の対象の代表的な位置、または走査されている対象のための基準テンプレートに基づくことができる。他の実施形態では（例えば対象が視野より大きい場合）、制御モジュール４４０は、その対象タイプのための画像化シーケンス、および対象のための対象マッピング情報に従って一連の画像を得るために、基板上の対象毎に（または任意の数の対象に対して）ステージ４２５および／または画像化デバイス４２０を開始走査位置に駆動することができる。開始走査位置および画像化シーケンスは、同様の対象の代表的な位置およびシーケンス、または走査されている対象のための基準テンプレートに基づくことができる。いくつかの実施形態では、画像化されている対象のタイプは、開始走査位置、画像化アラインメント位置および／または画像化シーケンスを決定することになる。さらに他の実施形態では、対象のための一連の画像は、解析のために１つのより大きい画像に事前処理することができ、また、基準対象と比較することができる。
【0055】
さらに他の実施形態では、対象のＸ、Ｙ、θ座標および／または変形に基づいて、対象の寸法を包含する仮想タイル７１０（図７Ａに示されている）を創り出すことができる。同じタイプのすべての対象は、解析を容易にするために、同じ方法で仮想タイル内でアラインメントさせることができる。対象は、その対象のための基準テンプレートのアラインメントと同様、仮想タイル内でアラインメントさせることができる。仮想タイルは、事前処理されて１つのより大きい走査画像データになる複数のより小さい走査画像データである。図７Ａは、第１の実例における対象Ｑを示したものであり、対象Ｑは仮想タイル７１０の左上部分でアラインメントされている。図７Ｂは、第１の位置からシフトした後の第２の実例における対象Ｑを示したものである。その新しい位置で対象Ｑを包含するために仮想タイル７１０も同様にシフトしており、したがって対象Ｑはタイルの左上部分で同様にアラインメントされている。仮想タイル７１０は、走査のピクセルレベルまたはタイルレベル（すなわち視野）で描くことができる。何らかの予備ステージ、画像化デバイスまたは試料アラインメントが行われたかどうかに無関係に仮想タイルを創り出すことができることは、当業者には容易に理解されよう。
【0056】
図６Ｂでは、ステップ６１０Ｂおよび６２０Ｂは、それぞれ図６Ａに関連して説明したステップ６１０Ａおよび６２０Ａと同じステップであってもよい。さらに、６２０Ｂで対象レイアウト識別モジュール４６０は、基板上の対象の生成された対象レイアウトマップを基板上の対象の初期または先行する対象レイアウトマップと比較し、フィードバックデータを生成することができる。フィードバックデータは、それには限定されないが、対象の基準画像の寸法と比較して対象の寸法が変化した量を含むことができる。基準画像は、そのタイプの対象および／または対象自体のもっと早いバージョンのための基準テンプレートを含むことができる。また、フィードバックデータは、対象がその初期位置またはもっと早い位置からシフトした量、および／または基板上の対象の配向の変化を同じく含むことができる。
【0057】
図６Ｂのステップ６３０Ｂで対象識別モジュール４６０は、対象マッピング情報およびフィードバックデータを対象レイアウト予測モジュール４７０に送ることができる。対象レイアウト予測モジュール４７０は、対象識別モジュール４６０からの対象マッピング情報およびフィードバックデータを、基板および基板上の対象に関する他の情報と組み合わせて使用して、製造プロセスおよび／または調査プロセスの特定の段階に対する基板上の対象のＸ、Ｙ、θ座標（例えば配向およびシフト）を予測することができ、および／または対象変形を予測することができる。いくつかの実施形態では、対象レイアウト予測モジュール４７０は、予測された位置を対象識別モジュール４６０によって生成された実際の位置情報と比較することができる。対象の実際のＸ、Ｙ、θ座標が検査されている対象および／または基板のタイプに対する定義済み許容範囲を超えている場合（例えば対象位置のシフトが予測されたシフトよりはるかに大きかった場合、あるいはその基板に対する対象位置の平均シフトが期待された平均シフトよりはるかに大きかった場合）、対象レイアウト予測モジュール４７０は警報を生成することができる。同様に、対象レイアウト予測モジュール４７０は、予測された対象変形を対象識別モジュール４６０によって生成された実際の対象変形情報と比較することができる。実際の対象変形が検査されている対象および／または試料のタイプに対する定義済み許容範囲を超えている場合（例えばその対象に対する変形、または基板上の平均対象変形が予測をはるかに超えていた場合）、対象レイアウト予測モジュール４７０は警報を生成することができる。
【0058】
いくつかの実施形態では、対象レイアウト予測モジュール４７０は、対象レイアウト予測モジュール４７０の予測精度を評価するために、予測された対象位置を対象識別モジュール４６０によって生成された実際の位置情報と比較することができ、および／または予測された対象変形を対象識別モジュール４６０によって生成された実際の対象変形情報と比較することができる。いくつかの実施形態では、対象レイアウト予測モジュール４７０の予測精度が定義済み時間にわたって定義済み許容範囲と合致すると（例えば対象レイアウト予測モジュール４７０が十分に訓練されると）、ステップ６１０Ｂおよび６２０Ｂを省略することができる。対象レイアウト予測モジュール４７０によって生成された情報は、制御モジュール４４０に直接送ることができ、制御モジュール４４０は、図６Ａのステップ６３０Ａに関連して述べたように、ステージ４２５、画像化デバイス４２０および試料をアラインメントして、対象の新しいＸ、Ｙ、θ座標および／または変形に対処することができる。
【0059】
自動マッピング操作６００Ａおよび６００Ｂの特定の部分が行われる際の分割は変更することが可能であり、また、分割しないこと、または異なる分割も、本明細書において開示されている主題の範囲内である。いくつかの実施形態では、自動マッピング操作６００Ａおよび６００Ｂのブロックは、任意の適切な時間に行うことができることに留意されたい。本明細書において説明されている自動マッピング操作６００Ａおよび６００Ｂの部分のうちの少なくともいくつかは、いくつかの実施形態では、図６Ａおよび図６Ｂに示され、また、図６Ａおよび図６Ｂに関連して説明されている順序およびシーケンスに限定されない任意の順序またはシーケンスで行うことができることを理解されたい。また、本明細書において説明されているプロセス６００Ａおよび６００Ｂのうちのいくつかの部分は、いくつかの実施形態では、適切である場合、実質的に同時に、すなわち並行して行うことも同じく可能である。追加または別法として、プロセス６００Ａおよび６００Ｂのうちのいくつかの部分は、いくつかの実施形態では省略することができる。自動マッピング操作６００Ａおよび６００Ｂは、任意の適切なハードウェアおよび／またはソフトウェアで実現することができる。例えばいくつかの実施形態では、自動マッピング操作６００Ａおよび６００Ｂは、自動マッピング顕微鏡検査システム４００の中で実現することができる。
【0060】
図８は、開示される主題のいくつかの実施形態による、コンピュータ解析システム４５０の実施形態の一般的な構成を示したものである。
【0061】
いくつかの実施形態では、対象識別モジュール４６０は、顕微鏡システム４１０および／または任意の適切なコンピュータ可読媒体から、基板または基板の一部の低解像度走査画像データまたは高解像度走査画像データを受け取るように構成することができる。
【0062】
いくつかの実施形態では、対象識別モジュール４６０は、コンピュータビジョンを含むことができる画像処理アルゴリズム、１つまたは複数の人工知能アルゴリズムおよび／またはコンピュータアルゴリズムを使用して、受け取った低解像度走査画像データまたは高解像度走査画像データ中の１つまたは複数の対象を検出するように構成することができる。対象の検出は、例えば対象のコンピュータ援用設計（ＣＡＤ）ファイル、検査されている基板の初期またはもっと早い対象レイアウトマップ、知られている対象の画像、知られている対象のための基準テンプレート、および／または知られている対象に関する情報（例えば対象の寸法、対象の機械的特性および／または物理的特性）に基づくことができる。
【0063】
いくつかの実施形態では、対象識別モジュール４６０は、受け取った基板走査画像データに図９に示されている画像処理アルゴリズムを適用し、基板上の対象毎に、または重要な領域に対して、ｉ）対象を検出し、ｉｉ）対象タイプを決定し、ｉｉｉ）配向を決定し、ｉｖ）画像化アラインメント位置を識別し、および／またはｖ）開始走査位置を識別することができる。対象識別モジュール４６０は、基板上の基準点に関連してこのような情報をさらに使用して、ｉ）基板上の個々の対象、ｉｉ）基板上の対象毎の画像化アラインメント位置、および／またはｉｉｉ）基板上の対象毎の開始走査位置のＸ、Ｙ、θ座標を決定することができる。また、同じく対象識別モジュール４６０を使用して、対象および／または基板変形および／または元の位置からの対象シフト（例えば初期対象レイアウトマップと比較して）を計算することができる。
【0064】
検出は、印刷基板走査画像データに対する印刷における視覚識別であれ、あるいは表示画面に表示される基板に対する視覚識別であれ、（例えば検出された対象の周りにダッシュ線のボックスを描くことによって）基板走査画像データ上の対象を視覚識別することを意味することができる。また、対象識別モジュール４６０は、検出された対象毎に、それらに限定されないが、ｉ）対象タイプ、ｉｉ）対象配向、ｉｉｉ）画像アラインメント位置およびｉｖ）開始走査位置を含む追加情報を決定するように構成することも同じく可能である。この情報は、基板走査が表示画面に表示される場合、視覚的に表示することも同じく可能である。別法としては、この情報を提供するテキストファイルを生成することも可能である。
【0065】
対象識別モジュール４６０は、さらに、基板上の基準マーカに対する関係で、検出された対象、画像化アラインメント位置および／または開始走査位置を基板空間のＸ、Ｙ、θ位置にマッピングするように構成することができる。さらに、対象識別モジュール４６０は、個々の対象をその対象タイプのための基準画像と比較して、対象／特徴変形を計算することができる。また、対象識別モジュールは、いくつかの実施形態では、対象の現在のＸ、Ｙ、θ座標をもっと早いＸ、Ｙ、θ位置、またはその対象に対して期待されるＸ、Ｙ、θ位置と比較することによって対象シフト量を計算することも同じく可能である。θすなわち配向は、図１０Ａおよび図１０Ｂに関連して述べたように、基板に対する原点に対して、対象のもっと早いθ位置と比較して、あるいは対象に対して期待されるθ位置と比較して、対象が固定点の周りに回転した量を表すことに留意されたい。
【0066】
いくつかの実施形態では、１つまたは複数の画像処理人工知能アルゴリズムに基づく画像処理アルゴリズムを使用して、基板の受け取った低解像度走査画像データまたは高解像度走査画像データ中の対象を検出することができる。また、対象識別モジュール４６０は、人工知能に基づく画像処理アルゴリズムを同じく使用して、それらに限定されないが、ｉ）対象タイプ、ｉｉ）対象回転、ｉｉｉ）画像アラインメント位置、および／またはｉｖ）開始走査位置を含む、検出された対象毎の追加情報を決定することができる。いくつかの実施形態では、対象識別モジュール４６０によって使用されるアルゴリズムは、対象をより良好に検出し、かつ、認識するために、また、対象タイプ、対象回転、画像アラインメント位置および／または開始走査位置を決定するために、基板上の対象の位置、検査されている対象のタイプ、対象が配置される基板のタイプ、検査されている対象／基板の物理的および機械的特性、同じまたは同様のタイプの基板上の同様の対象、検査された対象のための基準テンプレート、検査された基板に対する初期対象レイアウトマップのような文脈データを考慮することができる。
【0067】
対象識別モジュール４６０が使用することができる、人工知能をベースとする画像処理アルゴリズムの例は、Ｂａｒｂａｒａ Ｚｉｔｏｖａ、「Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｍｅｔｈｏｄｓ： Ａ Ｓｕｒｖｅｙ」 Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ、２００３年１０月１１日、Ｖｏｌｕｍｅ ２１、Ｉｓｓｕｅ １１、９７７－１０００頁によって記述されている画像レジストレーションであり、参照によりその全体が本明細書に組み込まれている。開示されている方法は単なる例にすぎず、制限されることは意図されていない。さらに、対象識別モジュール４６０は、畳み込みネットワーク、回帰型ニューラルネットワークおよび／または他の人工ニューラルネットワークを使用して、受け取った基板走査を処理することができる。
【0068】
図９に示されているようにいくつかの実施形態では、画像処理アルゴリズム９１０は、対象識別モジュール４６０が基板上の対象を検出し、かつ、認識することができるよう、訓練データ９２０を使用して最初に訓練される。訓練データ９２０は、知られているタイプの対象（例えば特定の自動マッピング顕微鏡検査システム４００上で検査されそうな異なるタイプの対象）のラベル付きの例を含むことができる。訓練データ９２０は、対象のタイプ毎に、変形した実際の対象（例えば製造プロセスの結果として変形した対象）のラベル付き画像をさらに含むことができる。さらに他の実施形態では、対象は、定義済みパラメータに従って人工的に変形させることができ、また、訓練データ９２０は、このような変形した対象のラベル付き画像を含むことができる。また、訓練データ９２０は、０～３６０度回転した個々の対象タイプのラベル付き画像を同じく含むことができる。さらに、訓練データ９２０は、画像内の開始走査位置および／または画像化アラインメント位置を識別する、検査される個々のタイプの対象のラベル付き画像を含むことができる。いくつかの実施形態では、訓練データ９２０は、対象の大きさ、形状、組成、基板上の位置、対象の物理的／機械的特性、および／または任意の他の適切な特徴に関連するデータを含むことができる。また、いくつかの実施形態では、訓練データは、ラベルが付けられていないデータを同じく含むことができる。
【0069】
画像処理アルゴリズムが訓練されると、対象識別モジュール４６０は、受け取った基板走査にその画像処理アルゴリズムを適用して、対象を検出し、対象タイプを分類し、対象配向を決定し、画像アラインメント位置および／または開始走査位置を識別することができる（データ９３０を個別および集合的に出力する）。
【0070】
対象識別モジュール４６０は、対象変形を計算し、対象シフト量を決定し、検出された対象を基板上のＸ、Ｙ、θ座標にマッピングし、対象のための識別された画像アラインメント位置を基板上のＸ、Ｙ、θ座標にマッピングし、対象のための識別された開始走査位置を基板上のＸ、Ｙ、θ位置にマッピングし、また、対象タイプおよび配向に基づいて画像化シーケンスを定義するようにさらに構成することができる。これらの機能の各々は、人工知能を使用して、あるいは人工知能を使用することなく行うことができ、また、以下の段落でより詳細に説明される。
【0071】
いくつかの実施形態では、対象識別モジュール４６０は、検出された対象と基準画像の間、または対象の特定の特徴と基準画像の間の総合寸法の偏差を比較することによって対象変形を計算することができる。基準画像は、その対象タイプおよび／または検出された対象のもっと早い画像のための基準テンプレートであってもよい。
【0072】
対象が検出されると、対象識別モジュール４６０は、図３Ａおよび図３Ｂに関連して述べたように、検出された対象を知られている座標系における特定のＸ、Ｙ位置にマッピングすることができる。同様に、対象識別モジュール４６０は、図３Ａおよび図３Ｂに関連して述べたように、対象の画像化アラインメント位置および／または対象の開始走査位置を知られている座標系における特定のＸ、Ｙ位置にマッピングすることができる。
【0073】
いくつかの実施形態では、画像処理アルゴリズムによって出力されるθ位置情報を使用して、基板上の対象のθ位置を計算することができる。例えば画像処理アルゴリズムは、同様の配向を有する同様の対象の訓練データに基づいて対象のθ位置を決定することができる。他の実施形態では、画像処理アルゴリズムは、画像レジストレーション法を適用して対象を基準画像と比較し、かつ、θ位置を決定することができる。Ｂａｒｂａｒａ Ｚｉｔｏｖａ、「Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｍｅｔｈｏｄｓ： Ａ Ｓｕｒｖｅｙ」 Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ、２００３年１０月１１日、Ｖｏｌｕｍｅ ２１、Ｉｓｓｕｅ １１、９７７－１０００頁に、回転を決定するためのいくつかの例示的画像レジストレーション法が記述されており、参照によりその全体が本明細書に組み込まれている。さらに他の実施形態では、対象識別モジュール４６０は、基準対象内の特定の特徴または基準点を使用して、対象タイプ毎にベースライン配向を決定することができる。配向は、基板の原点に対するものである。対象の配向がどれだけ変化したかを計算するために、対象識別モジュール４６０は、次に、アフィン変換を使用して、検出された対象に対する特徴または基準点を基準対象内の同様の特徴と比較することができる。アフィン変換は、例えばＤｏｎａｌｄ Ｈ． Ｈｏｕｓｅ ｅｔ ａｌ．、Ｆｏｕｎｄａｔｉｏｎｓ ｏｆ Ｐｈｙｓｉｃａｌｌｙ Ｂａｓｅｄ Ｍｏｄｅｌｉｎｇ ａｎｄ Ａｎｉｍａｔｉｏｎ、３３５－３４１頁、２０１７年によって記述されており、参照によりその全体が本明細書に組み込まれている。
【0074】
図１０Ａおよび図１０Ｂは、対象Ａ上の同じ２つの基準点Ａ１およびＡ２を使用して、第１の時間点（図１０Ａによって表されている）から第２の時間点（図１０Ｂによって表されている）までの対象Ａの回転に基づいて配向が計算される例示的実施形態を示したものである。Ａ１およびＡ２は単なる例にすぎず、対象Ａ上の他の基準点または特徴を使用することも可能である。より詳細には、図１０Ａに示されているように、対象Ａのための第１の基準点Ａ１は、知られている座標系を使用して、第１の時間点ではＸ１Ｙ１に配置することができる。基準線（Ｒ１）は、基準点Ａ１および第２の基準点Ａ２を通って引くことができる。第１の角度θ１は、Ｘ軸とＲ１の交点に基づいて測定することができる。図１０Ｂに示されているように、対象Ａのための同じ基準点Ａ１は、第２の時間点ではＸ２Ｙ２に配置することができる。基準線（Ｒ２）は、それらの新しい位置で、基準点Ａ１および基準点Ａ２を通って引くことができる。第２の角度θ２は、Ｘ軸とＲ２の交点に基づいて測定することができる。θ２は、図１０Ｂにおける対象Ａの配向を決定するためにθ１から控除することができる。
【0075】
いくつかの実施形態では、対象識別モジュール４６０は、知られている対象タイプ毎に定義済み画像化シーケンスを結び付けるようにプログラムすることができる。検出された対象が分類されると、対象識別モジュール４６０は、検出された対象にその対象タイプのための定義済み画像化シーケンスを結び付けることができる。さらに、対象識別モジュール４６０は、定義済み画像化シーケンスを適用する、検出された対象のための画像を撮像するために、この情報を制御モジュール４４０または画像化デバイス４２０に送ることができる。
【0076】
いくつかの実施形態では、対象識別モジュール４６０は、基板上の対象の現在のＸＹ位置を対象の初期または先行するＸＹ位置と比較することによって対象シフト量を計算することができる（例えば初期または先行する対象レイアウトマップに基づいて）。対象識別モジュール４６０は、この情報を対象レイアウトマップ生成モジュール４７０および／または対象レイアウト予測モジュール４７０に送ることができる。
【0077】
いくつかの実施形態では、対象レイアウト予測モジュール４７０は、対象識別モジュール４６０から、検査されている対象のタイプ、対象が配置される基板のタイプ、検査されている対象／基板の物理的および機械的特性、同じまたは同様のタイプの基板上の同様の対象、検査される対象のための基準テンプレート、検査される基板のための初期対象レイアウトマップ、等々などの他の文脈データと共に、フィードバックデータおよび／または対象マッピング情報を受け取ることができる。フィードバックデータは、それらに限定されないが、製造プロセスまたは調査プロセスの特定の段階における基板上の対象毎のＸ、Ｙ、θ位置、製造プロセスまたは調査プロセスの間に基板上の個々の対象が変形し、シフトし、および／またはその配向が変化した量を含むことができる。対象レイアウト予測モジュール４７０はこの情報を使用して、製造プロセスまたは調査プロセスの間の異なる段階における対象のＸ、Ｙ、θ位置、および／または対象が変形しそうな量に関して予測することができる。この情報を使用して、基板上で対象を適切に位置づけることができ、および／または製造プロセスまたは調査プロセスにおけるステップおよび構成要素を較正して、対象および／または基板の期待されるシフトおよび／または変形に適応することができる。また、この情報を同じく使用して、基板上の対象が予測された量を超えてその位置が移動したかどうか、または対象および／または基板が予測された量を超えて変形したかどうかを決定することも可能である。
【0078】
いくつかの実施形態では、対象レイアウト予測モジュールは、図１１に示されているように基板の初期対象レイアウトを受け取り、また、人工知能を使用してレイアウト予測アルゴリズムを適用し、それにより製造プロセスおよび／または調査プロセスの特定の段階における基板の新しい対象レイアウトを決定することができる。新しい対象レイアウトマップは、初期対象レイアウト上（または重要な任意の領域）の対象毎に、製造プロセスおよび／または調査プロセスの特定の段階に対するＸ、Ｙ、θ位置、および／または対象および／または基板が変形しそうな量を含むことができる。
【0079】
対象レイアウト予測モジュールは、いくつかの実施形態では、線形回帰モデルまたは多重線形回帰モデルを使用して実現することができる。線形回帰モデル化は、従属変数と１つまたは複数の独立変数の間の線形関係をモデル化するための機械学習技法である。単一のスカラー予測を利用している単純な線形回帰モデルを使用して、本明細書において説明されている対象レイアウト予測を行うことができる。別法としては、複数の予測子を利用している多重線形回帰モデルを使用して、本明細書において説明されている対象レイアウト予測を行うことも可能である。
【0080】
いくつかの実施形態では、対象レイアウト予測アルゴリズムは、訓練データを使用して最初に訓練される。訓練データは、一対の（訓練例とも呼ばれる）入力特徴（Ｘ）、および回帰学習アルゴリズムが予測を試行する出力すなわち目標変数（Ｙ）を含むことができる。訓練例１１００を使用して、演算：仮定（Ｈ）：Ｘ→Ｙを学習することができ、したがってＨ（Ｘ）は、Ｙの対応する値のための合理的な予測子である。図１１は、開示される主題のいくつかの実施形態による例示的訓練モデルを示したものである。訓練例１１００の入力は、基板上の対象毎に、製造プロセスの第１の段階（例えば初期レイアウトマップ、フォトレジストステップ、浄化ステップ、事前ダイシングステップ）における現在のＸ、Ｙ、θ位置、および対象／基板タイプを含むことができる。訓練例１１００の出力は、基板上の対象毎に、製造プロセスの第２の段階におけるＸ、Ｙ、θ位置、変形および／またはシフトの量を含むことができる。訓練されると、対象レイアウトアルゴリズム１１１０は、第１の製造実例および／または調査実例における基板に対する対象レイアウトマップ、ならびに対象／基板タイプに関する他の情報を受け取り、また、製造プロセスまたは調査プロセスの第２の実例における対象および／または基板に対して期待するべく、基板上の対象のＸ、Ｙ、θ位置および／または変形の量を予測することができる。対象レイアウトアルゴリズム１１１０は、対象識別モジュール４６０から連続的に、または周期的にフィードバックデータを受け取って仮定（Ｈ）を修正することができる。
【0081】
図６Ｂの６３０Ｂに関連して説明したように、対象レイアウト予測モジュール４７０は、基板上の対象の予測された位置を対象識別モジュール４６０によって生成された実際の位置情報と比較して、警報を生成するかどうかを決定することができる。さらに、対象レイアウト予測モジュール４７０は、予測された対象位置を対象識別モジュール４６０によって生成された実際の位置情報と比較し、および／または予測された対象変形を対象識別モジュール４６０によって生成された実際の対象変形情報と比較して、対象レイアウト予測モジュール４７０の予測精度を評価することができる。
【0082】
自動マッピング顕微鏡検査システム４００のための構成要素の機能構成は、結合して単一の構成要素にすることができ、あるいはいくつかの構成要素にわたって展開することができる。いくつかの実施形態では、構成要素のうちのいくつかの機能構成（例えばコンピュータ解析システム４５０によるコンピュータ処理）は、顕微鏡システム４１０から遠隔で行うことができる。いくつかの実施形態では、制御解析システムは、顕微鏡システム４１０に結合することができる。
【0083】
自動マッピング顕微鏡検査システム４００は、示されていない他の適切な構成要素を含むことができることに留意されたい。追加または別法として、自動マッピング顕微鏡検査システム４００に含まれている構成要素のうちのいくつかは省略することができる。
【0084】
いくつかの実施形態では、任意の適切なコンピュータ可読媒体を使用して、本明細書において説明されている機能および／またはプロセスを行うための命令を記憶することができる。例えばいくつかの実施形態では、コンピュータ可読媒体は、一時的または非一時的であってもよい。例えば非一時的コンピュータ可読媒体は、非一時的磁気媒体（ハードディスク、フロッピーディスク、等々など）、非一時的光媒体（コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、等々など）、非一時的半導体媒体（フラッシュメモリ、電気的プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、等々など）、一時的なものではなく、あるいは伝送中における永続性の何らかの見せかけがない任意の適切な媒体、および／または任意の適切な有形媒体などの媒体を含むことができる。別の例として、一時的コンピュータ可読媒体は、ワイヤー、導線、光ファイバー、回路、および一時的であり、また、伝送中における永続性の何らかの見せかけがない任意の適切な媒体、および／または任意の適切な無形媒体におけるネットワーク上の信号を含むことができる。
【0085】
本明細書において説明されている様々なシステム、方法およびコンピュータ可読媒体は、クラウドネットワーク環境の部分として実現することができる。本文書において使用されているように、クラウドに基づく計算システムは、仮想化された計算資源、ソフトウェアおよび／または情報をクライアントデバイスに提供するシステムである。計算資源、ソフトウェアおよび／または情報は、エッジデバイスがネットワークなどの通信インタフェースを介してアクセスすることができる集中サービスおよび資源を維持することによって仮想化することができる。クラウドは、サービスとしてのソフトウェア（ＳａａＳ）（例えば共同サービス、電子メールサービス、企業資源計画立案サービス、内容サービス、通信サービス、等々）、サービスとしてのインフラストラクチャ（ＩａａＳ）（例えば安全保護サービス、ネットワーク化サービス、システム管理サービス、等々）、サービスとしてのプラットフォーム（ＰａａＳ）（例えばウェブサービス、ストリーミングサービス、アプリケーション開発サービス、等々）、およびサービスとしてのデスクトップ（ＤａａＳ）、サービスとしての情報技術管理（ＩＴａａＳ）、サービスとしての管理されたソフトウェア（ＭＳａａＳ）、サービスとしての移動バックエンド（ＭＢａａＳ）、等々などの他のタイプのサービスなどのクラウド要素を介して様々なクラウド計算サービスを提供することができる。
【0086】
本明細書において説明されている例の準備（ならびに「などの」、「例えば」、「含む」、等々として言い表されている節は）、特許請求される主題を特定の例に限定するものとして解釈してはならず、そうではなく、これらの例には、多くの可能態様のうちのほんのいくつかを例証することが意図されている。当業者は、機構という用語は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の適切な組合せを包含することができることを理解するであろう。
【0087】
特に言及されていない限り、上記論述から明らかであるように、説明全体を通して、「決定する」、「提供する」、「識別する」、「比較する」、等々などの用語を利用している論述は、コンピュータシステムメモリまたはレジスタ、あるいは他のこのような情報記憶装置、伝送デバイスまたは表示デバイス内の物理（電子）量として表されるデータを操作し、かつ、変換するコンピュータシステムまたは同様の電子計算デバイスのアクションおよびプロセスを意味していることが認識される。
【0088】
本開示の特定の態様は、本明細書において説明されているプロセスステップおよび命令をアルゴリズムの形態で含む。本開示のプロセスステップおよび命令は、ソフトウェア、ファームウェアまたはハードウェアの中で具体化することができ、ソフトウェアの中で具体化される場合、ダウンロードして常駐させることができ、また、実時間ネットワークオペレーティングシステムによって使用される異なるプラットフォームから動作させることができることに留意されたい。
【0089】
また、本開示は、本明細書における操作を行うための装置に同じく関している。この装置は、要求される目的のために特別に構築することができ、あるいはこの装置は、コンピュータがアクセスすることができるコンピュータ可読媒体上に記憶されているコンピュータプログラムによって選択的に起動され、あるいは再構成される汎用コンピュータを備えることができる。このようなコンピュータプログラムは、それらに限定されないが、フロッピーディスク、光ディスク、ＣＤ－ＲＯＭ、磁気光ディスクを含む任意のタイプのディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カードまたは光カード、特定用途向け集積回路（ＡＳＩＣ）、または電子命令を記憶するのに適した任意のタイプの非一時的コンピュータ可読記憶媒体などのコンピュータ可読記憶媒体に記憶することができる。さらに、本明細書において参照されているコンピュータは、単一のプロセッサを含むことができ、あるいは計算能力を高くするために多重プロセッサ設計を使用しているアーキテクチャであってもよい。
【0090】
本明細書において提示されているアルゴリズムおよび操作は、何らかの特定のコンピュータまたは他の装置に固有に関連付けられない。様々な汎用システムを本明細書における教示によるプログラムと共に同じく使用することができ、あるいはより専用化された装置を構築して、要求される方法ステップおよびシステムに関連するアクションを行うことが好都合であることを証明することができる。様々なこれらのシステムのために要求される構造は、等価変形形態と共に当業者には明らかであろう。さらに、本開示は、何らかの特定のプログラミング言語を参照して説明されていない。様々なプログラミング言語を使用して、本明細書において説明されている本開示の教示を実現することができ、また、特定の言語に対する何らかの参照は、実施可能にすることの開示、および本開示の最良モードのために提供されていることが認識される。
【0091】
以上、基板上の流動的対象を自動的にマッピングする機構、方法およびシステムについて、とりわけこれらの例証された実施形態を参照して詳細に説明した。しかしながら上記明細書において説明した本開示の精神および範囲内で様々な修正および変更を加えることができ、また、このような修正および変更は、本開示の等価物および一部と見なすべきであることは明らかであろう。本開示の範囲は、以下の特許請求の範囲によってのみ制限される。
【図1A】
【図1B】
【図2】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図8】
【図9】
【図10A】
【図10B】
【図11】
