IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ イーオーエスエス インテリゲンテ オプティシェ ゼンゾーレン ウントゥ ジステーメ ゲゼルシャフト ミット ベシュレンクテル ハフツンクの特許一覧

<>
  • 特許-物体の識別方法および物体識別装置 図1
  • 特許-物体の識別方法および物体識別装置 図2
  • 特許-物体の識別方法および物体識別装置 図3
  • 特許-物体の識別方法および物体識別装置 図4
  • 特許-物体の識別方法および物体識別装置 図5
  • 特許-物体の識別方法および物体識別装置 図6
  • 特許-物体の識別方法および物体識別装置 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-08
(45)【発行日】2023-05-16
(54)【発明の名称】物体の識別方法および物体識別装置
(51)【国際特許分類】
   G06T 7/00 20170101AFI20230509BHJP
【FI】
G06T7/00 300A
G06T7/00 610Z
【請求項の数】 12
(21)【出願番号】P 2021204080
(22)【出願日】2021-12-16
(62)【分割の表示】P 2019528907の分割
【原出願日】2016-12-09
(65)【公開番号】P2022031940
(43)【公開日】2022-02-22
【審査請求日】2021-12-16
(73)【特許権者】
【識別番号】508140589
【氏名又は名称】イーオーエスエス インテリゲンテ オプティシェ ゼンゾーレン ウントゥ ジステーメ ゲゼルシャフト ミット ベシュレンクテル ハフツンク
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(74)【代理人】
【識別番号】100142907
【弁理士】
【氏名又は名称】本田 淳
(72)【発明者】
【氏名】ゲスラー、ヨアヒム
(72)【発明者】
【氏名】リヒター、ハラルド
(72)【発明者】
【氏名】コンツ、クリスティアン
【審査官】佐藤 実
(56)【参考文献】
【文献】国際公開第2014/167723(WO,A1)
【文献】特開2008-023017(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
(57)【特許請求の範囲】
【請求項1】
複数の物体、特に複数の基板、特に複数のウェーハを識別する方法であって、
少なくとも1つの優先順位付けステップ(18)において異なる複数の識別ストラテジ(14、16)を含む識別ストラテジ(14、16)の優先順位リスト(12)を前記複数の識別ストラテジ(14、16)の優先順位値に基づいて生成する優先順位付けプロセス(10)であって、
前記複数の識別ストラテジ(14、16)はそれぞれ、少なくとも1つの画像撮像パラメータ(42、44)を特徴とする少なくとも1つの画像撮像レシピ(38、40)を含み、前記画像撮像レシピ(38、40)は、前記物体の画像(22)を撮像するためのいくつかの可能なプロシージャのうちの1つのプロシージャを定義し、
前記優先順位付けプロセス(10)は、
前記優先順位付けステップ(18)において以前に実行された識別プロセス(20)の複数の物体識別の複数の結果に応じて前記複数の識別ストラテジ(14,16に優先順位値を割り当て、ここでは、以前に成功した複数の識別ストラテジ(14、16)には、他の複数の識別ストラテジ(14、16)よりも高い優先順位値が割り当てられており
記優先順位リスト(12)に前記複数の識別ストラテジ(14,16)を入力した場合に前記少なくとも1つの識別ストラテジ(14,16)と同様の他の複数の識別ストラテジ(14,16)の優先順位値を他の優先順位値と比較して上げるか又は下げ、ここでは、前記優先順位付けプロセス(10)は、前記優先順位リスト(12)に入力された前記識別ストラテジ(14)の前記画像撮像レシピ(38)と同様の照明レベル及び/又は同じ照明チャネル及び/又は同様の及び/又は同じ照明モードを有する複数の画像撮像レシピの優先順位値を低下させる、前記優先順位付けプロセス(10)と、
優先順位リストの少なくとも1つの最も高い優先順位の識別ストラテジ(14)に従って、少なくとも1つの画像撮像ステップ(26)において少なくとも1つの物体(24)の少なくとも1つの画像(22)を撮像し、前記優先順位リスト(12)の最も高い優先順位の識別ストラテジ(14)に従って、少なくとも1つの画像処理ステップ(28)において前記画像(22)を処理する識別プロセス(20)と、を備え
前記優先順位付けプロセス(10)は、前記識別プロセス(20)よりも前に実行される、方法。
【請求項2】
前記識別プロセス(20)は、前記優先順位リスト(12)の逐次処理を含む、請求項1に記載の方法。
【請求項3】
前記少なくとも1つの識別ストラテジ(14、16)は、
少なくとも1つの画像処理パラメータ(34、36)を特徴とする少なくとも1つの画像処理アプローチ(30、32)を含む、請求項1または2に記載の方法。
【請求項4】
前記優先順位付けプロセス(10)は、最初に、少なくとも1つの以前に成功した識別ストラテジを前記優先順位リスト(12)に追加する、請求項1~のいずれか1項に記載の方法。
【請求項5】
前記優先順位付けプロセス(10)は、動作モードに応じて、前記少なくとも1つの識別ストラテジ(14)の優先順位値を調整する、請求項1~のいずれか1項に記載の方法。
【請求項6】
前記少なくとも1つの識別ストラテジ(14)に少なくとも1つの品質値を割り当てる評価プロセス(43)をさらに備える請求項1~のいずれか1項に記載の方法。
【請求項7】
前記評価プロセス(43)は、
初期品質値を、少なくとも1つの識別ストラテジ(14)に割り当てる少なくとも1つの初期ティーチインステップ(45)を含む、請求項に記載の方法。
【請求項8】
前記評価プロセス(43)は、
画像処理結果の品質に応じて、前記少なくとも1つの識別ストラテジ(14)の品質値を更新する更新ステップ(46)を含む、請求項またはに記載の方法。
【請求項9】
前記評価プロセス(43)は、
前記更新ステップ(46)において、前記画像処理ステップ(28)の未完了の状態における前記画像処理の品質に応じて、前記少なくとも1つの識別ストラテジ(14)の品質値を更新する、請求項に記載の方法。
【請求項10】
前記画像処理ステップ(28)は、
並列に実行される少なくとも2つの画像処理サブステップ(48、50、52)を含む、請求項1~のいずれか1項に記載の方法。
【請求項11】
請求項1~10のいずれか1項に記載の方法を実行するための物体識別装置(54)、特に基板識別装置、特にウェーハ識別装置であって、
複数の識別ストラテジ(14、16)の優先順位リスト(12)の少なくとも1つの最も高い優先順位の識別ストラテジ(14)に従って、少なくとも1つの物体(24)の少なくとも1つの画像(22)を撮像するように構成された画像撮像部(56)と、
前記優先順位リスト(12)を生成するように構成された制御部(58)と、を備え、
前記優先順位リスト(12)は、少なくとも1つの識別ストラテジ(14、16)を含み、前記制御部(58)は、前記優先順位リスト(12)の最も高い優先順位の識別ストラテジ(14)に従って、前記画像(22)を処理するように構成される、物体識別装置(54)。
【請求項12】
請求項11に記載の物体識別装置と、前記物体と、を備えるシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体、特に基板、特にウェーハを識別する方法、および物体識別装置、特に基板識別装置、特にウェーハ識別装置に関する。
【背景技術】
【0002】
ウェーハを光学的に検査する装置および方法は、例えば特許文献1から知られている。この文献の方法によれば、第1のステップにおいて、異なる光源構成を用いてウェーハのいくつかの画像が撮像される。これらの画像は、どの光源構成が明視野または暗視野状況に対応するかを定義するために、平均輝度に関して分析される。続いて、いくつかの明視野および暗視野の画像が撮像されて記憶される。これらの記憶された画像は、ウェーハを識別するために分析される。
【0003】
さらに、特許文献2から、いくつかの画像を処理する前にそれら画像を撮像するマーク読み取り装置(mark reader)が知られており、いくつかの画像は、それら画像を撮像した後に特定の特徴属性に関して分析される。これらの特徴属性は、複数の画像の復号化が成功する可能性の指標として使用される。複数の画像の特徴属性の分析に基づいて、以前に撮像された複数の画像を含む優先画像リストが生成される。これらの画像は次に、マークの読み取りが成功するまで次々に処理される。
また、特許文献3は、検査対象部品の個体差を考慮して検査時間を低減可能な基板外観検査装置を開示している。基板外観検査装置は、基板に実装された部品の実装状態を検査するために設けられる。
【先行技術文献】
【特許文献】
【0004】
【文献】独国特許出願公開第10 2005 061 834号明細書
【文献】独国特許出願公開第10 2011 056 660号明細書
【文献】国際公開第2014/167723号
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の目的は、特に、時間効率に関する有利な特性を達成することである。本発明の他の目的は、特に、物体、特にウェーハを識別するための適切な識別ストラテジの迅速かつ/または効率的な選択を達成することである。本発明のさらなる目的は、特に、有利には効率的および/または信頼できる自己学習を可能にする包括的な方法および/または装置を提供することである。この目的は、請求項1および12の特徴によって本発明に従って達成されるが、本発明の有利な実施形態およびさらなる発展形態は、従属請求項から推測され得る。
【課題を解決するための手段】
【0006】
本発明は、複数の物体、特に複数の基板、特に複数のウェーハを識別する方法は、少なくとも1つの優先順位付けステップにおける少なくとも1つの識別ストラテジを含む複数の識別ストラテジの優先順位リストを作成する優先順位付けプロセスと、優先順位リストの少なくとも1つの最も高い優先順位の識別ストラテジに従って少なくとも1つの画像撮像ステップにおいて少なくとも1つの画像を撮像し、前記優先順位リストの最も高い優先順位の識別ストラテジに従って少なくとも1つの画像処理ステップにおいて画像を処理する識別プロセスと、を備える。
【0007】
本発明により、高度の時間効率を達成することができる。さらに、物体を識別するための適切なストラテジが、効率的に識別および/または適用され得る。有利には、製造工程で実施するための効率的な物体識別が提供され得る。特に、異なるラベルおよび/またはマークを有するウェーハが、具体的には製造プロセスにおいて、迅速かつ/または確実に識別および/またはトレース(traced)および/または追跡され得る。さらに、複数の照明条件と複数の分析アプローチとの組み合わせは、予想される成功の機会によって正確に分類され得る。有利には、自己学習的な方法および/または装置は、特に意図的および/または対象化されたおよび/または効率的な手法で提供され得る。さらに、特に画像の事前評価を必要とせずに、複数の画像の並列分析が有利に可能になる。
【0008】
特に、この方法は、物体を識別するように構成されている。特に、物体は、具体的には完成品または未完成品、一次製品、ブランク(blank)、部品、装置などであり得る。物体は、少なくとも1つのマークおよび/またはラベリング、例えば少なくとも1つのバーコード、少なくとも1つのQRコード、少なくとも1つの書かれたラベルおよび/または番号、1つの文字列、少なくとも1つの記号および/またはロゴグラム(logogram)および/または表音文字および/またはグラフェム(graphem)など、および/または少なくとも1つのデータマトリクスコードおよび/または他の好適な印刷および/または書込および/または刻印および/または任意のタイプの1Dまたは2Dコードを備えるおよび/または実装されることも考えられる。特に、この方法は、物体のマークおよび/またはラベルを識別する方法である。好ましくは、物体は、有利には平坦および/またはシート状および/または円盤状および/または板状の基板、特にウェーハ、さらに好ましくは半導体ウェーハ、例えばシリコンウェーハ、IIVI族化合物材料ウェーハまたはIIIV族化合物材料ウェーハ、特にガリウム砒素ウェーハである。明細書では、「構成された」は、具体的にプログラムされ、構成され、および/または装備されていることを特に意味する。物体が特定の機能のために構成されることによって、その物体は、少なくとも1つのアプリケーション状態および/または動作状態において特定の機能を実装および/または実施することが特に理解されるべきである。さらに、方法および/またはプロセスが特定の目的のために「構成」されていることによって、その方法および/またはプロセスは、少なくとも1つの方法ステップおよび/またはプロセスステップおよび/またはサブルーチンなどを含むことが特に理解されるべきであり、このことは、少なくとも1つのアプリケーション状態および/または動作状態において特定の目的を具体化および/または実現し、特に特定の目的を具体化および/または実現するために少なくとも部分的に最適化されている。さらに、方法ステップおよび/またはプロセスステップおよび/またはサブルーチンが特定の目的のために「構成」されていることによって、その方法ステップおよび/またはプロセスステップおよび/またはサブルーチンが少なくとも1つのアプリケーション状態および/または動作状態において前記目的を具体化および/または実現し、特に目的を具体化および/または実現するために少なくとも部分的に最適化されることを特に理解されたい。
【0009】
好ましくは、物体は、物体の少なくとも2つの異なる処理状態において、例えば、第1の処理ステップの前の状態で、特に製造ラインおよび/または製造プロセスを開始するときに、および少なくとも1つの処理ステップ、例えばエッチングステップ、堆積ステップ、および/またはマスキングステップなどの後の少なくとも1つの前処理されたまたは完了された状態で識別および/または識別可能である。
【0010】
特に、優先順位付けプロセスは、優先順位リストを作成するように構成される。特に、優先順位付けプロセスは、識別プロセスの前に実行される。好ましくは、優先順位付けプロセスは、識別プロセスが開始される前に優先順位付けリストの作成を完了する。しかしながら、優先順位リストが少なくとも1つのエントリを含むとすぐに識別プロセスが開始されることも考えられる。有利には、優先順位リストは、具体的にはいくつかの異なる識別ストラテジを含む。特に、優先順位リストは、物体への首尾よく適用される先験的な可能性(priori chance)の推定によって分類された異なる識別ストラテジを含む。有利には、優先順位リストは、少なくとも1つのデータ記憶部に記憶される。好ましくは、優先順位付けプロセスは、少なくとも部分的に自動化されているかまたは自動化されている。有利には、優先順位付けプロセスは、データベースから少なくとも1つの識別ストラテジを選択する。さらに有利には、データベースは、可能性のある複数の識別ストラテジ、特に全ての可能性のある識別ストラテジを含み、本明細書において「可能性のある」とは、特に使用されるハードウェアによる制約に基づくこれらの識別ストラテジの利用に関して可能であることを意味する。
【0011】
好ましくは、最も高い優先順位の識別ストラテジは、優先順位リストの最初のエントリである。さらに好ましくは、優先順位リストの第2のエントリは、2番目に高い優先順位の識別ストラテジなどである。特に、識別プロセスは、物体の識別が成功すると終了する。識別プロセスは、制限時間に達すると終了することも考えられ、制限時間は、好ましくはユーザによって事前設定および/または事前設定可能である。また、識別プロセスは、優先順位リストの最後に到達した時点で終了することが考えられる。この場合、物体は、最終的に識別されない可能性がある。しかしながら、好ましくは、識別プロセスは、優先順位の最後に到達したかまたは時間制限の後に開始され得る少なくとも1つの補助モードを含む。有利には、補助モードでは、具体的には優先順位リストには含まれていない追加の識別ストラテジが使用される。特に、物体の少なくとも1つの画像は、少なくとも1つの補助識別ストラテジに従って少なくとも1つの補助画像撮像ステップで撮像される。好ましくは、補助画像撮像ステップで撮像された画像は、補助識別ストラテジに従って少なくとも1つの補助画像処理ステップで処理される。特に、補助モードでは、異なる補助識別ストラテジが、特にランダムに選択される。例えば、異なる補助的識別ストラテジは、補助識別ストラテジの事前に定義されたリストから特にランダムに選択され、そのリストは、特にそれらの画像撮像レシピおよび/またはそれらの画像処理アプローチに関して著しく異なる識別ストラテジを含むことが好ましい。好ましくは、補助モードにおいて、ワイルドスキャンプロセス(wild scan process)は、ワイルドスキャンリスト(wild scan list)を作成する。さらに好ましくは、ワイルドスキャンリストは、好ましくは無作為に選択される補助画像撮像レシピのリストである。有利には、第1の画像が、ワイルドスキャンリストの最初のエントリの画像撮像レシピに従って撮像される。さらに有利には、少なくとも物体がうまく識別されない限り、少なくとも1つまたはいくつかまたは好ましくはすべての利用可能な画像処理アプローチがこの画像に適用される。好ましくは、この画像は、それぞれの画像処理ステップのサブステップに従って段階的に処理される。有利には、各サブステップの結果は別々に記憶され、その後の画像処理のための閾値を定義および/または生成するために使用される。後続の画像が対応する閾値よりも少なくとも1つの画像処理サブステップにおいてより良い結果をもたらす場合、この結果は、新しい閾値を定義および/または生成するために使用される。後続の画像が1つまたは複数のサブステップにおいて対応する閾値を下回る結果をもたらす場合、この画像処理は、未完了の状態で取り消されることがあり、このことは特に高い時間効率を可能にする。閾値がいくつかのサブステップ結果に基づいて生成されることも考えられる。ワイルドスキャンリストの最初のエントリに従って撮像された画像に基づいて物体を識別することができなかった場合、次の画像が撮像され、いくつかまたはすべての利用可能な画像処理アプローチなどを用いて処理される。補助モードは、ワイルドスキャンリストの最後に到達したとき、ユーザの要求に応じて、制限時間に達したとき、または異なる停止条件が発生したときに停止されてもよい。ワイルドスキャンリストを生成する代わりに、補助識別ストラテジがそのストラテジが適用される直前にランダムに選択されることも考えられる。有利には、画像は、少なくとも一時的に、特にデータ記憶装置に記憶される。特に、画像は、物体の少なくとも一部または物体全体の画像、好ましくは物体の表面の少なくとも一部または物体の表面全体の画像である。有利には、画像は、デジタル画像である。さらに有利には、画像処理ステップは、コンピュータによる処理ステップ(computational processing step)である。好ましくは、識別プロセス、特に画像撮像ステップおよび/または画像処理ステップは、少なくとも部分的に自動化または自動化されている。
【0012】
本発明の有利な実施形態では、識別プロセスが優先順位リストの逐次処理を含むことが提案されている。好ましくは、優先順位リストの複数のエントリは、順次におよび/または次々に、さらに好ましくは優先順位リストの最初のエントリから開始して処理される。特に、識別プロセスは、最も高い優先順位の識別ストラテジを最初に使用し、次に優先順位の高い識別ストラテジを2番目に使用するという具合である。前の画像処理ステップがまだ進行中の間に、対応する画像撮像ステップおよび/または対応する画像処理ステップにおいて次の識別ストラテジが使用されることが考えられる。特に、画像が最初に撮像され、続いて最も高い優先順位の識別ストラテジに従って処理される。2番目に高い優先順位の識別ストラテジによる次の画像は、画像に続いて、特に、最も高い優先順位の識別ストラテジに従って画像が処理されている間に撮影され得る。その結果、物体識別の成功の見込みがある有望な識別ストラテジが、これらの適用の前に、特に、複数の画像を撮像する間の画像処理のための待ち時間を排除しながら決定され得る。
【0013】
特に少なくとも1つの識別ストラテジが少なくとも1つの画像処理パラメータを特徴とする少なくとも1つの画像処理アプローチを含む場合、異なる物体、特に異なるマークを付けられたウェーハの識別に関する高い柔軟性を達成することができる。特に、画像処理アプローチは、物体のマークおよび/またはラベルの種類に基づいて物体を識別するように、および/またはマークおよび/またはラベルを識別するように構成される。好ましくは、画像処理アプローチは、少なくとも1つの処理パラメータによって、特にいくつかの処理パラメータによって定義される。複数の処理パラメータは、例えば、マークおよび/またはラベルの種類および/または物体の種類および/または物体の他の特徴および/またはそのマークおよび/またはラベルを参照する特定のソフトウェアアルゴリズムおよび/または特定のアルゴリズムの複数の入力パラメータを含んでもよい。有利には、画像処理アプローチは、マークおよび/またはラベルの種類、マークおよび/またはラベルおよび/または物体のサイズ、撮像された画像に適用され得る少なくとも1つのフィルタリング方法、物体のうちの関心のある領域および/または撮像された画像、特に画像の部分などに関する情報を含み得る。好ましくは、データベースは、いくつかの異なる画像処理手法、特にバーコードを識別するための少なくとも1つの画像処理アプローチ、光学式文字認識のための少なくとも1つの画像処理アプローチ、QRコード読み取りのための少なくとも1つの画像処理アプローチ、データマトリクスコード(data matrix code)の読み取りのための1つの画像処理アプローチ、1つ以上の異なる1Dコードのための画像処理アプローチ、1つ以上の2Dコードのための画像処理アプローチなどを含む。
【0014】
特に少なくとも1つの識別ストラテジが、少なくとも1つの画像撮像パラメータを特徴とする少なくとも1つの画像撮像レシピを含む場合、異なる画像処理アプローチに適した画像を撮像することができる。特に、画像撮像パラメータは、照明タイプおよび/または照明強度および/または照明色および/または画像を撮像する光学構成および/または画像を撮像する複数の光学要素の構成および/または使用するカメラの種類などであり得る。好ましくは、画像撮像レシピは、物体の画像を撮像するためのいくつかの可能なプロシージャのうちの1つのプロシージャを定義する。特に、少なくとも1つの画像撮像レシピが、各画像処理アプローチに割り当てられる。好ましくは、いくつかの画像撮像レシピが、各画像処理アプローチに割り当てられ、特に異なる画像処理アプローチが、同じ画像撮像レシピに関連付けられてもよい。
【0015】
有利には、各画像処理アプローチに対して、データベースは、複数の画像撮像レシピのうちの特に優先レシピリストを含む。特に、特定の画像処理アプローチの特定のレシピリストは、特定の画像処理アプローチを使用して潜在的に首尾よく処理することができる画像を撮像するための最良なおよび/または最も有望な画像撮像レシピを含む。
【0016】
特に、データベースは、2段階メモリ(two-staged memory)を提供するように構成されており、具体的には、画像処理アプローチおよび画像撮像レシピは、特に別々に記憶されている。好ましくは、複数の画像処理アプローチは、それらの成功に関する情報とともに二段メモリの第一段に格納される。有利なことに、以前に成功した複数の画像処理アプローチは、二段メモリの第一段に記憶される。さらに好ましくは、複数の画像撮像レシピは、特定の画像処理アプローチ、特に2段メモリの第1段からの画像処理アプローチと組み合わせて、それらの成功に関する情報と共に記憶される。有利には、関連する、特に以前に成功したおよび/または有望なおよび/または潜在的に適切な複数の画像撮像レシピに関して、記憶された画像処理アプローチごとに、2段メモリの第2段に記憶される。その結果、特定の画像処理アプローチを用いて処理されるのに適した画像を提供するための特定の撮像レシピの適合性に関する情報が、効率的に記憶および更新され得る。有利には、特定の識別ストラテジは、その画像処理手法およびその画像撮像レシピによって明確に定義される。さらに有利には、最大数の可能な識別ストラテジは、最大数の複数の画像処理アプローチと最大数の画像撮像レシピとの積として与えられる。
【0017】
本発明のさらなる実施形態では、優先順位付けプロセスは、少なくとも1つの以前に成功した識別ストラテジを優先順位リストの最初に追加することが提案される。特に、優先順位付けプロセスは、少なくとも部分的にラストベストストラテジ(last-best strategy)を実施するように構成される。好ましくは、優先順位付けプロセスは、他の画像撮像レシピおよび/または画像処理アプローチを追加する前に、以前に成功した画像撮像レシピおよび/または画像処理アプローチを優先順位リストに例えば、最後に成功した画像処理から追加する。優先順位付けプロセスは、先に成功したいくつかの識別ストラテジおよび/または画像撮像レシピおよび/または画像処理アプローチを最初に、特に最後に成功したいくつかの画像処理から、たとえば最後に成功したいくつかの画像処理のうちの最後の2つからまたは最後の3つからまたは最後の4つからまたは最後の5つからまたは最後の10個からまたは最後に成功した幾つかの画像処理のほぼ同数から、優先順位リストに追加するように構成することも考えられる。結果として、最も有望な識別ストラテジは、識別されるべき次の物体に最初に適用され得る。
【0018】
本発明の有利な実施形態では、優先順位付けプロセスは、優先順位付けステップにおいて少なくとも1つの優先順位値を少なくとも1つの識別ストラテジに割り当てることを提案する。特に、優先順位付けプロセスは、再帰的手法で優先順位リストを作成するように構成される。優先順位付けプロセスは、優先順位リストを作成する前に、すべての利用可能な画像撮像レシピに同じ優先順位値を割り当てることが好ましい。上述のように、特に優先順位リストを作成する前に、以前に成功した識別ストラテジに他の識別ストラテジよりも高い優先順位値を割り当てることも考えられる。さらに、利用可能な識別ストラテジおよび/または利用可能な画像撮像レシピおよび/または利用可能な画像処理手法には、少なくとも1つの品質値が割り当てられる。有利には、いくつかの画像撮像レシピが、画像処理アプローチ、特に各画像処理アプローチに割り当てられ、例えば、画像撮像レシピを用いて撮像された画像に対して画像処理アプローチを使用する場合の画像処理の成功の可能性および/または適合性を示す品質値を割り当てる。さらに好ましくは、優先順位付けプロセスは、利用可能な識別ストラテジ、特に利用可能な画像撮像アプローチおよび/または利用可能な画像処理アプローチで解析し、最も高い優先順位値を有する識別ストラテジ、最も高い品質値を有する識別ストラテジ、または好ましくは第1のステップ、特に第1のサブステップにおける品質値と優先順位値との最高の、特に最も高い値の組み合わせ、好ましくは最も高い値の積を有する識別ストラテジを選択する。好ましくは、次のサブステップにおいて、優先順位付けプロセスは、最も高い優先順位の識別ストラテジの画像撮像レシピの優先順位値を下げる。さらに好ましくは、次のサブステップにおいて、優先順位付けプロセスは、最も高い優先順位の識別ストラテジの画像処理アプローチの優先順位値を下げ、画像処理アプローチは、一時的に除外されることさえあり得るので、優先順位リストは、同じ識別ストラテジを2回含まないことが有利となる。優先順位付けプロセスは、特にこの再帰的処理に基づいて優先順位リストを作成するように構成される。有利には、この再帰的処理は、画像処理アプローチが利用できなくなるまで続けられ、その後、優先順位付けプロセスは、好ましくは次のサブステップでそれらを使用するためにすべての画像処理アプローチに同じ優先順位値を、好ましくはまだ利用可能な画像撮像レシピとの組み合わせで割り当てる。有利には、優先順位付けプロセスは、残りの識別ストラテジの低い、好ましくはネガティブな優先順位値のために識別ストラテジがもはや利用できなくなるまで再帰的アプローチに従うように構成される。その結果、効率的な順序で複数の識別アプローチを実行することを可能にする効率的な方法で特に完全なリストを生成することができる。
【0019】
本発明の好ましい実施形態では、優先順位付けプロセスは、特に他の優先順位値と比較して、少なくとも1つの識別ストラテジと同様の他の識別ストラテジの優先順位値を修正し、具体的には下げるかまたは上げることが、特にリストに少なくとも1つの識別ストラテジを入力したときに、提案されている。例えば、優先順位付けプロセスは、特に、少なくとも1つの識別ストラテジの画像撮像レシピと同様の画像撮像レシピの優先順位値を下げるように構成されてもよい。その結果、比較的短い優先順位リストが提供されて有利には迅速な処理を可能にする。
【0020】
特に優先順位付けプロセスが、特に他の品質値と比較して、動作モードに応じて少なくとも1つの識別ストラテジの優先順位値を調整する場合、異なるタスクに対する高い柔軟性および/または高い調整可能性を達成することができる。有利には、動作モードは、ユーザによって選択可能である。例えば、画像処理アプローチが識別の高い成功可能性を有する場合、例えば類似の物体のバッチ(batch)、例えばある製造業者のウェーハのバッチが連続して処理される場合、優先順位付けプロセスは、特定の画像処理アプローチ、特に異なる画像撮像レシピを用いて識別ストラテジに高い優先順位値を割り当てることができる。好ましくは、優先順位付けプロセスは、少なくとも1つのバッチモードで互いに数回連続して同じ画像処理アプローチで複数の識別ストラテジを開始するように構成される。代替的に又は付加的に、優先順位付けプロセスは、特に変更するタイプの複数の物体に迅速に反応することを可能にするために、連続して選択可能な回数だけ同じ画像処理アプローチで識別ストラテジを使用するように構成され得る。好ましくは、例えば1つのタイプのラベルおよび/またはマークについて、特定の画像処理アプローチおよび/または特定のサブカテゴリの画像処理アプローチによる識別ストラテジの優先順位付けに関する持続性(persistence)、および/または特定の画像撮像レシピおよび/または画像撮像レシピの特定のサブカテゴリ、例えば同じ照明構成および/または照明色および/または照明強度を有する画像撮像レシピによる識別ストラテジの優先順位付けに関する持続性は、ユーザによって選択可能であり得る、および/またはユーザによって選択された動作モードに基づいて選択され得る。
【0021】
特に、方法が少なくとも1つの品質値を少なくとも1つの識別ストラテジに割り当てるための評価プロセスを含む場合、変更条件に従って反応する高い柔軟性および/または能力が達成され得る。評価プロセスは、少なくとも1つの識別ストラテジの画像処理アプローチに少なくとも1つのアプローチの品質値を割り当てることが考えられる。評価プロセスが、少なくとも1つの識別ストラテジの画像撮像レシピに少なくとも1つのレシピの品質値を割り当てることがさらに考えられる。
【0022】
特に評価プロセスが初期品質値を少なくとも1つの識別ストラテジに割り当てるための少なくとも1つの初期ティーチインステップ(initial teach-in step)を含む場合、新しいタイプの物体および/またはラベルおよび/またはマークの識別に関する高い効率を達成することができる。好ましくは、ティーチインステップは、教示された物体(taught-in object)に対して識別ストラテジをテストすることを介していくつかの識別ストラテジの品質を決定するように構成され、有利には構成される。特に、評価プロセスは、少なくとも1つの画像撮像レシピおよび/または少なくとも1つの画像処理アプローチに、好ましくはティーチインの間および/または後に品質値を割り当てるように構成される。
【0023】
特に評価プロセスが、画像処理結果の成功の程度に応じて少なくとも1つの識別ストラテジの品質値を更新するための更新ステップを含む場合、信頼性のあるおよび/または成功した方法で自己学習する方法を提供することができる。特に、画像処理結果は、成功した物体識別、失敗した物体識別、または部分的に成功した物体識別であり得る。部分的に成功した物体識別は、例えば少なくとも1つまたはいくつかの成功した識別された特徴を含むことができ、少なくとも1つまたはいくつかの他の特徴は、識別できない、および/または部分的に識別できない、および/またはコードおよび/またはマークおよび/またはラベルを読み取りできない。代替的に又は付加的に、特定の識別ストラテジの優先順位値は、ティーチイン及び/又は処理結果に基づいて設定及び/又は調整されることが考えられる。好ましくは、品質値と初期品質値は、別々に記憶される。もちろん、初期品質値が上書きされ、恒久的な品質値として別々に格納されないことも考えられる。さらに、更新された品質値は、初期品質値との差分として、例えば恒久的な品質値に対する増減として記憶されることが考えられる。
【0024】
有利には、品質値および/または初期品質値は、画像処理が成功した後および/または物体が最終的には識別できなかった後に、特に物体を識別しようとするさらなる試みが行われない時点で、特に優先順位リストの少なくとも一部を処理した後および/または少なくとも1つの補助識別ストラテジを適用した後に、識別ストラテジに割り当てられ、特に画像撮像レシピおよび/または画像処理アプローチに割り当てられる。特に、画像撮像レシピおよび/または画像処理アプローチの品質値が、特に画像撮像レシピおよび/または画像処理アプローチは、特に物体のマークおよび/またはラベルの種類に基づいて、成功すると予想されていた可能性がある場合に、特に他の画像撮像レシピおよび/または他の画像処理アプローチと比較して、修正され、特に上げられるかまたは下げられる。例えば、正しい種類のラベルおよび/またはマークのための画像処理アプローチが使用されたとしても、首尾よく処理されることができなかった画像をもたらす画像撮像レシピは、低い品質値を割り当てられてもよい。追加的または代替的に、同じ種類のマークおよび/またはラベルを識別するのに適した別の画像処理アプローチをうまく適用することができる一方で、画像処理アプローチの品質値が、画像処理に成功しなかった場合に相対的に低くなり得る。
【0025】
特に更新ステップにおいて、評価プロセスが画像処理の品質値に応じて少なくとも1つの識別ストラテジの品質値を更新して画像処理ステップが未完了の状態になる場合、高度な時間効率を達成することができる。特に、画像処理ステップは、少なくとも2つ、有利にはいくつかの画像処理サブステップを含み得る。好ましくは、評価プロセスは、少なくとも1つの画像処理サブステップの品質値および/または結果に基づいて、少なくとも1つの識別ストラテジの品質値を更新するように構成される。例えば、画像処理ステップは、最初に発生した失敗した画像処理サブステップで終了することがある。さらに、評価プロセスは、失敗した画像処理サブステップに使用された識別ストラテジの品質値および/または優先順位値、特に画像処理サブステップが失敗したことを検出した際の識別ストラテジの画像撮像レシピおよび/または画像処理アプローチの品質値および/または優先順位値を下げることが考えられる。
【0026】
特に少なくとも2つの画像処理サブステップ、特に異なる画像処理ステップの少なくとも2つの画像処理サブステップ、特に少なくとも2つの別個のプロセッサおよび/または少なくとも2つの別個のタスクおよび/またはスレッドによって、並行して実行される場合、高いスループットを達成することができる。好ましくは、1つの画像処理ステップのすべての画像処理サブステップは、対応する画像処理ステップの1つの失敗した画像処理サブステップを検出すると終了する。有利には、1つの画像の画像処理サブステップは連続的に実行され、一方、異なる画像の画像処理サブステップは並行して実行される。他の種類の並列処理も考えられる。例えば、異なる画像の異なる画像処理ステップおよび/または異なる画像処理アプローチの使用は、少なくとも一時的に並列に、好ましくは並列のプロセッサによって実行されてもよい。さらに、画像処理ステップおよび/または画像処理サブステップが、特に未完了の状態で、ある論理プロセッサおよび/または物理プロセッサから別のプロセッサに向けられることも考えられ、これにより、全体の処理速度の最適化が可能になる。
【0027】
本発明はさらに、物体を識別する方法を実行する物体識別装置、特に基板識別装置、特にウェーハ識別装置に関し、複数の識別ストラテジの優先順位リストの少なくとも1つの最も高い優先順位の識別ストラテジに従って少なくとも1つの物体の少なくとも1つの画像を撮像するように構成された画像撮像部と、優先順位リストを作成するように構成された制御部と、を備え、優先順位リストは、少なくとも1つの識別ストラテジを含み、制御部は、優先順位リストの最も高い優先順位の識別ストラテジに従って画像を処理するように構成される。
【0028】
本発明により、高度の時間効率を達成することができる。さらに、物体を識別するための適切なストラテジを効率的に特定および/または適用することができる。有利には、製造工程で実施するための効率的な物体識別を提供することができる。特に異なるラベルおよび/またはマークを有するウェーハを、特に製造工程において、高速かつ/または確実に識別および/またはトレースおよび/または追跡することができる。さらに、照明条件と分析アプローチとの組み合わせは、予想される成功の機会によって正確に分類され得る。有利には、自己学習的な方法および/または装置を、特に意図的および/または対象とされたおよび/または効率的な方法で提供することができる。さらに、特に画像の事前評価を必要とせずに、画像の並列分析が有利に可能になる。
【0029】
特に、物体識別装置は、ユーザが物体識別装置の動作のための少なくとも1つの動作パラメータを入力することを可能にするように構成された少なくとも1つのユーザインターフェースを含む。例えば、ユーザインタフェースは、優先順位付けプロセスの動作モードおよび/または優先順位付けモードおよび/または撮像ユニットの撮像モードなどをユーザが選択することを可能にするように構成される。
【0030】
特に、撮像ユニットは、画像を撮像するステップを実行するように構成されている。有利には、画像撮像部は、制御部と共に識別プロセスを実行する。好ましくは、画像撮像部は、少なくとも1つのデジタルカメラおよび/または少なくとも1つの画像センサおよび/または少なくとも1つの光学素子、特に少なくとも1つのレンズおよび/または少なくとも1つのミラーおよび/または半透明のミラーを含む。画像撮像部は、物体、特にウェーハ用の製造ラインおよび/または輸送バンドアセンブリ(transport band assembly)に一体化されることが考えられる。追加的または代替的に、制御部は、画像撮像部から間隔を空けて配置され、かつ/または画像撮像部に通信可能に接続されていると考えられる。特に、画像撮像部は、画像撮像レシピに従って、好ましくは任意の可能な画像撮像レシピに従って、物体の画像を撮像するように構成される。有利には、画像撮像装置の調整は、全ての可能な画像撮像レシピを定義することができる。
【0031】
特に、制御部は、優先順位付けプロセスおよび/または評価プロセスを実行するように構成される。代替的にまたは好ましくはさらに、制御部は、画像処理ステップを実行するように構成される。好ましくは、制御部は、画像撮像部とともに識別処理を行うように構成されている。特に、制御部は、少なくとも1つ、好ましくはいくつかのプロセッサおよび/またはデータベースおよび/または少なくとも1つのデータストレージユニットおよび/または少なくとも1つの永続メモリ(permanent memory)および/または少なくとも1つの作業メモリを含む。有利には、制御部は、異なる画像処理サブステップを制御ユニットの異なるプロセッサおよび/または異なる論理プロセッサに分配するように構成された少なくとも1つのコントローラを含む。さらに有利には、コントローラは、識別が失敗した場合、例えば少なくとも1つの失敗した画像処理サブステップによって示される識別が失敗した場合に、すべての画像処理サブステップを終了するように構成される。
【0032】
制御部および/または撮像部および/またはユーザインタフェースの一部または全部が一体的に具体化されることが考えられる。例えば、制御部および/または画像撮像部および/またはユーザインターフェースは、少なくとも1つの回路基板および/または少なくとも1つのハウジングおよび/または少なくとも1つの電子回路および/または少なくとも1つのプロセッサおよび/または少なくとも1つの機械的要素などを共有し得る。
【0033】
さらに、物体識別装置および物体を含むシステムは、物体の高い信頼性および/または迅速な認識および/または識別を可能にする。
ここで、本発明による物体を識別する方法および物体識別装置は、上述した用途および実施に限定されるものではない。特に、本明細書に記載された機能を満たす目的で、本発明による物体を識別する方法および物体識別装置は、言及された数とは異なるいくつかの対応する要素、構造部品、ユニット、および/またはステップを含み得る。さらに、本開示において言及された値の範囲に関して、言及された範囲内の値は、開示され且つ適用可能であるとして使用されると理解されるべきである。
【0034】
さらなる利点は、図面の以下の説明から明らかになるであろう。図面には、本発明の例示的な実施形態が示されている。図面、明細書、および特許請求の範囲は、組み合わせられた複数の特徴を含む。当業者であれば、意図的にこれらの特徴を別々に検討し、さらに好都合な組み合わせを見出すであろう。
【0035】
特定の物体の代表例が複数ある場合、これらのうちの1つのみに図面および明細書で参照番号が付されている。この代表例の記述は、それに対応して物体の他の代表例に反映されることがある。
【図面の簡単な説明】
【0036】
図1】物体識別装置の概略側面図。
図2】物体識別装置の概略正面図。
図3】物体を識別するための方法の概略フローチャート。
図4】物体を識別するための方法の識別処理の概略フローチャート。
図5】物体を識別するための方法の識別ストラテジの優先順位リストの概略図。
図6】物体を識別するための方法の画像処理アプローチの概略図。
図7】物体を識別するための方法のティーチインの概略フローチャート。
【発明を実施するための形態】
【0037】
図1は、物体識別装置54を概略側面図で示す。図2は、物体識別装置を概略正面図で示す。示された事例では、物体識別装置54は、ウェーハ識別装置として具体化されている。さらに、図1および図2では、物体識別装置54と物体24とを含むシステムが示されている。示された事例では、物体24は、ウェーハ(wafer)、特にシリコンウェーハとして具体化されている。物体識別装置54は、複数のウェーハを処理するように構成された製造ラインに組み込まれている。
【0038】
物体識別装置54は、物体24の少なくとも1つの画像22を撮像するように構成された画像撮像部56を含む。示された事例では、画像は、撮像部56の光学構成60によって画定された物体24の一部の画像である。光学構成は、フィールドレンズ(field lens)62を含む。画像撮像部56は、カメラ部64を備える。カメラ部64は、少なくとも1つのイメージセンサ(image sensor)66を含む。さらに、画像撮像部56は、照明部68を備える。照明部68は、図1および図2に概略的にのみ示されているいくつかの光源70、72、74、86、88、90、92を含む。示された事例では、光源70、72、74、86、88、90、92は、LED光源として具体されている。さらに、照明は、少なくとも1つの外部光源94を用いて行われてもよい。明確にするために、いくつかの光源70、72、86、88、90、92は、図2には示されていない。照明部68が少なくとも1つの光源アレイ(light source array)を含むことが考えられる。特に、照明部68は、例えば少なくとも1つの光源のアレイのサイズに応じて、図面に示されているよりも多くの光源を含むことができる。照明部68は、物体24に対して異なる照明条件を生成するように構成されている。示された事例では、照明部68は、180種類の異なる照明強度を提供するように構成されており、そ照明強度は、特に約4桁に及ぶ。もちろん、他の値、例えばより大きな数のおよび/またはより広い範囲の照明強度も考えられる。さらに、照明部68は、異なる照明モードで、例えば、特に光源70、72、74、86、88、90、92、94の照明パターンによって定義される、(例えば中央光源72を用いた)明視野モード、暗視野焦点モード、(例えば光源88、90を用いた)暗視野内列モード、(例えば光源86、92を用いた)暗視野外列モード、(例えば光源86、88、90、92を用いた)暗視野全列モードまたは(例えば外部光源94を用いた)外部光源モードで、物体24を照明するように構成されている。具体的には、照明部68は、6つの異なる照明モードを提供するように構成されており、もちろん、これよりも多い数または少ない数の可能な照明モードが考えられる。さらに、照明部68は、3つの異なる色、特に赤、緑および青を使用して物体を照明するように構成されている。もちろん、他の色および/または混色も考えられる。全体として、照明部68は、3240個の異なる構成で物体24を照明するように構成されている。示された事例では、各構成は、1つの画像撮像レシピ(image capturing recipe)を実行する。特定の画像撮像レシピは、カメラ部64の動作モードおよび/または少なくとも1つの撮像パラメータによってさらに定義されることも考えられる。
【0039】
物体識別装置54は、制御部58を備える。制御部58は、画像撮像部56と通信可能に接続されている。制御部58は、照明部68を制御するように構成されている。制御部58は、カメラ部64を制御するように構成されている。制御部58は、データ、特に複数の画像を記憶するためのデータストレージユニットを含む。
【0040】
示された事例では、物体24は、マーク76で特徴付けられている。マーク76は、バーコードとして具体化される。製造ラインでは、異なる製造業者の複数のウェーハおよび/または異なるマークおよび/またはラベルを有する複数のウェーハは、特に複数のウェーハの第1の処理ステップの前および複数のウェーハの異なる処理ステップの後に、物体識別装置54を使用して処理および識別される。物体識別装置54は、セミコード・バーコード(semi-code bar codes)、IBMコード・バーコード、データマトリクスコード(data matrix code)、QRコード、1Dコード、2Dコード、ならびに書かれたおよび/または印刷された異なるラベル、文字列、数字、記号、ロゴグラム、表音文字、グラフェム(graphem)などを含み示される場合、異なるマークまたはラベルに基づいて複数の物体を識別するように構成されている。
【0041】
物体識別装置54は、複数の物体、特に物体24を識別する方法を実行するように構成されている。図3は、複数の物体を識別するための方法の概略フローチャートを示す。示されている場合には、この方法は、複数のウェーハを識別するための方法である。この方法は、少なくとも1つの優先順位付けステップ18において少なくとも1つの識別ストラテジ(identification strategies)14、16を含む識別ストラテジ14、16の優先順位リスト12を生成する優先順位付けプロセス10を含む。優先順位リスト12は、図5の概略図に示されている。この方法は、優先順位リスト12の少なくとも1つの最も高い優先順位の識別ストラテジ14に従って、少なくとも1つの画像撮像ステップ26において物体24の少なくとも1つの画像22を撮像する識別プロセス20をさらに含む。さらに、識別プロセスは、優先順位リストの最も高い優先順位の識別ストラテジ14に従って、少なくとも1つの画像処理ステップ28で画像22を処理するように構成される。識別プロセス20の概略フローチャートは、図4に示されている。
【0042】
画像撮像部56は、優先順位リスト12の最も高い優先順位の識別ストラテジ14に従って、物体24の画像22を撮像するように構成される。さらに、画像撮像部56は、画像22を制御部58に送信するように構成されている。制御部58は、優先順位リスト12を生成するように構成されている。特に、制御部58は、優先順位付けプロセス10を実行するように構成されている。さらに、制御部58は、最も高い優先順位の識別ストラテジ14に従って、画像22を処理するように構成される。特に、制御部58は、画像処理ステップ28を実行するように構成されている。撮像部56と制御部58は、ともに識別プロセス20を実行している。
【0043】
識別プロセス20は、物体24を識別するように構成されている。識別が成功した場合、物体24が認識される。制御部58は、画像22の識別結果の成功を判定するように構成される。
【0044】
優先順位リスト12の最初のエントリ(entry)は、最も高い優先順位の識別ストラテジ14、すなわち最優先識別ストラテジ14である。示された事例では、このリストは、いくつかの異なる識別ストラテジ14、16を含み、明確にするためにそのうちの2つのみに参照番号が割り当てられている。識別ストラテジ14、16は、対応する少なくとも1つの画像処理パラメータ34、36を特徴とする1つの画像処理アプローチ(image processing approach)30、32を含む。明確にするために、画像処理パラメータ34、36は、1つの処理アプローチ30のみについて図5において単に例示的に示されている。画像処理パラメータ34、36は、画像処理アプローチ30を定義する。画像処理パラメータ34、36は、画像処理ステップ28において適用されるべき復号化方法および/またはコードの種類および/または特徴認識および/または画像22のフィルタリングなどに関する情報を含む。制御部58は、いくつかの異なる可能な画像処理アプローチ30、32を提供しており、そのうちの2つのみが図5に示されている。
【0045】
識別ストラテジ14、16は、少なくとも1つの画像撮像パラメータ42、44を特徴とする1つの画像撮像レシピ38、40をそれぞれ含む。明確にするために、画像撮像パラメータ42、44は、1つの画像撮像レシピ38のみについて図5において単に例示的に示されている。画像撮像パラメータ42、44は、画像撮像レシピ38を定義する。画像撮像パラメータ42、44は、照明強度、照明モード、照明色に関する情報を含む。上述のように、示された事例では、照明部68は、全部で3420種類の異なる画像撮像レシピ38、40を提供する。
【0046】
識別プロセス20は、優先順位リスト12の逐次処理(sequential processing)を含む。示された事例では、第1の画像22は、最も高い優先順位の識別ストラテジ14を使用して撮像される。特に、画像22は、識別ストラテジ14の画像撮像レシピ38を用いて撮像される。その後、画像22は、識別ストラテジ14に従って処理される。特に、画像22は、識別ストラテジ14の画像処理アプローチ30を用いて処理される。物体24を識別できなかった場合、および/または制限時間に達しなかった場合、および/または他の停止条件が存在しなかった場合、次の画像は、2番目に高い優先順位の識別ストラテジ16に従って示されているケースでは、優先順位リスト12の2番目のエントリに従って撮像される。
【0047】
画像処理ステップ28は、少なくとも2つの画像処理サブステップ48、50、52を含む。図4では、3つの画像処理サブステップ48、50、52が例示的に示されているが、画像処理ステップ28は、実際にはより多数のサブステップを含むことができ、そのいくつかは並行しておよび/またはその後に実行または実行可能であり得る。制御部58は、いくつかのプロセッサと、画像処理サブステップ48、50、52をそれらプロセッサに分配するためのコントローラと、を備える。複数のサブステップは、異なる論理プロセッサに分配されることも考えられる。さらに、制御部58が、単一のプロセッサを含むこと、および/または複数のサブステップが同じプロセッサによって個々のスレッドとして実行されることが考えられる。画像処理ステップ28は、画像22を並列処理するように構成されて、有利には高い処理量を可能にする。各画像処理サブステップ48、50、52は、画像22に対して実行されるときに少なくとも1つの評価番号(evaluation number)を決定する少なくとも1つの機能を含む。さらに、各画像処理サブステップ48、50、52は、少なくとも1つの出力パラメータを生成する。各プロセッサは、1つの画像処理サブステップ48、50、52を実行し、対応する評価番号をコントローラに送る。この評価番号に基づいて、コントローラは、次のプロセッサに次の画像処理サブステップ48、50、52を実行するようにトリガするか、または画像処理ステップ28全体を終了させる。未使用のプロセッサがある場合、コントローラは、他の画像の画像処理サブステップをそれらのプロセッサに送信する。したがって、異なる画像の画像処理サブステップ48、50、52が、並行して実行される。
【0048】
この並列処理は、以下の表に例示的に示されている。ここでは、Iiは、画像撮像ステップにおけるi番目の画像撮像であり、Pjiは、i番目の画像に対するj番目の画像処理サブステップである。T(i)は、i番目の画像の画像処理ステップの終了であり、S(i)は、i番目の画像を使用した物体識別が成功したことである。
【0049】
【表1】
表に示されたプロシージャ(procedure)は、純粋に例示的に理解されるべきである。複数のタスクが異なるプロセッサに異なるように分配されることが考えられる。例えば、ある画像に対する全画像処理は1つのプロセッサによって実行され、いくつかのサブステップは、並列のプロセッサによって実行され、および/またはタスクは、例えば、処理時間を最小にするためにおよび/または待ち時間などを減らすために、終了する前に少なくとも1つのプロセッサから少なくとも1つの他のプロセッサに向けられる。処理を高速化するために、1つのタスクに対して複数のプロセッサを並行して使用することも考えられる。優先順位付けプロセス10は、再帰的手法で優先順位リスト12を生成するように構成されている。
【0050】
優先順位付けプロセス10は、識別ストラテジ14、16の品質値および優先順位値に基づいて、優先順位リスト12を作成するように構成される。図6は、画像処理アプローチ30と画像撮像レシピ38、78、80の可能な組み合わせの概略図を示す。可能な識別ストラテジ14、16、特に可能な画像処理アプローチ30、32、および可能な画像撮像レシピ38、40、78、80が、データベースに格納される。制御部58は、データベースを備える。さらに、データベースは、特定の画像処理アプローチ30、32と共に使用されたときの特定の画像撮像レシピ38、40、78、80の適合性についての情報を含む。特に、異なる画像撮像レシピ38、40、78、80が、例えば、識別されるべきマークおよび/またはラベルの種類に応じて、異なる画像処理アプローチ30、32に適合していてもよい。
【0051】
特に、優先順位付けプロセス10は、新しい物体の各識別の前に実行される。優先順位リスト12の成功した識別ストラテジ14、16を使用して物体24が識別されると、または物体24が最終的に識別されないと、新しい優先順位リストが生成される。このことは、特に、成功した識別ストラテジ14、16が好ましくは使用され得る、および/または失敗した識別ストラテジ14、16が除外され得るか、または少なくともより低い優先順位で適用され得るので、方法の自己学習を可能にする。
【0052】
優先順位リスト12を作成する前に、優先順位付けプロセス10は、全ての利用可能な画像処理アプローチ30、32に同じ優先順位値を割り当てる。さらに、第1のステップにおいて、優先順位付けプロセス10は、品質値と優先順位値との積の最も高い組み合わせ、例えば最も高い積または最も高い和または他の組み合わせを有する識別ストラテジ14を、識別ストラテジ14の対応する画像処理アプローチ30と組み合わせて撮像する。この識別ストラテジ14は、最も高い優先順位の識別ストラテジ14として優先順位リスト12に入力される。次のステップにおいて、識別ストラテジ14の画像撮像レシピ38の優先順位および/または識別ストラテジ14の画像処理アプローチ30の優先順位値が下げられる。その後、最初のステップが繰り返され、次に2番目のステップが繰り返される。特に、画像処理アプローチ30は、優先順位リストに識別ストラテジ14を入力した後に、1つまたはいくつかの次のステップについて一時的に除外され得る。この場合、各画像処理アプローチ30、32は、さらなる画像処理アプローチが存在しなくなるまで一度だけ優先順位付きリストに入力されてもよい。その後、それらを再び利用可能にするために、全ての画像処理アプローチ30、32に同じ優先順位値を再び割り当ててもよい。このプロシージャは、画像撮像レシピ38、40、78、80が、ポジティブな優先順位値(positive priority value)で無くなるまで繰り返してもよい。
【0053】
しかしながら、特定の画像処理アプローチ30、32には、方法および/または物体識別装置54の動作モードに応じて、より高い優先順位値が割り当てられることも考えられる。たとえば、バッチモード(batch-mode)では、たとえば同じ種類のマークおよび/またはラベルを有するいくつかの物体、特にウェーハが連続して存在することが予想される場合には、その後、同じ画像処理アプローチで識別ストラテジを使用することが適切であり得る。有利なことに、この場合、優先順位付けプロセス10は、少なくとも1つの以前に成功した識別ストラテジを優先順位リスト12に最初に追加する。物体識別が成功すると、使用された識別ストラテジの優先順位値が上げられて、優先順位リスト12の後続の作成においてこの識別ストラテジが最初に使用される。
【0054】
優先順位リスト12を短縮して、優先順位リスト12を処理するための時間を短縮するために、特に識別ストラテジ14を優先順位リスト12に入力する際に、特に他の優先順位値と比較して、優先順位付けプロセス10は、識別ストラテジ14と同様の他の識別ストラテジの優先順位値を修正し、特に低くすることができる。例えば、優先順位付けプロセス10は、優先順位リスト12に入力された識別ストラテジ14の画像撮像レシピ38に対して、類似の照明レベルおよび/または同じ照明チャネルおよび/または類似のおよび/または同じ照明モードを有する画像撮像レシピの優先順位値を低く、特に比較的低くすることができる。優先順位付けプロセス10は、特に画像処理アプローチ30を一時的にまたは恒久的に除外するために、優先順位リスト12に入力された識別ストラテジ14の画像処理アプローチ30に割り当てられたすべての画像撮像レシピの優先順位値を下げるように構成されることも考えられる。
【0055】
前述のように、優先順位付けプロセス10は、動作モードに応じて特定の識別ストラテジ14、16の優先順位値を調整する。示された事例では、動作モードは、ユーザによって選択可能である。優先順位付けプロセス10の特定の種類の識別ストラテジ14、16を選択する際の持続性の程度(degree of persistence)が、動作モードに応じて、好ましくはそれらの画像処理アプローチ30、32に応じて調整される。その結果、異なる画像処理アプローチ32を適用する前に、同じ画像処理アプローチ30をいくつかの異なる画像撮像レシピ38、78、80と組み合わせて適用することができる。示された事例では、方法は、高い持続性を実現するバッチモード、特に調整可能な中程度の持続性を特徴とするアドバンストモード、または最後に成功した識別ストラテジが次の優先順位リストでは最も高い優先順位の識別ストラテジとして適用されるラストベストモードで実行されてもよい。さらに、示された事例では、アドバンストモードは、バッチモードとラストベストモードの組み合わせに基づいている。
【0056】
優先順位リスト12のすべての識別ストラテジ14、16が失敗した方法で物体24に適用された場合、または制限時間に達した場合、またはさらなる停止条件が存在する場合、補助モードに入ることができる。特に、補助モードに入るかどうかは、ユーザによって選択可能であり得る。あるいは、物体24は、最終的に識別されなくてもよい。補助モードでは、ワイルドスキャンプロセス(wild scan process)96が上述のように実行される。ワイルドスキャンプロセス96は、優先順位リスト12に含まれていない補助画像撮像レシピのワイルドスキャンリストを生成する。特に、異なる補助画像撮像レシピは、特にランダムに、画像撮像レシピの事前に定義されたリストから選択される。物体24の画像は、ワイルドスキャンリストからの補助画像撮像レシピに従って撮像される。この画像は、1つまたはいくつかの対応する画像処理ステップにおいて、少なくとも1つまたはいくつか、または好ましくはすべての利用可能な画像処理アプローチを使用して処理される。物体を識別できなかった場合、次の補助画像が、ワイルドスキャンリストから次の補助画像撮像レシピに従って撮像され、同様に処理される。上述のように、閾値は、補助画像処理ステップのサブステップの結果から導出されてもよく、および/または補助画像処理ステップのサブステップの結果はそのような閾値と比較されてもよい。サブステップの結果に応じて、補助画像処理は、未完了の状態で終了することがある。ワイルドスキャンリストを生成する代わりに、無作為に一つの補助識別ストラテジを次々に選んで直接的に適用することも考えられる。補助モードは、物体識別に成功したとき、または停止条件に達した後、たとえばワイルドスキャンリストの最後に達した後、または制限時間に達した後に終了することができる。
【0057】
この方法は、少なくとも1つの品質値を少なくとも1つの識別ストラテジ14に割り当てるための評価プロセス43を含む。評価プロセス43は、初期品質値を識別ストラテジ14に割り当てるための少なくとも1つの初期ティーチインステップ(initial teach-in step)45を含む。特に、ポジティブな(positive)品質値および/またはポジティブな初期品質値は、成功した物体識別に対応する。さらに、ネガティブな(negative)品質値および/またはネガティブな初期品質値は、失敗した物体識別に対応する。この方法のティーチインプロシージャの概略フローチャートを図7に示す。ティーチインプロシージャは、識別ストラテジ14のティーチインリストを生成するティーチインプロセス84を含む。ティーチインリストは、例えばラベルおよび/またはマークの種類に関するユーザ入力を使用して部分的に生成されてもよい。ユーザ入力に基づいて、ティーチインプロセスは、他の優先順位よりも高い優先順位を有する特定の画像処理アプローチ30および/または特定の画像撮像レシピ38を選択することができる。好ましくは、ティーチインリストは、可能性のある識別ストラテジ、特に異なる画像撮像パラメータの広いが粗い分布を含む。ティーチインリストの識別ストラテジ14は、識別プロセスにおいて使用される。画像処理結果の品質に基づいて、評価プロセスは、ティーチインステップ45において、特定の品質値を画像処理アプローチ30に割り当てる、および/または現在の識別ストラテジ14の画像撮像レシピ38に割り当てる。示された事例では、異なる照明色、照明強度および照明モードを有する画像撮像レシピ38が、ティーチインにおいて適用され評価される。続いて、特に1つの所定の画像処理アプローチ30およびいくつかの、特に6つの異なる画像撮像レシピ38を含む複数の、好ましくは6つの最も高い品質値の識別ストラテジ14が選択され、最も高い品質値の識別ストラテジ14と同様の識別ストラテジのより細かい分布を伴う第2のティーチインリストの開始点(starting point)として使用される。また、ティーチインは、好ましくは粗いものから細かいものへと複数の識別ストラテジを分散させながら、一段階のみ、またはさらに多くの段階で行われることも考えられる。
【0058】
ティーチインプロシージャの結果、特に識別ストラテジ14の初期品質値は、参照としておよび/または優先順位リスト12を作成するための開始点として恒久的に記憶される。評価プロセス43は、画像処理結果の品質値に応じて少なくとも1つの識別ストラテジ14の品質値を更新するための更新ステップ46を含む。更新ステップ46は、物体24の識別が成功した後、または物体24が最終的に識別されなかった後に実行される。特に、物体24の識別が成功した場合、高い品質値が、特にその画像処理アプローチ30と組み合わせて、対応する識別ストラテジ14および/またはその画像撮像レシピ38に割り当てられる。さらに、物体24の識別が失敗した場合、低い品質値が、特にその画像処理アプローチ30と組み合わせて、対応する識別ストラテジ14および/またはその画像撮像レシピ38に割り当てられる。示された事例では、更新プロセス46は、潜在的に物体24の識別をもたらす、または物体24の識別をもたらす可能性がある複数の識別ストラテジ、特に、物体24のマーク76またはラベルのタイプに基づいて物体24を識別するのに適した画像処理アプローチによる複数の識別ストラテジのみを更新する。例えば、マーク76がバーコードとして首尾よく識別された場合、バーコードおよび/またはそれらの画像撮像レシピおよび/またはそれらの画像処理アプローチを識別および/または読み取るのに適した複数の識別ストラテジのみが更新された品質値を割り当てられるが、QRコード、文字列、マトリックスコード、またはバーコードとは異なる他のラベルおよび/またはマークを識別するのに適した識別ストラテジには、特に更新された品質値が割り当てられていない。
【0059】
更新ステップ46は、初期ティーチインステップ45と同様にまたは同一に実施される。しかしながら、更新された品質値は、データベース内の恒久的な初期品質値とは別に記憶される。したがって、初期品質値の参照は、この方法がいくつかの自己学習サイクルを経た後でさえも利用可能である。もちろん、初期品質値は上書きされ、および/または識別ストラテジおよび/または画像処理アプローチおよび/または画像撮像レシピについての最新の品質値のみが記憶されることも考えられる。さらに、品質値は、初期の品質値と比較して、例えば差分としてまたは因数(factor)として記憶されてもよい。ティーチインステップ45において複数の識別ストラテジに初期品質値が割り当てられていない場合、初期品質値は、更新ステップ46によってこれらの識別ストラテジに割り当てられることも考えられる。例えば、ティーチインプロシージャを実行した後、初期品質値は、例えば、特定の照明チャネルのみを使用することに基づいて、例えば特定の画像との組み合わせでのみ新しいタイプのウェーハに対応する、特定の、特に新たに追加された画像処理アプローチを用いた識別ストラテジに対してのみ利用可能であり得る。これらの識別ストラテジのいずれもうまく適用できない場合、次に最初の初期品質値を割り当てる特定の画像処理アプローチと組み合わせて補助画像撮像レシピを使用して物体を識別することができる。特に、初期品質値は、対応する識別ストラテジの画像撮像レシピおよび/または画像処理アプローチに、特に2段階メモリを拡張するために、この画像撮像レシピおよびこの画像処理アプローチに基づいて、割り当てることができる。その結果、自己学習を実施することができる。
【0060】
示された事例では、評価プロセス43は、更新ステップ46において識別ストラテジ14の品質値を画像処理ステップの未完了の画像処理の品質値に応じて、特に画像処理サブステップ48、50、52の評価番号(evaluation number)に応じて、更新するように構成されている。特に、品質値は、物体識別が失敗したケースに関係する失敗した画像処理サブステップ48、50、52が存在すると更新される。その結果、この方法は依然として失敗した画像処理の試みから学習することができるが、それほど有望ではない画像処理を容易に終了させることができる。
【0061】
追加的または代替的に、データベースに恒久的に格納された複数の識別ストラテジが自己学習の開始点として使用されることが考えられる。部分的に成功した物体識別の場合、例えば単一の特徴および/またはコードの一部が識別される場合、複数の画像撮像パラメータおよび/または複数の画像処理パラメータが特にわずかに調整されてもよく、次の識別プロセスが開始されてもよい。このことは、物体24の識別が成功するまで繰り返され得る。特にそのようなプロシージャの時間窓(time window)が例えば製造ライン内の状況のために利用可能である場合、結果は恒久的に記憶されてもよく、有利には自己学習プロセスを実施してもよい。
【0062】
示された事例では、自己学習は、以前に成功または失敗した物体識別に基づいて、複数の識別ストラテジの品質値を更新すること、および複数の優先順位値を複数の識別ストラテジに割り当てることによって実施される。しかしながら、これらの処理のうちの1つだけに基づいて自己学習を実施することも考えられる。さらに、示された事例では、データベースは、別々の品質値および/または複数の優先順位値を割り当てることができる画像処理アプローチおよび画像撮像レシピの2段階メモリを提供する。
図1
図2
図3
図4
図5
図6
図7