(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-23
(54)【発明の名称】画像ベースのロボット位置合わせの方法及びシステム
(51)【国際特許分類】
G06T 7/70 20170101AFI20240416BHJP
H04N 7/18 20060101ALI20240416BHJP
【FI】
G06T7/70 A
H04N7/18 D
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023566717
(86)(22)【出願日】2022-04-29
(85)【翻訳文提出日】2023-12-26
(86)【国際出願番号】 KR2022006164
(87)【国際公開番号】W WO2022231373
(87)【国際公開日】2022-11-03
(32)【優先日】2021-04-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】518112516
【氏名又は名称】グローバルウェーハズ カンパニー リミテッド
【氏名又は名称原語表記】GlobalWafers Co.,Ltd.
(74)【代理人】
【識別番号】100145403
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100184343
【氏名又は名称】川崎 茂雄
(74)【代理人】
【識別番号】100197561
【氏名又は名称】田中 三喜男
(72)【発明者】
【氏名】キム,テヒョン
(72)【発明者】
【氏名】カン,ジェク
(72)【発明者】
【氏名】パク,スンソン
【テーマコード(参考)】
5C054
5L096
【Fターム(参考)】
5C054CA04
5C054CA05
5C054CC02
5C054EA01
5C054FC07
5C054FC12
5C054FC15
5C054FF06
5C054HA02
5C054HA04
5L096BA03
5L096BA05
5L096CA02
5L096DA02
5L096EA14
5L096FA69
(57)【要約】
第1構成要素に対する第2構成要素の位置合わせを監視するためのシステムは、カメラと、プロセッサ及び非一時的メモリを含むコントローラとを含む。コントローラは、第2構成要素が第1構成要素に対して所定位置にあるとき、カメラから第1撮像画像を受信し、第1撮像画像の関心領域(ROI)の選択を受信し、第1撮像画像の関心領域内の第2構成要素の可視特徴を識別し、後続の動作中にカメラから撮像画像を受信し、第2構成要素が第1構成要素に対して所定位置にあると予想されるとき、第2撮像画像を識別し、第2撮像画像と第1撮像画像の識別された可視特徴とに基づいて、第2構成要素が第1構成要素に対して所定位置にあるかを決定するように構成される。
【特許請求の範囲】
【請求項1】
第1構成要素に対する第2構成要素の位置合わせを監視するためのシステムであって、前記システムは、
前記第1構成要素と固定関係に位置付けられ、前記第2構成要素の動作中に前記第1構成要素及び前記第2構成要素の画像を撮像するように動作可能であるカメラと、
プロセッサ、及びコントローラを構成するためにプロセッサによって実行される命令を格納する非一時的メモリを含むコントローラであって、コントローラは、
前記第2構成要素が前記第1構成要素に対して所定位置にあるときに前記カメラから第1撮像画像を受信し、
前記第1構成要素の少なくとも一部と前記第2構成要素の少なくとも一部とを含む前記第1撮像画像の関心領域(ROI)の選択を受信し、
前記第1撮像画像の関心領域内の前記第2構成要素の可視特徴を識別し、
後続の動作中に前記カメラから撮像画像を受信し、
前記第2構成要素が前記第1構成要素に対して前記所定位置にあると予想されるとき、後続の動作中に受信された撮像画像から第2撮像画像を識別し、
前記第2撮像画像と、前記第1撮像画像の関心領域内の前記第2構成要素の識別された可視特徴とに基づいて、前記第2構成要素が前記第1構成要素に対して前記所定位置にあるかを決定する、ように構成されるコントローラとを有する、システム。
【請求項2】
前記第2構成要素は、前記第1構成要素に対して移動可能であるロボットアームを有する、
請求項1に記載のシステム。
【請求項3】
前記第1構成要素は、ウエハチャンバを有し、前記ロボットアームは、前記動作中及び前記後続の動作中に前記ウエハチャンバ内に半導体ウエハを配置するように構成される、
請求項2に記載のシステム。
【請求項4】
前記コントローラはさらに、
前記第1撮像画像の関心領域内の前記第2構成要素の識別された可視特徴の第1座標を決定し、
前記第1座標を前記メモリに格納し、
前記第2撮像画像内の前記第2構成要素の可視特徴を識別し、
前記第2撮像画像内の前記第2構成要素の識別された可視特徴の第2座標を決定するように構成され、
前記コントローラは、前記第2座標と前記第1座標との比較によって、前記第2構成要素が前記第1構成要素に対して前記所定位置にあるかを決定するように構成される、
請求項1~3の何れか1項に記載のシステム。
【請求項5】
前記コントローラは、前記第2座標が前記第1座標と等しいとき、前記第2構成要素が前記第1構成要素に対して前記所定位置にあることを決定するように構成される、
請求項4に記載のシステム。
【請求項6】
前記コントローラは、前記第2座標が前記第1座標から所定閾値距離内にあるとき、前記第2構成要素が前記第1構成要素に対して前記所定位置にあることを決定するように構成される、
請求項4に記載のシステム。
【請求項7】
前記コントローラは、前記第1撮像画像及び前記第2撮像画像内のピクセルの強度値に基づいて、前記第1撮像画像及び前記第2撮像画像内の前記第2構成要素の可視特徴を識別するように構成される、
請求項4に記載のシステム。
【請求項8】
前記コントローラはさらに、前記第2構成要素が前記第1構成要素に対して前記所定位置にないと前記コントローラが決定したとき、警報を発生するように構成される、
請求項4に記載のシステム。
【請求項9】
前記コントローラは、前記第2構成要素が前記動作の所定ステップ中に前記第1構成要素に対して前記所定位置にあるかを決定するように構成される、
請求項4に記載のシステム。
【請求項10】
前記コントローラはさらに、前記後続の動作中に前記撮像画像の前記強度値に基づいて、前記動作が前記所定ステップにあることを決定するように構成される、
請求項9に記載のシステム。
【請求項11】
請求項1~10の何れか1項に記載のシステムを使用して製造された半導体ウエハ。
【請求項12】
第1構成要素に対する第2構成要素の位置合わせを監視するための方法であって、
前記第1構成要素と固定関係に位置付けられ、前記第2構成要素の動作中に前記第1構成要素及び前記第2構成要素の画像を撮像するように動作可能であるカメラを使用して、前記第2構成要素が前記第1構成要素に対して所定位置にあるとき、第1撮像画像を撮像することと、
前記第1構成要素の少なくとも一部と前記第2構成要素の少なくとも一部とを含む前記第1撮像画像の関心領域(ROI)の選択を受信することと、
前記第1撮像画像の関心領域内の前記第2構成要素の可視特徴を識別することと、
後続の動作中に前記カメラから撮像画像を受信することと、
前記第2構成要素が前記第1構成要素に対して前記所定位置にあると予想されるとき、後続の動作中に受信された撮像画像から第2撮像画像を識別することと、
前記第2撮像画像と、前記第1撮像画像の関心領域内の前記第2構成要素の識別された可視特徴とに基づいて、前記第2構成要素が前記第1構成要素に対して前記所定位置にあるかを決定することと、を有する、方法。
【請求項13】
前記第2構成要素は、前記第1構成要素に対して移動可能であるロボットアームを有する、
請求項12に記載の方法。
【請求項14】
前記第1構成要素は、ウエハチャンバを有し、前記ロボットアームは、前記動作中及び前記後続の動作中に前記ウエハチャンバ内に半導体ウエハを配置するように構成される、
請求項13に記載の方法。
【請求項15】
前記第1撮像画像の関心領域内の前記第2構成要素の識別された可視特徴の第1座標を決定することと、
前記第1座標をメモリに格納することと、
前記第2撮像画像内の前記第2構成要素の可視特徴を識別することと、
前記第2撮像画像内の前記第2構成要素の識別された可視特徴の第2座標を決定することと、をさらに有し、
前記第2構成要素が前記第1構成要素に対して前記所定位置にあるかを決定することは、前記第2座標と前記第1座標との比較によって、前記第2構成要素が前記第1構成要素に対して前記所定位置にあるかを決定することを有する、
請求項12~14の何れか1項に記載の方法。
【請求項16】
前記第2構成要素が前記第1構成要素に対して前記所定位置にあるかを決定することは、前記第2座標が前記第1座標と等しいとき、前記第2構成要素が前記第1構成要素に対して前記所定位置にあることを決定することを有する、
請求項15に記載の方法。
【請求項17】
前記第2構成要素が前記第1構成要素に対して前記所定位置にあるかを決定することは、前記第2座標が前記第1座標から所定閾値距離内にあるとき、前記第2構成要素が前記第1構成要素に対して前記所定位置にあることを決定することを有する、
請求項15に記載の方法。
【請求項18】
前記第1撮像画像内の前記第2構成要素の可視特徴を識別することは、前記第1撮像画像内のピクセルの強度値に基づいて前記可視特徴を識別することを有し、
前記第2撮像画像内の前記第2構成要素の可視特徴を識別することは、前記第2撮像画像内のピクセルの強度値に基づいて前記可視特徴を識別することを有する、
請求項15に記載の方法。
【請求項19】
前記第2構成要素が前記第1構成要素に対して前記所定位置にないと決定されるとき、警報を発生することをさらに有する、
請求項15に記載の方法。
【請求項20】
前記第2構成要素が前記第1構成要素に対して前記所定位置にあるかを決定することは、前記動作の所定ステップ中に実行される、
請求項15に記載の方法。
【請求項21】
前記後続の動作中に前記撮像画像の強度値に基づいて、前記動作が前記所定ステップにあることを決定することをさらに有する、
請求項20に記載の方法。
【請求項22】
請求項12~21の何れか1項に記載の方法を使用して製造された半導体ウエハ。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2021年4月29日に出願された米国仮特許出願第63/201435号に対する優先権を主張し、その開示全体は、参照によりその全体が組み込まれる。
【0002】
本開示は概括的に、ロボットシステムの位置合わせに関し、より具体的には、画像ベースのロボット位置合わせの方法及びシステムに関する。
【背景技術】
【0003】
ロボットシステムは、製品製造、製品加工、倉庫保管などのような様々な産業において頻繁に使用される。例えば、ロボットシステムは、半導体結晶製造及び/又は半導体ウエハ製造の1つ又は複数の段階において使用されることがある。一例を挙げれば、ウエハハンドリングロボットは、サーボモータを使用して製造工程においてウエハの位置を制御する。ウエハの位置は時々、例えば、ベアリング、ブレーキ、巻線、マグネットの減磁、ロータバンディング、汚染、電気ノイズ、静電放電、電子部品の寿命及び疲労などのようなハードウェアの故障又は環境に起因して、当初設定された位置から外れる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ウエハ製造のための少なくともいくつかの既知のシステムでは、スリップ監視は、スリップ(すなわち、ずれ)がレーザ散乱検査ツール又は欠陥エッチングからフィードバックを通じて検出される前に、比較的長い時間を要する。この遅延のため、多くのウエハ(場合によっては数百のウエハ)は、スリップが検出される前に、ずれの影響を受ける可能性がある。
【0005】
この背景部分は、以下に説明される及び/又は特許請求の範囲に記載される本開示の様々な態様に関連し得る技術の様々な態様を読者に紹介することを意図している。この考察は、本開示の様々な態様をより良く理解しやすくするために背景情報を読者に提供するのに有用であると考えられる。従って、これらの記述は、この観点から読まれるべきであり、先行技術を認めるものではないことを理解すべきである。
【課題を解決するための手段】
【0006】
本開示の一態様は、第1構成要素に対する第2構成要素の位置合わせ(alignment)を監視するためのシステムである。
【0007】
前記システムは、前記第1構成要素と固定関係に位置付けられ、前記第2構成要素の動作中に前記第1構成要素及び前記第2構成要素の画像を撮像するように動作可能であるカメラと、プロセッサ、及びコントローラを構成するためにプロセッサによって実行される命令を格納する非一時的(non-transitory)メモリを含むコントローラとを含む。コントローラは、前記第2構成要素が前記第1構成要素に対して所定位置にあるとき、前記カメラから第1撮像画像を受信し、前記第1構成要素の少なくとも一部と前記第2構成要素の少なくとも一部とを含む、前記第1撮像画像の関心領域(ROI)の選択を受信し、前記第1撮像画像の関心領域内の第2構成要素の可視特徴(visible feature)を識別し、後続の動作中に前記カメラから撮像画像を受信し、前記第2構成要素が前記第1構成要素に対して前記所定位置にあると予想されるとき、後続の動作中に受信された撮像画像から第2撮像画像を識別し、前記第2撮像画像と、前記第1撮像画像の関心領域内の前記第2構成要素の識別された可視特徴とに基づいて、前記第2構成要素が前記第1構成要素に対して前記所定位置にあるかを決定する、ように構成される。
【0008】
別の態様は、第1構成要素に対する第2構成要素の位置合わせを監視するための方法である。前記方法は、前記第1構成要素と固定関係に位置付けられ、前記第2構成要素の動作中に前記第1構成要素及び前記第2構成要素の画像を撮像するように動作可能であるカメラを使用して、前記第2構成要素が前記第1構成要素に対して所定位置にあるとき、第1撮像画像を撮像することと、前記第1構成要素の少なくとも一部と前記第2構成要素の少なくとも一部とを含む前記第1撮像画像の関心領域(ROI)の選択を受信することと、前記第1撮像画像の関心領域内の前記第2構成要素の可視特徴を識別することと、後続の動作中に前記カメラから撮像画像を受信することと、前記第2構成要素が前記第1構成要素に対して前記所定位置にあると予想されるとき、後続の動作中に受信された撮像画像から第2撮像画像を識別することと、前記第2撮像画像と、前記第1撮像画像の関心領域内の前記第2構成要素の識別された可視特徴とに基づいて、前記第2構成要素が前記第1構成要素に対して前記所定位置にあるかを決定することと、を含む。
【0009】
上記の態様に関して述べられた特徴の様々な改良が存在する。さらなる特徴もまた、上記の態様に同様に組み込むことができる。これらの改良及びさらなる特徴は、個々に又は任意の組み合わせで存在してもよい。例えば、図示した実施形態のいずれかに関して後述する様々な特徴は、単独で又は任意の組み合わせで、上記の態様に組み込むことができる。
【図面の簡単な説明】
【0010】
【
図1】第1構成要素及び第2構成要素の位置合わせを監視するためのシステムの一例のブロック図である。
【
図2】
図1に示したシステムに使用するためのコンピュータ装置の一例のブロック図である。
【
図3】
図1に示したシステムの一部の上面図である。
【
図4】
図1に示したシステムのカメラによって撮像された第1構成要素及び第2構成要素の一部の画像の一例である。
【
図5】
図4に示した画像の一部のクローズアップ図である。
【
図6】
図1に示した第2構成要素が第1構成要素に対して所定位置にあるときの検出に使用するための一連の画像にわたる画像強度のグラフである。
【
図7】第1構成要素に対する第2構成要素の位置合わせを監視するための方法の一例のフローチャートである。
【発明を実施するための形態】
【0011】
本開示は概括的に、ロボットシステムの位置合わせに関し、より具体的には、画像ベースのロボット位置合わせの方法及びシステムに関する。本開示の態様は、半導体ウエハハンドリングロボット及び半導体ウエハ処理装置に関して説明されるが、これらの態様は、あらゆる他のロボットシステムの位置合わせに適用され得る。
【0012】
図1は、第1構成要素102と第2構成要素104の位置合わせを監視するためのシステム100の例の簡略ブロック図である。より具体的には、システムは、第2構成要素の動作中に第1構成要素102に対する第2構成要素104の位置合わせを監視する。例示的な実施形態では、第1構成要素102は、半導体ウエハ処理装置であり、第2構成要素104は、半導体ウエハハンドリングロボットである。半導体ウエハハンドリングロボットは、半導体ウエハ(
図1に図示せず)を取り出し、半導体ウエハ処理装置が半導体ウエハに処理を行うことができるように半導体ウエハを半導体ウエハ処理装置に位置決めする。この処理は、例えば、アニール処理、エッチング処理、研磨処理、又はその他の半導体ウエハ処理であってもよい。第2構成要素104の少なくとも一部は、第1構成要素102に対して移動可能である。例えば、第2構成要素104は、半導体ウエハを保持し、ウエハを第1構成要素102内に移動させるために第1構成要素102に対して移動するアームを含むことができる。
【0013】
カメラ106は、第1構成要素102と固定関係に位置付けられ、第2構成要素104の動作中に第1構成要素102及び第2構成要素104の画像を撮像するように動作可能である。カメラ106は、動作中に第1構成要素102及び第2構成要素104の少なくとも一部の可視光画像を撮像する可視光カメラである。他の実施形態では、カメラ106は、赤外線カメラ又はその他の適切な撮像装置であってもよい。いくつかの実施形態では、カメラ106は、ビデオカメラであり、カメラ106によって撮像された画像は、ビデオカメラによって撮像されたビデオの個々のフレームである。カメラ106は、第2構成要素104が第1構成要素102に対して所定位置にあるとき、第1構成要素102及び第2構成要素104のそれぞれの少なくとも一部の画像を撮像するために、第1構成要素に対して位置付けられる。所定位置は、動作のあるステップにおける第1構成要素102に対する第2構成要素104の位置である。例えば、半導体ウエハ処理に使用される場合、所定位置は、半導体ウエハ処理装置(第1構成要素102)に半導体ウエハを正確に置くために停止するときの半導体ウエハハンドリングロボット(第2構成要素104)の位置であってもよい。
【0014】
コントローラ108は、カメラ106によって撮像された画像を受信し、カメラ設定を調整するため、画像を撮像するタイミングをカメラ106に指示するためなど、カメラ106を制御するために、カメラ106に通信可能に結合される。
【0015】
図2は、コントローラ108として使用され得る、又はコントローラ108の一部として含まれ得る例示的なコンピュータ装置200のブロック図である。コンピュータ装置200は、プロセッサ201、メモリ202、メディア出力構成要素204、入力装置206、及び通信インターフェース208を含む。他の実施形態は、異なる構成要素、さらなる構成要素を含み、及び/又は
図2に示すすべての構成要素を含まない。
【0016】
プロセッサ201は、命令を実行するように構成される。いくつかの実施形態では、実行可能な命令は、メモリ202に格納される。プロセッサ201は、1つ又は複数の処理ユニット(例えば、マルチコア構成)を含むことができる。本明細書において使用されるプロセッサという用語は、中央処理装置、マイクロプロセッサ、マイクロコントローラ、縮小命令セット回路(RISC)、特定用途向け集積回路(ASIC)、プログラマブル論理回路(PLC)、及び本明細書に記載される機能を実行できるその他の回路又はプロセッサに言及する。上記のものは、例に過ぎず、従って「プロセッサ」という用語の定義及び/又は意味をいかなる方法によっても限定することを意図するものではない。
【0017】
メモリ202は、本明細書に記載される技術を実行するための非一時的なコンピュータ読み取り可能な命令を格納する。このような命令は、プロセッサ201によって実行されるとき、プロセッサ201が、本明細書に記載される方法の少なくとも一部を実行することを引き起こす。すなわち、メモリ202に格納された命令は、本明細書に記載された方法を実行するようにコントローラ108を構成する。いくつかの実施形態では、メモリ202は、メディア出力構成要素204を介してユーザにユーザインタフェースを提供し、入力装置206から入力を受信して処理するためのコンピュータ読み取り可能な命令を格納する。メモリ202は、ダイナミックRAM(DRAM)又はスタティックRAM(SRAM)などのランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能なプログラマブル読み出し専用メモリ(EPROM)、電気的消去可能なプログラマブル読み出し専用メモリ(EEPROM)、及び不揮発性RAM(NVRAM)を含み得るが、これらに限定されない。プロセッサ201とは別個のものとして図示されるが、いくつかの実施形態では、メモリ202は、マイクロコントローラ又はマイクロプロセッサなどにおいてプロセッサ201と組み合わされるが、それでもなお別個に言及されることがある。上記のメモリのタイプは、例に過ぎず、従ってコンピュータプログラムの格納のために使用可能であるメモリのタイプについて限定するものではない。
【0018】
メディア出力構成要素204は、ユーザ(例えば、システムのオペレータ)に情報を提供するように構成される。メディア出力構成要素204は、ユーザに情報を伝えることができる任意の構成要素である。いくつかの実施形態では、メディア出力構成要素204は、ビデオアダプタ及び/又はオーディオアダプタなどの出力アダプタを含む。出力アダプタは、プロセッサ201に動作可能に接続され、ディスプレイ装置(例えば、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、有機発光ダイオード(OLED)ディスプレイ、陰極線管(CRT)、「電子インク」ディスプレイ、1つ又は複数の発光ダイオード(LED))又はオーディオ出力装置(例えば、スピーカー又はヘッドホン)などの出力装置に動作可能に接続される。
【0019】
コンピュータ装置200は、ユーザから入力を受信するための入力装置206を含む又はそれに接続される。入力装置206は、コンピュータ装置200が、視覚、音声、タッチ、ボタン押下、スタイラスタップなどを含む、アナログ及び/又はデジタルコマンド、命令、又は他の入力を受信することを可能とする任意の装置である。入力装置206は、例えば、可変抵抗器、入力ダイヤル、キーボード/キーパッド、ポインティングデバイス、マウス、スタイラス、タッチセンシティブパネル(例えば、タッチパッド又はタッチスクリーン)、ジャイロスコープ、加速度計、位置検出器、音声入力装置、又はそれらの任意の組み合わせを含むことができる。タッチスクリーンなどの単一の構成要素は、メディア出力構成要素204の出力装置と入力装置206の両方として機能することがある。
【0020】
通信インターフェース208は、コンピュータ装置200が、カメラ106、遠隔センサー、遠隔データベース、遠隔コンピュータ装置などのような遠隔装置及びシステムと通信することを可能にし、複数の遠隔装置又はシステムと相互作用するための複数の通信インターフェースを含み得る。通信インターフェースは、コンピュータ装置200が遠隔装置及びシステムと直接又はネットワークを介して通信することを可能にする有線又は無線通信インターフェースであってもよい。無線通信インターフェースは、無線周波数(RF)トランシーバー、Bluetooth(登録商標)アダプタ、Wi-Fiトランシーバー、ZigBee(登録商標)トランシーバー、近距離無線通信(NFC)トランシーバー、赤外線(IR)トランシーバー、及び/又は無線通信のための他の任意の装置及び通信プロトコルを含むことができる。(Bluetoothは、ワシントン州カークランドのBluetooth Special Interest Groupの登録商標であり、ZigBeeは、カリフォルニア州サンラモンのZigBee Allianceの登録商標である)。有線通信インターフェースは、USB、RS232、I2C、SPI、アナログ、及び専用のI/Oプロトコルを含むが、これらに限定されない、直接通信のための任意の適切な有線通信プロトコルを使用することができる。いくつかの実施形態では、有線通信インターフェースは、コンピュータ装置200が、インターネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、メッシュネットワーク、及び/又はネットワークを介して遠隔装置及びシステムと通信するための任意の他のネットワークなどのネットワークに結合されることを可能にする有線ネットワークアダプタを含む。
【0021】
本明細書に述べられるコンピュータシステムは、本明細書の他の部分において述べられるものを含め、追加的、より少ない、又は代替的な機能を含むことができる。本明細書に述べられるコンピュータシステムは、非一時的なコンピュータ読み取り可能な1つのメディア又は複数のメディアに格納されたコンピュータ実行可能な命令を含む又はそれを介して実行され得る。
【0022】
図3は、システム100を上方から、例えばカメラ106の位置から見た図である。コントローラ108及びカメラ106は、
図3に示されていない。
図3に見られるように、例示的な第2構成要素104は、ウエハ302を保持する可動アーム300を含む。第2構成要素104は、第1構成要素102のチャンバー304内部にウエハ302を配置している。アーム300は、第1構成要素の基礎部分306を越えてチャンバー304内に延在する。例示的な実施形態では、アーム300は、カメラ106の視点から第1構成要素102の一部が見える切り欠き308である明確な可視特徴を含む。可視特徴は、コントローラ108によって識別可能である任意の可視特徴であり得る。他の実施形態では、アーム300は、異なる可視特徴(例えば、突起、スルーホール、刻印など)を含む、又は付加された明確な可視特徴(例えば、明確に着色された又は形作られたステッカー/マーク、QRコードなど)を含む。
【0023】
カメラ106は、画像領域310の画像を撮像する。メモリ202は、第2構成要素104が第1構成要素102に対して所定位置にあるとき、カメラ106から(画像領域310の)第1撮像画像を受信するようにコントローラ108を構成するために、プロセッサ201によって実行される命令を格納する。この第1画像は、第2構成要素104が所定位置にあることが知られているとき、撮像される。例えば、ユーザは、第2構成要素104を所定位置に配置する、又は第2構成要素104を所定位置に配置するために第2構成要素104の位置を調整することができる。従って、この第1画像は、第1構成要素102によって処理するためにウエハを適切に位置調整する位置など、正しい所定位置の画像である。
【0024】
図4は、画像領域310の画像400の例である。見られるように、基礎部分306は、アーム300とは異なる色(又はより暗い色)である。基礎部分306の一部が見えるアーム300の切り欠き308は、画像400において視覚的に区別できる特徴である。
【0025】
コントローラ108は、第1撮像画像400における関心領域(ROI)402の選択を受信する。例示的な実施形態では、関心領域402は、第1構成要素102の一部と第2構成要素104の一部とを含む。代替的に、関心領域は、第2構成要素104の一部のみを含むことがある(例えば、可視特徴がアーム300によって完全に囲まれたステッカーである場合)。関心領域402は、入力装置106を使用することによるなど、ユーザによって手動で選択され得る。他の実施形態では、関心領域402は、第1構成要素102及び第2構成要素104及び/又は可視特徴を識別するために画像上において物体検出及び認識を行うことによるなど、コントローラ108によって選択される。
【0026】
図5は、画像400における一部404のクローズアップ図である。コントローラ108は、第1撮像画像の関心領域402内部の第2構成要素104の可視特徴(例えば、切り欠き308)を識別するように構成される。この実施形態では、コントローラ108は、関心領域402内部の切り欠き308の角部500を特に識別する。例示的な実施形態では、コントローラ108は、第1画像400内部のピクセルの強度(intensity)値に基づいて、第1画像400の角部500を識別する。すなわち、基礎部分306は、そのより暗い色によって画像400内において識別され、アーム300は、より暗く着色された基礎部分306より明るい色(及び異なる強度値)によって識別される。画像400の関心領域402内の基礎部分306と画像400の関心領域402内のアーム300との間の移行を(強度値から決定されるように)示す交差仮想線は、角部500である。他の実施形態では、コントローラ108は、ユーザ入力から可視特徴の選択を受信することによって可視特徴を識別する。
【0027】
可視特徴(例えば、角部500)が識別されると、コントローラ108は、第1撮像画像400の関心領域内部の第2構成要素の識別された可視特徴の第1座標を決定する。前記座標は、可視特徴が画像400内部に設置される点のX-Y座標(
図4に識別されるように)である。X-Y座標は、例えば、画像400内の可視特徴の中心ピクセルの位置によって決定され得る。コントローラ108はそのとき、第1座標をメモリに格納する。コントローラ108はまた、関心領域402の座標を決定し、関心領域座標をメモリ202に格納する。関心領域座標は、対角線上に反対側にある角部の座標などの2つの座標、その角部に対する関心領域402の寸法及び方向とともに1つの角部の単一の座標、又は関心領域402の位置を識別する任意の他の適切な1つの座標又は複数の座標であってもよい。
【0028】
カメラ106は、第1構成要素102に対して固定され、同じ画像領域310の画像を撮像するのみであるので、アーム300が所定位置にあるときはいつでも、可視特徴は、撮像された画像内部の同じ位置(すなわち、同じX-Y座標)にあるはずである。従って、第1座標は、後続の動作中、アーム400が所定位置にあるかを決定するために使用することができる。
【0029】
従って、コントローラ108は、後続の動作中、カメラ106から撮像された画像を受信するように構成される。コントローラは、第2構成要素104が第1構成要素102に対して所定位置にあることが予想されるとき、後続の動作中、受信された撮像画像から第2撮像画像を識別する。第2構成要素104が第1構成要素102に対して所定位置にあることが予想される時間は、第2構成要素104を制御するための命令によって決定され得る。例えば、コントローラ108が第2構成要素104も制御する場合、コントローラ108は、前記命令及び/又は第2構成要素104からの通信から、第2構成要素104が所定位置にあると考えられることを知る。すなわち、第2構成要素104が所定位置にあるべき処理のステップに第2構成要素があるとき、コントローラ108は、第2構成要素104が所定位置にあるべきことを知り、このときに撮像された画像を第2撮像画像として使用される。
【0030】
他の実施形態では、コントローラ108は、撮像画像の分析に基づいて、第2構成要素104が所定位置にあると予想されることを決定する。例えば、
図6は、経時的に(又はより具体的には、カメラ106がビデオカメラである場合には一連のビデオフレームにわたって)カメラによって撮像された画像の2点の画像強度のグラフである。2点は、第2構成要素104が所定位置にあるとき、1点が画像内の第1構成要素102上の1点であり、1点が画像内の第2構成要素104上の1点であるように選択される。例えば、
図4及び
図5に示される関心領域402の左上角部及び左下角部は、2点として使用することができる。上述したように、この例では、基礎部分306は、アーム300より暗い。従って、アーム300が所定位置にないとき、画像内の両方の点が基礎部分の点であるので、両方の点は、相対的に低い強度を有する。アーム300が所定位置に移動するとき、2点に位置付けられるものが変化するので、画像に見える点の強度は、変化し得る。アーム300が所定位置にあるとき、ウエハを第1構成要素102に配置するために一定時間停止し、1点は、基礎上にあり(そして低い強度を有し)、1点は、アーム上にある(そして高い強度を有する)。従って、アーム300に関連する点の強度が比較的高く、一定時間安定しているとき、アーム300は、所定位置にあると決定され、このときの撮像画像は、第2撮像画像として使用される。さらに他の実施形態では、コントローラ108は、複数の撮像画像を通じて可視特徴を位置決め及び追跡することによって、第2構成要素104が所定位置にあると予想されることを決定する。可視特徴が関心領域402内部にあり、一定時間移動していないとき、コントローラ108は、第2構成要素104が所定位置にあると予想されると決定し、そのときの撮像画像を第2撮像画像として使用する。
【0031】
コントローラ108は、第2撮像画像内の第2構成要素104の可視特徴を識別する。可視特徴が切り欠き308の角部500である例示的な実施形態では、FAST(Features from Accelerated Segment Test)アルゴリズムが使用される。FASTアルゴリズムは、重要なことが角部周辺のピクセル強度に明確な差を与えるように関心領域のあらゆる角部を検出する。検出される角部の数は、FASTの関数の閾値に依存する。FASTのフォーマットは、FAST(InputArray image,std::vector<KeyPoint>& keypoints,int threshold,bool nomaxSuppression=true)である。閾値が低くなるにつれて、検出される角部の数が増える。すべての画像が1つの角部のみを返すための適切な閾値は、閾値を200から1までループさせることによって決定することができる。
【0032】
例示的な実施形態は角部を使用するが、関心領域402において異なるピクセル強度を有する限り、任意の点を参照として使用することができる。例えば、黒いスポット又は白いスポットは、可視特徴として使用することができる。OPENCVのFAST関数を使用する代わりに、関心領域402内のピクセル強度を分析することによって、黒又は白のスポットの位置を見つけることができる。これは単に“minMaxLoc”関数を用いて計算される。cv::minMaxLoc(ROI,&min,&max,&min_loc,&max_loc)、ここで、min_locは、可視特徴がその周りにおいてその周りの領域より暗い(黒いスポット)場合に使用され、max_locは、可視特徴がその周りにおいてその周りの領域より明るい(白いスポット)場合に使用される。
【0033】
可視特徴が第2撮像画像内において識別された後、コントローラ108は、第2構成要素104が、第2撮像画像と、第1撮像画像の関心領域402内部の第2構成要素104の識別された可視特徴とに基づいて、第1構成要素102に対して所定位置にあるか決定する。いくつかの実施形態では、コントローラ108は、第2撮像画像内の第2構成要素の識別された可視特徴の第2座標を決定する。第2座標は、第2撮像画像における可視特徴の位置のX-Y座標である。第2構成要素104が所定位置に適切にある場合、第2座標は、第1撮像画像から決定された第1座標と一致するはずである。従って、コントローラ108は、第2座標と第1座標との比較によって、第2構成要素104が第1構成要素102に対して所定位置にあるか決定するように構成される。
【0034】
いくつかの実施形態では、第2構成要素104は、第2座標が第1座標と同じであるとき、第1構成要素102に対して所定位置にあると決定される。あるいは、第2構成要素104は、第2座標が第1座標の閾値距離内にあるとき、第1構成要素102に対して所定位置にあると決定されてもよい。閾値距離は、画像又は可視特徴の検出において起こり得るわずかな変動を説明するために、又は第2構成要素104の位置決めにある程度の許容可能な変動を考慮するために選択することができる。
【0035】
コントローラ108は、第2構成要素104が所定位置にあると予想されるが、それがそうではないと決定するとき、コントローラ108は、警報を発生させることができる。すなわち、コントローラ108は、第2構成要素104が所定位置にあると予想されるが、第2撮像画像内の可視特徴が第1座標と等しい(又は第1座標の閾値距離内にある)第2座標を有していないと決定するとき、コントローラ108は、警報を発生する。警報は、点滅光又はサイレンなどの人間が認識可能な警報、システムコントローラに送信される警報メッセージなどのコンピュータが認識可能な警報、又はその両方とすることができる。警報に応答して、ユーザは、第2構成要素104を第1構成要素102に対する適切な位置合わせに戻すために、必要に応じて第2構成要素104を調整又は修理することができる。
【0036】
図7は、第1構成要素に対する第2構成要素の位置合わせを監視するための方法700の例のフローチャートである。本方法は、システム100及びその構成要素によって実行されてもよく、又は他の適切なシステム又は構成要素とともに使用されてもよい。
【0037】
図に描かれている論理フローは、望ましい結果を得るために、示される特定の順序又は連続した順序を必要とするものではない。さらに、説明されるフローに他のステップを設けたり、ステップを削除したり、説明されるシステムに他の構成要素を追加したり、取り除いたりすることができる。従って、他の実施形態は、以下の特許請求の範囲の範囲内にある。
【0038】
特に詳細に説明された上記の実施形態は、単なる例又は可能な実施形態であり、多くの他の組み合わせ、追加、又は代替があり得ることが理解されるであろう。
【0039】
また、構成要素の特定の命名、用語の大文字表記、属性、データ構造、又はその他のプログラミング的又は構造的な側面は、必須又は重要ではなく、本開示又はその機能を実装する機構は、異なる名前、フォーマット、又はプロトコルを有することができる。さらに、本システムは、説明されるようにハードウェアとソフトウェアを組み合わせて実装する、又は完全にハードウェア要素において実装することができる。また、本明細書に説明される様々なシステム構成要素間の特定の機能分担は、単なる一例であり、必須ではない。単一のシステム構成要素によって実行される機能を、代わりに複数の構成要素によって実行してもよく、複数の構成要素によって実行される機能を、代わりに単一の構成要素によって実行してもよい。
【0040】
本明細書及び特許請求の範囲を通じてここで使用される近似言語は、それが関連する基本的な機能に変化をもたらすことなく、許容可能な範囲で変化し得るあらゆる定量的表現を修正するために適用することができる。従って、「約」及び「実質的に」などの1つの用語又は複数の用語によって修飾された値は、指定された正確な値に限定されるものではない。少なくともいくつかの例では、近似言語は、値を測定するための機器の精度に対応し得る。本明細書及び特許請求の範囲を通じて、範囲の限定は、組み合わせる及び/又は入れ替えることができ、そのような範囲は、文脈又は文言がそうでないことを示さない限り、特定され、そこに含まれるすべての部分的な範囲を含む。
【0041】
本開示の教示における様々な変更、修正、及び改変は、その意図する精神及び範囲から逸脱することなく、当業者によって考慮され得る。本開示がこのような変更及び修正を包含することが意図される。
【0042】
本明細書は、最良の形態を含む本開示を説明するために、また、任意の装置又はシステムの製造及び使用、ならびに組み込まれた任意の方法の実行を含む本開示を当業者が実施できるようにするために実施例を使用する。本開示の特許可能な範囲は、特許請求の範囲によって規定され、当業者に思いつく他の例を含むことができる。このような他の例は、特許請求の範囲の文言と異ならない構造要素を有する場合、又は特許請求の範囲の文言と実質的に異ならない同等の構造要素を含む場合、特許請求の範囲に含まれることが意図される。
【国際調査報告】