(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024147448
(43)【公開日】2024-10-16
(54)【発明の名称】ロボット制御装置及びロボット教示方法
(51)【国際特許分類】
H01L 21/677 20060101AFI20241008BHJP
B25J 9/22 20060101ALI20241008BHJP
B25J 13/08 20060101ALI20241008BHJP
G05B 19/42 20060101ALI20241008BHJP
【FI】
H01L21/68 A
B25J9/22 A
B25J13/08 A
G05B19/42 J
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023060474
(22)【出願日】2023-04-03
(71)【出願人】
【識別番号】000000262
【氏名又は名称】株式会社ダイヘン
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】村田(檀上) 梓紗
【テーマコード(参考)】
3C269
3C707
5F131
【Fターム(参考)】
3C269BB03
3C269CC09
3C269JJ09
3C269JJ20
3C269MN09
3C269MN14
3C269MN16
3C269MN48
3C269SA04
3C269SA07
3C269SA14
3C269SA37
3C707AS24
3C707KS16
3C707KS20
3C707KS36
3C707KT02
3C707KT03
3C707KT05
3C707LS15
3C707MT04
3C707NS13
5F131AA02
5F131CA32
5F131CA42
5F131DA32
5F131DA33
5F131DA42
5F131DB52
5F131DB62
5F131DB72
5F131DB76
5F131DB82
5F131DD03
5F131DD25
5F131DD26
5F131DD28
5F131DD33
5F131DD43
5F131DD57
5F131DD74
5F131DD76
5F131DD93
5F131KA03
5F131KA05
5F131KA14
5F131KA43
5F131KA47
5F131KA52
5F131KA72
5F131KB06
5F131KB12
5F131KB32
5F131KB52
5F131KB53
5F131KB54
5F131KB55
5F131KB56
5F131KB58
(57)【要約】
【課題】カメラによって複数回撮影された画像情報に基づいて適切な目標位置を予測して、対象物を高精度に目標位置に搬送する教示データを生成することが可能なロボット制御装置及びロボット教示方法を提供する。
【解決手段】ロボット制御装置100は、少なくとも2ヶ所以上において撮影された各画像情報を取得する画像情報取得手段110と、各画像情報に基づいて目標位置をそれぞれ算出する目標位置算出手段120と、搬送ロボット200のロボット位置を算出するロボット位置算出手段130と、目標位置にロボット位置が一致するように搬送ロボット200を動作させるロボット制御手段140と、各画像情報に基づいてそれぞれ算出された少なくとも2つ以上の目標位置に基づいて、予測目標位置を算出する目標位置予測手段150と、予測目標位置を教示データとして記憶する教示データ生成手段160と、を備える。
【選択図】
図3
【特許請求の範囲】
【請求項1】
平板状の対象物を搬送する搬送ロボットを制御するロボット制御装置であって、
前記搬送ロボットに取り付けられているカメラによって、前記搬送ロボットが移動する目標位置を含むように、少なくとも2ヶ所以上において撮影された各画像情報を取得する画像情報取得手段と、
前記各画像情報に基づいて前記目標位置をそれぞれ算出する目標位置算出手段と、
前記搬送ロボットの各軸の状態を含むロボット情報に基づいて当該搬送ロボットのロボット位置を算出するロボット位置算出手段と、
前記目標位置に前記ロボット位置が一致するように前記搬送ロボットを動作させるロボット制御手段と、
前記各画像情報に基づいてそれぞれ算出された少なくとも2つ以上の目標位置に基づいて、予測目標位置を算出する目標位置予測手段と、
前記予測目標位置を教示データとして記憶する教示データ生成手段と、を備える、
ロボット制御装置。
【請求項2】
前記画像情報取得手段は、少なくとも前記搬送ロボットが徐々に目標位置に近づく3ヶ所以上において撮影された各画像情報を取得し、
前記目標位置予測手段は、
前記各画像情報に基づいてそれぞれ算出された少なくとも3つ以上の目標位置から回帰分析を用いて収束する前記予測目標位置を算出する、
請求項1に記載のロボット制御装置。
【請求項3】
前記画像情報取得手段は、少なくとも前記搬送ロボットが2ヶ所以上において撮影された各画像情報を取得し、
前記目標位置予測手段は、
前記各画像情報に基づいてそれぞれ算出された少なくとも2つ以上の目標位置からデータ分布を利用した推定法を用いて推定される前記予測目標位置を算出する、
請求項1に記載のロボット制御装置。
【請求項4】
前記目標位置予測手段は、
前記各画像情報に基づいてそれぞれ算出された前記目標位置に基づいて、目標位置を入力データとし予測目標位置を出力データとする機械学習モデルを用いて、前記予測目標位置を算出する、
請求項1に記載のロボット制御装置。
【請求項5】
前記目標位置予測手段によって前記予測目標位置を算出させるか否かを判定する予測要否判定手段を、さらに備え、
前記予測目標位置を算出させると判定された場合、前記目標位置予測手段は、前記各画像情報に基づいてそれぞれ算出された少なくとも2つ以上の目標位置に基づいて予測目標位置を算出し、
前記予測目標位置を算出させると判定されない場合、前記ロボット制御手段は、前記目標位置に前記ロボット位置が一致するように前記搬送ロボットが移動した移動位置において撮影された画像情報に基づいて算出された目標位置に前記ロボット位置が一致するように前記搬送ロボットを動作させる、
請求項1に記載のロボット制御装置。
【請求項6】
平板状の対象物を搬送する搬送ロボットを制御するロボット制御装置が実行するロボット教示方法であって、
前記搬送ロボットに取り付けられているカメラによって、前記搬送ロボットが移動する目標位置を含むように撮影された画像情報を取得する画像情報取得ステップと、
前記画像情報に基づいて前記目標位置を算出する目標位置算出ステップと、
前記搬送ロボットの各軸の状態を含むロボット情報に基づいて当該搬送ロボットのロボット位置を算出するロボット位置算出ステップと、
前記目標位置に前記ロボット位置が一致するように前記搬送ロボットを動作させるロボット制御ステップと、
前記目標位置、及び当該目標位置に前記ロボット位置が一致するように前記搬送ロボットが移動した移動位置において撮影された画像情報に基づいて算出された目標位置に基づいて、予測目標位置を算出する目標位置予測ステップと、
前記予測目標位置を教示データとして記憶する教示データ生成ステップと、を含む、
ロボット教示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボット制御装置及びロボット教示方法に関する。
【背景技術】
【0002】
近年、産業界において、多くのロボットが普及している。当該ロボットは、例えば、電子部品及び機械部品の組み立て、溶接及び搬送等に用いられ、工場の生産ラインの効率化及び自動化が図られている。
【0003】
半導体製造装置に用いられるウエハを搬送する搬送ロボットでは、ウエハを適切な位置へ搬送するためのティーチングを行うが、その精度は、操作者の知識及び熟練度などに依存し、また、操作者の作業スペースが十分に確保できない程の省スペース化が求められている場合もあるため、ティーチングの自動化が図られている。
【0004】
例えば、特許文献1に記載のウエハ搬送ロボットでは、ハンドに取り付けられたカメラによって取出位置に配置されたウエハを撮影し、カメラが取得した画像に基づいて、ウエハの3次元情報を算出し、そのウエハの3次元情報に基づいてハンドを動かして適切にウエハを取り出している。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載のウエハ搬送ロボットでは、カメラが取得した画像に基づいて算出されたウエハの3次元情報の精度が低い場合には、実際に配置されているウエハの位置を把握できずに、適切にウエハを取り出せない可能性がある。
【0007】
また、ティーチングの自動化においては、ウエハの3次元情報だけでなく、ウエハを搬送する目標位置も適切に把握する必要がある。ウエハを搬送する目標位置を把握するために、ウエハ搬送ロボットに取り付けられたカメラで撮影しようとする際には、目標位置までの距離や方向(角度)を含む撮影位置、カメラにおいて設定される各種パラメータ、及びその他周辺環境などを含む撮影条件に応じて、カメラによって取得される画像に影響する。
【0008】
すなわち、カメラによって取得される画像に基づいて算出される目標位置の3次元情報は、例えば、上述したような、カメラにおいて設定される各種パラメータ、撮影位置、及びその他周辺環境などを含む撮影条件(照明や光反射など)に影響するため、必ずしも正確でなく、1回のみの撮影で取得された画像からは、ウエハを搬送する目標位置を適切に把握できない場合がある。その結果、高精度に、ウエハを目標位置に搬送する教示データを生成できず、適切にウエハを目標位置に搬送できないという問題が生じる。
【0009】
そこで、本発明は、カメラによって複数回撮影された画像情報に基づいて適切な目標位置を予測して、対象物を高精度に目標位置に搬送する教示データを生成することが可能なロボット制御装置及びロボット教示方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の一態様に係るロボット制御装置は、平板状の対象物を搬送する搬送ロボットを制御するロボット制御装置であって、搬送ロボットに取り付けられているカメラによって、搬送ロボットが移動する目標位置を含むように、少なくとも2ヶ所以上において撮影された各画像情報を取得する画像情報取得手段と、各画像情報に基づいて目標位置をそれぞれ算出する目標位置算出手段と、搬送ロボットの各軸の状態を含むロボット情報に基づいて当該搬送ロボットのロボット位置を算出するロボット位置算出手段と、目標位置にロボット位置が一致するように搬送ロボットを動作させるロボット制御手段と、各画像情報に基づいてそれぞれ算出された少なくとも2つ以上の目標位置に基づいて、予測目標位置を算出する目標位置予測手段と、予測目標位置を教示データとして記憶する教示データ生成手段と、を備える。
【0011】
この態様によれば、画像情報取得手段は、カメラによって少なくとも2ヶ所以上において撮影された各画像情報を取得し、目標位置算出手段は、各画像情報に基づいて目標位置をそれぞれ算出する。ロボット位置算出手段は、搬送ロボットの各軸の状態を含むロボット情報に基づいて当該搬送ロボットのロボット位置を算出し、ロボット制御手段は、目標位置にロボット位置が一致するように搬送ロボットを動作させる。目標位置予測手段は、複数回取得された各画像情報に基づいて算出された目標位置に基づいて、予測目標位置を算出し、教示データ生成手段は、当該予測目標位置を適切な目標位置として、教示データとして記憶する。これにより、適切な目標位置を予測して、対象物を高精度に目標位置に搬送する教示データを生成することができ、その結果、当該教示データを用いることで対象物を高精度に目標位置に搬送することができる。
【0012】
上記態様において、画像情報取得手段は、少なくとも搬送ロボットが徐々に目標位置に近づく3ヶ所以上において撮影された各画像情報を取得し、目標位置予測手段は、各画像情報に基づいてそれぞれ算出された少なくとも3つ以上の目標位置から回帰分析を用いて収束する予測目標位置を算出してもよい。
【0013】
この態様によれば、画像情報取得手段は、少なくとも搬送ロボットが徐々に目標位置に近づく3ヶ所以上において撮影された各画像情報を取得し、目標位置予測手段は、回帰分析を用いて予測目標位置を算出するため、より適切に予測目標位置を算出することができる。
【0014】
上記態様において、画像情報取得手段は、少なくとも搬送ロボットが2ヶ所以上において撮影された各画像情報を取得し、目標位置予測手段は、各画像情報に基づいてそれぞれ算出された少なくとも2つ以上の目標位置からデータ分布を利用した推定法を用いて推定される予測目標位置を算出してもよい。
【0015】
この態様によれば、画像情報取得手段は、少なくとも搬送ロボットが2ヶ所以上において撮影された各画像情報を取得し、目標位置予測手段は、データ分布を利用した推定法を用いて推定される予測目標位置を算出するため、より適切に予測目標位置を算出することができる。
【0016】
上記態様において、目標位置予測手段は、各画像情報に基づいてそれぞれ算出された目標位置に基づいて、目標位置を入力データとし予測目標位置を出力データとする機械学習モデルを用いて、予測目標位置を算出する、
【0017】
この態様によれば、目標位置予測手段は、機械学習モデルを用いて予測目標位置を算出するため、より適切に予測目標位置を算出することができる。
【0018】
上記態様において、目標位置予測手段によって予測目標位置を算出させるか否かを判定する予測要否判定手段を、さらに備え、予測目標位置を算出させると判定された場合、目標位置予測手段は、各画像情報に基づいてそれぞれ算出された少なくとも2つ以上の目標位置に基づいて予測目標位置を算出し、予測目標位置を算出させると判定されない場合、ロボット制御手段は、目標位置にロボット位置が一致するように搬送ロボットが移動した移動位置において撮影された画像情報に基づいて算出された目標位置にロボット位置が一致するように搬送ロボットを動作させてもよい。
【0019】
この態様によれば、予測要否判定手段によって予測目標位置を算出させると判定された場合、目標位置予測手段は、予測目標位置を算出する。一方、予測要否判定手段によって予測目標位置を算出させると判定されない場合、ロボット制御手段は、移動位置において撮影された画像情報に基づいて算出された目標位置にロボット位置が一致するように搬送ロボットを動作させる。すなわち、予測目標位置を算出させると判定されるまで、画像情報取得手段による画像情報の取得、及び目標位置算出手段による目標位置の算出を繰り返すことにより、適切に予測目標位置を算出する。
【0020】
本発明の一態様に係るロボット教示方法は、平板状の対象物を搬送する搬送ロボットを制御するロボット制御装置が実行するロボット教示方法であって、搬送ロボットに取り付けられているカメラによって、搬送ロボットが移動する目標位置を含むように撮影された画像情報を取得する画像情報取得ステップと、画像情報に基づいて目標位置を算出する目標位置算出ステップと、搬送ロボットの各軸の状態を含むロボット情報に基づいて当該搬送ロボットのロボット位置を算出するロボット位置算出ステップと、目標位置にロボット位置が一致するように搬送ロボットを動作させるロボット制御ステップと、目標位置、及び当該目標位置にロボット位置が一致するように搬送ロボットが移動した移動位置において撮影された画像情報に基づいて算出された目標位置に基づいて、予測目標位置を算出する目標位置予測ステップと、予測目標位置を教示データとして記憶する教示データ生成ステップと、を含む。
【0021】
この態様によれば、画像情報取得ステップでは、カメラによって少なくとも2ヶ所以上において撮影された各画像情報を取得し、目標位置算出ステップでは、画像情報に基づいて目標位置を算出する。ロボット位置算出ステップでは、搬送ロボットの各軸の状態を含むロボット情報に基づいて当該搬送ロボットのロボット位置を算出し、ロボット制御ステップでは、目標位置にロボット位置が一致するように搬送ロボットを動作させる。目標位置予測ステップでは、複数回取得された各画像情報に基づいて算出された目標位置に基づいて、予測目標位置を算出し、教示データ生成ステップでは、当該予測目標位置を適切な目標位置として、教示データとして記憶する。これにより、適切な目標位置を予測して、対象物を高精度に目標位置に搬送する教示データを生成することができ、その結果、当該教示データを用いることで対象物を高精度に目標位置に搬送することができる。
【発明の効果】
【0022】
本発明によれば、カメラによって複数回撮影された画像情報に基づいて適切な目標位置を予測して、対象物を高精度に目標位置に搬送する教示データを生成することが可能なロボット制御装置及びロボット教示方法を提供することができる。
【図面の簡単な説明】
【0023】
【
図1】本発明の一実施形態に係る搬送ロボットシステム10のシステム構成を示す概要図である。
【
図2】本発明の一実施形態に係る搬送ロボット200がウエハWを搬送する様子を示す図である。
【
図3】本発明の一実施形態に係るロボット制御装置100の各機能を示す機能ブロック図である。
【
図4】ウエハWを搬送する目標位置となる半導体製造装置の設置位置15の様子を示す図である。
【
図5】本発明の一実施形態に係る搬送ロボットシステム10が実行するロボット教示方法M100の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0024】
以下、本発明の実施形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施形態は、あくまで、本発明を実施するための具体的な一例を挙げるものであって、本発明を限定的に解釈させるものではない。また、説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する場合がある。
【0025】
<一実施形態>
[搬送ロボットシステムの構成]
図1は、本発明の一実施形態に係る搬送ロボットシステム10のシステム構成を示す概要図である。
図1に示されるように、搬送ロボットシステム10は、ロボット制御装置100と、搬送ロボット200と、デバイス制御装置300と、ティーチペンダント400とを備える。
【0026】
搬送ロボット200は、例えば、6軸垂直多関節型であって、マニピュレータ本体210と、エンドエフェクタとしてのハンド220と、当該ハンド220が取り付けられているハンドベース(基部)230とを有し、さらに、ハンドベース230にカメラ240が配置されている。カメラ240は、例えば、ステレオカメラとして2つのカメラで構成されている。
【0027】
ロボット制御装置100は、搬送ロボット200の動作を制御する機器である。例えば、ロボット制御装置100は、ティーチペンダント400に接続されており、当該ティーチペンダント400に入力された動作指示情報を取得することができる。ロボット制御装置100は、当該動作指示情報に基づいて、搬送ロボット200を起動及び停止させたり、対象物を取り出すためにマニピュレータ本体210の各軸を動作させたりして、アームやハンド220を動作させる。
【0028】
また、ロボット制御装置100は、デバイス制御装置300を制御することにより、例えば、搬送ロボット200に配置されているカメラ240によって当該搬送ロボット200の近傍を撮影して、当該撮影した画像情報を取得する。
【0029】
デバイス制御装置300は、上述したように、ロボット制御装置100からの動作指示に基づいてカメラ240の動作を制御することによって、取得した画像情報をロボット制御装置100に送付する。
【0030】
なお、ここでは、デバイス制御装置300は、ケーブルを介してロボット制御装置100に接続され、ロボット制御装置100とは別機器としているが、ロボット制御装置100にその機能を含んでもよく、この場合、一体に構成されたロボット制御装置100とデバイス制御装置300とでロボット制御装置とすればよい。
【0031】
ティーチペンダント400は、搬送ロボット200の動作指示情報について、対象物を搬送する搬送作業に関して、操作者からの入力を受け付ける。通常、操作者は、例えば、搬送ロボット200の起動及び停止、さらには、搬送ロボット200に対する設定、及びマニピュレータ本体210(アーム)やハンド220の動作、教示点の登録などについて、ティーチペンダント400を用いて適切な指示情報を入力する。
【0032】
また、本発明に係る実施形態おいて、教示点の登録については、搬送ロボット200を動作させながら当該動作経路における教示点を、ティーチペンダント400を用いて操作者が逐次登録するのではなく、自動教示において教示点を自動的に登録してもよい。当該自動教示は、例えば、操作者の侵入スペース(作業空間)が十分に確保できないような環境や場面において有効である。
【0033】
なお、
図1では、ティーチペンダント400は、ケーブルを介してロボット制御装置100に接続されているが、ワイヤレスで接続されていてもよい。すなわち、ティーチペンダント400とロボット制御装置100とは、無線通信を行う通信部を備えていてもよい。ロボット制御装置100とティーチペンダント400とがワイヤレスに接続されることで、作業者はケーブルの存在に煩わされたり、ケーブルの長さによる移動範囲の制限を受けたりすることなく、自由に移動をしながら動作指示情報の入力を行うことができる。
【0034】
[ウエハ搬送の様子]
図2は、本発明の一実施形態に係る搬送ロボット200がウエハWを搬送する様子を示す図である。
図2に示されるように、作業空間11に設置された搬送ロボット200は、FOUP12及び13に格納されているウエハWを取り出して、当該ウエハWをハンド220に保持した状態で半導体製造装置の設置位置14又は15に搬送する。
【0035】
ここでは、搬送ロボット200は、FOUP12に格納されているウエハWを設置位置15に搬送するものとし、より詳細には、設置位置15に配置されている3つのピン15A~15Cの重心位置を目標位置として、ウエハWを当該目標位置に設置するものとする。
【0036】
より具体的には、搬送ロボット200は、ロボット制御装置100からの動作指示情報に基づいて、マニピュレータ本体210の各軸を動作させることによりアームやハンド220を動作させて、FOUP12に格納されているウエハWを保持した後、設置位置15に搬送して、3つのピン15A~15Cの重心位置である目標位置に設置する。ここで、ウエハWの中心が当該目標位置に高精度に設置されることが好ましく、ロボット制御装置100としては、目標位置を適切に把握することが重要となる。そして、ロボット制御装置100は、搬送ロボット200におけるハンド220のTCP(Tool Center Point)が当該目標位置に一致するように搬送ロボット200を動作させて、その動作を教示データとして登録されているとよい。
【0037】
[ロボット制御装置の構成]
図3は、本発明の一実施形態に係るロボット制御装置100の各機能を示す機能ブロック図である。
図3に示されるように、ロボット制御装置100は、画像情報取得手段110と、目標位置算出手段120と、ロボット位置算出手段130と、ロボット制御手段140と、目標位置予測手段150と、教示データ生成手段160とを備える。
【0038】
なお、ロボット制御装置100は、
図1に示されたように、搬送ロボット200、デバイス制御装置300、及びティーチペンダント400に接続されており、種々の制御を行うために多くの機能を備えて、処理を行っている。ここでは、ロボット制御装置100について、主に、ウエハWを搬送する目標位置を教示データとして登録する機能に関するものを示しているが、その他の構成及び機能を備えている。
【0039】
画像情報取得手段110は、搬送ロボット200に取り付けられているカメラ240によって、搬送ロボット200が移動する目標位置を含むように、少なくとも2ヶ所以上において撮影された各画像情報を取得する。例えば、画像情報取得手段110は、半導体製造装置の設置位置15に配置された3つのピン15A~15Cを含むようにカメラ240によって撮影する。
【0040】
また、設置位置15から離れた位置であって、例えば、搬送ロボット200がハンド220によってウエハWを保持して、目標位置への搬送を開始する位置や搬送を開始してから設置位置15の略正面に来た位置において、カメラ240によって目標位置を含むように撮影し、画像情報取得手段110は、1回目の画像情報を取得すればよい。
【0041】
そして、後述するように、目標位置算出手段120によって1回目の画像情報に基づいて算出された目標位置に搬送ロボット200が移動した移動位置において、カメラ240によって目標位置を含むように撮影し、画像情報取得手段110は、2回目の画像情報を取得する。さらに、2回目の画像情報に基づいて算出された目標位置に搬送ロボット200が移動した移動位置において、カメラ240によって目標位置を含むように撮影し、画像情報取得手段110は、3回目の画像情報を取得する。以降も同様に、画像情報取得手段110は、画像情報を取得することを繰り返せばよい。
【0042】
目標位置算出手段120は、画像情報取得手段110によって取得された各画像情報に基づいて目標位置をそれぞれ算出する。例えば、目標位置算出手段120は、画像情報取得手段110によって取得された画像情報について、画像処理によって画像データから3つのピン15A~15Cの位置を検出し、当該3つのピン15A~15Cの位置情報から当該3つのピン15A~15Cの重心位置を算出して目標位置とする。上述したように、画像情報取得手段110は、少なくとも2ヶ所以上において撮影された各画像情報を取得する。すなわち、カメラ240によって撮影された各画像情報において、それぞれ3つのピン15A~15Cの映り方は異なっており、当該各画像情報における3つのピン15A~15Cに基づいて、当該3つのピン15A~15Cの重心位置(目標位置)をそれぞれ算出する。
【0043】
図4は、ウエハWを搬送する目標位置となる半導体製造装置の設置位置15の様子を示す図である。
図4では、半導体製造装置の設置位置15について、ウエハWを設置位置15に搬送するための開口部側から見た様子が示されており、設置位置15には、3つのピン15A~15Cが配置されている。
【0044】
先ず、画像情報取得手段110は、設置位置15に配置された3つのピン15A~15Cを含むように、例えば、設置位置15の略正面に来た位置において、カメラ240によって撮影された1回目の画像情報を取得する。目標位置算出手段120は、当該1回目の画像情報に基づいて、3つのピン15A~15Cの重心位置G1を算出して目標位置G1とする。
【0045】
次に、搬送ロボット200が目標位置G1まで移動する。画像情報取得手段110は、設置位置15に配置された3つのピン15A~15Cを含むように、当該移動位置においてカメラ240によって撮影された2回目の画像情報を取得する。同様に、目標位置算出手段120は、当該2回目の画像情報に基づいて、3つのピン15A~15Cの重心位置G2を算出して目標位置G2とする。
【0046】
上述したように、カメラ240は、ステレオカメラとして2つのカメラで構成されており、搬送ロボット200のハンドベース230に取り付けられている。カメラ240によって設置位置15に配置された3つのピン15A~15Cが撮影されるが、1回目は、設置位置15から離れていたり、作業空間11に機器や設備が配置されていて狭いなどの状況の場合では、撮影条件が一定ではなかったり、必ずしも、適切に撮影できていない場合がある。すなわち、1回目の画像情報に基づいて算出された目標位置G1は、実際の目標位置からズレており、当該目標位置G1に移動した搬送ロボット200は、実際には、目標位置に適切に移動できていない可能性がある。2回目は、搬送ロボット200が目標位置G1に移動した移動位置において撮影されるため、1回目とは異なる撮影条件で撮影された画像情報となる。
【0047】
このように、目標位置算出手段120は、カメラ240によって撮影された各画像情報に基づいて目標位置Gnをそれぞれ算出している(カメラ座標系)。目標位置Gnは、例えば、カメラ240からの相対位置座標、ハンドベース230の所定位置からの相対位置座標、又はハンド220の所定位置(例えば、先端(遠位端)や根元(近位端)など)からの相対位置座標として、3次元空間におけるXYZ座標として記録してもよい。
【0048】
図3に戻り、ロボット位置算出手段130は、搬送ロボット200の各軸の状態を含むロボット情報に基づいて当該搬送ロボット200のロボット位置を算出する。例えば、ロボット位置算出手段130は、搬送ロボット200の各軸の状態(角度に関する情報など)に基づいて当該搬送ロボット200の位置姿勢を算出することによってロボット位置を算出する。ここでは、ロボット位置算出手段130は、ロボット位置として、搬送ロボット200におけるハンド220のTCPを算出する。すなわち、搬送ロボット200は、当該搬送ロボット200の各軸の状態から搬送ロボット200におけるハンド220のTCPを把握している(ロボット座標系)。TCPは、例えば、カメラ240からの相対位置座標、ハンドベース230の所定位置からの相対位置座標、又はハンド220の所定位置(例えば、先端(遠位端)や根元(近位端)など)からの相対位置座標として、3次元空間におけるXYZ座標として記録してもよい。
【0049】
ロボット制御手段140は、目標位置算出手段120によって算出された目標位置Gnに、搬送ロボット200におけるハンド220のTCPであるロボット位置が一致するように、当該搬送ロボット200を動作させる。
【0050】
例えば、ロボット制御手段140は、1回目の画像情報から算出された3つのピン15A~15Cの重心位置(目標位置)G1(カメラ座標系)に、ハンド220のTCP(ロボット座標系)が一致するように、搬送ロボット200におけるマニピュレータ本体210の各軸を動作させて、アームやハンド220を動作させる。
【0051】
そして、ロボット制御手段140は、上記目標位置G1において取得した2回目の画像情報から算出された3つのピン15A~15Cの重心位置(目標位置)G2(カメラ座標系)に、ハンド220のTCP(ロボット座標系)が一致するように、搬送ロボット200におけるマニピュレータ本体210の各軸を動作させて、アームやハンド220を動作させる。以降も同様に、ロボット制御手段140は、目標位置Gn-1において取得したN回目の画像情報から算出された重心位置(目標位置)Gn(カメラ座標系)に、ハンド220のTCP(ロボット座標系)が一致するように、搬送ロボット200におけるマニピュレータ本体210の各軸を動作させて、アームやハンド220を動作させればよい。
【0052】
目標位置予測手段150は、画像情報取得手段110によって取得された各画像情報に基づいて目標位置算出手段120によってそれぞれ算出された少なくとも2つ以上の目標位置に基づいて、予測目標位置を算出する。例えば、目標位置予測手段150は、複数回(N回)取得された各画像情報それぞれに基づいて算出された目標位置から近似曲線を生成し、当該近似曲線に基づいて予測目標位置を、適切な目標位置として算出してもよい。
【0053】
なお、近似曲線を生成するために用いられる画像情報に基づく目標位置は、少なくとも2つ以上であるが、要求される精度などの状況に応じて適切な数(カメラ240による撮影回数)を設定してもよいし、予測目標位置を算出可能となるまで(適切な近似曲線が生成できるようになるまで)、画像情報取得手段110による画像情報の取得、及び目標位置算出手段120による目標位置の算出を繰り返してもよい。
【0054】
ここで、近似曲線を用いて予測目標位置を適切に算出するためには、画像情報取得手段110は、少なくとも搬送ロボット200が徐々に目標位置に近づく3ヶ所以上において撮影された各画像情報を取得する。そして、目標位置予測手段150は、目標位置算出手段120によってそれぞれ算出された少なくとも3つ以上の目標位置から近似曲線を用いて収束する予測目標位置を算出する。なお、ここでは、収束する予測目標位置を算出する際に、近似曲線を用いているが、これに限定されるものではなく、少なくとも3つ以上の目標位置から収束する予測目標位置を算出することができれば、その他の回帰分析を用いてもよい。
【0055】
また、適切な予測目標位置を算出する方法は、これに限定されるものではなく、例えば、画像情報取得手段110によって取得された各画像情報、及びそれらに基づいて目標位置算出手段120によってそれぞれ算出された目標位置から機械学習モデルなどを用いて算出するようにしてもよい。ここで用いられる機械学習モデルとは、目標位置を入力データとし予測目標位置を出力データとするものであって、例えば、深層学習やニューラルネットワークなどで予め備えておくとよい。
【0056】
教示データ生成手段160は、目標位置予測手段150によって算出された予測目標位置を教示データとして記憶する。
【0057】
[教示データを生成する教示方法]
次に、搬送ロボット200によって対象物を目標位置に搬送するための教示データを生成する教示方法について、具体的に詳しく説明する。
【0058】
図5は、本発明の一実施形態に係る搬送ロボットシステム10が実行するロボット教示方法M100の処理の流れを示すフローチャートである。
図5に示されるように、ロボット教示方法M100は、ステップS110~S160を含み、各ステップは、搬送ロボットシステム10におけるロボット制御装置100に含まれるプロセッサによって実行される。
【0059】
ステップS110において、画像情報取得手段110は、搬送ロボット200に取り付けられているカメラ240によって、搬送ロボット200が移動する目標位置を含むように撮影された画像情報を取得する。具体例としては、画像情報取得手段110は、目標位置への搬送を開始してから設置位置15の略正面に来た位置において、カメラ240によって3つのピン15A~15Cを含むように撮影された画像情報を取得する(画像情報取得ステップ)。
【0060】
ステップS120において、目標位置算出手段120は、ステップS110で取得した画像情報に基づいて目標位置G1を算出する(目標位置算出ステップ)。具体例としては、目標位置算出手段120は、3つのピン15A~15Cの重心位置を算出して目標位置G1とする。
【0061】
ステップS130において、ロボット位置算出手段130は、搬送ロボット200の各軸の状態を含むロボット情報に基づいて当該搬送ロボット200のロボット位置を算出する(ロボット位置算出ステップ)。具体例としては、ロボット位置算出手段130は、搬送ロボット200の各軸の状態を含むロボット情報に基づいて、当該搬送ロボット200のロボット位置として搬送ロボット200におけるハンド220のTCPを算出する。
【0062】
ステップS140において、ロボット制御手段140は、ステップS120で算出した目標位置G1にステップS130で算出したロボット位置が一致するように搬送ロボット200を動作させる(ロボット制御ステップ)。具体例としては、ロボット制御手段140は、目標位置G1に搬送ロボット200におけるハンド220のTCPが一致するように搬送ロボット200を動作させる。
【0063】
ステップS150において、目標位置予測手段150は、画像情報に基づいて算出された目標位置(G1)、及び当該目標位置にロボット位置が一致するように搬送ロボット200が移動した移動位置において撮影された画像情報に基づいて算出された目標位置(Gn)に基づいて、予測目標位置を算出する(目標位置予測ステップ)。
【0064】
具体例としては、ステップS150は、ステップS151~S154を含み、ステップS151において、画像情報取得手段110は、ステップS120で算出した目標位置G1に搬送ロボット200におけるハンド220のTCPであるロボット位置が一致するように搬送ロボット200が移動した移動位置において、カメラ240によって3つのピン15A~15Cを含むように撮影された画像情報を取得する。
【0065】
ステップS152において、目標位置算出手段120は、ステップS151で取得した画像情報に基づいて3つのピン15A~15Cの重心位置を算出して目標位置G2とする。
【0066】
ステップS153において、目標位置予測手段150は、予測目標位置を算出するか否かに応じて、予測目標位置を算出する場合には、ステップS154の処理に進み(ステップS153の「Yes」)、予測目標位置を算出しない場合には(ステップS153の「No」)、ステップS140の処理に戻る。
【0067】
ここで、予測目標位置を算出するか否かについて、例えば、目標位置予測手段150によって予測目標位置を算出可能な、画像情報に基づく目標位置の条件(個数など)が満たされていれば、予測目標位置を算出し(ステップS153の「Yes」)、満たされていなければ、ステップS140の処理に戻り(ステップS153の「No」)、当該条件を満たすまで、ステップS140、及びステップS151~S153の処理を繰り返す。
【0068】
例えば、予測要否判定手段をさらに備えていてもよく、予測要否判定手段は、目標位置予測手段150によって予測目標位置を算出させるか否かを判定する。具体的には、目標位置予測手段150によって予測目標位置を算出可能な、画像情報に基づく目標位置の条件として、収束する予測目標位置が適切に算出できる程度の当該目標位置の個数(所定数)を予め設定しておく。そして、予測要否判定手段は、画像情報に基づく目標位置の個数(G1,G2,G3,・・・,の個数)が、所定数以上となった場合(ステップS153の「Yes」)、目標位置予測手段150によって予測目標位置を算出させると判定すればよい。一方、予測要否判定手段は、画像情報に基づく目標位置の個数(G1,G2,G3,・・・,の個数)が、所定数以上でない場合(ステップS153の「No」)、ステップS140の処理に戻り、目標位置Gnにロボット位置が一致するように搬送ロボット200を動作させて、ステップS151~S153の処理を繰り返す。
【0069】
また、予測要否判定手段は、目標位置の個数以外に、その他の条件に基づいて、目標位置予測手段150によって予測目標位置を算出させるか否かを判定してもよい。例えば、予測要否判定手段は、目標位置Gn-1と目標位置Gnとの差分が閾値以下である場合、目標位置予測手段150によって予測目標位置を算出させると判定してもよい。すなわち、(N-1)回目の画像に基づいて算出された目標位置Gn-1と、当該目標位置Gn-1にロボット位置が一致するように搬送ロボット200が移動した移動位置において撮影された画像情報(N回目)に基づいて算出された目標位置Gnとを比較する。この差が閾値以下である場合、適切な目標位置に近づいて来ており、例えば、近似曲線を用いて予測目標位置を適切に算出できると判定し、予測要否判定手段は、目標位置予測手段150によって予測目標位置を算出させると判定してもよい。
【0070】
また、予測要否判定手段は、目標位置Gnにロボット位置が一致するように搬送ロボット200が移動した移動量が閾値以下である場合、上記と同様に、適切な目標位置に近づいて来ており、例えば、近似曲線を用いて予測目標位置を適切に算出できると判定し、目標位置予測手段150によって予測目標位置を算出させると判定してもよい。
【0071】
このように、ステップS153において予測要否判定手段によって予測目標位置を算出すると判定された場合には、ステップS154において、目標位置予測手段150は、画像情報に基づく目標位置G1,G2,G3,・・・,Gnに基づいて、例えば、近似曲線や機械学習モデルを用いて、予測目標位置を算出する。
【0072】
ステップS160において、教示データ生成手段160は、ステップS154で算出した予測目標位置を教示データとして記憶する(教示データ生成ステップ)。すなわち、画像情報に基づく目標位置G1,G2,G3,・・・,Gnではなく、これらに基づいて算出された予測目標位置を適切な目標位置として、教示データとして記憶する。
【0073】
以上のように、本発明の一実施形態に係るロボット制御装置100によれば、画像情報取得手段110は、カメラ240によって少なくとも2ヶ所以上において撮影された各画像情報を取得し、目標位置算出手段120は、各画像情報それぞれに基づいて3つのピン15A~15Cの重心位置である目標位置Gnを算出する。ロボット位置算出手段130は、搬送ロボット200の各軸の状態を含むロボット情報に基づいて、当該搬送ロボット200におけるハンド220のTCPを算出し、ロボット制御手段140は、目標位置Gnに搬送ロボット200におけるハンド220のTCPが一致するように搬送ロボット200を動作させる。目標位置予測手段150は、複数回(N回)取得された各画像情報に基づいて算出された目標位置Gnそれぞれから近似曲線を生成し、当該近似曲線に基づいて予測目標位置を算出し、教示データ生成手段160は、当該予測目標位置を適切な目標位置として、教示データとして記憶する。その結果、このように記憶された教示データに従って、搬送ロボット200は、FOUP12に格納されているウエハWを取り出して、当該ウエハWをハンド220に保持した状態で半導体製造装置の設置位置15に搬送する際に、適切な目標位置にTCPが一致するように高精度に搬送することができる。
【0074】
なお、本実施形態では、近距離で撮影することによって取得された画像は、遠距離で撮影することによって取得された画像よりも高精度であるという前提において、搬送ロボット200が徐々に目標位置に近づき、目標位置予測手段150は、主に、近似曲線などの回帰分析を用いて収束する予測目標位置を算出することを一例として挙げた。しかし、カメラ240において設定される各種パラメータ及びその他周辺環境などを含む撮影条件(照明や光反射など)によっては、近距離で撮影した画像が必ずしも最も高精度というわけでなく、例えば、各種パラメータ及び撮影条件に最も適合する最適な撮影位置が他に存在する場合が考えられる。この場合、目標位置予測手段150は、近似曲線などの回帰分析以外の方法を用いて推定される予測目標位置を算出してもよい。
【0075】
例えば、画像情報取得手段110は、少なくとも搬送ロボット200が2ヶ所以上において撮影された各画像情報を取得する。そして、目標位置予測手段150は、目標位置算出手段120によってそれぞれ算出された少なくとも2つ以上の目標位置に基づいて、平均から予測目標位置を算出したり、正規分布(ガウス分布)を用いて予測目標位置を算出したり、その他、最小二乗法や重み付き最小二乗法などを用いて予測目標位置を算出したりすることが考えられる。ここで、重み付き最小二乗法は、例えば、目標位置に近い距離やカメラ240によって撮影するのに最適な位置に近い距離において撮影された画像情報ほど高精度であるとすれば、当該精度に応じて重み付けを付加するものである。
【0076】
また、画像情報取得手段110は、目標位置算出手段120によってそれぞれ算出された少なくとも2つ以上の目標位置からデータ分布(確率分布)を利用した推定法(例えば、最尤推定及びMAP推定など)を用いて推定される予測目標位置を算出してもよい。
【0077】
また、ここで、目標位置予測手段150によって予測目標位置を算出する際に用いられる、目標位置算出手段120によってそれぞれ算出された少なくとも2つ以上の目標位置は、その数が多いほど、予測目標位置(真値)から特定方向側に偏った複数の目標位置に基づいて予測目標位置を推定することを回避し、目標位置予測手段150は、より適切に予測目標位置を算出することができる。
【0078】
なお、本実施形態では、カメラ240は、ステレオカメラとして2つのカメラで構成され、搬送ロボット200のハンドベース230に取り付けられていたが、これに限定されるものではなく、3つのピン15A~15Cを明確に認識することができるように、3つのピン15A~15Cを撮影できるのであれば、1つのカメラ又は3つ以上のカメラで構成されても構わないし、ハンドベース230ではなく、例えば、マニピュレータ本体210のアームやハンド220に取り付けられても構わない。
【0079】
また、本実施形態では、対象物であるウエハWをFOUP12及び13から半導体制御装置の設置位置14及び15に搬送させる場面を一例に挙げて説明したが、これに限定されるものではなく、対象物であるウエハWを半導体制御装置の設置位置14及び15からFOUP12及び13に戻す場面でも本発明を適用しても構わない。
【0080】
さらに、例えば、ウエハWの方向や傾きを調整するためにアライナを介する場面でも、本発明を適用しても構わない。この場合、ウエハWを搬送するアライナにおける設置位置を中間目標位置として、カメラ240による各画像情報に基づいて適切に算出するとよい。具体的に、アライナにおける設置位置とは、吸着パッドに載置して設置する場合には当該吸着パッドの中心位置、及びウエハのエッジを保持して設置するエッジグリップタイプでは、当該保持部材の中心位置などであればよい。そして、ロボット制御手段140は、搬送ロボット200におけるハンド220のTCPと中間目標位置とが一致するように搬送ロボット200を動作させ、目標位置予測手段150は、少なくとも2つ以上の中間目標位置に基づいて、予測(中間)目標位置を算出し、教示データ生成手段160は、算出した予測(中間)目標位置を教示データとして記憶すればよい。
【0081】
なお、本発明に係る実施形態では、搬送ロボット200によって搬送される対象物をウエハとして説明したが、これに限定されるものではなく、例えば、搬送される対象物をフラットパネルとする搬送ロボットでも本発明を適用しても構わないし、その他、平板状の対象物を搬送する搬送ロボットに適用することも可能である。
【0082】
さらに、本発明は、対象物を搬送する場面のみならず、例えば、ウエハなどの対象物をFOUPから取り出す場面においても適用可能である。FOUPに格納されたウエハの位置を、搬送ロボット200が移動する目標位置として、カメラを用いて複数回撮影して高精度に算出して、少なくとも2つ以上の目標位置に基づいて、予測目標位置を算出し、教示データ生成手段160は、算出した予測目標位置を教示データとして記憶すればよい。これにより、搬送ロボット200は、適切にウエハを取り出すことができる。
【0083】
また、本発明は、カメラを用いて目標位置を複数回撮影し、その画像情報に基づいてそれぞれ目標位置を算出して、その精度を向上させていたが、複数回のうち少なくとも1回を、例えば、カメラに代えて、又はカメラと組み合わせてセンサなどを用いてもよい。取得した画像情報やセンサ情報に基づいて目標位置を高精度に算出することも可能である。
【0084】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【符号の説明】
【0085】
10…搬送ロボットシステム、11…作業空間、12,13…FOUP、14,15…設置位置、15A~15C…ピン、100…ロボット制御装置、110…画像情報取得手段、120…目標位置算出手段、130…ロボット位置算出手段、140…ロボット制御手段、150…目標位置予測手段、160…教示データ生成手段、200…搬送ロボット、210…マニピュレータ本体、220…ハンド、230…ハンドベース(基部)、240…カメラ、300…デバイス制御装置、400…ティーチペンダント、G(Gn)…重心位置(目標位置)、W…ウエハ、M100…ロボット教示方法、S110~S160,S151~S154…ロボット教示方法の各ステップ