知財求人 - 知財ポータルサイト「IP Force」
2025-39116エンドエフェクタ、ロボットシステム、エンドエフェクタの制御方法、ロボットシステムの制御方法、物品の製造方法、プログラム、記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025039116
(43)【公開日】2025-03-21
(54)【発明の名称】エンドエフェクタ、ロボットシステム、エンドエフェクタの制御方法、ロボットシステムの制御方法、物品の製造方法、プログラム、記録媒体
(51)【国際特許分類】
B25J 13/08 20060101AFI20250313BHJP
【ＦＩ】
B25J13/08 A
【審査請求】未請求
【請求項の数】29
【出願形態】ＯＬ
(21)【出願番号】P 2023145971
(22)【出願日】2023-09-08
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003133
【氏名又は名称】弁理士法人近島国際特許事務所
(72)【発明者】
【氏名】浅野 秀忠
(72)【発明者】
【氏名】大熊 勇
(72)【発明者】
【氏名】岡崎 亮太
(72)【発明者】
【氏名】塚本 稜司
(72)【発明者】
【氏名】溝花 弘登
【テーマコード（参考）】
3C707
【Ｆターム（参考）】
3C707AS07
3C707BS12
3C707HS27
3C707KT01
3C707KT05
3C707KT11
3C707LW07
(57)【要約】
【課題】作業ツールでワークを支持した状態でも撮像対象を撮像すること。
【解決手段】ロボットシステムのロボット本体に取付けられるエンドエフェクタ（１００）は、本体部（１０１）と、本体部に支持され、撮像可能なカメラ（１２０）と、本体部に移動自在に支持され、ワーク（Ｗ）を支持可能であり、かつワークに対する作業を実行可能な作業ツール（１４１，１４２）と、を備えている。カメラにより撮像対象を撮像する際に、ワークを支持した作業ツールを、カメラの視野における撮像対象と作業ツール及び支持したワークとが重なる重複範囲の外側に位置させる。
【選択図】図５
【解決手段】ロボットシステムのロボット本体に取付けられるエンドエフェクタ（１００）は、本体部（１０１）と、本体部に支持され、撮像可能なカメラ（１２０）と、本体部に移動自在に支持され、ワーク（Ｗ）を支持可能であり、かつワークに対する作業を実行可能な作業ツール（１４１，１４２）と、を備えている。カメラにより撮像対象を撮像する際に、ワークを支持した作業ツールを、カメラの視野における撮像対象と作業ツール及び支持したワークとが重なる重複範囲の外側に位置させる。
【選択図】図５
【特許請求の範囲】
【請求項1】
本体部と、
前記本体部に支持され、撮像可能なカメラと、
前記本体部に移動自在に支持され、ワークを支持可能であり、かつワークに対する作業を実行可能なツールと、を備え、
前記カメラにより撮像対象を撮像する場合に、前記カメラの視野において、前記ツールまたは前記ツールで支持したワークの少なくとも一部と前記撮像対象とが重なる範囲の外側に、ワークを支持した前記ツールを位置させる、
ことを特徴とするエンドエフェクタ。
前記本体部に支持され、撮像可能なカメラと、
前記本体部に移動自在に支持され、ワークを支持可能であり、かつワークに対する作業を実行可能なツールと、を備え、
前記カメラにより撮像対象を撮像する場合に、前記カメラの視野において、前記ツールまたは前記ツールで支持したワークの少なくとも一部と前記撮像対象とが重なる範囲の外側に、ワークを支持した前記ツールを位置させる、
ことを特徴とするエンドエフェクタ。
【請求項2】
前記ツールまたは支持したワークの少なくとも一部が、前記範囲の内側にある状態から、前記カメラにより撮像対象を撮像する前に、前記範囲の外側に、ワークを支持した前記ツールを移動させる、
ことを特徴とする請求項１に記載のエンドエフェクタ。
ことを特徴とする請求項１に記載のエンドエフェクタ。
【請求項3】
前記撮像対象は、前記ツールにより作業を行う作業対象であり、
ワークを支持した前記ツールが前記範囲の外側にある状態から、前記ツールにより作業を実行する前に、前記カメラの視野において、ワークが前記作業対象に少なくとも一部が重なるように、ワークを支持した前記ツールを移動させる、
ことを特徴とする請求項１に記載のエンドエフェクタ。
ワークを支持した前記ツールが前記範囲の外側にある状態から、前記ツールにより作業を実行する前に、前記カメラの視野において、ワークが前記作業対象に少なくとも一部が重なるように、ワークを支持した前記ツールを移動させる、
ことを特徴とする請求項１に記載のエンドエフェクタ。
【請求項4】
前記カメラにより撮像対象を撮像する場合に、前記ツール及び支持したワークを、前記カメラの視野の外側に位置させる、
ことを特徴とする請求項１に記載のエンドエフェクタ。
ことを特徴とする請求項１に記載のエンドエフェクタ。
【請求項5】
前記撮像対象は、作業において前記ツールで支持したワークを接触させる接触位置である、
ことを特徴とする請求項１に記載のエンドエフェクタ。
ことを特徴とする請求項１に記載のエンドエフェクタ。
【請求項6】
前記ツールは、ワークを把持することで支持する第１指部及び第２指部を含む、
ことを特徴とする請求項１に記載のエンドエフェクタ。
ことを特徴とする請求項１に記載のエンドエフェクタ。
【請求項7】
前記第１指部は、前記本体に対して移動自在に支持される第１根元部と、前記第１根元部よりも先端に配置され、ワークを把持する第１指先部と、を有し、
前記第２指部は、前記本体に対して移動自在に支持される第２根元部と、前記第２根元部よりも先端に配置され、ワークを把持する第２指先部と、を有する、
ことを特徴とする請求項６に記載のエンドエフェクタ。
前記第２指部は、前記本体に対して移動自在に支持される第２根元部と、前記第２根元部よりも先端に配置され、ワークを把持する第２指先部と、を有する、
ことを特徴とする請求項６に記載のエンドエフェクタ。
【請求項8】
前記第１指部及び前記第２指部は、前記本体部に対して移動された場合に、前記第１指先部及び前記第２指先部が前記範囲の内側と外側とに移動し、かつ前記第１指先部及び前記第２指先部が前記範囲の内側にある場合でも前記第１根元部及び前記第２根元部が前記範囲の外側に位置するように形成されている、
ことを特徴とする請求項７に記載のエンドエフェクタ。
ことを特徴とする請求項７に記載のエンドエフェクタ。
【請求項9】
前記第１指先部及び前記第２指先部は、前記範囲の内側に位置する状態で、前記カメラと前記カメラの焦点位置との間に位置する、
ことを特徴とする請求項７に記載のエンドエフェクタ。
ことを特徴とする請求項７に記載のエンドエフェクタ。
【請求項10】
前記本体部は、
前記第１根元部及び前記第２根元部をスライド移動可能に支持するスライド部と、
前記第１根元部を前記スライド部においてスライド移動させるように駆動する第１駆動部と、
前記第１駆動部とは独立して駆動可能であり、前記第２根元部を前記スライド部においてスライド移動させるように駆動する第２駆動部と、を有する、
ことを特徴とする請求項７に記載のエンドエフェクタ。
前記第１根元部及び前記第２根元部をスライド移動可能に支持するスライド部と、
前記第１根元部を前記スライド部においてスライド移動させるように駆動する第１駆動部と、
前記第１駆動部とは独立して駆動可能であり、前記第２根元部を前記スライド部においてスライド移動させるように駆動する第２駆動部と、を有する、
ことを特徴とする請求項７に記載のエンドエフェクタ。
【請求項11】
請求項１に記載のエンドエフェクタと、
前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、
前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備え、
前記制御部は、前記カメラにより撮像された画像から前記撮像対象に対する前記エンドエフェクタの位置合せを行う位置合せ制御を実行する、
ことを特徴とするロボットシステム。
前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、
前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備え、
前記制御部は、前記カメラにより撮像された画像から前記撮像対象に対する前記エンドエフェクタの位置合せを行う位置合せ制御を実行する、
ことを特徴とするロボットシステム。
【請求項12】
前記制御部は、前記位置合せ制御として、前記エンドエフェクタと前記撮像対象との位置ずれを、前記カメラにより撮像した画像と目標となる目標画像とから演算し、前記位置ずれが無くなるように前記エンドエフェクタの位置を補正する補正制御を実行する、
ことを特徴とする請求項１１に記載のロボットシステム。
ことを特徴とする請求項１１に記載のロボットシステム。
【請求項13】
前記撮像対象は、平面状に形成された平面部と、前記平面部に対して傾斜された傾斜部と、を有し、
前記エンドエフェクタは、光軸方向に光を照射する照射部を備え、
前記制御部は、前記平面部で反射した反射光の光軸が前記カメラに向かい、かつ前記傾斜部で反射した反射光の光軸が前記カメラと異なる方向に向かうように前記撮像対象を前記照射部により照射して、前記カメラにより撮像する、
ことを特徴とする請求項１２に記載のロボットシステム。
前記エンドエフェクタは、光軸方向に光を照射する照射部を備え、
前記制御部は、前記平面部で反射した反射光の光軸が前記カメラに向かい、かつ前記傾斜部で反射した反射光の光軸が前記カメラと異なる方向に向かうように前記撮像対象を前記照射部により照射して、前記カメラにより撮像する、
ことを特徴とする請求項１２に記載のロボットシステム。
【請求項14】
前記撮像対象は、前記平面部に対して穴状に形成された穴部を有し、
前記傾斜部は、前記穴部の開口の外縁において面取りされた面取り部である、
ことを特徴とする請求項１３に記載のロボットシステム。
前記傾斜部は、前記穴部の開口の外縁において面取りされた面取り部である、
ことを特徴とする請求項１３に記載のロボットシステム。
【請求項15】
前記カメラは、テレセントリック光学系を有し、
前記制御部は、前記テレセントリック光学系の光軸を前記平面部に直交させた状態で、前記カメラにより撮像する、
ことを特徴とする請求項１３に記載のロボットシステム。
前記制御部は、前記テレセントリック光学系の光軸を前記平面部に直交させた状態で、前記カメラにより撮像する、
ことを特徴とする請求項１３に記載のロボットシステム。
【請求項16】
前記照射部は、前記テレセントリック光学系の光軸と同軸に光を照射する同軸落射照明であり、
前記制御部は、前記テレセントリック光学系の光軸を前記平面部に直交させた状態で、前記同軸落射照明により前記平面部を照射しつつ前記カメラにより撮像する、
ことを特徴とする請求項１５に記載のロボットシステム。
前記制御部は、前記テレセントリック光学系の光軸を前記平面部に直交させた状態で、前記同軸落射照明により前記平面部を照射しつつ前記カメラにより撮像する、
ことを特徴とする請求項１５に記載のロボットシステム。
【請求項17】
前記撮像対象は、前記ツールによりワークに関する作業を行う作業位置であり、
前記作業位置が複数個所である場合、複数の前記作業位置のそれぞれに対して実行される前記位置合せ制御で、同じ前記目標画像を用いる、
ことを特徴とする請求項１２に記載のロボットシステム。
前記作業位置が複数個所である場合、複数の前記作業位置のそれぞれに対して実行される前記位置合せ制御で、同じ前記目標画像を用いる、
ことを特徴とする請求項１２に記載のロボットシステム。
【請求項18】
前記複数の作業位置のそれぞれで実行される作業は、前記複数の作業位置の少なくとも１つにあるワークを前記ツールに支持させる第１作業と、前記ツールにより支持されたワークを前記複数の作業位置の少なくとも１つに接触させる第２作業と、を含み、
前記第１作業を行う前に実行される前記位置合せ制御と、前記第２作業を行う前に実行される前記位置合せ制御とで、同じ前記目標画像を用いる、
ことを特徴とする請求項１７に記載のロボットシステム。
前記第１作業を行う前に実行される前記位置合せ制御と、前記第２作業を行う前に実行される前記位置合せ制御とで、同じ前記目標画像を用いる、
ことを特徴とする請求項１７に記載のロボットシステム。
【請求項19】
前記制御部は、
前記エンドエフェクタの姿勢を変化させつつ、前記カメラにより撮像された画像から前記平面部で反射した光の輝度を演算し、
前記演算した輝度が最大となるように前記エンドエフェクタの姿勢を補正する姿勢補正制御を実行する、
ことを特徴とする請求項１１に記載のロボットシステム。
前記エンドエフェクタの姿勢を変化させつつ、前記カメラにより撮像された画像から前記平面部で反射した光の輝度を演算し、
前記演算した輝度が最大となるように前記エンドエフェクタの姿勢を補正する姿勢補正制御を実行する、
ことを特徴とする請求項１１に記載のロボットシステム。
【請求項20】
前記制御部は、
前記エンドエフェクタの姿勢を操作して教示を行う教示装置と、情報の表示を行う表示装置と、に接続可能であり、
前記エンドエフェクタの姿勢が変更された場合に、前記カメラにより撮像された画像から前記平面部で反射した光の輝度を演算して前記表示装置に表示する、
ことを特徴とする請求項１１に記載のロボットシステム。
前記エンドエフェクタの姿勢を操作して教示を行う教示装置と、情報の表示を行う表示装置と、に接続可能であり、
前記エンドエフェクタの姿勢が変更された場合に、前記カメラにより撮像された画像から前記平面部で反射した光の輝度を演算して前記表示装置に表示する、
ことを特徴とする請求項１１に記載のロボットシステム。
【請求項21】
撮像可能なカメラと、光軸方向に光を照射する照射部と、を備えるエンドエフェクタと、
前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、
前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備え、
前記制御部は、
前記カメラにより撮像された画像から撮像対象に対する前記エンドエフェクタの位置合せを行う位置合せ制御を実行する際に、
平面状に形成された平面部、及び前記平面部に対して傾斜された傾斜部を有する撮像対象を、前記平面部で反射した反射光の光軸が前記カメラに向かい、かつ前記傾斜部で反射した反射光の光軸が前記カメラと異なる方向に向かうように前記照射部により照射して前記カメラにより撮像する、
ことを特徴とするロボットシステム。
前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、
前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備え、
前記制御部は、
前記カメラにより撮像された画像から撮像対象に対する前記エンドエフェクタの位置合せを行う位置合せ制御を実行する際に、
平面状に形成された平面部、及び前記平面部に対して傾斜された傾斜部を有する撮像対象を、前記平面部で反射した反射光の光軸が前記カメラに向かい、かつ前記傾斜部で反射した反射光の光軸が前記カメラと異なる方向に向かうように前記照射部により照射して前記カメラにより撮像する、
ことを特徴とするロボットシステム。
【請求項22】
本体部と、前記本体部に支持され、撮像可能なカメラと、前記本体部に移動自在に支持され、ワークに対して作業を施すツールと、を備え、制御部により制御されるエンドエフェクタの制御方法において、
前記制御部が、前記カメラにより撮像対象を撮像する場合に、前記カメラの視野において、前記ツールまたは前記ツールで支持したワークの少なくとも一部と前記撮像対象とが重なる範囲の外側に、ワークを支持した前記ツールを位置させる、
ことを特徴とするエンドエフェクタの制御方法。
前記制御部が、前記カメラにより撮像対象を撮像する場合に、前記カメラの視野において、前記ツールまたは前記ツールで支持したワークの少なくとも一部と前記撮像対象とが重なる範囲の外側に、ワークを支持した前記ツールを位置させる、
ことを特徴とするエンドエフェクタの制御方法。
【請求項23】
本体部と、前記本体部に支持され、撮像可能なカメラと、前記本体部に移動自在に支持され、ワークに対して作業を施すツールと、を備えるエンドエフェクタと、
前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、
前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備えるロボットシステムの制御方法において、
前記制御部が、前記カメラにより撮像対象を撮像する場合に、前記カメラの視野において、前記ツールまたは前記ツールで支持したワークの少なくとも一部と前記撮像対象とが重なる範囲の外側に、ワークを支持した前記ツールを位置させる退避工程と、
前記制御部が、ワークを支持した前記ツールを前記範囲の外側に位置させた状態で、前記カメラにより撮像対象を撮像する撮像工程と、
前記制御部が、前記カメラにより撮像された画像から前記撮像対象に対する前記エンドエフェクタの位置合せを行う位置合せ工程と、を備える、
ことを特徴とするロボットシステムの制御方法。
前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、
前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備えるロボットシステムの制御方法において、
前記制御部が、前記カメラにより撮像対象を撮像する場合に、前記カメラの視野において、前記ツールまたは前記ツールで支持したワークの少なくとも一部と前記撮像対象とが重なる範囲の外側に、ワークを支持した前記ツールを位置させる退避工程と、
前記制御部が、ワークを支持した前記ツールを前記範囲の外側に位置させた状態で、前記カメラにより撮像対象を撮像する撮像工程と、
前記制御部が、前記カメラにより撮像された画像から前記撮像対象に対する前記エンドエフェクタの位置合せを行う位置合せ工程と、を備える、
ことを特徴とするロボットシステムの制御方法。
【請求項24】
前記退避工程において、前記制御部が、前記ツール及び支持したワークの少なくとも一部が前記範囲の内側にある状態から、前記カメラにより撮像対象を撮像する前に、前記範囲の外側に、ワークを支持した前記ツールを移動させる、
ことを特徴とする請求項２３に記載のロボットシステムの制御方法。
ことを特徴とする請求項２３に記載のロボットシステムの制御方法。
【請求項25】
前記制御部が、前記撮像工程の後、ワークを支持した前記ツールが前記範囲の外側にある状態から、前記ツールにより作業を実行する前に、前記カメラの視野において、ワークが前記撮像対象に少なくとも一部が重なるように、ワークを支持した前記ツールを前記範囲の内側に移動させる復帰工程を備える、
ことを特徴とする請求項２３に記載のロボットシステムの制御方法。
ことを特徴とする請求項２３に記載のロボットシステムの制御方法。
【請求項26】
撮像可能なカメラと、光軸方向に光を照射する照射部と、を備えるエンドエフェクタと、
前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、
前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備えるロボットシステムの制御方法において、
前記制御部が、平面状に形成された平面部、及び前記平面部に対して傾斜された傾斜部を有する撮像対象を、前記平面部で反射した反射光の光軸が前記カメラに向かい、かつ前記傾斜部で反射した反射光の光軸が前記カメラと異なる方向に向かうように前記照射部により照射する照射工程と、
前記制御部が、前記照射工程により光が照射された撮像対象を前記カメラにより撮像する撮像工程と、
前記制御部が、前記カメラにより撮像された画像から前記エンドエフェクタと前記撮像対象との位置関係を演算する演算工程と、を備える、
ことを特徴とするロボットシステムの制御方法。
前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、
前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備えるロボットシステムの制御方法において、
前記制御部が、平面状に形成された平面部、及び前記平面部に対して傾斜された傾斜部を有する撮像対象を、前記平面部で反射した反射光の光軸が前記カメラに向かい、かつ前記傾斜部で反射した反射光の光軸が前記カメラと異なる方向に向かうように前記照射部により照射する照射工程と、
前記制御部が、前記照射工程により光が照射された撮像対象を前記カメラにより撮像する撮像工程と、
前記制御部が、前記カメラにより撮像された画像から前記エンドエフェクタと前記撮像対象との位置関係を演算する演算工程と、を備える、
ことを特徴とするロボットシステムの制御方法。
【請求項27】
請求項１１に記載のロボットシステムを用いて物品の製造を行うことを特徴とする物品の製造方法。
【請求項28】
請求項２３に記載のロボットシステムの制御方法を、コンピュータに実行させるためのプログラム。
【請求項29】
請求項２８に記載のプログラムを記憶したコンピュータにより読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、エンドエフェクタ、ロボットシステム、エンドエフェクタの制御方法、ロボットシステムの制御方法、物品の製造方法、プログラム、記録媒体に関する。
【背景技術】
【0002】
例えばロボットハンドのフィンガーによってワークを把持し、所望の位置にワークを設置するものが開示されている（特許文献１参照）。この特許文献１のものは、カメラによってワークを撮像することで、ワークの幾何情報を取得し、その幾何情報に基づいてフィンガーを制御してワークを把持している。そして、ワークを撮像する際には、フィンガーを撮像領域外に退避させている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１６－１２０５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献１のものは、フィンガーによってワークを把持した状態になった場合、ワークを設置する設置位置がワークによって遮られてカメラで撮像できない。そのため、ワークを設置する設置位置が正確に把握できず、フィンガーの位置を設置位置に正確に補正できないため、ワークの設置動作における設置位置の精度が良好でなくなるという問題がある。
【0005】
そこで本発明は、ツールでワークを支持したまま撮像対象を撮像することが可能なエンドエフェクタ、ロボットシステム、エンドエフェクタの制御方法、ロボットシステムの制御方法、物品の製造方法、プログラム、記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様は、本体部と、前記本体部に支持され、撮像可能なカメラと、前記本体部に移動自在に支持され、ワークを支持可能であり、かつワークに対する作業を実行可能なツールと、を備え、前記カメラにより撮像対象を撮像する場合に、前記カメラの視野において、前記ツールまたは前記ツールで支持したワークの少なくとも一部と前記撮像対象とが重なる範囲の外側に、ワークを支持した前記ツールを位置させる、ことを特徴とするエンドエフェクタである。
【0007】
本発明の一態様は、撮像可能なカメラと、光軸方向に光を照射する照射部と、を備えるエンドエフェクタと、前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備え、前記制御部は、前記カメラにより撮像された画像から撮像対象に対する前記エンドエフェクタの位置合せを行う位置合せ制御を実行する際に、平面状に形成された平面部、及び前記平面部に対して傾斜された傾斜部を有する撮像対象を、前記平面部で反射した反射光の光軸が前記カメラに向かい、かつ前記傾斜部で反射した反射光の光軸が前記カメラと異なる方向に向かうように前記照射部により照射して前記カメラにより撮像する、ことを特徴とするロボットシステムである。
【0008】
本発明の一態様は、本体部と、前記本体部に支持され、撮像可能なカメラと、前記本体部に移動自在に支持され、ワークに対して作業を施すツールと、を備え、制御部により制御されるエンドエフェクタの制御方法において、前記制御部が、前記カメラにより撮像対象を撮像する場合に、前記カメラの視野において、前記ツールまたは前記ツールで支持したワークの少なくとも一部と前記撮像対象とが重なる範囲の外側に、ワークを支持した前記ツールを位置させる、ことを特徴とするエンドエフェクタの制御方法である。
【0009】
本発明の一態様は、本体部と、前記本体部に支持され、撮像可能なカメラと、前記本体部に移動自在に支持され、ワークに対して作業を施すツールと、を備えるエンドエフェクタと、前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備えるロボットシステムの制御方法において、前記制御部が、前記カメラにより撮像対象を撮像する場合に、前記カメラの視野において、前記ツールまたは前記ツールで支持したワークの少なくとも一部と前記撮像対象とが重なる範囲の外側に、ワークを支持した前記ツールを位置させる退避工程と、前記制御部が、ワークを支持した前記ツールを前記範囲の外側に位置させた状態で、前記カメラにより撮像対象を撮像する撮像工程と、前記制御部が、前記カメラにより撮像された画像から前記撮像対象に対する前記エンドエフェクタの位置合せを行う位置合せ工程と、を備える、ことを特徴とするロボットシステムの制御方法である。
【0010】
本発明の一態様は、撮像可能なカメラと、光軸方向に光を照射する照射部と、を備えるエンドエフェクタと、前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備えるロボットシステムの制御方法において、前記制御部が、平面状に形成された平面部、及び前記平面部に対して傾斜された傾斜部を有する撮像対象を、前記平面部で反射した反射光の光軸が前記カメラに向かい、かつ前記傾斜部で反射した反射光の光軸が前記カメラと異なる方向に向かうように前記照射部により照射する照射工程と、前記制御部が、前記照射工程により光が照射された撮像対象を前記カメラにより撮像する撮像工程と、前記制御部が、前記カメラにより撮像された画像から前記エンドエフェクタと前記撮像対象との位置関係を演算する演算工程と、を備える、ことを特徴とするロボットシステムの制御方法である。
【発明の効果】
【0011】
本発明によると、ツールでワークを支持した状態でも撮像対象を撮像することができる。
【図面の簡単な説明】
【0012】
【図1】第１実施形態に係るロボットシステムを示す図である。
【図2】第１実施形態に係るロボットシステムの制御系を示すブロック図である。
【図3】第１実施形態に係るロボットハンドを示す斜視図である。
【図4】指部で把持したワークがカメラの視野内に位置する状態のロボットハンドを示す下方視図である。
【図5】指部で把持したワークがカメラの視野外に位置する状態のロボットハンドを示す下方視図である。
【図6】ロボットハンドの指部の構成を示す側面図である。
【図7】ロボット装置における画像ベースのビジュアルサーボ制御を示すブロック図である。
【図8】ロボット装置における画像ベースのビジュアルサーボ制御を示すフローチャートである。
【図9】第１実施形態に係るピン組付制御を示すフローチャートである。
【図10】（ａ）ピンを指部で把持した際のカメラの画像を示す模式図である。（ｂ）ロボットハンドを組付ワークの穴部の上空に移動させた際のカメラの画像を示す模式図である。（ｃ）指部及びピンを視野外に移動した際のカメラの画像を示す模式図である。（ｄ）組付ワークの穴部に対してロボットハンドを位置合わせした際のカメラの画像を示す模式図である。（ｅ）指部及びピンを組付ワークの穴部の上空に移動させた際のカメラの画像を示す模式図である。
【図11】第２実施形態に係るピン組付制御を示すフローチャートである。
【図12】（ａ）ピンを指部で把持した際のカメラの画像を示す模式図である。（ｂ）指部及びピンを視野外に移動した状態でロボットハンドを組付ワークの穴部の上空に移動させた際のカメラの画像を示す模式図である。（ｃ）組付ワークの穴部に対してロボットハンドを位置合わせした際のカメラの画像を示す模式図である。（ｄ）指部及びピンを組付ワークの穴部の上空に移動させた際のカメラの画像を示す模式図である。
【図13】第３実施形態に係るカメラ及び照明部の構造を示す模式図である。
【図14】（ａ）一般的なカメラで組付ワークの穴部を撮像した際の画像を示す図である。（ｂ）第３実施形態に係るカメラで組付ワークの穴部を撮像した際の画像を示す図である。
【図15】（ａ）一般的なカメラで穴部にピンが載置されたピン置台を撮像した際の画像を示す図である。（ｂ）第３実施形態に係るカメラで穴部にピンが載置されたピン置台を撮像した際の画像を示す図である。
【図16】ロボットアームの姿勢補正制御を示すフローチャートである。
【図17】（ａ）姿勢を補正する前のロボットアームを示す模式図である。（ｂ）姿勢を補正した後のロボットアームを示す模式図である。
【発明を実施するための形態】
【0013】
【0014】
【0015】
図１に示すように、例えば工場等に設置されるロボットシステム１は、ワークとしての例えば金属性のピンＷが載置されたピン置台４０１から組付ワーク４０２にワークであるピンＷを把持して移動するロボット装置１０を備えている。ロボット装置１０は、台座２と、その台座２に支持される６軸多関節ロボットのロボット本体としてのロボットアーム１０Ａと、そのロボットアーム１０Ａの先端に取付けられるエンドエフェクタとしてのロボットハンド１００と、を有している。即ち、ロボットアーム１０Ａは、所謂マニピュレータであり、その先端には、ロボットハンド１００が取付けられるフランジ状のフランジ部１１が設けられている。
【0016】
なお、ピン置台４０１には、ピンＷが挿入される複数の穴部４０１Ｈが形成されており、これらの穴部４０１Ｈに作業前の部品として供給されるピンＷが設置されている。また、組付ワーク４０２には、ワークとしてのピンＷが挿入されて嵌合されることで組付けられる穴部４０２Ｈが形成されている。即ち、詳しくは後述するロボット装置１０が組付制御を実行することで、ピンＷが組付ワーク４０２に組付けられる作業が実行され、組付ワーク４０２に複数のピンＷが組付けられることで、完成した組付ワーク４０２が物品として製造されることになる。
【0017】
またロボット装置１０は、ロボットアーム１０Ａを制御するロボットコントローラ２００と、詳しくは後述するカメラ１２０（図３参照）を制御するビジョンコントローラ２２０と、ロボットハンド１００を制御するハンドコントローラ２３０とを有している。即ち、これらの各コントローラは、それぞれの装置に指令を出力可能となるように電気的に接続されている。
【0018】
また、ロボットコントローラ２００は、ユーザがロボット装置１０のティーチング作業（つまり教示）等を行うための教示装置としてのティーチングペンダント３００が接続可能に構成されている。また、ティーチングペンダント３００は、各種の情報の表示を行う表示装置としての表示部３００Ａを有している。なお、本実施形態では、教示装置としてのティーチングペンダント３００と表示装置としての表示部３００Ａとが一体であるものを説明しているが、別々の装置として構成されていてもよい。
【0019】
ティーチングペンダント３００は、ロボットコントローラ２００に指令することでロボットアーム１０Ａを駆動し、ロボットアーム１０Ａの各関節の位置や角度を制御することで、ロボットアームＡの位置や姿勢を操作可能に構成されている。また、ティーチングペンダント３００は、ロボットアーム１０Ａの位置や姿勢を操作することができるので、ロボットハンド１００の位置や姿勢も操作可能に構成されていることになる。そして、ティーチングペンダント３００により操作したロボットアーム１０Ａの位置や姿勢、或いはロボットハンド１００の位置や姿勢は、後述の記憶部としてのハードディスク（ＨＤＤ）２０４に記憶させることができる。これにより、ロボット装置１０に各種動作（組付作業や位置補正の動作）におけるロボットアーム１０Ａの位置や姿勢、或いはロボットハンド１００の位置や姿勢を記憶させることで、つまり教示が行われる。ロボット装置１０は、記憶されたロボットアーム１０Ａの位置や姿勢、或いはロボットハンド１００の位置や姿勢に基づき、各種の動作（各種の作業）を行うことになる。
【0020】
【0021】
図２に示すように、ロボットコントローラ２００は、コンピュータで構成されている。ロボットコントローラ２００は、プロセッサーであり制御部としてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１を有している。また、ロボットコントローラ２００は、記憶部の一例として、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２０４とを有している。
さらに、ロボットコントローラ２００は、記録ディスクドライブ２０５、複数の入出力インタフェース（Ｉ／Ｆ）１３９～１４３を有する。
さらに、ロボットコントローラ２００は、記録ディスクドライブ２０５、複数の入出力インタフェース（Ｉ／Ｆ）１３９～１４３を有する。
【0022】
ＣＰＵ２０１には、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０４、記録ディスクドライブ２０５、及びインタフェース２０６～２１０が、バス２１１を介して接続されている。ＲＯＭ２０２には、ＢＩＯＳ等の基本プログラムが格納されている。ＲＡＭ２０３は、ＣＰＵ２０１の演算処理結果等、各種データを一時的に記憶する記憶装置である。
【0023】
ＨＤＤ２０４は、ＣＰＵ２０１の演算処理結果や外部から取得した各種データ等を記憶する記憶装置である。このＨＤＤ２０４には、ＣＰＵ２０１に演算処理を実行させるためのプログラムＰＲが記録される。ＣＰＵ２０１は、ＨＤＤ２０４に記録（格納）されたプログラムＰＲに基づいて、後述する各種の制御（制御方法）や、物品の製造方法の各処理を実行する。記録媒体としての記録ディスクドライブ２０５は、記録ディスク２９９に記録された各種データやプログラム等を読み出すことができる。即ち、記録ディスクドライブ２０５に記録されたプログラムＰＲをＨＤＤ２０４に読み込んでインストールさせることができる。
【0024】
インタフェース２０６には、ティーチングペンダント３００が接続されている。ＣＰＵ２０１は、インタフェース２０６及びバス２１１を介してティーチングペンダント３００から入力データ（入力情報）を取得する。また、ＣＰＵ２０１は、バス２１１及びインタフェース２０６を介してティーチングペンダント３００に設けられた表示部３００Ａ（図１参照）に画像データを送信し、各種の表示を実行する。インタフェース２０７は、書き換え可能な不揮発性メモリや外付けＨＤＤ等の記憶部である外部記憶装置３５０が接続可能に構成されている。
【0025】
インタフェース２０８には、サーボ制御部１５が接続されている。サーボ制御部１５には、上記ロボットアーム１０Ａ（図１参照）の各関節に備えられたモータ１６、角度センサ１７、及びトルクセンサ１８が接続されている。なお、この図１０では、複数の関節のうち１つの関節の構成を代表して図示している。モータ１６は、例えばブラシレスＤＣモータ又はＡＣモータであり、不図示の減速機を介して対応する関節を回転駆動する。角度センサ１７は、例えばロータリエンコーダであり、モータ１６に設けられ、モータ１６の回転角度を検知可能に構成されている。トルクセンサ１８は、対応する関節に設けられ、対応する関節に作用するトルクを検知可能に構成されている。
【0026】
即ち、ＣＰＵ２０１は、サーボ制御部１５、インタフェース２０８及びバス２１１を介して、角度センサ１７から角度情報を取得することができ、トルクセンサ１８からトルク情報を取得することができる。なお、サーボ制御部１５は、角度センサ１７を用いて検知したモータ１６の角度を、不図示の減速機の減速比で除算して、対応する関節の角度情報に変換してＣＰＵ２０１へ送信してもよい。そして、ＣＰＵ２０１は、各関節に対応する指令値のデータを、所定時間間隔（たとえば１ｍｓ）でバス２１１及びインタフェース２０８を介してサーボ制御部１５に出力する。これにより、モータ１６が駆動されてその関節が駆動される。つまりＣＰＵ２０１（ロボットコントローラ２００）によって、ロボットアーム１０Ａが指令値に応じた位置や姿勢となるように駆動制御される。
【0027】
インタフェース２０９には、ビジョンコントローラ２２０が接続されている。ビジョンコントローラ２２０にはカメラ１２０が接続されており、ビジョンコントローラ２２０はＣＰＵ２０１の制御の下、所定時間間隔（たとえば３０ｍｓ）で接続されているカメラ１２０の撮像を行う。これにより、ＣＰＵ２０１は、ビジョンコントローラ２２０から視覚情報、即ち撮像画像のデータを所定時間間隔（たとえば３０ｍｓ）で取得することができる。また、ビジョンコントローラ２２０には、照明１４９が接続されており、ＣＰＵ２０１の指令に基づきビジョンコントローラ２２０の制御により、照明光のＯＮ／ＯＦＦや強弱を変更する。
【0028】
インタフェース２１０には、ハンドコントローラ２３０が接続されている。ハンドコントローラ２３０には上記ロボットハンド１００が接続されている。ハンドコントローラ２３０はＣＰＵ２０１の制御の下、詳しくは後述する第１モータ１６１と第２モータ１５１を駆動させ、指部１４０（所謂ハンド）の開閉を行う。
【0029】
［ロボットハンドの構成］
続いて、ロボットハンド１００の詳細な構成について、図３、図４、図５、及び図６を用いて説明する。図３は第１実施形態に係るロボットハンドを示す斜視図である。図４は指部で把持したワークがカメラの視野内に位置する状態のロボットハンドを示す下方視図である。図５は指部で把持したワークがカメラの視野外に位置する状態のロボットハンドを示す下方視図である。図６はロボットハンドの指部の構成を示す側面図である。
続いて、ロボットハンド１００の詳細な構成について、図３、図４、図５、及び図６を用いて説明する。図３は第１実施形態に係るロボットハンドを示す斜視図である。図４は指部で把持したワークがカメラの視野内に位置する状態のロボットハンドを示す下方視図である。図５は指部で把持したワークがカメラの視野外に位置する状態のロボットハンドを示す下方視図である。図６はロボットハンドの指部の構成を示す側面図である。
【0030】
図３に示すように、ロボットアーム１０Ａ（図１参照）の先端に着脱自在に取付けられるロボットハンド１００は、大まかに、本体部としての基部１０１と、カメラ１２０と、ツールであってハンドとしての指部１４０と、を備えて構成されている。基部１０１は、上記ロボットアーム１０Ａのフランジ部１１（図１参照）に取付けられる取付部１０２を有しており、その基部１０１に、撮像可能なカメラ１２０が固定されて支持されている。カメラ１２０は、ロボットアーム１０Ａが制御されることで、ロボットハンド１００の位置が組付ワーク４０２から所定距離で離れた上空の位置になるように移動され、焦点位置Ｐ（図３参照）が組付ワーク４０２の穴部４０２Ｈとなるように位置制御される。これにより、カメラ１２０は、撮像対象であり作業対象であり接触位置である穴部４０２Ｈを撮像することが可能となる。なお、同様に、ピン置台４０１に載置されたピンＷや穴部４０１Ｈを撮像する場合も、その焦点位置Ｐ（図３参照）がピン置台４０１の穴部４０１Ｈ或いはピンＷとなるように位置制御される。この場合、撮像対象は穴部４０１Ｈ或いはピンＷとなり、作業対象或いは接触位置は穴部４０１Ｈに載置されたピンＷとなる。
【0031】
また、基部１０１には、ワークであるピンＷに対する作業を実行可能な指部１４０を構成する第１指部１４１及び第２指部１４２が移動自在に支持されている。これら第１指部１４１の指先部１４１ｂと第２指部の指先部１４２ｂとは、ピンＷを互いに挟んで把持することでピンＷを支持可能となっている。これら第１指部１４１の指先部１４１ｂと第２指部の指先部１４２ｂとは、詳しくは後述するようにカメラ１２０の視野内にある状態で、基部１０１とカメラ１２０の焦点位置Ｐ（図３参照）との間に位置している。これにより、カメラ１２０は、第１指部１４１及び第２指部１４２より遠方を撮像しその画像を基に各種制御を行うことが可能となっている。
【0032】
ついで、指部１４０を移動駆動する構造について説明する。上述したように、指部１４０は、図３及び図４に示すように、第１指部１４１と第２指部１４２とを有しており、ワークであるピンＷを把持可能に構成されている。第１指部１４１は第１スライダ１４３に固定されており、第２指部１４２は第２スライダ１４４に固定されている。そして、基部１０１は、第１スライダ１４３及び第２スライダ１４４を移動可能に案内する第１案内部１７０及び第２案内部１８０と、第１スライダ１４３を駆動する第１駆動部１５０と、第２スライダ１４４を駆動する第２駆動部１６０と、を備えている。
【0033】
詳細には、スライド部としての第１案内部１７０は、第１直動ガイド１７１と、それにスライド移動可能に支持された可動部１７２及び可動部１７３を有している。また、スライド部としての第２案内部１８０は、第２直動ガイド１８１と、それにスライド移動可能に支持された可動部１８２及び可動部１８３を有している。そして、可動部１７３及び可動部１８３に対して第１スライダ１４３が固定されており、可動部１７２及び可動部１８２に対して第２スライダ１４４が固定されている。
【0034】
一方、第１駆動部１５０は、大まかに、モータ１５１、駆動プーリ１５２、ベルト１５３、従動プーリ１５４、ボールねじ軸１５５、ボールナット１５６、角度検知センサ１５９を有して構成されている。即ち、モータ１５１は駆動回転を出力し、モータ１５１の出力軸に固定された駆動プーリ１５２が回転駆動される。駆動プーリ１５２及び従動プーリ１５４にはベルト１５３が張架されており、駆動プーリ１５２の回転が従動プーリ１５４に伝達される。従動プーリ１５４は、ボールねじ軸１５５の一端に固定されており、ボールねじ軸１５５を回転させることで、図示を省略したボールを介して第１スライダ１４３に固定されたボールナット１５６を軸方向にスライド移動させる。このため、第１スライダ１４３は、第１案内部１７０及び第２案内部１８０に案内されつつ、ボールねじ軸１５５の軸方向に（第１直動ガイド１７１及び第２直動ガイド１８１に沿った方向に）直線的にスライド移動する。従って、第１指部１４１は、モータ１５１の回転方向に応じてボールねじ軸１５５の軸方向に移動駆動される。例えばモータ１５１を正転させると図中右方に向かうように一方側に移動し、モータ１５１を逆転させると図中左方に向かうように他方側に移動する。また、モータ１５１の回転角度は、例えばエンコーダ等で構成された角度検知センサ１５９により検知され、上記ハンドコントローラ２３０を介してロボットコントローラ２００に出力される。それに基づきＣＰＵ２０１は、第１指部１４１の位置を演算することで判定し、また、その位置に基づきモータ１５１の駆動を指令することで、第１指部１４１の位置を制御する。
【0035】
同様に、第２駆動部１６０も、大まかに、モータ１６１、駆動プーリ１６２、ベルト１６３、従動プーリ１６４、ボールねじ軸１６５、ボールナット１６６、角度検知センサ１６９を有して構成されている。即ち、モータ１６１は駆動回転を出力し、モータ１６１の出力軸に固定された駆動プーリ１６２が回転駆動される。駆動プーリ１６２及び従動プーリ１６４にはベルト１６３が張架されており、駆動プーリ１６２の回転が従動プーリ１６４に伝達される。従動プーリ１６４は、ボールねじ軸１６５の一端に固定されており、ボールねじ軸１６５を回転させることで、図示を省略したボールを介して第２スライダ１４４に固定されたボールナット１６６を軸方向にスライド移動させる。このため、第２スライダ１４４は、第１案内部１７０及び第２案内部１８０に案内されつつ、ボールねじ軸１６５の軸方向に直線的にスライド移動する。従って、第２指部１４２は、モータ１６１の回転方向に応じてボールねじ軸１６５の軸方向に移動駆動される。例えばモータ１６１を正転させると図中左方に向かうように一方側に移動し、モータ１６１を逆転させると図中右方に向かうように他方側に移動する。また、モータ１６１の回転角度は、例えばエンコーダ等で構成された角度検知センサ１６９により検知され、上記ハンドコントローラ２３０を介してロボットコントローラ２００に出力される。それに基づきＣＰＵ２０１は、第２指部１４２の位置を演算することで判定し、また、その位置に基づきモータ１６１の駆動を指令することで、第２指部１４２の位置を制御する。
【0036】
以上のように基部１０１が構成されていることで、第１指部１４１と第２指部１４２は、同じ第１直動ガイド１７１及び第２直動ガイド１８１の上をそれぞれ独立して移動することが可能となっている。これにより、第１指部１４１と第２指部１４２は、ピンＷを把持した状態で移動する際に第１指部１４１と第２指部１４２との移動方向以外の相対位置のずれを低減でき、ピンＷを把持した状態での移動制御を容易にすることができる。
【0037】
また、第２直動ガイド１８１を、第１直動ガイド１７１を挟んでピンＷの把持位置の反対側に設置することで、ピンＷ８を設置する際に生じるモーメント力を２つの直動ガイドで支えることができる。このため、第１直動ガイド１７１及び第２直動ガイド１８１の耐久性を向上させることが可能となる。
【0038】
ピンＷを第１指部１４１と第２指部１４２とで把持する場合には、まず、モータ１５１の回転角度を角度検知センサ１５９で、モータ１６１の回転角度を角度検知センサ１６９で検知する。そして、それらの値に基づき、第１指部１４１と第２指部１４２とがピンＷの間隔となるように、かつピンＷの位置となるように、ＣＰＵ２０１によってモータ１５１及びモータ１６１を制御する。これにより、第１指部１４１と第２指部１４２とでピンＷが把持される。
【0039】
また、第１指部１４１と第２指部１４２とは、互いの間隔を維持したまま第１直動ガイド１７１及び第２直動ガイド１８１に沿って同一方向に移動することができ、つまりピンＷを把持したまま移動することができる。即ち、第１指部１４１と第２指部１４２とは、図４に示す位置から図５に示す位置に移動させることができる。この図５に示す状態は、第１指部１４１と第２指部１４２とピンＷとがカメラ１２０の視野の外側（以下、単に「視野外」という）に退避した退避位置にある状態である。このカメラ１２０の視野外に移動させることについては、後述のピン組付制御で説明する。なお、ピンＷを把持したまま、第１指部１４１と第２指部１４２とを移動させる際には、第１指部１４１と第２指部１４２との互いの間隔を維持することになる。このため、ＣＰＵ２０１は、角度検知センサ１５９と角度検知センサ１６９とが検知した値に基づき、第１指部１４１と第２指部１４２との位置を協調して移動させるように制御する。
【0040】
ここで、第１指部１４１及び第２指部１４２の形状について図６を用いて説明する。第２指部１４２は、上記第２スライダ１４４に固定される第２根元部１４２ａと、ピンＷに接触して把持する第２指先部１４２ｂと、これら第２根元部１４２ａと第２指先部１４２ｂとを連結する第２連結部１４２ｃとを有している。なお、同様に第１指部１４１も、上記第１スライダ１４３に固定される第１根元部１４１ａと、ピンＷに接触して把持する第１指先部１４１ｂと、これら第１根元部１４１ａと第１指先部１４１ｂとを連結する第１連結部１４１ｃとを有している。なお、第１指部１４１の形状と第２指部１４２の形状とは、略同じ形状であるので、第２指部１４２の形状を説明して、第１指部１４１の説明は省略する。
【0041】
第２根元部１４２ａは、カメラ１２０の撮像方向（つまり光軸方向）に対して図６中の左側にオフセットした位置に配置され、かつ撮像方向に交錯しない位置で上述したように直線的にスライド移動される。そして、第２連結部１４２ｃは、第２指先部１４２ｂが撮像方向に向かうように屈曲した形状に形成されており、つまり第２指先部１４２ｂがカメラ１２０の視野の内側（以下、単に「視野内」という）に入り得るように形成されている。即ち、第２指先部１４２ｂは、第２根元部１４２ａのスライド移動によって第２根元部１４２ａと直線的に平行に移動するため、カメラ１２０の視野外から視野内を通って視野外に移動する。
【0042】
第１指部１４１及び第２指部１４２の形状がこのように形成されていることで、カメラ１２０によって、第１指先部１４１ｂ及び第２指先部１４２ｂと把持しているピンＷとを撮像することができる。そして、カメラ１２０が撮像した画像には、第１指先部１４１ｂ及び第２指先部１４２ｂ以外の、第１連結部１４１ｃや第２連結部１４２ｃ、第１根元部１４１ａや第２根元部１４２ａが撮像されない。これにより、カメラ１２０が撮像した際の第１指部１４１及び第２指部１４２が、作業位置（組付ワーク４０２の穴部４０２Ｈ、ピン置台４０１の穴部４０１Ｈ、ピン置台４０１に載置されたピンＷ等）と重なる領域を最小限に抑えることができる。また、このような屈曲形状により、第１指部１４１及び第２指部１４２を移動させても、カメラ１２０と干渉せずに、かつ第１指先部１４１ｂ及び第２指先部１４２ｂを撮像できる構造を、コンパクトに達成することができる。これにより、ロボットハンド１００の小型化を可能とすることができている。
【0043】
［ビジュアルサーボ制御］
ついで、ロボットアーム１０Ａの位置・姿勢を制御する画像ベースのビジュアルサーボ制御について図７及び図８を用いて説明する。図７はロボット装置における画像ベースのビジュアルサーボ制御を示すブロック図である。図８はロボット装置における画像ベースのビジュアルサーボ制御を示すフローチャートである。なお、図７のブロック図に示す各部の構成は、ＣＰＵ２０１がプログラムＰＲを実行することによって構成される機能を示したものである。従って、これらの機能は、実際には、ロボットコントローラ２００、ビジョンコントローラ２２０、カメラ１２０等が動作することによって達成されるものである。
ついで、ロボットアーム１０Ａの位置・姿勢を制御する画像ベースのビジュアルサーボ制御について図７及び図８を用いて説明する。図７はロボット装置における画像ベースのビジュアルサーボ制御を示すブロック図である。図８はロボット装置における画像ベースのビジュアルサーボ制御を示すフローチャートである。なお、図７のブロック図に示す各部の構成は、ＣＰＵ２０１がプログラムＰＲを実行することによって構成される機能を示したものである。従って、これらの機能は、実際には、ロボットコントローラ２００、ビジョンコントローラ２２０、カメラ１２０等が動作することによって達成されるものである。
【0044】
ビジュアルサーボ制御とは、ロボットアーム１０Ａの位置・姿勢を制御する一つの方法であり、目標物の位置の変化を視覚情報として計測し、それをフィードバック制御の情報として用いる制御方法である。また、画像ベースのビジュアルサーボとは、現在の画像上における対象物の画像に含まれる画像特徴を抽出し、目標画像上の画像特徴との差分をフィードバックするビジュアルサーボ制御の一種である。本実施形態のビジュアルサーボ制御では、撮像対象である組付ワーク４０２の穴部４０２Ｈ、ピン置台４０１の穴部４０１Ｈ、ピン置台４０１に載置されたピンＷ等に対するロボットハンド１００の位置合せ或いは位置の補正を行うものである。従って、ビジュアルサーボ制御とは、位置合せ制御或いは補正制御とも言える。
【0045】
図７及び図８に示すように、ロボットコントローラ２００が本実施形態に係る画像ベースのビジュアルサーボ制御を開始すると、まず、ビジョンコントローラ２２０がＨＤＤ２０４に保存された目標画像を読み込み、目標特徴量の読み出しを行う（Ｓ１）。即ち、目標画像から特徴量を抽出して、それを目標特徴量として設定する。次に、撮像部５０１により撮像が指令されることで、カメラ１２０が組付ワーク４０２の穴部４０２Ｈ或いはピン置台４０１の穴部４０１Ｈを撮像し、これを現在画像として取得する（Ｓ２）。続いて、特徴量抽出部５０２は、取得した現在画像から現在特徴量を抽出する（Ｓ３）。
【0046】
ついで、関節角補正量変換部５０３は、まず、ステップＳ３で取得した現在特徴量と、ステップＳ１で取得した目標画像の目標特徴量と、から特徴量の差分（以下、「特徴量差分」という）を算出する（Ｓ４）。そして、関節角補正量変換部５０３は、特徴量差分をロボットアーム１０Ａの各関節の角度の補正量（以下、「関節角補正量」という）に変換する（Ｓ５）。
【0047】
次に、ＰＩＤ制御部５０４は、各関節角補正量に適当なＰＩＤ制御を施し、フィードバック制御の制御量（以下、「フィードバック量」という）を算出する（Ｓ６）。続いて、算出したフィードバック量をサーボ制御部１５に送信し、各軸のモータ１６を駆動させることで、ロボットアーム１０Ａを動作させる（Ｓ７）。
【0048】
そして、ＣＰＵ２０１は、動作させたロボットアーム１０Ａが目標位置に到達したか否か、より詳細には、ロボットアーム１０Ａが目標位置の許容誤差範囲内に到達したか否かの判定を行う（Ｓ８）。ここでは、例えば、上記ステップＳ６で算出したフィードバック量が所定範囲を超えている場合に、ロボットアーム１０Ａの位置・姿勢が目標位置の近傍に未だに収束していないものと判定する（Ｓ８のＮｏ）。この場合には、上記ステップＳ２に戻り、現在画像の取得以降の処理を再度実行する。このようにステップＳ２からステップＳ８までのループ処理を高速に繰り返すことにより、ロボットアーム１０Ａを目標とする位置・姿勢に収束させることができる。つまり、ロボットアーム１０Ａを、組付ワーク４０２の穴部４０２Ｈ或いはピン置台４０１の穴部４０１Ｈに対して目標の位置関係に到達させることができる。そして、ロボットアーム１０Ａが目標位置に到達すると（Ｓ８のＹｅｓ）、これにより画像ベースのビジュアルサーボ制御を終了する。
【0049】
［第１実施形態のピン組付制御］
続いて、第１実施形態に係るピン組付制御について、図９及び図１０を用いて説明する。図９は第１実施形態に係るピン組付制御を示すフローチャートである。図１０（ａ）はピンを指部で把持した際のカメラの画像を示す模式図である。図１０（ｂ）はロボットハンドを組付ワークの穴部の上空に移動させた際のカメラの画像を示す模式図である。図１０（ｃ）は指部及びピンを視野外に移動した際のカメラの画像を示す模式図である。図１０（ｄ）は組付ワークの穴部に対してロボットハンドを位置合わせした際のカメラの画像を示す模式図である。図１０（ｅ）は指部及びピンを組付ワークの穴部の上空に移動させた際のカメラの画像を示す模式図である。
続いて、第１実施形態に係るピン組付制御について、図９及び図１０を用いて説明する。図９は第１実施形態に係るピン組付制御を示すフローチャートである。図１０（ａ）はピンを指部で把持した際のカメラの画像を示す模式図である。図１０（ｂ）はロボットハンドを組付ワークの穴部の上空に移動させた際のカメラの画像を示す模式図である。図１０（ｃ）は指部及びピンを視野外に移動した際のカメラの画像を示す模式図である。図１０（ｄ）は組付ワークの穴部に対してロボットハンドを位置合わせした際のカメラの画像を示す模式図である。図１０（ｅ）は指部及びピンを組付ワークの穴部の上空に移動させた際のカメラの画像を示す模式図である。
【0050】
第１実施形態に係るピン組付制御では、ロボット装置１０を用いて、ピン置台４０１の穴部４０１Ｈに設置されているピンＷを把持（取得）する第１作業と、ピンＷを移動して組付ワーク４０２の穴部４０２Ｈに挿入して組付ける第２作業とを行う。これら第１作業と第２作業とを繰り返すことで、複数のピンＷが組付ワーク４０２の穴部４０２Ｈのそれぞれに挿入されて組付けられ、完成した組付ワーク４０２が物品として製造される。
【0051】
詳細には、図９に示すように、まず、ＣＰＵ２０１は、大まかに、ピン置台４０１に設置されたピンＷの上空にロボットハンド１００が位置するようにロボットアーム１０Ａを駆動してロボットハンド１００を移動する（Ｓ１１）。つまりＣＰＵ２０１は、大まかに、ピンＷを把持する位置の上空に指部１４０が位置するようにロボットアーム１０Ａを駆動する。
【0052】
続いて、ピン置台４０１のピンＷを撮像し（撮像工程）、つまりピンＷをロボットハンド１００の指部１４０で把持する把持位置を撮像した画像を取得する（Ｓ１２）。そして、上述したビジュアルサーボ制御を実行し、指部１４０がピンＷの把持位置となるようにロボットアーム１０Ａを位置合せする（位置合せ工程）（Ｓ１３）。即ち、取得したピンＷの画像を現在画像として、ピンＷの目標画像との特徴量差分が演算され、特徴量差分が収束するようにロボットアーム１０Ａを制御する。換言すると、カメラ１２０で撮像された画像と目標画像とが比較され、ピンＷの把持に最適な位置とのずれ量が演算される。そして、算出されたずれ量は、ロボットハンド１００が取付けられたロボットアーム１０Ａの姿勢データに変換され、その姿勢データを用いてピンＷとの位置決めを行う。以上により、ロボットアーム１０Ａが位置決めされ、指部１４０がピンＷの把持位置に位置決めされる。
【0053】
その後、ピンＷをロボットハンド１００に取得するために、上述したようにロボットハンド１００の第１指部１４１及び第２指部１４２をモータ１５１及びモータ１６１で駆動して、指部１４０によりピンＷの把持を行う（Ｓ１４）。この状態では、図１０（ａ）に示すように、カメラ１２０の視野内に、第１指部１４１の第１指先部１４１ｂと第２指部１４２の第２指先部１４２ｂと把持されたピンＷとがあり、これらが撮像される状態である。
【0054】
次に、把持したピンＷを組付ワーク４０２の穴部４０２Ｈに挿入して取付けるために、ピンＷを指部１４０により把持した状態でロボットハンド１００をロボットアーム１０Ａによって移動する（Ｓ１５）。即ち、ロボットハンド１００を、組付ワーク４０２の穴部４０２Ｈ（挿入位置）の上空に移動する。この状態では、図１０（ｂ）に示すように、カメラ１２０の視野内に、第１指先部１４１ｂと第２指先部１４２ｂと把持されたピンＷとがあり、かつ、これらの何れかが組付ワーク４０２の穴部４０２Ｈと重複して撮像される状態である。換言すると、カメラ１２０の視野において、第１指先部１４１ｂ、第２指先部１４２ｂ、及び把持されたピンＷの少なくとも一部と、組付ワーク４０２の穴部４０２Ｈとが重複する範囲を重複範囲とする。この場合、その重複範囲の内側に、第１指先部１４１ｂ、第２指先部１４２ｂ、及び把持されたピンＷの何れか１つの一部或いはそれらのうちの複数の一部が位置している状態である。このため、カメラ１２０は、第１指先部１４１ｂ、第２指先部１４２ｂ、及び把持されたピンＷの何れかに遮られて、組付ワーク４０２の穴部４０２Ｈを撮像できない状態である。また、この状態では、図１０（ｂ）に示すように、穴部４０２Ｈの撮像に基づくロボットアーム１０Ａのビジュアルサーボ制御が完了していないため、指部１４０で把持したピンＷと穴部４０２Ｈとは、ズレた状態にある可能性が高い。
【0055】
そこで、カメラ１２０が組付ワーク４０２の穴部４０２Ｈ（挿入位置）の撮像を実行する前に、第１指部１４１の第１指先部１４１ｂ、第２指部１４２の第２指先部１４２ｂ、及びピンＷが、カメラ１２０の視野外となるように移動する（Ｓ１６）。つまり、第１指部１４１、第２指部１４２、及びピンＷを、カメラ１２０の視野外となるように退避させる（退避工程）（図５参照）。具体的には、モータ１５１及びモータ１６１を駆動し、第１指部１４１及び第２指部１４２を、ピンＷを把持したままスライド移動させ、第１指部１４１、第２指部１４２、及びピンＷが、組付ワーク４０２の穴部４０２Ｈと重ならない位置まで移動する。この際、ロボットアーム１０Ａについては位置及び姿勢を変化させず、つまりロボットハンド１００の位置及び姿勢はそのままで、第１指部１４１及び第２指部１４２だけを移動させる。この状態となると、図１０（ｃ）に示すように、カメラ１２０の視野内から第１指部１４１、第２指部１４２、及びピンＷが退避し、組付ワーク４０２の穴部４０２Ｈを直接的に撮像可能な状態となる。
【0056】
なお、本実施形態では、第１指部１４１、第２指部１４２、及びピンＷが、カメラ１２０の視野外となるように移動するものを説明しているが、これらがカメラ１２０による組付ワーク４０２の穴部４０２Ｈの撮像を遮らなければよい。従って、第１指部１４１、第２指部１４２、及びピンＷを、上述した重複範囲の外側となるように移動すれば、カメラ１２０の視野内にあっても構わない。
【0057】
このように、第１指部１４１、第２指部１４２、及びピンＷを、カメラ１２０の視野外となるように移動させると、カメラ１２０によりピンＷを挿入する挿入位置である組付ワーク４０２の穴部４０２Ｈを撮像する（撮像工程）（Ｓ１７）。そして、再びビジュアルサーボ制御を実行し、ここではカメラ１２０が挿入位置である組付ワーク４０２の穴部４０２Ｈに対して正しい位置となるようにロボットアーム１０Ａを位置合せする（位置合せ工程）（Ｓ１８）。即ち、取得した穴部４０２Ｈの画像を現在画像として、穴部４０２Ｈの目標画像との特徴量差分が演算され、特徴量差分が収束するようにロボットアーム１０Ａを制御する。換言すると、カメラ１２０で撮像された画像と目標画像とが比較され、ピンＷを穴部４０２Ｈに挿入するために最適な位置とのずれ量が演算される。そして、算出されたずれ量は、ロボットハンド１００が取付けられたロボットアーム１０Ａの姿勢データに変換され、その姿勢データを用いて穴部４０２Ｈとの位置決めを行う。以上により、ロボットアーム１０Ａが位置決めされ、ロボットハンド１００が穴部４０２Ｈに対して位置決めされる。また、この状態では、図１０（ｄ）に示すように、カメラ１２０の視野外に、第１指部１４１の第１指先部１４１ｂと第２指部１４２の第２指先部１４２ｂと把持されたピンＷとがある。そのため、組付ワーク４０２の穴部４０２Ｈが例えばカメラ１２０の視野の略中心に撮像される状態である。
【0058】
ついで、カメラ１２０による組付ワーク４０２の穴部４０２Ｈ（挿入位置）の撮像が完了し、ピンＷを組付ワーク４０２の穴部４０２Ｈに挿入させる作業を行う前に、指部１４０をロボットハンド１００における元の位置に復帰させる（復帰工程）。即ち、第１指部１４１及び第２指部１４２が把持しているピンＷの少なくとも一部が、カメラ１２０の視野内において組付ワーク４０２の穴部４０２Ｈに重なる位置となるように第１指部１４１及び第２指部１４２の移動を行う（Ｓ１９）。具体的には、モータ１５１及びモータ１６１を駆動し、第１指部１４１及び第２指部１４２を、ピンＷを把持したままスライド移動させ、ピンＷが組付ワーク４０２の穴部４０２Ｈと重なる位置まで移動する（図４参照）。この際も、ロボットアーム１０Ａについては位置及び姿勢を変化させず、つまりロボットハンド１００の位置及び姿勢はそのままで、第１指部１４１及び第２指部１４２だけを移動させる。この状態となると、図１０（ｅ）に示すように、カメラ１２０の視野内において、第１指部１４１の第１指先部１４１ｂ、第２指部１４２の第２指先部１４２ｂ、及びピンＷが退避する前の元の位置に戻る形となる。また、ロボットハンド１００の位置及び姿勢がビジュアルサーボ制御により穴部４０２Ｈに対して正しい位置に位置決めされたことで、ピンＷが組付ワーク４０２の穴部４０２Ｈの略直上に重なる位置に精度良く移動されることになる。
【0059】
最後に、ロボットアーム１０Ａをトルク制御しつつ動作させ、ロボットハンド１００の指部１４０で把持したピンＷを組付ワーク４０２の穴部４０２Ｈに挿入して組付ける（Ｓ２０）。即ち、ロボットアーム１０Ａを駆動することでロボットハンド１００を移動し、ロボットハンド１００の指部１４０で把持したピンＷを組付ワーク４０２の穴部４０２Ｈに接触させる。すると、ロボットアーム１０Ａの各関節のトルクセンサ１８がピンＷが穴部４０２Ｈに接触したことによる反力を検知し、その反力が少なくなる方向でかつピンＷが下方に移動する押し込み力が生じるようにモータ１６をトルク制御する。このように、ピンＷが穴部４０２Ｈに倣う倣い組付や押し込み力をトルク制御により管理することができ、ピンＷが穴部４０２Ｈに倣って大きな抵抗を受けることなく挿入される。また、第１指部１４１及び第２指部１４２を離すことで指部１４０のピンＷの把持を解除し、それによって、ピンＷが組付ワーク４０２の穴部４０２Ｈに組付けられる。なお、以上のように穴部４０２Ｈは、ピンＷを接触させる位置でもあり、ピンＷを挿入して組付ける作業を行う位置でもあり、ピンＷを設置する位置でもあるので、接触位置、作業位置、或いは設置位置とも言える。
【0060】
そして、ＣＰＵ２０１は、作業として組付ワーク４０２に対する全てのピンＷの組付が完了したか否かを判定する（Ｓ２１）。例えば、予め組付ワーク４０２に組付けるピンＷの本数をロボットコントローラ２００のＨＤＤ２０４等に記憶させておき、組付動作が何回完了したかで判定する。全てのピンＷの組付が完了してない場合は（Ｓ２１のＮｏ）、ステップＳ１１に戻って上記ステップＳ２０までを繰り返し、つまり次のピンＷの作業を行う。
【0061】
なお、処理性能や計算時間とのトレードオフにはなるが、最初のビジュアルサーボ制御において（Ｓ１３，Ｓ１８）、穴形状や穴の径が異なるものでも複数の認識処理を並列に行っておく。そして、ピン置台４０１の穴部４０１Ｈや組付ワーク４０２の穴部４０２Ｈにおける中心の位置や径の長さを特徴量として抽出しておく。そうすることで、２回目以降のビジュアルサーボ制御による位置決めは可能であるため、前回のビジュアルサーボ制御で用いた目標画像を読み出し、目標特徴量として設定しても良い。
【0062】
以上のようにピン組付制御を行い、組付ワーク４０２に対する全てのピンＷの組付が完了すると（Ｓ２１のＹｅｓ）、以上で本実施形態のピン組付制御を終了する。
【0063】
［第１実施形態のまとめ］
以上説明したように本第１実施形態によると、カメラ１２０で組付ワーク４０２を撮影して現在画像を取得する際に、カメラ１２０の視野において、指部１４０及びピンＷが組付ワーク４０２の穴部４０２Ｈと重複する重複範囲から移動して退避する。これにより、指部１４０でワークであるピンＷを把持して支持したままの状態で、接触位置或いは作業位置をピンＷに遮られることなく撮像することができ、つまりピンＷに邪魔されずに現在画像を取得できる。このため、ロボットハンド１００を穴部４０２Ｈに対して精度良く位置合わせすることができ、ピンＷの組付動作（接触動作、設置動作）における組付位置（接触位置、設置位置）の精度を良好にすることができる。
以上説明したように本第１実施形態によると、カメラ１２０で組付ワーク４０２を撮影して現在画像を取得する際に、カメラ１２０の視野において、指部１４０及びピンＷが組付ワーク４０２の穴部４０２Ｈと重複する重複範囲から移動して退避する。これにより、指部１４０でワークであるピンＷを把持して支持したままの状態で、接触位置或いは作業位置をピンＷに遮られることなく撮像することができ、つまりピンＷに邪魔されずに現在画像を取得できる。このため、ロボットハンド１００を穴部４０２Ｈに対して精度良く位置合わせすることができ、ピンＷの組付動作（接触動作、設置動作）における組付位置（接触位置、設置位置）の精度を良好にすることができる。
【0064】
また、カメラ１２０により穴部４０２Ｈを撮像する前に、指部１４０及び把持したピンＷがカメラ１２０の視野における重複範囲の内側にある状態から、指部１４０及び把持したピンＷを重複範囲の外側に移動させる。このため、指部１４０及びピンＷが穴部４０２Ｈを遮ることなく、穴部４０２Ｈを撮像することができる。また、指部１４０及び把持したピンＷを移動する際、ロボットアーム１０Ａは駆動せず、つまりロボットハンド１００の基部１０１は位置及び姿勢を変更せずに、指部１４０だけを移動する。これにより、例えばビジュアルサーボ制御によるロボットハンド１００の位置及び姿勢の補正を精度良く行うことができる。
【0065】
また、指部１４０及び把持したピンＷが上記重複範囲の外側にある状態から、指部１４０により組付動作（作業）を実行する前に、指部１４０及び把持したピンＷを、カメラ１２０の視野においてピンＷが穴部４０２Ｈに重なるように移動させる。このため、ピンＷを穴部４０２Ｈに組付ける位置に位置合わせすることができる。また同様に、指部１４０及び把持したピンＷを移動する際、ロボットアーム１０Ａは駆動せず、つまりロボットハンド１００の基部１０１は位置及び姿勢を変更せずに、指部１４０だけを移動する。これにより、ピンＷと穴部４０２Ｈとの位置合わせを精度良く行うことができる。
【0066】
また、ロボットハンド１００において、第１指部１４１の第１根元部１４１ａ及び第２指部１４２の第２根元部１４２ａが、第１案内部１７０及び第２案内部１８０をスライド移動するように第１駆動部１５０及び第２駆動部１５００により駆動される。これにより、ロボットハンド１００の基部１０１は位置及び姿勢を変更せずに、指部１４０だけを移動して退避させることを可能にし、また、退避させた指部１４０を復帰させて穴部４０２Ｈと位置合わせすることも容易にすることができる。また、第１指部１４１と第２指部１４２とが独立して駆動可能であるので、ピンＷを把持したり把持を解除したりすることができる。
【0067】
＜第２実施形態＞
ついで、上記第１実施形態を一部変更した第２実施形態について、図１１及び図１２を用いて説明する。図１１は第２実施形態に係るピン組付制御を示すフローチャートである。図１２（ａ）はピンを指部で把持した際のカメラの画像を示す模式図である。図１２（ｂ）は指部及びピンを視野外に移動した状態でロボットハンドを組付ワークの穴部の上空に移動させた際のカメラの画像を示す模式図である。図１２（ｃ）は組付ワークの穴部に対してロボットハンドを位置合わせした際のカメラの画像を示す模式図である。図１２（ｄ）は指部及びピンを組付ワークの穴部の上空に移動させた際のカメラの画像を示す模式図である。
ついで、上記第１実施形態を一部変更した第２実施形態について、図１１及び図１２を用いて説明する。図１１は第２実施形態に係るピン組付制御を示すフローチャートである。図１２（ａ）はピンを指部で把持した際のカメラの画像を示す模式図である。図１２（ｂ）は指部及びピンを視野外に移動した状態でロボットハンドを組付ワークの穴部の上空に移動させた際のカメラの画像を示す模式図である。図１２（ｃ）は組付ワークの穴部に対してロボットハンドを位置合わせした際のカメラの画像を示す模式図である。図１２（ｄ）は指部及びピンを組付ワークの穴部の上空に移動させた際のカメラの画像を示す模式図である。
【0068】
本第２実施形態においては、上記第１実施形態に比して、ピン組付制御におけるステップＳ１５とステップＳ１６との順序を入れ替えたものである（図９及び図１１参照）。即ち、ピン置台４０１のピンＷを指部１４０で把持した後（Ｓ１４）、指部１４０及び把持したピンＷの移動を行いつつ（或いは行ってから）（Ｓ１６）、ロボットハンド１００を組付ワーク４０２の穴部４０２Ｈの上空に移動するものである（Ｓ１５）。
【0069】
［第２実施形態のピン組付制御］
詳細には、図１１に示すように、まず、ＣＰＵ２０１は、大まかに、ピン置台４０１に設置されたピンＷの上空にロボットハンド１００が位置するようにロボットアーム１０Ａを駆動してロボットハンド１００を移動する（Ｓ１１）。続いて、ピン置台４０１のピンＷを撮像し、つまりピンＷをロボットハンド１００の指部１４０で把持する把持位置を撮像した画像を取得する（撮像工程）（Ｓ１２）。そして、上述したビジュアルサーボ制御を実行し、指部１４０がピンＷの把持位置となるようにロボットアーム１０Ａを位置合せする（位置合せ工程）（Ｓ１３）。その後、ロボットハンド１００の第１指部１４１及び第２指部１４２をモータ１５１及びモータ１６１で駆動して、指部１４０によりピンＷの把持を行う（Ｓ１４）。この状態では、図１２（ａ）に示すように、カメラ１２０の視野内に、第１指部１４１の第１指先部１４１ｂと第２指部１４２の第２指先部１４２ｂと把持されたピンＷとがあり、これらが撮像される状態である。
詳細には、図１１に示すように、まず、ＣＰＵ２０１は、大まかに、ピン置台４０１に設置されたピンＷの上空にロボットハンド１００が位置するようにロボットアーム１０Ａを駆動してロボットハンド１００を移動する（Ｓ１１）。続いて、ピン置台４０１のピンＷを撮像し、つまりピンＷをロボットハンド１００の指部１４０で把持する把持位置を撮像した画像を取得する（撮像工程）（Ｓ１２）。そして、上述したビジュアルサーボ制御を実行し、指部１４０がピンＷの把持位置となるようにロボットアーム１０Ａを位置合せする（位置合せ工程）（Ｓ１３）。その後、ロボットハンド１００の第１指部１４１及び第２指部１４２をモータ１５１及びモータ１６１で駆動して、指部１４０によりピンＷの把持を行う（Ｓ１４）。この状態では、図１２（ａ）に示すように、カメラ１２０の視野内に、第１指部１４１の第１指先部１４１ｂと第２指部１４２の第２指先部１４２ｂと把持されたピンＷとがあり、これらが撮像される状態である。
【0070】
ここで、カメラ１２０が組付ワーク４０２の穴部４０２Ｈの撮像を実行する前に、第１指部１４１の第１指先部１４１ｂ、第２指部１４２の第２指先部１４２ｂ、及びピンＷが、カメラ１２０の視野外となるように移動を行う（退避工程）（Ｓ１６）。この際の移動（退避）では、後のステップＳ１７においてカメラ１２０により組付ワーク４０２の穴部４０２Ｈを撮像する際に、指部１４０及びピンＷが穴部４０２Ｈに重ならないような所定の位置を登録して記憶させておき、その所定の位置に移動させる。この所定の位置は、例えばＨＤＤ２０４等の記憶領域に記憶させておくことが考えられる。この状態となると、図１２（ｂ）に示すように、カメラ１２０の視野内から第１指部１４１、第２指部１４２、及びピンＷが退避し、組付ワーク４０２の穴部４０２Ｈを直接的に撮像可能な状態となる。
【0071】
次に、ピンＷを指部１４０により把持した状態でロボットハンド１００をロボットアーム１０Ａによって移動する（Ｓ１５）。即ち、ロボットハンド１００を、組付ワーク４０２の穴部４０２Ｈ（挿入位置）の上空に移動する。なお、このロボットハンド１００によるピンＷを把持した指部１４０の移動（Ｓ１５）と、ロボットアーム１０Ａによるロボットハンド１００の移動（Ｓ１６）とは、本実施形態では同時並行的に実行する。しかし、ロボットハンド１００によるピンＷを把持した指部１４０の移動を行った後に、ロボットアーム１０Ａによるロボットハンド１００の移動を行ってもよい。
【0072】
続いて、カメラ１２０によりピンＷを挿入する挿入位置である組付ワーク４０２の穴部４０２Ｈを撮像する（撮像工程）（Ｓ１７）。そして、再びビジュアルサーボ制御を実行し、ここではカメラ１２０が挿入位置である組付ワーク４０２の穴部４０２Ｈに対して正しい位置となるようにロボットアーム１０Ａを位置合せする（位置合せ工程）（Ｓ１８）。この状態では、図１２（ｃ）に示すように、カメラ１２０の視野外に、第１指部１４１の第１指先部１４１ｂと第２指部１４２の第２指先部１４２ｂと把持されたピンＷとがある。そのため、組付ワーク４０２の穴部４０２Ｈが例えばカメラ１２０の視野の略中心に撮像される状態である。
【0073】
ついで、カメラ１２０による組付ワーク４０２の穴部４０２Ｈ（挿入位置）の撮像が完了し、ピンＷを組付ワーク４０２の穴部４０２Ｈに挿入させる作業を行う前に、指部１４０をロボットハンド１００における元の位置に復帰させる（復帰工程）。即ち、第１指部１４１及び第２指部１４２が把持しているピンＷが、カメラ１２０の視野内において組付ワーク４０２の穴部４０２Ｈに重なる位置となるように第１指部１４１及び第２指部１４２の移動を行う（Ｓ１９）。この状態となると、図１２（ｄ）に示すように、カメラ１２０の視野内において、第１指部１４１の第１指先部１４１ｂ、第２指部１４２の第２指先部１４２ｂ、及びピンＷが退避する前の元の位置に戻る形となる。また、ロボットハンド１００の位置及び姿勢がビジュアルサーボ制御により穴部４０２Ｈに対して正しい位置に位置決めされたことで、ピンＷが組付ワーク４０２の穴部４０２Ｈの略直上に重なる位置に精度良く移動されることになる。
【0074】
最後に、ロボットアーム１０Ａをトルク制御しつつ動作させ、ロボットハンド１００の指部１４０で把持したピンＷを組付ワーク４０２の穴部４０２Ｈに挿入して組付ける（Ｓ２０）。これにより、ピンＷが穴部４０２Ｈに倣って大きな抵抗を受けることなく挿入される。また、第１指部１４１及び第２指部１４２を離すことで指部１４０のピンＷの把持を解除し、それによって、ピンＷが組付ワーク４０２の穴部４０２Ｈに組付けられる。
【0075】
そして、ＣＰＵ２０１は、作業として組付ワーク４０２に対する全てのピンＷの組付が完了したか否かを判定し（Ｓ２１）、完了してない場合は（Ｓ２１のＮｏ）、ステップＳ１１に戻って上記ステップＳ２０までを繰り返し、つまり次のピンＷの作業を行う。また、組付ワーク４０２に対する全てのピンＷの組付が完了すると（Ｓ２１のＹｅｓ）、以上で本実施形態のピン組付制御を終了する。
【0076】
［第２実施形態のまとめ］
以上説明した本第２実施形態においても、カメラ１２０で組付ワーク４０２を撮影して現在画像を取得する際には、カメラ１２０の視野において、指部１４０及びピンＷが組付ワーク４０２の穴部４０２Ｈと重複する重複範囲から移動して退避している。これにより、指部１４０でワークであるピンＷを把持して支持したままの状態で、接触位置或いは作業位置をピンＷに遮られることなく撮像することができ、つまりピンＷに邪魔されずに現在画像を取得できる。
以上説明した本第２実施形態においても、カメラ１２０で組付ワーク４０２を撮影して現在画像を取得する際には、カメラ１２０の視野において、指部１４０及びピンＷが組付ワーク４０２の穴部４０２Ｈと重複する重複範囲から移動して退避している。これにより、指部１４０でワークであるピンＷを把持して支持したままの状態で、接触位置或いは作業位置をピンＷに遮られることなく撮像することができ、つまりピンＷに邪魔されずに現在画像を取得できる。
【0077】
そして、本第２実施形態では、指部１４０及び把持したピンＷの移動（退避）を行いつつ（Ｓ１６）、同時進行でロボットハンド１００を組付ワーク４０２の穴部４０２Ｈの上空に移動する（Ｓ１５）ことができる。これにより、第１実施形態のように、指部１４０及びピンＷを、一旦、組付ワーク４０２の穴部４０２Ｈの上空に移動してから退避させるものに比して、動作時間（作業時間）の短縮化を図ることができる。
【0078】
なお、第２実施形態における、これ以外の構成、作用、及び効果は、上記第１実施形態と同様であるので、その説明を省略する。
【0079】
＜第３実施形態＞
続いて、上記第１及び第２実施形態を一部変更した第３実施形態について、図１３、図１４、及び図１５を用いて説明する。図１３は第３実施形態に係るカメラ及び照明部の構造を示す模式図である。図１４（ａ）は一般的なカメラで組付ワークの穴部を撮像した際の画像を示す図である。図１４（ｂ）は第３実施形態に係るカメラで組付ワークの穴部を撮像した際の画像を示す図である。図１５（ａ）は一般的なカメラで穴部にピンが載置されたピン置台を撮像した際の画像を示す図である。図１５（ｂ）は第３実施形態に係るカメラで穴部にピンが載置されたピン置台を撮像した際の画像を示す図である。
続いて、上記第１及び第２実施形態を一部変更した第３実施形態について、図１３、図１４、及び図１５を用いて説明する。図１３は第３実施形態に係るカメラ及び照明部の構造を示す模式図である。図１４（ａ）は一般的なカメラで組付ワークの穴部を撮像した際の画像を示す図である。図１４（ｂ）は第３実施形態に係るカメラで組付ワークの穴部を撮像した際の画像を示す図である。図１５（ａ）は一般的なカメラで穴部にピンが載置されたピン置台を撮像した際の画像を示す図である。図１５（ｂ）は第３実施形態に係るカメラで穴部にピンが載置されたピン置台を撮像した際の画像を示す図である。
【0080】
［カメラ及び照明部の構成］
上記第１実施形態のカメラ１２０では、一般的なレンズを備えたカメラを用いたものを説明したが、本第３実施形態においては、カメラ１２０が、テレセントリック光学系であるテレセントリックレンズ１２２を備えたものである。また、カメラ１２０が、テレセントリックレンズ１２２に対して取付けられ、光軸ＡＸ１の方向（光軸方向）に照明光を照射する照射部として同軸落射照明１３０を備えたものである。
上記第１実施形態のカメラ１２０では、一般的なレンズを備えたカメラを用いたものを説明したが、本第３実施形態においては、カメラ１２０が、テレセントリック光学系であるテレセントリックレンズ１２２を備えたものである。また、カメラ１２０が、テレセントリックレンズ１２２に対して取付けられ、光軸ＡＸ１の方向（光軸方向）に照明光を照射する照射部として同軸落射照明１３０を備えたものである。
【0081】
詳細には、図１３に示すように、カメラ１２０は、画像を走査して取得するイメージセンサであるセンサ部１２１を備えている。また、カメラ１２０は、そのセンサ部１２１に接続されて光軸ＡＸ１の方向から画像をセンサ部１２１に取り込み可能なテレセントリックレンズ１２２を備えている。さらに、カメラ１２０は、テレセントリックレンズ１２２に設けられた不図示のハーフミラー等を介して照明光を光軸ＡＸ１と同軸に照射する光源としての同軸落射照明１３０を備えている。
【0082】
このテレセントリックレンズ１２２とは、主光線が光軸ＡＸ１に対して平行となるレンズのことであり、画角が限りなく０度に近く、歪曲収差が小さくなるため、センサ部１２１で撮像する被写体の寸法や位置を正確に捉えることを可能とするものである。また、カメラ１２０の光軸ＡＸ１と同軸方向に照射する同軸落射照明１３０が、照射光を例えば組付ワーク４０２の表面４０２ｓに垂直に照射する。これにより、表面４０２ｓが穴部４０２Ｈよりも明るく（白く）なるようにセンサ部１２１で撮像することを可能とするものである。そのため、例えば被写体の表面に凹凸がある場合、被写体の凹凸を容易に検出することを可能とするものである。
【0083】
［組付ワーク４０２を撮像する場合］
ここで、カメラ１２０によって、組付ワーク４０２を撮像する場合について説明する。図１３に示すように、組付ワーク４０２は、上述したように平面状に形成された平面部としての表面４０２ｓを有しており、その表面４０２ｓに対して穴状に穴部４０２Ｈが形成されている。穴部４０２Ｈは、穴４０２ｈと、その開口の外縁において面取りされた傾斜部としての面取り部４０２ｍとを有している。面取り部４０２ｍは、例えば表面４０２ｓに対して４５度に傾斜した傾斜面として形成されている。なお、面取り部４０２ｍの角度は、表面４０２ｓに対して３０度以上傾斜していることが好ましいが、どのような角度であっても構わない。
ここで、カメラ１２０によって、組付ワーク４０２を撮像する場合について説明する。図１３に示すように、組付ワーク４０２は、上述したように平面状に形成された平面部としての表面４０２ｓを有しており、その表面４０２ｓに対して穴状に穴部４０２Ｈが形成されている。穴部４０２Ｈは、穴４０２ｈと、その開口の外縁において面取りされた傾斜部としての面取り部４０２ｍとを有している。面取り部４０２ｍは、例えば表面４０２ｓに対して４５度に傾斜した傾斜面として形成されている。なお、面取り部４０２ｍの角度は、表面４０２ｓに対して３０度以上傾斜していることが好ましいが、どのような角度であっても構わない。
【0084】
組付ワーク４０２を撮像する場合は、同軸落射照明１３０により組付ワーク４０２の穴部４０２Ｈに照明光を照射し（照射工程）、その状態で組付ワーク４０２の穴部４０２Ｈをカメラ１２０により撮像する（撮像工程）。
【0085】
ここで、例えば図１４（ａ）に示すように、一般的なカメラで組付ワーク４０２の穴部４０２Ｈを撮像した場合、穴４０２ｈが表面４０２ｓよりも暗くなる。しかしながら、明暗の差が少なく、面取り部４０２ｍの内周縁４０２ａと、面取り部４０２ｍの外周縁４０２ｂとが二重円のようになって、それらの特徴量を判別することが難しい。また、外周縁４０２ｂと表面４０２ｓとの明暗の差も少なくいため、それらの特徴量の判別も難しい。そのため、画像における穴部４０２Ｈの位置の誤認識が発生し易く、この状態で上述のようにビジュアルサーボ制御を行っても制御量（補正量）が安定せず、ロボットハンド１００と穴部４０２Ｈとの位置決めが高精度にならない。
【0086】
一方、図１３に示すように、本第３実施形態に係るカメラ１２０によって組付ワーク４０２の穴部４０２Ｈを撮像する場合、まず、カメラ１２０の光軸ＡＸ１が組付ワーク４０２の表面４０２ｓに直交するようにロボットハンド１００の姿勢を制御する。そして、同軸落射照明１３０から光軸ＡＸ１に向けて照明光を照射する（照射工程）。すると、表面４０２ｓで反射した照明光は光軸ＡＸ１と平行に光軸ＡＸ２の方向に反射し、テレセントリックレンズ１２２を介してセンサ部１２１に向かう。また、穴４０２ｈに照射された照明光は反射しない（或いは底面で乱反射して吸収される）。そして、面取り部４０２ｍで反射した照明光は、光軸ＡＸ１に対してカメラ１２０とは異なる光軸ＡＸ３の方向に反射されて向かう。
【0087】
そのため、図１４（ｂ）に示すように、第３実施形態に係るカメラ１２０によって組付ワーク４０２の穴部４０２Ｈを撮像した場合、穴部４０２Ｈの外側の表面４０２ｓ（カメラの光軸ＡＸ１と垂直な面）の領域は明るく（白く）撮像される（撮像工程）。また、反対に、面取り部４０２ｍを含む穴部４０２Ｈの内側の領域については、暗く（黒く）撮像される。つまり、面取り部４０２ｍの外周縁４０２ｂを境界として、一般的なカメラで撮影した場合よりも明暗の差が大きくなり、面取り部４０２ｍの外周縁４０２ｂを特徴量として高精度に検出できる。従って、画像における穴部４０２Ｈの位置の認識が正確となり、ビジュアルサーボ制御を行った際の制御量（補正量）が安定し、ロボットハンド１００と穴部４０２Ｈとの位置決めが高精度となる。
【0088】
［ピン置台４０１を撮像する場合］
ここで、カメラ１２０によって、ピン置台４０１を撮像する場合について説明する。なお、ピン置台４０１の穴部４０１Ｈも、上記組付ワーク４０２の穴部４０２Ｈと同様の構成であり、平面状に形成された平面部としての表面４０１ｓに対して穴状に形成された穴４０１ｈの開口の外縁に、傾斜部としての面取り部４０１ｍが形成されている。面取り部４０１ｍの内周縁４０１ａの内側である穴４０１ｈにはピンＷが挿入された載置されている。
ここで、カメラ１２０によって、ピン置台４０１を撮像する場合について説明する。なお、ピン置台４０１の穴部４０１Ｈも、上記組付ワーク４０２の穴部４０２Ｈと同様の構成であり、平面状に形成された平面部としての表面４０１ｓに対して穴状に形成された穴４０１ｈの開口の外縁に、傾斜部としての面取り部４０１ｍが形成されている。面取り部４０１ｍの内周縁４０１ａの内側である穴４０１ｈにはピンＷが挿入された載置されている。
【0089】
ピン置台４０１を撮像する場合も、同軸落射照明１３０によりピン置台４０１の穴部４０１Ｈに照明光を照射し（照射工程）、その状態でピン置台４０１の穴部４０１Ｈをカメラ１２０により撮像する（撮像工程）。
【0090】
ここで、ロボットハンド１００におけるカメラ１２０の取付位置と、ロボットハンド１００の指部１４０の位置と、の位置関係によっては、ピンＷを把持する位置は必ずしもカメラ１２０の画角の中央ではない可能性がある。このため、図１５（ａ）に示すように、一般的なカメラを用いてピン置台４０１の一部のピン穴である穴部４０１Ｈを撮像した場合、通常のレンズでは高さのあるピンＷの側面部Ｗｗが見える。即ち、この画像では、ピンＷの頭部Ｗｓが面取り部４０１ｍの外周縁４０１ｂと重なってしまう。
【0091】
一方、図１５（ｂ）に示すように、第３実施形態に係るカメラ１２０によってピン置台４０１の穴部４０１Ｈを撮像した場合、テレセントリックレンズ１２２を介してセンサ部１２１により撮像される画像では、ピンＷの側面部Ｗｗが見えない。即ち、テレセントリックレンズ１２２は光軸に対して主光線が平行となるレンズであるため、穴部４０１Ｈの位置がカメラ１２０の画角の中央でない場合でもピンＷの側面部Ｗｗは見えず、面取り部４０１ｍの外周縁４０２ｂが全て見える。なお、例えばピンＷは金属製であるが、ピンＷの頭部Ｗｓは磨かれたような表面となっていないため、同軸落射照明１３０からの照明光は乱反射し、撮像された場合でも、暗く（黒く）撮像される。
【0092】
このように第３実施形態に係るカメラ１２０によってピン置台４０１の穴部４０１Ｈを撮像した場合でも、穴部４０１Ｈの外側の領域は明るく（白く）撮像される。また、反対に、面取り部４０１ｍを含む穴部４０１Ｈの内側の領域については、暗く（黒く）撮像される。つまり、面取り部４０１ｍの外周縁４０１ｂを境界として、一般的なカメラで撮影した場合よりも明暗の差が大きくなり、面取り部４０１ｍの外周縁４０１ｂを特徴量として高精度に検出できる。従って、画像における穴部４０２Ｈの位置の認識が正確となり、ビジュアルサーボ制御を行った際の制御量（補正量）が安定し、ロボットハンド１００と穴部４０２Ｈとの位置決めが高精度となる。
【0093】
［目標画像の共通化］
ところで、例えば一般的なカメラである場合には、図１５（ａ）に示すようにピンＷが有る場合に、特徴量として取得する形状が円形とならないため、穴部４０１ＨにピンＷが有る場合と無い場合とでそれぞれ画像を取得する必要がある。しかしながら、本第３実施形態に係るカメラ１２０では、テレセントリックレンズ１２２を用いている。このため、図１５（ｂ）に示すように、穴部４０１ＨにピンＷが有る場合でも無い場合でも、穴部４０１Ｈ（外周縁４０２ｂ）は略円形に撮像され、つまり画像認識に影響がない。これにより、上述したピンＷを把持するために行うビジュアルサーボ制御（図８、図９のＳ１３、図１１のＳ１３参照）を行うときに用いる目標画像として、複数の穴部４０１Ｈの何れであっても、同じ目標画像を用いることが可能となる。
ところで、例えば一般的なカメラである場合には、図１５（ａ）に示すようにピンＷが有る場合に、特徴量として取得する形状が円形とならないため、穴部４０１ＨにピンＷが有る場合と無い場合とでそれぞれ画像を取得する必要がある。しかしながら、本第３実施形態に係るカメラ１２０では、テレセントリックレンズ１２２を用いている。このため、図１５（ｂ）に示すように、穴部４０１ＨにピンＷが有る場合でも無い場合でも、穴部４０１Ｈ（外周縁４０２ｂ）は略円形に撮像され、つまり画像認識に影響がない。これにより、上述したピンＷを把持するために行うビジュアルサーボ制御（図８、図９のＳ１３、図１１のＳ１３参照）を行うときに用いる目標画像として、複数の穴部４０１Ｈの何れであっても、同じ目標画像を用いることが可能となる。
【0094】
さらに、ピンＷを組付ワーク４０２の穴部４０２Ｈに組付けるために行うビジュアルサーボ制御（図８、図９のＳ１８、図１１のＳ１８参照）を行うときに用いる目標画像も、略円形の画像である。そのため、ピンＷを把持するために行うビジュアルサーボ制御で用いる目標画像と、ピンＷを組付ワーク４０２の穴部４０２Ｈに組付けるために行うビジュアルサーボ制御で用いる目標画像とで、同じ目標画像を共通化して用いることが可能となる。特に、対象となる穴の位置が変わったり、位置や穴径が数ミリメートル移動したりしても、画像の特徴量が共通であるため、同じ目標画像（同じ特徴量）を用いて、複数の穴に対するピンＷの把持や組付の作業ができる。なお、同じ目標画像とは必ずしも完全に同一である必要はなく、特にサイズ等に関して完全に同一である必要はなく、形状が同じであれば、その目標画像を拡大又は縮小して用いることも可能である。つまり同じ目標画像とは、特徴部分の形状が同じ目標画像であり、サイズを除く同じ目標画像とも言える。
【0095】
また、上記の説明では、目標画像として同じものを用いたものを説明したが、ビジュアルサーボ制御では、目標画像から特徴量を抽出して目標特徴量として設定している（図７、図８のＳ１参照）。そして、この目標特徴量を、例えばロボットコントローラ２００のＨＤＤ２０４等にデータとして記憶させて用いている。この目標画像から目標特徴量を抽出する処理は、複数の穴部４０１Ｈに対してビジュアルサーボ制御を実行する毎に行う必要はない。つまり最初のビジュアルサーボ制御（図９のＳ１３、図１１のＳ１３参照）で目標画像から抽出してＨＤＤ２０４等に記憶させたデータとしての目標特徴量を、次回以降のビジュアルサーボ制御で繰り返し読出して用いることができる。さらに、ピンＷを組付ワーク４０２の穴部４０２Ｈに組付けるために行うビジュアルサーボ制御（図９のＳ１８、図１１のＳ１８参照）を行うときに用いる目標特徴量も、最初のビジュアルサーボ制御で設定した目標特徴量を読出して用いることができる。
【0096】
［第３実施形態のまとめ］
以上説明したように本第３実施形態においては、組付ワーク４０２の穴部４０２Ｈやピン置台４０１の穴部４０１Ｈを画像認識する際に、表面４０２ｓや表面４０１ｓが明るく、穴部４０２Ｈや穴部４０１Ｈが暗くなるように撮影する。即ち、表面４０２ｓ又は表面４０１ｓで反射した反射光の光軸がカメラ１２０に向かうように同軸落射照明１３０により照射する。これと共に、面取り部４０２ｍ又は面取り部４０１ｍで反射した反射光の光軸がカメラ１２０と異なる方向に向かうように穴部４０２Ｈ又は穴部４０１Ｈを同軸落射照明１３０により照射する。換言すると、テレセントリックレンズ１２２の光軸ＡＸ１を表面４０２ｓ又は表面４０１ｓに直交させた状態で、同軸落射照明１３０により表面４０２ｓ又は表面４０１ｓを照射しつつカメラ１２０により撮像する。これにより、面取り部４０２ｍの外周縁４０２ｂ又は面取り部４０１ｍの外周縁４０１ｂを高精度に検出できるようになり、つまり撮像（取得）した画像における穴部４０２Ｈ又は穴部４０１Ｈの位置を精度良く検出できる。このため、ビジュアルサーボ制御を行った際の制御量（補正量）が安定し、ロボットハンド１００と穴部４０２Ｈ又は穴部４０１Ｈとの位置決めを高精度にすることができる。
以上説明したように本第３実施形態においては、組付ワーク４０２の穴部４０２Ｈやピン置台４０１の穴部４０１Ｈを画像認識する際に、表面４０２ｓや表面４０１ｓが明るく、穴部４０２Ｈや穴部４０１Ｈが暗くなるように撮影する。即ち、表面４０２ｓ又は表面４０１ｓで反射した反射光の光軸がカメラ１２０に向かうように同軸落射照明１３０により照射する。これと共に、面取り部４０２ｍ又は面取り部４０１ｍで反射した反射光の光軸がカメラ１２０と異なる方向に向かうように穴部４０２Ｈ又は穴部４０１Ｈを同軸落射照明１３０により照射する。換言すると、テレセントリックレンズ１２２の光軸ＡＸ１を表面４０２ｓ又は表面４０１ｓに直交させた状態で、同軸落射照明１３０により表面４０２ｓ又は表面４０１ｓを照射しつつカメラ１２０により撮像する。これにより、面取り部４０２ｍの外周縁４０２ｂ又は面取り部４０１ｍの外周縁４０１ｂを高精度に検出できるようになり、つまり撮像（取得）した画像における穴部４０２Ｈ又は穴部４０１Ｈの位置を精度良く検出できる。このため、ビジュアルサーボ制御を行った際の制御量（補正量）が安定し、ロボットハンド１００と穴部４０２Ｈ又は穴部４０１Ｈとの位置決めを高精度にすることができる。
【0097】
また、ロボットハンド１００と組付ワーク４０２の穴部４０２Ｈ又はピン置台４０１の穴部４０１Ｈとの位置ずれを、カメラ１２０により撮像した現在画像と目標画像とから演算し、位置ずれが無くなるようにロボットハンド１００の位置を補正する。即ち、ビジュアルサーボ制御によって、ロボットハンド１００の位置を補正する。そして、ピン置台４０１の穴部４０１Ｈが複数個所であるので、複数のピン置台４０１の穴部４０１Ｈのそれぞれに対して実行されるビジュアルサーボ制御で、同じ目標画像を用いる。さらに、複数の組付ワーク４０２の穴部４０２Ｈのそれぞれに対して実行されるビジュアルサーボ制御でも、複数のピン置台４０１の穴部４０１Ｈで用いた目標画像を用いることができる。このように目標画像を共通化できるため、共通化した目標画像でロボットハンド１００の位置及び姿勢の教示を行う教示作業を行うだけで足りる。即ち、例えば各穴部４０２Ｈ又は各穴部４０１Ｈに対して目標画像を設定してそれぞれでロボットハンド１００の位置及び姿勢の教示を行う教示作業が不要となり、教示作業を簡略化することができる。さらに、例えば組付ワーク４０２の穴部４０２Ｈのそれぞれや、ピン置台４０１の穴部４０１Ｈのそれぞれで、穴径が異なっても、同じ目標画像を用いることができる。そして、穴の位置が異なっても穴の画像や特徴量は変化しないので、同じ目標画像用いることができ、教示作業の時間を大幅に短縮できる。
【0098】
なお、第３実施形態における、これ以外の構成、作用、及び効果は、上記第１及び第２実施形態と同様であるので、その説明を省略する。
【0099】
＜第４実施形態＞
続いて、上記第３実施形態を一部変更した第４実施形態について、図１６及び図１７を用いて説明する。図１６はロボットアームの姿勢補正制御を示すフローチャートである。図１７（ａ）は姿勢を補正する前のロボットアームを示す模式図である。図１７（ｂ）は姿勢を補正した後のロボットアームを示す模式図である。
続いて、上記第３実施形態を一部変更した第４実施形態について、図１６及び図１７を用いて説明する。図１６はロボットアームの姿勢補正制御を示すフローチャートである。図１７（ａ）は姿勢を補正する前のロボットアームを示す模式図である。図１７（ｂ）は姿勢を補正した後のロボットアームを示す模式図である。
【0100】
上述したピン組付制御において、例えばカメラ１２０でピン置台４０１を撮像する場合、カメラ１２０で組付ワーク４０２を撮像する場合等では、ロボットハンド１００がピン置台４０１や組付ワーク４０２に対して高精度に正対することが好ましい。同様に、上述したピン組付制御において、例えば指部１４０でピンＷを把持する場合、指部１４０でピンＷを穴部４０２Ｈに挿入する場合等では、ロボットハンド１００がピン置台４０１や組付ワーク４０２に対して高精度に正対することが好ましい。さらに、上記ピン組立制御に限らず、例えばロボットアーム１０Ａの動作を教示する教示作業にあっても、ロボットハンド１００の姿勢がピン置台４０１や組付ワーク４０２に対して高精度に正対することが好ましい場合もある。そこで、本第４実施形態においては、ロボットハンド１００の姿勢を補正する姿勢補正制御を実行し、対象物と正対させるものを説明する。なお、正対するとは、ロボットアーム１０Ａのフランジ部１１の中心軸（ロボットハンド１００の中心軸、カメラ１２０の光軸ＡＸ１）の方向が、対象物の表面（ピン置台４０１の表面４０１ｓや組付ワーク４０２の表面４０１ｓ）と垂直となる状態を言う。
【0101】
［ロボットアームの姿勢補正制御］
まず、第４実施形態に係るロボットアーム１０Ａの姿勢補正制御を実行する際には、図１７（ａ）及び図１７（ｂ）に示すように、架台７００に照明光を反射する表面７０１ｓを有する校正プレート７０１を設置しておく。なお、金属光沢のあるワーク等、照明光を反射できる面を有するワークであれば、校正プレート７０１を用いず、そのようなワークを設置してもよい。特にピン置台４０１の表面４０１ｓや組付ワーク７０２の表面４０２ｓは、光沢があって照明光を反射するものであるので、それを用いてもよい。
まず、第４実施形態に係るロボットアーム１０Ａの姿勢補正制御を実行する際には、図１７（ａ）及び図１７（ｂ）に示すように、架台７００に照明光を反射する表面７０１ｓを有する校正プレート７０１を設置しておく。なお、金属光沢のあるワーク等、照明光を反射できる面を有するワークであれば、校正プレート７０１を用いず、そのようなワークを設置してもよい。特にピン置台４０１の表面４０１ｓや組付ワーク７０２の表面４０２ｓは、光沢があって照明光を反射するものであるので、それを用いてもよい。
【0102】
さらに、本第４実施形態に係るロボットハンド１００に備えられたカメラ１２０は、第３実施形態で説明したテレセントリックレンズ１２２及び同軸落射照明１３０を備えたものとして説明する。しかしながら、カメラ１２０として、一般的なカメラを用いたものでも構わない。また、図１７（ａ）及び図１７（ｂ）では、ロボットシステム１として、ロボットアーム１０Ａだけを示した。しかしながら、図１及び図２に示したように、ロボットシステム１は、ロボットコントローラ２００、ビジョンコントローラ２２０等を備えていると共に、ティーチングペンダント３００が接続可能に構成されているものである。
【0103】
図１６に示すように、ロボットコントローラ２００のＣＰＵ２０１は、まず、ロボットアーム１０Ａを動作させ、図１７（ａ）に示すように、ロボットハンド１００が校正プレート７０１（反射体）の上空に位置するように移動させる（Ｓ３１）。この場合、ロボットハンド１００（ロボットアーム１０Ａの手先であるフランジ部１１）は位置決め誤差等で姿勢が傾き、校正プレート７０１（反射体）と正対していない可能性がある。そこで、以下の制御に進む。
【0104】
ついで、ＣＰＵ２０１は、カメラ１２０により、校正プレート７０１の上空位置での画像を取得する（Ｓ３２）。そして、ＣＰＵ２０１は、取得した画像全体から輝度値を算出する（Ｓ３３）。輝度値を算出することで、カメラ１２０の光軸ＡＸ１（図１３参照）から照射した光がどの程度正反射して戻ってきたかが分かるため、ロボットハンド１００（ロボットアーム１０Ａのフランジ部１１）と校正プレート７０１の正対の度合いを測ることができる。
【0105】
次に、ＣＰＵ２０１は、ロボットアーム１０Ａのフランジ部１１（つまりロボットハンド１００）を、ｗｘ方向とｗｙ方向とのどちらかに例えば所定量で傾ける。なお、ここでは、画像の横方向をＸ軸、上下方向をＹ軸としたときに、Ｘ軸周りの回転運動をｗｘ方向とし、Ｙ軸周りの回転運動をｗｙ方向としている。傾けるときの回転方向は、時計回りでも反時計回りでも、つまりどちらの回転方向でも構わない。
【0106】
続けて、ＣＰＵ２０１は、前回の画像取得を行った状態からロボットアーム１０Ａのフランジ部１１を傾けた状態で、カメラ１２０により校正プレート７０１の画像を再び取得する（Ｓ３５）。そして、ロボットアーム１０Ａのフランジ部１１を傾けた状態で取得した画像全体から輝度値を算出する（Ｓ３６）。そして、ロボットアーム１０Ａのフランジ部１１を傾けた前後で取得した輝度値の差分から、輝度勾配を算出し、輝度勾配が正数か否か判定する（Ｓ３７）。輝度勾配が正数である場合とは、画像全体の輝度値が増え、つまり画像が明るくなったことになる。そのため、ロボットアーム１０Ａのフランジ部１１を傾けた前後の輝度値の差分が正数であれば、その方向に傾ければ、より正対に近くことが分かる。そこで、軌道勾配が正数であれば（Ｓ３７のＹｅｓ）、輝度勾配を特徴量としてロボットアーム１０Ａのフランジ部１１（手先）の姿勢をビジュアルサーボ制御で動作させる（Ｓ３９）。その後、ステップＳ３５からステップＳ３９までの処理を繰り返し、輝度勾配が正数でなくなり負数となり、つまり取得した画像の輝度がほぼ最大になるまで処理を行う。
【0107】
その後、ＣＰＵ２０１は、軌道勾配が正数でなくなると（Ｓ３７のＮｏ）、これまでの処理が１ループ目であるか否かを判定する（Ｓ３８）。例えばステップＳ３４において、ロボットアーム１０Ａのフランジ部１１を輝度が小さくなる方向に傾けている可能性がある。そこで、輝度勾配が負数であっても１ループ目であれば（Ｓ３８のＹｅｓ）、ビジュアルサーボ制御で反対方向に傾ける補正を行う（Ｓ３９）。そして、これまでの処理が１ループ目でなければ（Ｓ３８のＮｏ）、ｗｘ方向とｗｙ方向との両方補正が完了したか判定する（Ｓ４０）。ｗｘ方向とｗｙ方向との両方補正が完了していない場合は（Ｓ４０のＮｏ）、再度ステップＳ３５に戻り、完了していない姿勢方向の補正を行うようにする。そして、ｗｘ方向とｗｙ方向との両方補正が完了している場合は（Ｓ４０のＹｅｓ）、以上でロボットアームの姿勢補正制御を終了する。このように輝度勾配が負数になるまで姿勢補正を行い、画像から取得できる輝度がほぼ最大となったため、図１７（ｂ）に示すように、ロボットアーム１０Ａのフランジ部１１（つまりロボットハンド１００）は、校正プレート７０１と正対することになる。
【0108】
なお、本第４実施形態におけるロボットアームの姿勢補正制御は、ビジュアルサーボ制御によって補正制御を行うものを説明したが、これに限らない。例えば輝度値を表示するＵＩ（ユーザインターフェース）をティーチングペンダント３００に搭載し、表示部３００Ａで輝度を表示し、作業者が手動によって、その情報を見ながらロボットアーム１０Ａの姿勢を動かすことで、姿勢の補正を実行してもよい。特にティーチングペンダント３００を用いてロボットアーム１０Ａの教示を行っている場合には、この姿勢の補正手法が有効である。さらに、このように表示部３００Ａで表示を行っても、輝度値をロボットコントローラ２００にフィードバックして、ロボットコントローラ２００で上記姿勢補正制御の処理の一部或いは全部を実行するようにしても構わない。また、輝度を表示する表示部としてティーチングペンダント３００の表示部３００Ａを一例としているが、これに限らず、他のモニタ等の表示部を接続して、そこに表示するものでも構わない。
【0109】
また特に、ロボットアーム１０Ａの教示を行う際に姿勢の補正を実行した場合には、姿勢の補正を実行した後で補正する際に取得した画像や姿勢の情報をＨＤＤ２０４等に記憶しておく。そして、ピン組付制御の実行前に呼び出し、それらの画像や姿勢の情報を用いて、ロボットハンド１００とピン置台４０１或いは組付ワーク４０２とを正対するように移動制御してもよい。
【0110】
また、カメラに一般的な照明やレンズを用いた場合には、上述した姿勢の補正精度は低下するが、奥行方向の補正が可能になる。このため、一般的なカメラと、テレセントリックレンズ１２２を有するカメラ１２０との、２種類のカメラを組み合わせて補正を行うような構成であってもよい。
【0111】
［第４実施形態のまとめ］
以上説明した本第４実施形態におけるロボットアームの姿勢補正制御によれば、ロボットハンド１００と対象ワーク（ピン置台４０１や組付ワーク４０２）とを正対させることができる。このため、ピンＷと指部１４０との間や、ピンＷと穴部４０２Ｈとの間における、例えば数マイクロメートル程度の精密な嵌め合い等を、実に実行させることが可能となる。さらに、このような精密な嵌め合いを行うための教示作業も容易に行えるようにすることができる。また、上述したピン組付制御を実行する前或いは実行中において、本ロボットアームの姿勢補正制御を実行することで、ロボット動作や環境の変化によりロボットハンド１００が傾いた際でも補正することができ、上記精密な嵌め合い等を確実に実行できる。また、本ロボットアームの姿勢補正制御を実行することで、ピン組付制御で撮像した画像の輝度が最大となり、画像認識の精度を向上することができる。そして、複数のカメラを用いることで、画像内における位置の認識制度だけでなく、奥行き方向の認識精度も高めることができる。
以上説明した本第４実施形態におけるロボットアームの姿勢補正制御によれば、ロボットハンド１００と対象ワーク（ピン置台４０１や組付ワーク４０２）とを正対させることができる。このため、ピンＷと指部１４０との間や、ピンＷと穴部４０２Ｈとの間における、例えば数マイクロメートル程度の精密な嵌め合い等を、実に実行させることが可能となる。さらに、このような精密な嵌め合いを行うための教示作業も容易に行えるようにすることができる。また、上述したピン組付制御を実行する前或いは実行中において、本ロボットアームの姿勢補正制御を実行することで、ロボット動作や環境の変化によりロボットハンド１００が傾いた際でも補正することができ、上記精密な嵌め合い等を確実に実行できる。また、本ロボットアームの姿勢補正制御を実行することで、ピン組付制御で撮像した画像の輝度が最大となり、画像認識の精度を向上することができる。そして、複数のカメラを用いることで、画像内における位置の認識制度だけでなく、奥行き方向の認識精度も高めることができる。
【0112】
＜他の実施形態の可能性＞
なお、以上説明した第１乃至第４実施形態においては、撮像対称（作業位置、接触位置）であるピン置台４０１の穴部４０１Ｈや組付ワーク４０２の穴部４０２Ｈを、指部１４０及びそれで把持したピンＷを退避させた状態で撮影した。この際、指部１４０を移動してピンＷの位置を退避させたり、指部１４０を移動してピンＷの位置を復帰させたりしたが、これに限らず、ロボットアーム１０Ａを駆動して、ロボットハンド１００と共にピンＷを退避させたり復帰させたりしてもよい。つまり、ピンＷと作業位置（接触位置）との位置関係が既知であれば、その分の距離をロボットアーム１０Ａで移動させても退避させたり復帰させたりすることができる。
なお、以上説明した第１乃至第４実施形態においては、撮像対称（作業位置、接触位置）であるピン置台４０１の穴部４０１Ｈや組付ワーク４０２の穴部４０２Ｈを、指部１４０及びそれで把持したピンＷを退避させた状態で撮影した。この際、指部１４０を移動してピンＷの位置を退避させたり、指部１４０を移動してピンＷの位置を復帰させたりしたが、これに限らず、ロボットアーム１０Ａを駆動して、ロボットハンド１００と共にピンＷを退避させたり復帰させたりしてもよい。つまり、ピンＷと作業位置（接触位置）との位置関係が既知であれば、その分の距離をロボットアーム１０Ａで移動させても退避させたり復帰させたりすることができる。
【0113】
また、第１乃至第４実施形態においては、カメラ１２０がロボットハンド１００の基部１０１に取付けられて支持されているものを説明したが、これに限らない。例えばカメラ１２０がロボットハンド１００の基部１０１に対してスライド移動させて指部１４０を移動せずに、カメラ１２０と指部１４０との相対位置関係として、ピンＷをカメラ１２０に対して退避させたり復帰させたりしてもよい。さらに、カメラ１２０が、ロボットアーム１０Ａに取付けられていたり、さらには、ロボットシステム１が設置される設置場所の定点（例えば天井等）に設置されていたりしてもよい。特にカメラ１２０が定点に設置されている場合は、ロボットアーム１０Ａの移動によって、ピンＷをカメラ１２０に対して退避させたり復帰させたりしてもよい。要するに、カメラ１２０で撮像対称（作業位置、接触位置）を撮影する際にワークが邪魔にならないようにツール及びワークがカメラ１２０の視野内で重複しない位置に移動していればよい。そして、ワークに関する作業を行うために、撮像対称の位置に復帰させる場合には、ワークに遮られて撮像対称が写らないだけでなく、ワークと共にカメラ１２０も移動し、カメラ１２０の視野内に撮像対称が写らない状態でも構わない。
【0114】
また、第１乃至第４実施形態においては、エンドエフェクタのツールとして、ロボットハンド１００の指部１４０であり、ワークとしてピンＷを把持するものを説明したが、これに限らない。例えばツールとしてのドライバで、ワークとしてのネジに接して螺合させるもの等も考えられる。さらに、ワークを把持して支持するものに限らず、例えば吸着や磁着を行う等して、ワークを支持するものであっても構わない。
【0115】
また、第１乃至第４実施形態において、ロボットハンド１００が第１指部１４１と第２指部１４２とをスライド移動させるものについて説明したが、この構成だけに限定するものではない。例えば３本以上の指部を有していたり、指部が直線上を移動するのではなく円弧上で移動したりしてもよい。また、第１指部１４１と第２指部１４２とをスライド移動するように第１案内部１７０と第２案内部１８０とを有するものを説明したが、これに限らず、１つの案内部或いは３つ以上の案内部を有していてもよい。勿論、案内部が複数あることで、第１指部１４１と第２指部１４２との移動が安定的になり、ワークの把持も安定するので、２つ以上の案内部があることが好ましい。また、第１指部１４１と第２指部１４２とをモータ１５１とモータ１６１とで駆動するものを説明したが、これに限らず、例えばソレノイドや油圧等で駆動するようなものでも構わない。
【0116】
また、第３実施形態において、カメラ１２０がテレセントリックレンズ１２２と同軸落射照明１３０とを用いて、照射光を撮像対象の平面に垂直に照射して、その光軸上で撮影するものを説明した。しかしながら、これに限らず、例えばカメラと照明とが同軸上にない構成であってもよく、その場合は、照射光の光軸が撮像対象の平面で反射してカメラに向かうように角度を設定することが考えられる。
【0117】
また、本開示は、以上説明した実施形態に限定されるものではなく、実施形態は、本開示の技術的思想内で多くの変形が可能である。例えば、上述した複数の実施形態及び複数の変形例のうち、少なくとも２つを組み合わせてもよい。また、本実施形態に記載された効果は、本開示の実施形態から生じる最も好適な効果を列挙したに過ぎず、本開示の実施形態による効果は、本実施形態に記載されたものに限定されない。
【0118】
また、上述の第１乃至第４実施形態では、ロボット本体が垂直多関節のロボットの場合について説明したが、これに限定するものではない。ロボット本体が、例えば、水平多関節のロボット、パラレルリンクのロボット、直交ロボットであってもよい。また、上述の実施形態は、制御装置に設けられる記憶装置の情報に基づき、伸縮、屈伸、上下移動、左右移動もしくは旋回の動作またはこれらの複合動作を自動的に行うことができる機械に適用可能である。
【0119】
本開示は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0120】
＜本実施形態の開示＞
［構成１］
本体部と、
前記本体部に支持され、撮像可能なカメラと、
前記本体部に移動自在に支持され、ワークを支持可能であり、かつワークに対する作業を実行可能なツールと、を備え、
前記カメラにより撮像対象を撮像する場合に、前記カメラの視野において、前記ツールまたは前記ツールで支持したワークの少なくとも一部と前記撮像対象とが重なる範囲の外側に、ワークを支持した前記ツールを位置させる、
ことを特徴とするエンドエフェクタ。
［構成２］
前記ツールまたは支持したワークの少なくとも一部が前記範囲の内側にある状態から、前記カメラにより撮像対象を撮像する前に、前記範囲の外側に、ワークを支持した前記ツールを移動させる、
ことを特徴とする構成１に記載のエンドエフェクタ。
［構成３］
前記撮像対象は、前記ツールにより作業を行う作業対象であり、
ワークを支持した前記ツールが前記範囲の外側にある状態から、前記ツールにより作業を実行する前に、前記カメラの視野において、ワークが前記作業対象に少なくとも一部が重なるように、ワークを支持した前記ツールを移動させる、
ことを特徴とする構成１又は２に記載のエンドエフェクタ。
［構成４］
前記カメラにより撮像対象を撮像する場合に、前記ツール及び支持したワークを、前記カメラの視野の外側に位置させる、
ことを特徴とする構成１乃至３のいずれか１項に記載のエンドエフェクタ。
［構成５］
前記撮像対象は、作業において前記ツールで支持したワークを接触させる接触位置である、
ことを特徴とする構成１乃至４の何れか１項に記載のエンドエフェクタ。
［構成６］
前記ツールは、ワークを把持することで支持する第１指部及び第２指部を含む、
ことを特徴とする構成１乃至５の何れか１項に記載のエンドエフェクタ。
［構成７］
前記第１指部は、前記本体に対して移動自在に支持される第１根元部と、前記第１根元部よりも先端に配置され、ワークを把持する第１指先部と、を有し、
前記第２指部は、前記本体に対して移動自在に支持される第２根元部と、前記第２根元部よりも先端に配置され、ワークを把持する第２指先部と、を有する、
ことを特徴とする構成６に記載のエンドエフェクタ。
［構成８］
前記第１指部及び前記第２指部は、前記本体部に対して移動された場合に、前記第１指先部及び前記第２指先部が前記範囲の内側と外側とに移動し、かつ前記第１指先部及び前記第２指先部が前記範囲の内側にある場合でも前記第１根元部及び前記第２根元部が前記範囲の外側に位置するように形成されている、
ことを特徴とする構成７に記載のエンドエフェクタ。
［構成９］
前記第１指先部及び前記第２指先部は、前記範囲の内側に位置する状態で、前記カメラと前記カメラの焦点位置との間に位置する、
ことを特徴とする構成７又は８に記載のエンドエフェクタ。
［構成１０］
前記本体部は、
前記第１根元部及び前記第２根元部をスライド移動可能に支持するスライド部と、
前記第１根元部を前記スライド部においてスライド移動させるように駆動する第１駆動部と、
前記第１駆動部とは独立して駆動可能であり、前記第２根元部を前記スライド部においてスライド移動させるように駆動する第２駆動部と、を有する、
ことを特徴とする構成７乃至９の何れか１項に記載のエンドエフェクタ。
［構成１１］
構成１に記載のエンドエフェクタと、
前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、
前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備え、
前記制御部は、前記カメラにより撮像された画像から前記撮像対象に対する前記エンドエフェクタの位置合せを行う位置合せ制御を実行する、
ことを特徴とするロボットシステム。
［構成１２］
前記制御部は、前記位置合せ制御として、前記エンドエフェクタと前記撮像対象との位置ずれを、前記カメラにより撮像した画像と目標となる目標画像とから演算し、前記位置ずれが無くなるように前記エンドエフェクタの位置を補正する補正制御を実行する、
ことを特徴とする構成１１に記載のロボットシステム。
［構成１３］
前記撮像対象は、平面状に形成された平面部と、前記平面部に対して傾斜された傾斜部と、を有し、
前記エンドエフェクタは、光軸方向に光を照射する照射部を備え、
前記制御部は、前記平面部で反射した反射光の光軸が前記カメラに向かい、かつ前記傾斜部で反射した反射光の光軸が前記カメラと異なる方向に向かうように前記撮像対象を前記照射部により照射して、前記カメラにより撮像する、
ことを特徴とする構成１２に記載のロボットシステム。
［構成１４］
前記撮像対象は、前記平面部に対して穴状に形成された穴部を有し、
前記傾斜部は、前記穴部の開口の外縁において面取りされた面取り部である、
ことを特徴とする構成１３に記載のロボットシステム。
［構成１５］
前記カメラは、テレセントリック光学系を有し、
前記制御部は、前記テレセントリック光学系の光軸を前記平面部に直交させた状態で、前記カメラにより撮像する、
ことを特徴とする構成１３に記載のロボットシステム。
［構成１６］
前記照射部は、前記テレセントリック光学系の光軸と同軸に光を照射する同軸落射照明であり、
前記制御部は、前記テレセントリック光学系の光軸を前記平面部に直交させた状態で、前記同軸落射照明により前記平面部を照射しつつ前記カメラにより撮像する、
ことを特徴とする構成１５に記載のロボットシステム。
［構成１７］
前記撮像対象は、前記ツールによりワークに関する作業を行う作業位置であり、
前記作業位置が複数個所である場合、複数の前記作業位置のそれぞれに対して実行される前記位置合せ制御で、同じ前記目標画像を用いる、
ことを特徴とする構成１２乃至１６の何れか１項に記載のロボットシステム。
［構成１８］
前記複数の作業位置のそれぞれで実行される作業は、前記複数の作業位置の少なくとも１つにあるワークを前記ツールに支持させる第１作業と、前記ツールにより支持されたワークを前記複数の作業位置の少なくとも１つに接触させる第２作業と、を含み、
前記第１作業を行う前に実行される前記位置合せ制御と、前記第２作業を行う前に実行される前記位置合せ制御とで、同じ前記目標画像を用いる、
ことを特徴とする構成１７に記載のロボットシステム。
［構成１９］
前記制御部は、
前記エンドエフェクタの姿勢を変化させつつ、前記カメラにより撮像された画像から前記平面部で反射した光の輝度を演算し、
前記演算した輝度が最大となるように前記エンドエフェクタの姿勢を補正する姿勢補正制御を実行する、
ことを特徴とする構成１１乃至１８の何れか１項に記載のロボットシステム。
［構成２０］
前記制御部は、
前記エンドエフェクタの姿勢を操作して教示を行う教示装置と、情報の表示を行う表示装置と、に接続可能であり、
前記エンドエフェクタの姿勢が変更された場合に、前記カメラにより撮像された画像から前記平面部で反射した光の輝度を演算して前記表示装置に表示する、
ことを特徴とする構成１１乃至１８の何れか１項に記載のロボットシステム。
［構成２１］
撮像可能なカメラと、光軸方向に光を照射する照射部と、を備えるエンドエフェクタと、
前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、
前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備え、
前記制御部は、
前記カメラにより撮像された画像から撮像対象に対する前記エンドエフェクタの位置合せを行う位置合せ制御を実行する際に、
平面状に形成された平面部、及び前記平面部に対して傾斜された傾斜部を有する撮像対象を、前記平面部で反射した反射光の光軸が前記カメラに向かい、かつ前記傾斜部で反射した反射光の光軸が前記カメラと異なる方向に向かうように前記照射部により照射して前記カメラにより撮像する、
ことを特徴とするロボットシステム。
［方法２２］
本体部と、前記本体部に支持され、撮像可能なカメラと、前記本体部に移動自在に支持され、ワークに対して作業を施すツールと、を備え、制御部により制御されるエンドエフェクタの制御方法において、
前記制御部が、前記カメラにより撮像対象を撮像する場合に、前記カメラの視野において、前記ツールまたは前記ツールで支持したワークの少なくとも一部と前記撮像対象とが重なる範囲の外側に、ワークを支持した前記ツールを位置させる、
ことを特徴とするエンドエフェクタの制御方法。
［方法２３］
本体部と、前記本体部に支持され、撮像可能なカメラと、前記本体部に移動自在に支持され、ワークに対して作業を施すツールと、を備えるエンドエフェクタと、
前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、
前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備えるロボットシステムの制御方法において、
前記制御部が、前記カメラにより撮像対象を撮像する場合に、前記カメラの視野において、前記ツールまたは前記ツールで支持したワークの少なくとも一部と前記撮像対象とが重なる範囲の外側に、ワークを支持した前記ツールを位置させる退避工程と、
前記制御部が、ワークを支持した前記ツールを前記範囲の外側に位置させた状態で、前記カメラにより撮像対象を撮像する撮像工程と、
前記制御部が、前記カメラにより撮像された画像から前記撮像対象に対する前記エンドエフェクタの位置合せを行う位置合せ工程と、を備える、
ことを特徴とするロボットシステムの制御方法。
［方法２４］
前記退避工程において、前記制御部が、前記ツール及び支持したワークの少なくとも一部が前記範囲の内側にある状態から、前記カメラにより撮像対象を撮像する前に、前記範囲の外側に、ワークを支持した前記ツールを移動させる、
ことを特徴とする方法２３に記載のロボットシステムの制御方法。
［方法２５］
前記制御部が、前記撮像工程の後、ワークを支持した前記ツールが前記範囲の外側にある状態から、前記作業ツールにより作業を実行する前に、前記カメラの視野において、ワークが前記撮像対象に少なくとも一部が重なるように、ワークを支持した前記ツールを前記範囲の内側に移動させる復帰工程を備える、
ことを特徴とする方法２３又は２４に記載のロボットシステムの制御方法。
［方法２６］
撮像可能なカメラと、光軸方向に光を照射する照射部と、を備えるエンドエフェクタと、
前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、
前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備えるロボットシステムの制御方法において、
前記制御部が、平面状に形成された平面部、及び前記平面部に対して傾斜された傾斜部を有する撮像対象を、前記平面部で反射した反射光の光軸が前記カメラに向かい、かつ前記傾斜部で反射した反射光の光軸が前記カメラと異なる方向に向かうように前記照射部により照射する照射工程と、
前記制御部が、前記照射工程により光が照射された撮像対象を前記カメラにより撮像する撮像工程と、
前記制御部が、前記カメラにより撮像された画像から前記エンドエフェクタと前記撮像対象との位置関係を演算する演算工程と、を備える、
ことを特徴とするロボットシステムの制御方法。
［方法２７］
構成１１乃至２１の何れか１項に記載のロボットシステムを用いて物品の製造を行うことを特徴とする物品の製造方法。
［構成２８］
方法２３乃至２５のいずれか１項に記載のロボットシステムの制御方法を、コンピュータに実行させるためのプログラム。
［構成２９］
構成２８に記載のプログラムを記憶したコンピュータにより読み取り可能な記録媒体。
［構成１］
本体部と、
前記本体部に支持され、撮像可能なカメラと、
前記本体部に移動自在に支持され、ワークを支持可能であり、かつワークに対する作業を実行可能なツールと、を備え、
前記カメラにより撮像対象を撮像する場合に、前記カメラの視野において、前記ツールまたは前記ツールで支持したワークの少なくとも一部と前記撮像対象とが重なる範囲の外側に、ワークを支持した前記ツールを位置させる、
ことを特徴とするエンドエフェクタ。
［構成２］
前記ツールまたは支持したワークの少なくとも一部が前記範囲の内側にある状態から、前記カメラにより撮像対象を撮像する前に、前記範囲の外側に、ワークを支持した前記ツールを移動させる、
ことを特徴とする構成１に記載のエンドエフェクタ。
［構成３］
前記撮像対象は、前記ツールにより作業を行う作業対象であり、
ワークを支持した前記ツールが前記範囲の外側にある状態から、前記ツールにより作業を実行する前に、前記カメラの視野において、ワークが前記作業対象に少なくとも一部が重なるように、ワークを支持した前記ツールを移動させる、
ことを特徴とする構成１又は２に記載のエンドエフェクタ。
［構成４］
前記カメラにより撮像対象を撮像する場合に、前記ツール及び支持したワークを、前記カメラの視野の外側に位置させる、
ことを特徴とする構成１乃至３のいずれか１項に記載のエンドエフェクタ。
［構成５］
前記撮像対象は、作業において前記ツールで支持したワークを接触させる接触位置である、
ことを特徴とする構成１乃至４の何れか１項に記載のエンドエフェクタ。
［構成６］
前記ツールは、ワークを把持することで支持する第１指部及び第２指部を含む、
ことを特徴とする構成１乃至５の何れか１項に記載のエンドエフェクタ。
［構成７］
前記第１指部は、前記本体に対して移動自在に支持される第１根元部と、前記第１根元部よりも先端に配置され、ワークを把持する第１指先部と、を有し、
前記第２指部は、前記本体に対して移動自在に支持される第２根元部と、前記第２根元部よりも先端に配置され、ワークを把持する第２指先部と、を有する、
ことを特徴とする構成６に記載のエンドエフェクタ。
［構成８］
前記第１指部及び前記第２指部は、前記本体部に対して移動された場合に、前記第１指先部及び前記第２指先部が前記範囲の内側と外側とに移動し、かつ前記第１指先部及び前記第２指先部が前記範囲の内側にある場合でも前記第１根元部及び前記第２根元部が前記範囲の外側に位置するように形成されている、
ことを特徴とする構成７に記載のエンドエフェクタ。
［構成９］
前記第１指先部及び前記第２指先部は、前記範囲の内側に位置する状態で、前記カメラと前記カメラの焦点位置との間に位置する、
ことを特徴とする構成７又は８に記載のエンドエフェクタ。
［構成１０］
前記本体部は、
前記第１根元部及び前記第２根元部をスライド移動可能に支持するスライド部と、
前記第１根元部を前記スライド部においてスライド移動させるように駆動する第１駆動部と、
前記第１駆動部とは独立して駆動可能であり、前記第２根元部を前記スライド部においてスライド移動させるように駆動する第２駆動部と、を有する、
ことを特徴とする構成７乃至９の何れか１項に記載のエンドエフェクタ。
［構成１１］
構成１に記載のエンドエフェクタと、
前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、
前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備え、
前記制御部は、前記カメラにより撮像された画像から前記撮像対象に対する前記エンドエフェクタの位置合せを行う位置合せ制御を実行する、
ことを特徴とするロボットシステム。
［構成１２］
前記制御部は、前記位置合せ制御として、前記エンドエフェクタと前記撮像対象との位置ずれを、前記カメラにより撮像した画像と目標となる目標画像とから演算し、前記位置ずれが無くなるように前記エンドエフェクタの位置を補正する補正制御を実行する、
ことを特徴とする構成１１に記載のロボットシステム。
［構成１３］
前記撮像対象は、平面状に形成された平面部と、前記平面部に対して傾斜された傾斜部と、を有し、
前記エンドエフェクタは、光軸方向に光を照射する照射部を備え、
前記制御部は、前記平面部で反射した反射光の光軸が前記カメラに向かい、かつ前記傾斜部で反射した反射光の光軸が前記カメラと異なる方向に向かうように前記撮像対象を前記照射部により照射して、前記カメラにより撮像する、
ことを特徴とする構成１２に記載のロボットシステム。
［構成１４］
前記撮像対象は、前記平面部に対して穴状に形成された穴部を有し、
前記傾斜部は、前記穴部の開口の外縁において面取りされた面取り部である、
ことを特徴とする構成１３に記載のロボットシステム。
［構成１５］
前記カメラは、テレセントリック光学系を有し、
前記制御部は、前記テレセントリック光学系の光軸を前記平面部に直交させた状態で、前記カメラにより撮像する、
ことを特徴とする構成１３に記載のロボットシステム。
［構成１６］
前記照射部は、前記テレセントリック光学系の光軸と同軸に光を照射する同軸落射照明であり、
前記制御部は、前記テレセントリック光学系の光軸を前記平面部に直交させた状態で、前記同軸落射照明により前記平面部を照射しつつ前記カメラにより撮像する、
ことを特徴とする構成１５に記載のロボットシステム。
［構成１７］
前記撮像対象は、前記ツールによりワークに関する作業を行う作業位置であり、
前記作業位置が複数個所である場合、複数の前記作業位置のそれぞれに対して実行される前記位置合せ制御で、同じ前記目標画像を用いる、
ことを特徴とする構成１２乃至１６の何れか１項に記載のロボットシステム。
［構成１８］
前記複数の作業位置のそれぞれで実行される作業は、前記複数の作業位置の少なくとも１つにあるワークを前記ツールに支持させる第１作業と、前記ツールにより支持されたワークを前記複数の作業位置の少なくとも１つに接触させる第２作業と、を含み、
前記第１作業を行う前に実行される前記位置合せ制御と、前記第２作業を行う前に実行される前記位置合せ制御とで、同じ前記目標画像を用いる、
ことを特徴とする構成１７に記載のロボットシステム。
［構成１９］
前記制御部は、
前記エンドエフェクタの姿勢を変化させつつ、前記カメラにより撮像された画像から前記平面部で反射した光の輝度を演算し、
前記演算した輝度が最大となるように前記エンドエフェクタの姿勢を補正する姿勢補正制御を実行する、
ことを特徴とする構成１１乃至１８の何れか１項に記載のロボットシステム。
［構成２０］
前記制御部は、
前記エンドエフェクタの姿勢を操作して教示を行う教示装置と、情報の表示を行う表示装置と、に接続可能であり、
前記エンドエフェクタの姿勢が変更された場合に、前記カメラにより撮像された画像から前記平面部で反射した光の輝度を演算して前記表示装置に表示する、
ことを特徴とする構成１１乃至１８の何れか１項に記載のロボットシステム。
［構成２１］
撮像可能なカメラと、光軸方向に光を照射する照射部と、を備えるエンドエフェクタと、
前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、
前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備え、
前記制御部は、
前記カメラにより撮像された画像から撮像対象に対する前記エンドエフェクタの位置合せを行う位置合せ制御を実行する際に、
平面状に形成された平面部、及び前記平面部に対して傾斜された傾斜部を有する撮像対象を、前記平面部で反射した反射光の光軸が前記カメラに向かい、かつ前記傾斜部で反射した反射光の光軸が前記カメラと異なる方向に向かうように前記照射部により照射して前記カメラにより撮像する、
ことを特徴とするロボットシステム。
［方法２２］
本体部と、前記本体部に支持され、撮像可能なカメラと、前記本体部に移動自在に支持され、ワークに対して作業を施すツールと、を備え、制御部により制御されるエンドエフェクタの制御方法において、
前記制御部が、前記カメラにより撮像対象を撮像する場合に、前記カメラの視野において、前記ツールまたは前記ツールで支持したワークの少なくとも一部と前記撮像対象とが重なる範囲の外側に、ワークを支持した前記ツールを位置させる、
ことを特徴とするエンドエフェクタの制御方法。
［方法２３］
本体部と、前記本体部に支持され、撮像可能なカメラと、前記本体部に移動自在に支持され、ワークに対して作業を施すツールと、を備えるエンドエフェクタと、
前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、
前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備えるロボットシステムの制御方法において、
前記制御部が、前記カメラにより撮像対象を撮像する場合に、前記カメラの視野において、前記ツールまたは前記ツールで支持したワークの少なくとも一部と前記撮像対象とが重なる範囲の外側に、ワークを支持した前記ツールを位置させる退避工程と、
前記制御部が、ワークを支持した前記ツールを前記範囲の外側に位置させた状態で、前記カメラにより撮像対象を撮像する撮像工程と、
前記制御部が、前記カメラにより撮像された画像から前記撮像対象に対する前記エンドエフェクタの位置合せを行う位置合せ工程と、を備える、
ことを特徴とするロボットシステムの制御方法。
［方法２４］
前記退避工程において、前記制御部が、前記ツール及び支持したワークの少なくとも一部が前記範囲の内側にある状態から、前記カメラにより撮像対象を撮像する前に、前記範囲の外側に、ワークを支持した前記ツールを移動させる、
ことを特徴とする方法２３に記載のロボットシステムの制御方法。
［方法２５］
前記制御部が、前記撮像工程の後、ワークを支持した前記ツールが前記範囲の外側にある状態から、前記作業ツールにより作業を実行する前に、前記カメラの視野において、ワークが前記撮像対象に少なくとも一部が重なるように、ワークを支持した前記ツールを前記範囲の内側に移動させる復帰工程を備える、
ことを特徴とする方法２３又は２４に記載のロボットシステムの制御方法。
［方法２６］
撮像可能なカメラと、光軸方向に光を照射する照射部と、を備えるエンドエフェクタと、
前記エンドエフェクタが取付けられ、前記エンドエフェクタの位置及び姿勢を移動可能なロボット本体と、
前記ロボット本体及び前記エンドエフェクタを制御する制御部と、を備えるロボットシステムの制御方法において、
前記制御部が、平面状に形成された平面部、及び前記平面部に対して傾斜された傾斜部を有する撮像対象を、前記平面部で反射した反射光の光軸が前記カメラに向かい、かつ前記傾斜部で反射した反射光の光軸が前記カメラと異なる方向に向かうように前記照射部により照射する照射工程と、
前記制御部が、前記照射工程により光が照射された撮像対象を前記カメラにより撮像する撮像工程と、
前記制御部が、前記カメラにより撮像された画像から前記エンドエフェクタと前記撮像対象との位置関係を演算する演算工程と、を備える、
ことを特徴とするロボットシステムの制御方法。
［方法２７］
構成１１乃至２１の何れか１項に記載のロボットシステムを用いて物品の製造を行うことを特徴とする物品の製造方法。
［構成２８］
方法２３乃至２５のいずれか１項に記載のロボットシステムの制御方法を、コンピュータに実行させるためのプログラム。
［構成２９］
構成２８に記載のプログラムを記憶したコンピュータにより読み取り可能な記録媒体。
【符号の説明】
【0121】
１…ロボットシステム／１０Ａ…ロボットアーム（ロボット本体）／１００…ロボットハンド（エンドエフェクタ）／１０１…基部（本体部）／１２０…カメラ／１２２…テレセントリックレンズ（テレセントリック光学系）／１３０…同軸落射照明（照射部）／１４０…指部（ツール）／１４１…第１指部／１４１ａ…第１根元部／１４１ｂ…第１指先部／１４２…第２指部／１４２ａ…第２根元部／１４２ｂ…第２指先部／１５０…第１駆動部／１６０…第２駆動部／１７０…第１案内部（スライド部）／１８０…第２案内部（スライド部）／２０１…ＣＰＵ（制御部）／４０１Ｈ…穴部（撮像対象、作業対象、接触位置）／４０１ｍ…面取り部（傾斜部）／４０１ｓ…表面（平面部）／４０２Ｈ…穴部（撮像対象、作業対象、接触位置）／４０２ｍ…面取り部（傾斜部）／４０２ｓ…表面（平面部）／Ｐ…焦点位置／Ｗ…ピン（ワーク）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】