特許 6605611 ロボットシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6605611

(24)【登録日】2019年10月25日

(45)【発行日】2019年11月13日

(54)【発明の名称】ロボットシステム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20191031BHJP

【ＦＩ】

   B25J13/08 A

【請求項の数】4

【全頁数】9

(21)【出願番号】特願2017-537153(P2017-537153)

(86)(22)【出願日】2015年9月3日

(86)【国際出願番号】JP2015075044

(87)【国際公開番号】WO2017037908

(87)【国際公開日】20170309

【審査請求日】2018年7月6日

(73)【特許権者】

【識別番号】000237271

【氏名又は名称】株式会社ＦＵＪＩ

(74)【代理人】

【識別番号】100125737

【弁理士】

【氏名又は名称】廣田 昭博

(72)【発明者】

【氏名】山下 泰弘

(72)【発明者】

【氏名】大石 信夫

(72)【発明者】

【氏名】酒井 啓悦

【審査官】 松井 裕典

(56)【参考文献】

【文献】 特開２００３−２１１３８２（ＪＰ，Ａ）

【文献】 特開２０１５−０００４５４（ＪＰ，Ａ）

【文献】 特開２０１１−２５５４７３（ＪＰ，Ａ）

【文献】 特開昭６４−０７３８６６（ＪＰ，Ａ）

【文献】 特開２００８−２７６１３１（ＪＰ，Ａ）

【文献】 Simon Kielhofer et al.，DLR VR-SCAN: A Versatile and Robust Miniaturized Laser Scanner for short range 3D-Modelling and Exploration in Robotics，2011 IEEE/RSJ International Conference on Intelligent Robots and Systems，IEEE，２０１１年 ９月２５日，1933-1939

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２５Ｊ １／００−２１／０２

(57)【特許請求の範囲】

【請求項1】

対象物に作業を行う作業部を備えたロボットと、前記ロボットに対して前記作業部の近傍に取り付けられたカメラと、前記カメラの撮像データに基づいて対象物を確認しながら前記ロボットの駆動を制御する制御装置とを有するロボットシステムにおいて、
前記制御装置は、対象物に対して前記作業部を予め設定された軌道に従って移動させる際、前記カメラに対して、対象物を撮像する複数回の撮像制御と、当該撮像制御により複数回行われる撮像のうち全てではない所定の撮像について焦点を合わせるようにした焦点制御とを行うものであることを特徴とするロボットシステム。

【請求項2】

前記撮像制御は、焦点合わせに要する焦点時間よりも短い一定の時間間隔で行われるものであり、前記焦点制御は、前記カメラの軌道上において特定された所定の位置で焦点が合うように行われるものであることを特徴とする請求項１に記載のロボットシステム。

【請求項3】

前記制御装置は、複数回行う前記撮像のうち対象物に対して焦点が合わせられた位置での撮像と、当該撮像位置より前記対象物に向けて移動する前記作業部の移動方向前方の移動位置で前記カメラの焦点を合わせるための前記焦点制御とを同期させて行うものであることを特徴とする請求項２に記載のロボットシステム。

【請求項4】

前記ロボットは多関節のロボットアームであり、前記ロボットアームの先端部分には、前記作業部としてハンド機構が設けられ、且つ、前記カメラが取り付けられたものであることを特徴とする請求項１乃至請求項３のいずれかに記載のロボットシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、搭載したカメラによって撮像した撮像データを参照しながら、対象物に対してロボットの駆動制御を行うロボットシステムに関する。

【背景技術】

【0002】

エンドエフェクタによって部品を取り扱うロボットアームなどでは、設定された作業を行うに当たってエンドエフェクタを適切な位置に移動させるための駆動制御が行われる。下記特許文献１のロボットアームでは、先端部のカメラにより撮像された画像情報がコンピュータに取り込まれ、モニタに表示された画面上の対象物が指定されることにより、対象物とエンドエフェクタの相対関係が所定の状態になるようにロボットアームの駆動が制御される。具体的には、得られた画素情報が予め用意されたカメラのキャリブレーションデータによってメートル単位の位置情報に変換され、それが駆動制御装置に送られてロボットアームの駆動制御情報として変換される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５−０７４６００号公報

【特許文献2】特開平１０−０３１１５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

前記従来例のロボットアームは、その駆動処理と、カメラによって撮像された撮像データの処理とが段階的に行われるものである。そのため、ロボットアームを駆動させながら撮像データに従ってエンドエフェクタの移動位置を制御するものには適していない。特にカメラによって対象物を撮像するには、その焦点を合わせなければならないが、移動速度が速い場合に自動焦点制御が対象物との相対的変化に追従できない。この点、上記特許文献２には、レンズ位置および被写界深度に応じた絞り開度の情報が撮影する対象物毎にテーブルに記録され、このテーブルに従って自動焦点制御が行われるようになっている。しかし、同文献に記載の技術は、対象物とカメラとの距離が大きく変化するロボットアームなどの駆動に適するものではない。

【0005】

そこで、本発明は、カメラの撮像データを参照しながら対象物に対するロボットの駆動制御を行うロボットシステムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様におけるロボットシステムは、対象物に作業を行う作業部を備えたロボットと、前記ロボットに対して前記作業部の近傍に取り付けられたカメラと、前記カメラの撮像データに基づいて対象物を確認しながら前記ロボットの駆動を制御する制御装置とを有し、前記制御装置は、対象物に対して前記作業部を予め設定された軌道に従って移動させる際、前記カメラに対して、対象物を撮像する複数回の撮像制御と、当該撮像制御により複数回行われる撮像のうち全てではない所定の撮像について焦点を合わせるようにした焦点制御とを行うものである。

【発明の効果】

【0007】

本発明によれば、ロボットによって対象物を把持して移動させるなどの作業を行う場合、作業部を対象物に対して予め設定された軌道に従って移動させるため、カメラによって撮像を繰り返し、得られた撮像データを参照しながらロボットの駆動制御が行われる。その際、複数回行われる撮像のうち所定の撮像について焦点が合うようにしたため、全ての撮像について焦点合わせが行われないとしても、設定された軌道からずれることなく適切な位置を通って作業部を移動させることができる。

【図面の簡単な説明】

【0008】

【図1】ロボットシステムの一実施形態を概念的に示した図である。

【図2】ロボットシステムの一実施形態を示したブロック図である。

【図3】カメラによる撮像制御のイメージ図であり、電子部品を掴み取る場合の軌跡と撮像画面が示されている。

【図4】カメラの焦点制御に使用される焦点制御テーブルを示した図である。

【図5】ロボットシステムの撮像制御、焦点制御および焦点位置の関係を示した図である。

【発明を実施するための形態】

【0009】

次に、本発明に係るロボットシステムの一実施形態について、図面を参照しながら以下に説明する。本実施形態のロボットシステムは、例えば電子部品実装機に使用されるロボットアームであり、部品供給装置から送り出された電子部品を取り出し、その電子部品を回路基板の所定個所へと装着させるものである。図１は、そうしたロボットシステムを概念的に示した図である。このロボットシステム１０は、多関節のロボットアーム１によって構成されたものであり、アーム先端部に設けられたエンドエフェクタ２が、電子部品を摘まむようにして取り扱うことができる作業部である。

【0010】

ロボットアーム１は、旋回テーブルや複数の関節機構などによって構成され、サーボモータや関節軸を回転駆動させるアクチュエータなどが組み込まれている。そのサーボモータや各アクチュエータの駆動制御によりエンドエフェクタ２が３次元空間を移動することができる。そのエンドエフェクタ２は、電子部品を把持するチャック機構などによって構成されたものである。また、ロボットアーム１には、エンドエフェクタ２が位置するアーム先端部にカメラ３が取り付けられている。カメラ３は、エンドエフェクタ２による作業をサポートするためのものであり、エンドエフェクタ２と電子部品など対象物との相対的な位置情報を取得するためのものである。そのカメラ３はＣＣＤイメージセンサやＣＭＯＳイメージセンサなどが使用され、エンドエフェクタ２の近傍に取り付けられている。

【0011】

ロボットシステム１０は、ロボットアーム１およびエンドエフェクタ２の駆動制御や、カメラ３の撮像制御を行うための制御装置５が設けられている。ここで、図２は、本実施形態のロボットシステム１０を示したブロック図である。ロボットアーム１（エンドエフェクタ２を含む）及びカメラ３には制御装置５が接続されている。その制御装置５は、マイクロプロセッサやメインメモリによって構成されたものであり、駆動制御部１１、画像処理部１２、軌道生成部１３及び記憶部１４が構成されている。

【0012】

本実施形態のロボットシステム１０が組み込まれる電子部品実装機では、前述したようにロボットアーム１によって掴み取られた電子部品が回路基板の所定個所へと装着される。その際、基板生産を実行するための各作業は予め決められており、ロボットアーム１の動き、すなわちエンドエフェクタ２の移動位置は予め設定されている。よって、制御装置５の記憶部１４には、ロボットアーム１及びエンドエフェクタ２に対して所定の動作を行わせる部品実装プログラムが格納されている。

【0013】

部品実装プログラムによって駆動が制御されるロボットアーム１は、エンドエフェクタ２を決められた軌道に従って移動させることになるが、対象物との相対的な関係において様々な要因による微妙な誤差が生じ得る。例えば、部品供給装置から供給される部品の位置や回路基板に対する装着位置は、必ずしも常に一定であるわけではなく位置ズレが生じ得る。また、ロボットアーム１自体も、構造的な要因によってエンドエフェクタ２の移動位置が設定された軌道に対して微妙にずれが生じ得る。

【0014】

そこで、制御装置５では、エンドエフェクタ２による電子部品の掴み取りや回路基板への装着作業を正確に行うことができるように、エンドエフェクタ２の移動をサポートする構成が採られている。すなわち本実施形態では、エンドエフェクタ２の移動に生じる誤差をカメラ３によって得られた撮像データを参照した補正処理を行いながら、ロボットアーム１に対する駆動制御が行われる。よって、制御装置５の駆動制御部１１では、ロボットアーム１に対する所定の駆動制御を実行するため、カメラ３に対して撮像を実行させる撮像制御や、対象物である電子部品などに対するレンズの焦点を合わせる焦点制御が行われる。

【0015】

そのほか、制御装置５の画像処理部１２では、カメラ３の撮像により得られた撮像データから、電子部品に対するエンドエフェクタ２の相対的な位置が算出される。また、画像処理部１２では、例えば撮像された撮像データから電子部品のエッジ位置が求められ、当該電子部品の配置方向（姿勢）や中心位置のほか、その中心位置とエンドエフェクタ２の基準点との相対的な位置などのいわゆる空間データが生成される。そして、軌道生成部１３では、エンドエフェクタ２を電子部品などの目標位置に移動させるための軌道が生成される。更に、記憶部１４には、各種データやプログラムが格納され、例えば、ある基板生産に対する電子部品の取り出しや装着における、エンドエフェクタ２を移動させるための軌道情報や、ロボットアーム１を駆動させるための駆動制御プログラムなどが格納されている。

【0016】

そこで、ロボットアーム１の作業では、駆動制御部１１に対して軌道生成部１３から軌道情報が送信され、その軌道に沿ってエンドエフェクタ２の移動が制御される。ロボットアーム１の駆動が実行されることにより、移動するエンドエフェクタ２の位置データが駆動制御部１１から軌道生成部１３へと送信される。一方、エンドエフェクタ２の移動に伴いカメラ３によって対象物（電子部品又は回路基板の装着位置など）が撮像され、その撮像データが画像処理部１２へと送信される。画像処理部１２では、撮像データから空間データが生成され、記憶部１４に格納された設定軌道との誤差が算出される。そして、補正処理によって誤差が修正され、新たに生成された補正後の軌道情報が駆動制御部１１へと送信される。駆動制御部１１では、更に補正後の軌道情報に基づいたロボットアーム１の駆動制御が継続される。

【0017】

前述したように、軌道情報を生成するためにカメラ３によって対象物が撮像され、その撮像データが画像処理部１２へと送信される。ここで図３は、カメラ３による撮像制御のイメージ図であり、電子部品３０を掴み取る場合の軌跡と撮像画面が示されている。ロボットアーム１は、電子部品３０の位置へと軌道２０に沿ってエンドエフェクタ２を移動させるための駆動制御が行われる。その移動過程における第１〜第９ポイントでカメラ３による対象物の撮像が行われる。なお、第１〜第９ポイントは、撮像間隔が１０ｍｓに設定されたことによる位置である。それに対し、使用されるカメラ３の性能はレンズの焦点合わせに要する焦点時間が３０ｍｓのものである。

【0018】

一般的に、駆動速度が速いロボットの軌道修正には撮像間隔を１ｍｓ〜１０ｍｓ程度にする必要があるものの、搭載するカメラの性能に関しては焦点時間が数十ｍｓ程度のものが使用される。そのため、撮像間隔が焦点時間より短くなってしまい、レンズの焦点を合わせるための焦点制御が撮像のタイミングより遅れてしまう。これでは、常に最適な焦点合わせが行われない状態の撮像データに基づいてロボットアーム１に対する軌道修正のための補正処理が行われることになる。そこで、本実施形態のロボットシステム１０は、撮像の間隔が焦点時間より短い場合でも適切な軌道修正を可能なものとする。

【0019】

先ず、図３に示すように、軌道２０上の第１ポイントから第９ポイントにおいて、カメラ３による電子部品３０の撮像が行われる。前述したように、エンドエフェクタ２の移動を開始してから１０ｍｓ間隔でカメラ３による撮像が繰り返される。しかし、本実施形態では、こうした全てのポイントでカメラ３に対する焦点制御が行われるわけではなく、特定のポイントだけに向けて、レンズの焦点合わせるための焦点制御が行われるようになっている。

【0020】

ここで、図４は、カメラ３の焦点制御に使用される焦点制御テーブルを示した図である。この焦点制御テーブルは、上段に第１ポイントから第９ポイントに対応した撮像回数が示されている。すなわち、各ポイントで１回ずつの撮像が行われるため、上段の数値は、ポイントの位置を示すとともに移動開始後に行われた撮像回数が示されている。一方、下段には焦点制御によってレンズの焦点合わせが行われる焦点位置が示されている。特に焦点制御は、電子部品３０からの高さＨを基準にしてレンズの焦点合わせが行われるため、下段の数値は電子部品３０からの高さを示す数値である。

【0021】

図４の焦点制御テーブルでは、予め焦点位置（焦点高さ）が１００ｍｍに設定されるようになっている。これは第１回目の撮像位置が電子部品３０から１００ｍｍの位置だからである。そして、第１ポイントすなわち第１回目の撮像である上段の「１」に対応して「６０」の値が示されている。これは、第１回目の撮像終了と同時に焦点位置を高さ６０ｍｍに合わせるようにカメラ３のレンズに対して焦点制御が行われることを意味している。駆動制御部１１の焦点制御指令によってカメラ３の焦点制御が行われたとしても、前述したようにレンズの焦点が合うまでに３０ｍｓの焦点時間を要する。そのため、１０ｍｓ間隔で撮像が繰り返される本実施形態では、焦点制御指令後の撮像から数えて４回後の撮像時に焦点合わせが完了することになる。

【0022】

そこで、焦点合わせを開始したカメラ３が、電子部品３０に向けて移動する移動方向前方の移動位置すなわち数回後の撮像時に通過する高さで焦点が合うように、数回（数ポイント）先の撮像において焦点を合わせるための焦点制御が行われる。本実施形態では、このような焦点制御を「予約フォーカス」と称する。この予約フォーカスが行われるのは、レンズの焦点が合わせられた高さで撮像が行われた後である。そこで、駆動制御部１１によって行われるカメラ３に対する撮像制御と焦点制御（予約フォーカス）とが同期するように構成されている。そして、本実施形態で撮像制御と焦点制御とが同期して行われるのは、９回行われる撮像のうちの１回目と５回目である。

【0023】

図４に示すように、本実施形態では９回行われる撮像のうちの１回目と５回目のタイミングで予約フォーカスが行われる。先ず、第１回目の撮像に同期して行われる予約フォーカスは、４回後である第５回目の撮像時にカメラ３が移動している位置（図３に示す第５ポイント）が電子部品３０から６０ｍｍの高さＨ１となるため、その高さに合わせて設定された焦点制御となる。同じく、第５回目の撮像に同期して行われる予約フォーカスは、４回後である第９回目の撮像時にカメラ３が移動している位置（図３に示す第９ポイント）が電子部品３０から１０ｍｍの高さＨ２となるため、その高さに合わせて設定された焦点制御となる。

【0024】

ところで、予約フォーカスでは、数回先の撮像に対して焦点合わせが行われるが、その間に行われる撮像において焦点が合っていないということではない。カメラ３のレンズにおける被写界深度により、焦点の合う焦点範囲について一定の許容量が認められているからである。図４に示す第２回目から第４回目、或いは第６回目から第８回目までの撮像においては、カメラ３のレンズは高さＨ１，Ｈ２に向けてそれぞれ焦点合わせの実行中である。このときカメラ３自体も同高さに向けて移動しているということもあり、対象物である電子部品３０が焦点範囲の中心にはないとしても、被写界深度の範囲内には収まっている。よって、予約フォーカスの対象となっていないポイントの撮像であっても十分にはっきりと像を結んだ撮像データが得られる。

【0025】

ここで、図５は、ロボットシステム１０の撮像制御、焦点制御および焦点位置の関係を示した図であり、図３および図４と同じ制御パターンが示されている。よって、本例におけるロボットシステム１０では、次のようにしてエンドエフェクタ２の移動が制御される。先ず、カメラ３は予め１００ｍｍの高さに焦点が合わせられている。そして、軌道２０に沿ってエンドエフェクタ２が移動し、カメラ３による第１回目の撮像が電子部品３０から１００ｍｍの高さＨ０の第１ポイントで行われる。その際、制御装置５の駆動制御部１１からカメラ３に対して撮像指令信号（トリガ信号）が入力され、カメラ３ではシャッタが切られて電子部品３０の撮像が行われる。そこで、図３に示すポイント１画像が得られる。

【0026】

そして、図４に示す焦点制御テーブルに従い、第１回目の撮像指令信号に同期して、駆動制御部１１からカメラ３に対して焦点制御指令信号が入力される。カメラ３では、第１回目の撮像後に入力される焦点制御指令信号に従い、対象物から６０ｍｍの高さでレンズの焦点が合うようにした駆動調整が行われる。そして、このときロボットアーム１が駆動してエンドエフェクタ２及びカメラ３の移動が続けられており、第２回目、第３回目そして第４回目の撮像が、駆動制御部１１からカメラ３に入力されるトリガ信号によって実行される。その撮像では、図５に示すように、焦点合わせの実行中であって焦点位置が変化している最中であるが、前述したように電子部品３０は被写界深度の範囲内に収まっているため、図３に示すポイント３画像が得られる（ポイント２画像およびポイント４画像は省略）。

【0027】

続いて、第５回目である第５ポイントでの撮像は、カメラ３の移動位置が電子部品３０から高さＨ１である６０ｍｍの位置を通過する際に行われる。カメラ３は、その時点でレンズの焦点が高さ６０ｍｍに合わせられているため、まさに電子部品３０に対して焦点の中心が合った状態で撮像が行われる。このとき図３に示すポイント５画像が得られる。そして、図４に示す焦点制御テーブルに従い、第５回目の撮像指令信号に同期して駆動制御部１１からカメラ３に対して焦点制御指令信号が入力され、カメラ３ではレンズの焦点が電子部品３０から高さ１０ｍｍで合うようにするための駆動調整が行われる。

【0028】

移動を続けるカメラ３は、更に第６回目、第７回目および第８回目の撮像が、図５に示すように焦点位置が変化している状況で実行され、図３に示すポイント７画像が得られる（ポイント６画像およびポイント８画像は省略）。そして、第９回目である第９ポイントの撮像は、カメラ３の高さＨ２が電子部品３０から１０ｍｍの位置、すなわち電子部品３０を把持する直前で行われる。その時点でレンズの焦点が高さ１０ｍｍに合わせたられているため、電子部品３０に対して焦点が合った状態で撮像が行われ、図３に示すポイント９画像が得られる。

【0029】

よって、本実施形態のロボットシステム１０によれば、カメラ３の焦点時間が撮像間隔より長い場合であっても、予約フォーカスを行うことにより軌道２０からずれることなく適切な位置を通ってエンドエフェクタ２及びカメラ３を移動させることができる。すなわち、複数ある撮像回数のうち全てではない数回について予約フォーヵスを行うことにより、確実に焦点を合わせた撮像データを得ることができ、設定された軌道２０の位置とエンドエフェクタ２の移動位置との誤差を補正処理によって修正することができる。そして、予約フォーカスの対象となっていない回の撮像であっても、カメラ３の移動に従って焦点が合わせられているため、被写界深度の範囲内に電子部品３０があるため焦点が合った状態でほぼ全ての回の撮像データを得ることができる。

【0030】

以上、本発明の一実施形態について説明したが、本発明はこれらに限定されるものではなく、その趣旨を逸脱しない範囲で様々な変更が可能である。
例えば、前記実施形態では多関節のロボットアーム１によって構成されたロボットシステムを例に挙げて説明したが、ロボットアームの他にも水平多関節型やＸＹＺ直交型のロボットなどであってもよい。
また、図４に示す焦点制御テーブルは一例であって、カメラ３の性能やエンドエフェクタ２の移動距離などによって様々に設定可能である。

【符号の説明】

【0031】

１…ロボットアーム ２…エンドエフェクタ ３…カメラ ５…制御装置 １１…駆動制御部 １２…画像処理部 １３…軌道生成部 １４…記憶部 ２０…軌道 ３０…電子部品

【図1】

【図2】

【図3】

【図4】

【図5】