特許 7163506 作業ロボットおよび作業システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-21

(45)【発行日】2022-10-31

(54)【発明の名称】作業ロボットおよび作業システム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20221024BHJP

【ＦＩ】

B25J13/08 A

【請求項の数】 5

(21)【出願番号】P 2021546104

(86)(22)【出願日】2019-09-18

(86)【国際出願番号】 JP2019036529

(87)【国際公開番号】W WO2021053750

(87)【国際公開日】2021-03-25

【審査請求日】2022-01-24

(73)【特許権者】

【識別番号】000237271

【氏名又は名称】株式会社ＦＵＪＩ

(74)【代理人】

【識別番号】110000017

【氏名又は名称】弁理士法人アイテック国際特許事務所

(72)【発明者】

【氏名】大石 信夫

【審査官】木原 裕二

(56)【参考文献】

【文献】特開平１１－３００６７０（ＪＰ，Ａ）

【文献】特開２０１４－２０５２０９（ＪＰ，Ａ）

【文献】特開２０１７－０４２８５９（ＪＰ，Ａ）

【文献】特開２０１０－０８９２３８（ＪＰ，Ａ）

【文献】特開２０１４－１０８８６８（ＪＰ，Ａ）

【文献】国際公開第２０１２／０６６８１９（ＷＯ，Ａ１）

【文献】特開２０１８－００８３４３（ＪＰ，Ａ）

【文献】特開平１０－２３５５８４（ＪＰ，Ａ）

【文献】国際公開第２０１８／０７２２０８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １３／０８

(57)【特許請求の範囲】

【請求項1】

供給エリアに供給された複数のワークを順次保持し、保持したワークを作業エリアへ移動させる作業ロボットであって、
バラ置き状態で前記供給エリアに供給された複数のワークを撮像する撮像装置と、
前記撮像装置により撮像された画像から複数のワークの領域を認識し、認識した複数のワークの領域のそれぞれの面積と位置とを求めると共にそれぞれの前記作業エリアまたは前記作業ロボットとの距離を求める画像処理装置と、
前記画像処理装置により求められた複数のワークの領域の面積と前記作業エリアまたは前記作業ロボットとの距離とに基づいてワークの保持順序を決定する制御装置と、
を備え、
前記画像処理装置は、前記複数のワークの領域のそれぞれについて、ワークの領域の面積に基づいて該領域内に内在しているワークの数を判定し、
前記制御装置は、前記複数のワークのそれぞれについて、前記複数のワークの領域のうち内在しているワークの数が少ない領域にあるワークほど高い優先順位をもって保持されるように前記保持順序を決定し、
前記画像処理装置は、前記複数のワークのそれぞれについて、前記作業ロボットの先端に装着されるツールでワークを保持する際に周辺ワークと干渉するか否かを判定し、
前記制御装置は、前記供給エリアに供給された複数のワークのうち周辺ワークと干渉しないと判定されたワークが前記優先順位が高いものから保持されるように前記保持順序を決定する、
作業ロボット。

【請求項2】

請求項１に記載の作業ロボットであって、
前記制御装置は、前記作業エリアまたは前記作業ロボットとの距離が短い領域にあるワークほど高い優先順位をもって保持されるように前記保持順序を決定する、
作業ロボット。

【請求項3】

請求項１または２に記載の作業ロボットであって、
前記作業ロボットは、複数種類のツールを装着可能であり、
前記画像処理装置は、前記多関節アームに装着されているツールに応じて干渉エリアを設定し、該設定した干渉エリア内に周辺ワークが存在するか否かに基づいて該周辺ワークと干渉するか否かを判定する干渉判定を行なう、
作業ロボット。

【請求項4】

請求項１ないし３いずれか１項に記載の作業ロボットであって、
前記画像処理装置は、前記撮像装置により撮像された画像に基づいてワークと背景とを認識してワークの領域の粗位置決めを行ない、前記干渉判定の実行に先立って前記粗位置決めの結果に基づいて前記画像に対してパターンマッチングを適用することにより領域内にある各ワークの精密位置決めを行ない、
前記粗位置決めにおいて、前記ワークの領域の輪郭に対する外接矩形の中心座標を粗位置として求め、
前記精密位置決めにおいて、前記粗位置を中心に前記ワークの形状モデルの位置および姿勢を少しずつ変更しながら前記形状モデルと前記ワークの領域の輪郭の形状が一致するワークをサーチすることにより行なう
作業ロボット。

【請求項5】

請求項１ないし４いずれか１項に記載の作業ロボットと、
前記供給エリアに供給された複数のワークの塊を解きほぐすための解し装置と、
を備え、
前記制御装置は、前記供給エリアにワークが残存すると共に残存するいずれのワークも前記作業ロボットが保持できないと判定した場合に、前記解し装置を駆動制御する、
作業システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、作業ロボットについて開示する。

【背景技術】

【0002】

従来、多関節ロボットにより構成され、容器の中にバラ積みされたワークを１個ずつ把持する作業ロボットが提案されている（例えば、特許文献１参照）。この作業ロボットでは、バラ積みされたワークの中から最も高い位置にあるワークを選択し、選択したワークが部分的に他の隣接するワークと重なっていない場合に当該ワークを把持する。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２００９－５２３６２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ケース（容器）やコンベア等の汎用的な供給装置上にワークをバラ置きする場合、多関節ロボットは、バラ置きされたワークを撮像し、得られた撮像画像に基づいて把持対象のワーク（対象ワーク）の位置，方向，姿勢および把持対象外のワーク（対象外ワーク）との干渉状態を認識し、対象ワークを把持できるか否かを確認する必要がある。こうした認識処理は、一般に処理負担が大きく、処理に長時間を要することから、最初に複数のワークに対してまとめて行なうことが望ましい。しかしながら、対象ワークに対象外ワークが隣接していると、対象ワークを把持して取り出す際に対象ワークが対象外ワークと接触し、対象外ワークの位置が変わるおそれがある。このため、最初に行なった認識処理の結果に基づいてその対象外ワークを次の対象ワークとして把持動作を行なう場合、多関節ロボットは、その対象ワークを適切に把持することができない。この場合、多関節ロボットは、認識処理をやり直す必要があるため、作業効率を悪化させてしまう。

【0005】

本開示は、バラ置き状態で供給エリアに供給された複数のワークを効率良く保持することができる作業ロボットを提供することを主目的とする。

【課題を解決するための手段】

【0006】

本開示は、上述の主目的を達成するために以下の手段を採った。

【0007】

本開示の作業ロボットは、
供給エリアに供給された複数のワークを順次保持し、保持したワークを作業エリアへ移動させる作業ロボットであって、
バラ置き状態で前記供給エリアに供給された複数のワークを撮像する撮像装置と、
前記撮像装置により撮像された画像から複数のワークの領域を認識し、認識した複数のワークの領域のそれぞれの面積と位置とを求めると共にそれぞれの前記作業エリアまたは前記作業ロボットとの距離を求める画像処理装置と、
前記画像処理装置により求められた複数のワークの領域の面積と前記作業エリアまたは前記作業ロボットとの距離とに基づいてワークの保持順序を決定する制御装置と、
を備えることを要旨とする。

【0008】

この本開示の作業ロボットは、供給エリアに供給された複数のワークを順次保持し、保持したワークを作業エリアへ移動させるものである。この作業ロボットは、バラ置き状態で供給エリアに供給された複数のワークを撮像し、得られた画像から複数のワークの領域を認識し、認識した複数のワークの領域のそれぞれの面積と位置とを求めると共にそれぞれの作業エリアまたは作業ロボットとの距離を求める画像認識を行なう。そして、作業ロボットは、求めた面積と距離とに基づいてワークの保持順序を決定する。作業ロボットは、構造上、アームを鉛直方向に上下させることが困難な場合、保持対象の対象ワークを保持する際に、供給エリア上で対象ワークを作業エリア側または作業ロボット側へ移動させる。このため、対象ワークに対して作業エリア側に保持対象外の対象外ワークが隣接していると、対象ワークが対象外ワークと接触し、対象外ワークの位置を変化させるおそれがある。そこで、本開示の作業ロボットは、こうした事情を考慮してバラ置き状態で供給された複数のワークの保持順序を決定することで、最初に行なった画像認識の結果を用いて複数のワークを順次保持して作業エリアへ移動させることができる。この結果、バラ置き状態で供給エリアに供給された複数のワークを効率良く保持することができる作業ロボットとすることができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態の作業ロボットを含む作業システム１０の構成の概略を示す構成図である。

【図2】ワーク供給装置２０の断面図である。

【図3】作業ロボットのロボット本体３０の構成の概略を示す構成図である。

【図4】ロボット本体３０と制御装置８０と画像処理装置９０との電気的な接続関係を示すブロック図である。

【図5】制御装置８０により実行される制御処理の一例を示すフローチャートである。

【図6】画像処理装置９０により実行される撮像・画像処理の一例を示すフローチャートである。

【図7】ワークの撮像画像の一例を示す説明図である。

【図8】粗位置決めの様子を示す説明図である。

【図9A】各ワーク領域に対する優先順位を示す説明図である。

【図9B】各ワーク領域と内在ワーク数との関係を示す説明図である。

【図10A】ワーク形状モデルＤの一例を示す説明図である。

【図10B】サーチ範囲の絞り込みがある場合にワーク形状モデルＤを用いてワークＷをサーチする様子を示す説明図である。

【図10C】サーチ範囲の絞り込みがない場合にワーク形状モデルＤを用いてワークＷをサーチする様子を示す説明図である。

【図11A】ボルト形のワークの把持に用いられるピッキングツールＴ１（電磁チャック）の干渉チェック領域ＡＩを示す説明図である。

【図11B】円筒形のワークの把持に用いられるピッキングツールＴ２（メカチャック）の干渉チェック領域ＡＩを示す説明図である。

【図11C】ボルト形のワークの把持に用いられるピッキングツールＴ３（吸着ノズル）の干渉チェック領域ＡＩを示す説明図である。

【図12A】干渉チェックの結果を示す説明図である。

【図12B】干渉チェックの結果を示す説明図である。

【発明を実施するための形態】

【0010】

次に、本開示を実施するための形態について図面を参照しながら説明する。

【0011】

図１は、本実施形態の作業ロボットを含む作業システム１０の構成の概略を示す構成図である。図２は、ワーク供給装置２０の構成の概略を示す構成図である。図３は、作業ロボットのロボット本体３０の構成の概略を示す構成図である。図４は、作業ロボットのロボット本体３０と制御装置８０と画像処理装置９０の電気的な接続関係を示すブロック図である。なお、図１中、前後方向はＸ軸方向であり、左右方向はＹ軸方向であり、上下方向はＺ軸方向である。

【0012】

作業システム１０は、図１に示すように、ワーク供給装置２０と作業ロボットと備える。作業システム１０は、本実施形態では、ワーク供給装置２０により供給されたワークＷをピッキング（把持）し、ピッキングしたワークＷを、トレイ搬送装置１４により搬送されたトレイＴ上に所定の姿勢で整列させてプレースするピックアンドプレースシステムとして構成される。尚、作業システム１０は、ピックアンドプレースシステムに限られず、例えば、ワークＷを把持して作業エリアへ移動させると共に作業エリア上の対象物に装着する装着システムなど、作業ロボットを用いて供給エリアにあるワークＷを順次保持して作業エリアへ移動させるものであれば、如何なる作業システムにも適用できる。

【0013】

トレイ搬送装置１４は、前後方向（Ｙ軸方向）に間隔を空けて左右方向（Ｘ軸方向）に架け渡された一対のベルトコンベアを有する。トレイＴは、ベルトコンベアによって作業ロボットの作業エリアまで搬送される。

【0014】

ワーク供給装置２０は、ホッパ装置などの補給装置によりコンベアベルト２１の上面にバラ置き状態で載置された複数のワークＷを作業ロボットがピッキング可能な位置（供給エリア）まで搬送するものである。コンベアベルト２１は、図２に示すように、前後方向（Ｙ軸方向）に間隔を隔てて配置された駆動ローラ２２および従動ローラ２３に架け渡されている。ワーク供給装置２０は、駆動ローラ２２を駆動させることで、コンベアベルト２１の上面に載置された複数のワークＷを搬送する。コンベアベルト２１の裏面側には、解し装置２５が設けられている。解し装置２５は、コンベアベルト２１の裏面を叩いてコンベアベルト２１の上面を上下に振動させるものである。これにより、コンベアベルト２１の上面に複数のワークＷが塊の状態で載置されていても、複数のワークＷの塊は、解し装置２５によって解きほぐされる。

【0015】

作業ロボットは、ロボット本体３０と制御装置８０と画像処理装置９０とを備える。

【0016】

ロボット本体３０は、図３に示すように、５軸の垂直多関節アーム（以下、アームという）３２を備える。アーム３２は、６つのリンク（第１～第６リンク４１～４６）と、各リンク間を回転または旋回可能に連結する５つの関節（第１～第５関節５１～５５）とを有する。各関節（第１～第５関節５１～５５）には、対応する関節を駆動するモータ（サーボモータ）６１～６５と、対応するモータの回転位置を検出するエンコーダ（ロータリエンコーダ）７１～７５とが設けられている。

【0017】

アーム３２の先端リンク（第６リンク４６）には、エンドエフェクタとしての複数種のピッキングツールＴ１～Ｔ３が着脱可能に取り付けられる。本実施形態では、ピッキングツールＴ１は、磁性体からなるワークＷを電磁石により吸着する電磁チャックである。また、ピッキングツールＴ２は、ワークＷを保持する近接位置とワークＷの保持を解除する離間位置との間を移動可能な一対のクランプ爪を有するメカニカルチャック（以下、メカチャックという）である。さらに、ピッキングツールＴ３は、ワークＷを負圧によって吸着する吸着ノズルである。先端リンクに装着するピッキングツールは、ピッキングしようとするワークＷの形状や素材に合わせて適宜選択される。

【0018】

また、アーム３２（第５リンク４５）には、カメラ３４が取り付けられている。カメラ３４は、ワーク供給装置２０により供給エリアに供給された各ワークＷの位置および姿勢を認識するために当該ワークＷを撮像したり、トレイ搬送装置１４により搬送されたトレイＴの位置を認識するために当該トレイＴを撮像したりする。

【0019】

トレイ搬送装置１４とワーク供給装置２０とロボット本体３０は、図１に示すように、支持台１２上に設置されている。本実施形態では、ワーク供給装置２０とロボット本体３０とは、前後方向（Ｙ軸方向）に所定の間隔を隔てて配置されている。トレイ搬送装置１４は、ワーク供給装置２０とロボット本体３０との間に設置されている。

【0020】

制御装置８０は、図４に示すように、ＣＰＵ８１を中心としたマイクロプロセッサとして構成され、ＣＰＵ８１の他に、ＲＯＭ８２やＨＤＤ８３、ＲＡＭ８４、図示しない入出力インタフェース、図示しない通信インタフェースなどを備える。制御装置８０には、エンコーダ７１～７５などからの検知信号が入力される。また、制御装置８０からは、トレイ搬送装置１４やワーク供給装置２０、モータ６１～６５、ツールアクチュエータ６６などへの制御信号が出力される。ツールアクチュエータ６６は、ロボット本体３０に装着されているピッキングツールを駆動するためのアクチュエータである。

【0021】

画像処理装置９０は、図４に示すように、ＣＰＵ９１を中心としたマイクロプロセッサとして構成され、ＣＰＵ９１の他に、ＲＯＭ９２やＨＤＤ９３、ＲＡＭ９４、図示しない入出力インタフェース、図示しない通信インタフェースなどを備える。画像処理装置９０には、カメラ３４からの画像信号や入力装置９５からの入力信号などが入力される。また、画像処理装置９０からは、カメラ３４への駆動信号や出力装置９６への出力信号などが出力される。ここで、入力装置９５は、例えばキーボードやマウス等、オペレータが入力操作を行なう入力デバイスである。出力装置９６は、例えば液晶ディスプレイ等、各種情報を表示するための表示デバイスである。画像処理装置９０は、制御装置８０と通信可能に接続されており、互いに制御信号やデータのやり取りを行なっている。

【0022】

次に、こうして構成された作業システム１０の動作、特に制御装置８０の動作と画像処理装置９０の動作とについて説明する。図５は、制御装置８０により実行される制御処理の一例を示すフローチャートである。図６は、画像処理装置９０により実行される撮像・画像処理の一例を示すフローチャートである。まず、制御装置８０の動作について説明し、その後、画像処理装置９０の動作について説明する。

【0023】

制御処理が実行されると、制御装置８０のＣＰＵ８１は、まず、ワーク供給装置２０により供給されたワークＷの撮像位置へアーム３２（カメラ３４）が移動するよう各モータ６１～６５を制御し（Ｓ１００）、画像処理装置９０に対してワークＷの撮像と画像処理とを要求する（Ｓ１１０）。画像処理装置９０は、制御装置８０からの要求に応じて撮像・画像処理を実行し、撮像・画像処理によって認識したワークＷの把持順序を決定する。なお、撮像・画像処理の詳細については後述する。

【0024】

次に、ＣＰＵ８１は、把持可能なワークＷがあるか否かを判定する（Ｓ１１０）。ＣＰＵ８１は、把持可能なワークＷがあると判定すると、把持可能なワークＷのうち画像処理装置９０により決定された把持順序が最も早いワークＷを把持対象の対象ワークに設定する（Ｓ１３０）。続いて、ＣＰＵ８１は、設定した対象ワークの位置へアーム３２が移動するよう各モータ６１～６５を制御し（Ｓ１４０）、対象ワークが把持されるようツールアクチュエータ６６を制御する（Ｓ１５０）。ステップＳ１４０の処理は、具体的には、目標とされる把持位置および把持姿勢に対応するアーム３２の各関節の目標位置を取得し、各関節が取得した目標位置へ移動するようモータ６１～６５を制御することにより行なう。

【0025】

ＣＰＵ８１は、ワークＷを把持すると、把持したワークＷがトレイ搬送装置１４により作業エリアに搬送されたトレイＴの目標位置へ移動するよう各モータ６１～６５を制御すると共にワークＷが目標位置へ載置（ワークＷの把持が解除）されるようツールアクチュエータ６６を制御する（Ｓ１６０）。そして、ＣＰＵ８１は、必要数の作業が終了したか否かを判定する（Ｓ１７０）。ＣＰＵ８１は、必要数の作業が終了していないと判定すると、ステップＳ１２０に戻ってステップＳ１２０～Ｓ１７０の処理を繰り返し、必要数の作業が終了していると判定すると、これで制御処理を終了する。

【0026】

ＣＰＵ８１は、ステップＳ１２０～Ｓ１７０の処理の繰り返しの過程において、ステップＳ１２０で把持可能なワークＷがないと判定すると、供給エリア上のワークＷの残数があるか否かを判定する（Ｓ１８０）。ＣＰＵ８１は、ワークＷの残数があると判定すると、複数のワークＷが互いに干渉し合っている塊があり、そのワーク塊を解きほぐしてワークＷの位置を変更するため、解し装置２５を駆動制御してコンベアベルト２１の上面を振動させるワーク位置変更動作を行なう（Ｓ１９０）。一方、ＣＰＵ８１は、ワークＷの残数がないと判定すると、供給エリアへワークＷを供給するためワーク供給装置２０を駆動制御するワーク供給動作を行なう（Ｓ２００）。ＣＰＵ８１は、こうしてワーク位置変更動作あるいはワーク供給動作を行なうと、ワークＷの画像認識をやり直すため、ステップＳ１１０に戻って画像処理装置９０に対して撮像・画像処理を要求する。このように、制御装置８０は、供給エリアに複数のワークＷが供給されると、最初に画像認識を行なうことで把持可能なワークＷを見つけ出して把持順序を決定し、把持可能なワークＷがなくなるまで、決定した把持順序に従ってワークＷを順次把持して搬送する。そして、制御装置８０は、把持可能なワークＷがなくなると、供給エリア上にワークＷの残数があれば、解し装置２５によってワークＷの塊を解きほぐして画像認識をやり直す。また、制御装置８０は、供給エリア上にワークＷの残数がなければ、ワーク供給装置２０を駆動して供給エリアにワークＷを供給する。ワークＷの画像認識はある程度の時間を要するため、画像認識の実行回数を減らすことにより、作業時間を短縮することができる。

【0027】

次に、画像処理装置９０の動作について説明する。図６は、画像処理装置９０により実行される撮像・画像処理の一例を示すフローチャートである。撮像・画像処理が実行されると、画像処理装置９０のＣＰＵ９１は、まず、供給エリア上にあるワークＷを撮像するようカメラ３４を駆動制御する（Ｓ３００）。続いて、ＣＰＵ９１は、得られた撮像画像において図７に示すようにワークＷの領域（ワーク領域）とそれ以外の背景の領域（背景領域）とを検出する（Ｓ３１０）。この処理は、撮像画像中の各画素ごとに、画像の色と予め取得したワークＷおよび背景のそれぞれの色とを比較することにより行なうことができる。そして、ＣＰＵ９１は、検出したワーク領域の輪郭を抽出し、抽出した輪郭の面積Ｓおよび粗位置Ｐを求める（Ｓ３２０）。面積Ｓは、例えば、ワーク領域の輪郭の中にある画素数を計数することにより求めることができる。粗位置Ｐは、例えば、図８に示すように、ワーク領域の輪郭に対して外接矩形（図中、矩形状の破線参照）を設定し、設定した外接矩形の中心座標を求めることにより求めることができる（粗位置決め）。

【0028】

次に、ＣＰＵ９１は、認識した各ワーク領域において、１つのワーク領域（輪郭）内に内在するワークＷの数（内在ワーク数）をステップＳ３２０で求めた面積Ｓに基づいて判定する（Ｓ３３０）。内在ワーク数は、例えば、ワーク領域（輪郭）の面積Ｓが第１判定値以上で且つ第１判定値よりも大きい第２判定値未満である場合には、１個と判定され、第２判定値以上で且つ第２判定値よりも大きい第３判定値未満である場合には、２個と判定され、第３判定値以上で且つ第３判定値よりも大きい第４判定値未満である場合には、３個と判定され、第４判定値以上である場合には、４個以上と判定される。なお、内在ワーク数が１個であることは、認識した１つのワーク領域（輪郭）内にワークＷが１個だけしか存在しないことを意味し、内在ワーク数が複数個である場合には、認識した１つのワーク領域（輪郭）内に複数個のワークＷが隣接あるいは重なり合っていることを意味する。続いて、ＣＰＵ９１は、各ワーク領域のロボット本体３０との距離（粗位置Ｐからロボット本体３０までの距離）を求める（Ｓ３４０）。そして、ＣＰＵ９１は、内在ワーク数とロボット本体３０との距離とに基づいて各ワーク領域に対して優先順位を設定する（Ｓ３５０）。図９Ａは、各ワーク領域に対する優先順位を示す説明図である。図９Ｂは、各ワーク領域と内在ワーク数との関係を示す説明図である。図９Ａ中、各ワーク領域の上に付された番号は優先順位を示す。優先順位は、図示するように、内在ワーク数が少ないほど高くなり、且つ、内在ワーク数が同じであればロボット本体３０またはワーク把持後の搬送位置である作業エリアとの距離が近いほど高くなるように設定される。内在ワーク数が少ないほど優先順位を高くするのは、内在ワーク数が少ないほど該当するワーク領域内に存在するワークＷを把持し易いと考えられるからである。また、ロボット本体３０または作業エリアとの距離が近いほど優先順位を高くするのは、以下の理由による。すなわち、ロボット本体３０のアーム３２は、垂直多関節アームであり、ワークＷを搬送するには他のワークＷやワーク供給装置２０との干渉を回避できる高さにアーム３２の先端を上昇させた状態で移動する必要がある。その際、ロボット本体３０は、ワークＷを把持したアーム３２の先端を垂直方向に上昇した後に水平方向に移動するよりも作業エリアに向かって必要な高さまで斜め上方向に移動した後に水平移動した方が搬送距離が短くすることができ、移動時間を短縮することができる。このため、ロボット本体３０は、作業エリアへ搬送し易いように、アーム３２をロボット本体３０側または作業エリア側へ寄せつつ対象ワークを把持する。このとき、対象ワークに対してロボット本体３０側または作業エリア側に隣接する把持対象外の対象外ワークが存在すると、対象ワークが対象外ワークと接触し、対象外ワークの位置を変更させる場合がある。この場合、作業ロボット（画像処理装置９０）はこの対象外ワークを次に把持するために画像認識をやり直す必要があるため、作業時間が間延びしてしまう。ロボット本体３０または作業エリアとの距離が近いほど優先順位を高くするのはこうした理由に基づく。したがって、優先順位の高いものから順にワークＷを順次把持することにより、１回の画像認識でより多くのワークＷを把持することが可能となり、作業時間を短縮することができる。

【0029】

ＣＰＵ９１は、各ワーク領域の優先順位を設定すると、次に、図１０Ａに例示するワーク形状モデルＤを用いて各ワーク領域内にある各ワークＷに対して精密位置決めを行なう（Ｓ３６０）。ＣＰＵ９１は、ステップＳ３２０で認識した１つのワーク領域（輪郭）内に複数個のワークＷが内在している場合には、内在している複数個のワークＷのそれぞれに対して精密位置決めを行なう。ワーク形状モデルＤは、撮像画像から１個のワークＷの輪郭形状を精密に認識する際のパターンマッチングのテンプレートである。ワーク形状モデルＤには、ロボット本体３０が把持可能な姿勢で配置されたワークＷの輪郭形状（破線参照）と、ワークＷのピッキング位置ＰＰ（把持位置）とが含まれる。ワーク形状モデルＤは、ワークＷの品種ごとに異なるため、品種ごとに作成される。精密位置決めは、図１０Ｂに示すように、ステップＳ３２０で求めた粗位置Ｐを中心にワーク形状モデルＤの位置および姿勢を少しずつ変更しながら当該ワーク形状モデルＤと輪郭形状が一致するワークＷをサーチすることにより行なわれる。この精密位置決めは、図１０Ｃに示すように、撮像画像の全範囲においてワーク形状モデルＤの位置および姿勢を少しずつ変更しながらワークＷをサーチする場合に比して、サーチ範囲を絞ることができるため、パターンマッチング処理に要する時間を短縮することができる。

【0030】

ＣＰＵ９１は、こうして精密位置決めを行なうと、精密位置決めによって認識したワークＷの数（全ワーク数）を計数する（Ｓ３７０）。そして、ＣＰＵ９１は、ピッキングツールを用いてワークＷを把持する際に当該ピッキングツールが周辺ワークと干渉するか否かの干渉チェックを行なう（Ｓ３８０）。ワークＷの干渉チェックは、干渉チェック領域ＡＩを設定し、干渉チェック領域ＡＩ内に周辺ワークが存在するか否かを判定することにより行なわれる。干渉チェック領域ＡＩは、ピッキングツールの先端形状と、ピッキングツールの可動域（影響が及ぶ範囲）の形状とに基づいて作成される。干渉チェック領域ＡＩは、ピッキングツールの品種ごとに異なるため、品種ごとに作成される。

【0031】

図１１Ａは、ボルト形のワークの把持に用いられるピッキングツールＴ１（電磁チャック）の干渉チェック領域ＡＩを示す説明図である。ピッキングツールＴ１（電磁チャック）の干渉チェック領域ＡＩは、ピッキング位置ＰＰを中心として電磁チャックの磁力が及ぶ円形領域として作成される。図１１Ｂは、円筒形のワークの把持に用いられるピッキングツールＴ２（メカチャック）の干渉チェック領域ＡＩを示す説明図である。メカチャックの干渉チェック領域ＡＩは、ピッキング位置ＰＰを中心としてメカチャックの一対のクランプ爪が近接位置（把持位置）と離間位置（把持解除位置）との間を移動する移動領域を形成する２つの矩形領域として作成される。図１１Ｃは、円筒形のワークの把持に用いられるピッキングツールＴ３（吸着ノズル）の干渉チェック領域ＡＩを示す説明図である。吸着ノズルの干渉チェック領域ＡＩは、ピッキング位置ＰＰを中心として吸着ノズルの負圧が及ぶ円形領域として作成される。

【0032】

図１２Ａ，図１２Ｂおよび図１２Ｃは、ボルト形のワークＷに対する干渉チェックの結果を示す説明図である。図１２Ａは、ボルトのねじ先が立った状態を示す。図１２Ｂは、２つのボルトのうち一方のボルトのねじ先と他方のボルトの頭部とが近接した状態を示す。なお、図中、「○」が把持可能な状態であることを示し、「×」が把持不可能であることを示す。干渉チェックは、画像処理装置９０（精密位置決め）によってワークＷの輪郭形状が認識できない場合（図１２Ａ参照）や、ワークＷの干渉チェック領域ＡＩに他のワークＷが存在している場合（図１２Ｂ参照）に、把持不可能と判定される。

【0033】

ＣＰＵ９１は、こうして各ワークＷの干渉チェックを行なうと、干渉チェックにより把持可能と判定されたワークＷが、ステップＳ３５０で決定した優先順位の高いものから順に把持されるように各ワークＷに対して把持順序を決定して（Ｓ３９０）、本処理を終了する。

【0034】

ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態のカメラ３４が撮像装置に相当し、画像処理装置９０が画像処理装置に相当し、制御装置８０が制御装置に相当し、ロボット本体３０と画像処理装置９０と制御装置８０とを含む作業ロボットが作業ロボットに相当する。また、解し装置２５が解し装置に相当する。

【0035】

なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

【0036】

以上説明したように、本開示の作業ロボットは、供給エリアに供給された複数のワークを順次保持し、保持したワークを作業エリアへ移動させる作業ロボットであって、バラ置き状態で前記供給エリアに供給された複数のワークを撮像する撮像装置と、前記撮像装置により撮像された画像から複数のワークの領域を認識し、認識した複数のワークの領域のそれぞれの面積と位置とを求めると共にそれぞれの前記作業エリアまたは前記作業ロボットとの距離を求める画像処理装置と、前記画像処理装置により求められた複数のワークの領域の面積と前記作業エリアまたは前記作業ロボットとの距離とに基づいてワークの保持順序を決定する制御装置と、を備えることを要旨とする。

【0037】

この本開示の作業ロボットは、供給エリアに供給された複数のワークを順次保持し、保持したワークを作業エリアへ移動させるものである。この作業ロボットは、バラ置き状態で供給エリアに供給された複数のワークを撮像し、得られた画像から複数のワークの領域を認識し、認識した複数のワークの領域のそれぞれの面積と位置とを求めると共にそれぞれの作業エリアまたは作業ロボットとの距離を求める画像認識を行なう。そして、作業ロボットは、求めた面積と距離とに基づいてワークの保持順序を決定する。作業ロボットは、構造上、アームを鉛直方向に上下させることが困難な場合、保持対象の対象ワークを保持する際に、供給エリア上で対象ワークを作業エリア側または作業ロボット側へ移動させる。このため、対象ワークに対して作業エリア側に保持対象外の対象外ワークが隣接していると、対象ワークが対象外ワークと接触し、対象外ワークの位置を変化させるおそれがある。そこで、本開示の作業ロボットは、こうした事情を考慮してバラ置き状態で供給された複数のワークの保持順序を決定することで、最初に行なった画像認識の結果を用いて複数のワークを順次保持して作業エリアへ移動させることができる。この結果、バラ置き状態で供給エリアに供給された複数のワークを効率良く保持することができる作業ロボットとすることができる。

【0038】

こうした本開示の作業ロボットにおいて、前記画像処理装置は、ワークの領域の面積に基づいて該領域内に内在しているワークの数を判定し、前記制御装置は、複数のワークの領域のうち内在しているワークの数が少ない領域にあるワークほど高い優先順位をもって保持されるように前記保持順序を決定するものとしてもよい。これは、隣接しているワークの数が少ないほどワークを把持しやすいと考えられるためである。

【0039】

また、本開示の作業ロボットにおいて、前記制御装置は、前記作業エリアまたは前記作業ロボットとの距離が短い領域にあるワークほど高い優先順位をもって保持されるように前記保持順序を決定するものとしてもよい。これは、作業ロボット（ロボット本体）がワークを把持して作業ロボット側に移動させつつ取り出す場合、把持対象の対象ワークに対して作業ロボット側に把持対象外の対象外ワークが存在すると、対象ワークが対象外ワークと接触し、対象外ワークの位置を変更させるおそれがあるためである。また、作業ロボット（ロボット本体）が対象ワークを把持して作業エリア側に移動させつつ取り出す場合、対象ワークに対して作業エリア側に対象外ワークが存在すると、対象ワークが対象外ワークと接触し、対象外ワークの位置を変更させるおそれがあるためである。

【0040】

さらに、本開示の作業ロボットにおいて、前記画像処理装置は、前記作業ロボットの先端に装着されるツールでワークを保持する際に周辺ワークと干渉するか否かを判定し、前記制御装置は、前記供給エリアに供給された複数のワークのうち周辺ワークと干渉しないと判定されたワークが保持されるように前記保持順序を決定するものとしてもよい。この場合、前記作業ロボットは、複数種類のツールを装着可能であり、前記画像処理装置は、前記多関節アームに装着されているツールに応じて干渉エリアを設定し、該設定した干渉エリア内に周辺ワークが存在するか否かに基づいて該周辺ワークと干渉するか否かを判定する干渉判定を行なうものとしてもよい。さらにこれらの場合、前記画像処理装置は、前記撮像装置により撮像された画像に基づいてワークと背景とを認識してワークの領域の粗位置決めを行ない、前記干渉判定の実行に先立って前記粗位置決めの結果に基づいて前記画像に対してパターンマッチングを適用することにより領域内にある各ワークの精密位置決めを行なうものとしてもよい。こうすれば、パターンマッチング処理に必要な時間を短縮することができる。

【0041】

また、本開示は、作業システムの形態であってもよい。すなわち、上述した本開示の作業ロボットと、前記供給エリアに供給された複数のワークの塊を解きほぐすための解し装置と、を備え、前記制御装置は、前記供給エリアにワークが残存すると共に残存するいずれのワークも前記作業ロボットが保持できないと判定した場合に、前記解し装置を駆動制御するものとしてもよい。作業システムは、本開示の作業ロボットを備えることで、解し装置の駆動回数を低減することができ、ひいては画像認識の実行回数を低減することができる。この結果、作業効率をより向上させることができる。

【産業上の利用可能性】

【0042】

本開示は、作業ロボットの製造産業などに利用可能である。

【符号の説明】

【0043】

１０ 作業システム、１２ 支持台、１４ トレイ搬送装置、２０ ワーク供給装置、２１ コンベアベルト、２２ 駆動ローラ、２３ 従動ローラ、２５ 解し装置、３０ ロボット本体、３２ アーム、３４ カメラ、４１ 第１リンク、４２ 第２リンク、４３ 第３リンク、４４ 第４リンク、４５ 第５リンク、４６ 第６リンク、５１ 第１関節、５２ 第２関節、５３ 第３関節、５４ 第４関節、５５ 第５関節、６１～６５ モータ、６６ ツールアクチュエータ、７１～７５ エンコーダ、８０ 制御装置、８１ ＣＰＵ、８２ ＲＯＭ、８３ ＨＤＤ、８４ ＲＡＭ、９０ 画像処理装置、９１ ＣＰＵ、９２ ＲＯＭ、９３ ＨＤＤ、９４ ＲＡＭ、９５ 入力装置、９６ 出力装置、Ｗ ワーク、Ｔ トレイ、Ｔ１～Ｔ３ ピッキングツール、ＰＰ ピッキング位置、ＡＩ 干渉チェック領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】