特開 2024-152392 ピッキング条件決定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024152392

(43)【公開日】2024-10-25

(54)【発明の名称】ピッキング条件決定システム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20241018BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023066555

(22)【出願日】2023-04-14

(71)【出願人】

【識別番号】000237271

【氏名又は名称】株式会社ＦＵＪＩ

(74)【代理人】

【識別番号】110000017

【氏名又は名称】弁理士法人アイテック国際特許事務所

(72)【発明者】

【氏名】水谷 佳幸

(72)【発明者】

【氏名】大池 博史

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS01

3C707BS11

3C707DS01

3C707ES03

3C707FS01

3C707HS27

3C707JU03

3C707KS03

3C707KS04

3C707KS06

3C707KS11

3C707KT01

3C707KT03

3C707KT06

3C707KV01

3C707LV07

3C707LV19

3C707NS02

(57)【要約】      （修正有）

【課題】ピッキング条件をより簡単に設定できるようにする。
【解決手段】ピッキング条件決定システムは、指定のピッキングツールを使ってワークを指定のピッキング位置でピッキングするピッキングロボットに適用され、ピッキングツールの種別とピッキング位置とを含むピッキング条件を決定するピッキング条件決定システムであって、撮像範囲に含まれる対象物の三次元画像を撮像可能な撮像部と、撮像範囲に作業者の手指とワークとが含まれた状態で撮像部により撮像された画像から手指を認識する認識処理を実行する認識部と、認識した手指のジェスチャに基づいてワークのピッキング条件を決定する決定部と、を備える。
【選択図】図７

【特許請求の範囲】

【請求項1】

指定のピッキングツールを使ってワークを指定のピッキング位置でピッキングするピッキングロボットに適用され、前記ピッキングツールの種別と前記ピッキング位置とを含むピッキング条件を決定するピッキング条件決定システムであって、
撮像範囲に含まれる対象物の三次元画像を撮像可能な撮像部と、
前記撮像範囲に作業者の手指と前記ワークとが含まれた状態で前記撮像部により撮像された画像から前記手指を認識する認識処理を実行する認識部と、
認識した前記手指のジェスチャに基づいて前記ワークの前記ピッキング条件を決定する決定部と、
を備えるピッキング条件決定システム。

【請求項2】

指定のピッキングツールを使ってワークを指定のピッキング位置でピッキングするピッキングロボットに適用され、前記ピッキングツールの種別と前記ピッキング位置とを含むピッキング条件を決定するピッキング条件決定システムであって、
ＡＲマーカと、
各種画像を表示可能な表示部と、
撮像範囲に含まれる対象物の三次元画像を撮像可能な撮像部と、
前記撮像範囲に作業者の手指と前記ＡＲマーカとが含まれた状態で前記撮像部により撮像された画像に基づいて、前記手指と該ＡＲマーカに対応するワークのＡＲコンテンツとが含まれるＡＲ画像を作成し、該ＡＲ画像を前記表示部に表示させる表示制御部と、
前記ＡＲ画像から前記手指を認識する認識処理を実行する認識部と、
認識した前記手指のジェスチャに基づいて前記ワークの前記ピッキング条件を決定する決定部と、
を備えるピッキング条件決定システム。

【請求項3】

請求項２に記載のピッキング条件決定システムであって、
前記表示制御部は、前記作業者の指示に応じて前記ワークの前記ＡＲコンテンツを拡大または縮小して前記表示部に表示させる、
ピッキング条件決定システム。

【請求項4】

請求項１ないし３のいずれか１項に記載のピッキング条件決定システムであって、
前記認識部は、前記認識処理において前記ワークに対する前記指先の位置を認識し、
前記決定部は、認識した前記指先の位置を前記指定のピッキング位置に決定する、
ピッキング条件決定システム。

【請求項5】

請求項１ないし３のいずれか１項に記載のピッキング条件決定システムであって、
複数のピッキングツールをそれぞれを互いに異なる手指形状に対応付けて記憶した記憶部を備え、
前記決定部は、前記記憶部に記憶された前記複数のピッキングツールのうち前記認識部で認識した前記手指形状に対応するピッキングツールを前記指定のピッキングツールに決定する、
ピッキング条件決定システム。

【請求項6】

請求項５に記載のピッキング条件決定システムであって、
前記複数のピッキングツールには、前記ワークを把持する２つの把持爪を有するメカチャックと、前記ワークを吸着する吸着ツールとが含まれ、
前記記憶部は、前記メカチャックを前記作業者の右手または左手の人差し指と親指とで前記ワークを摘まむ手指形状に対応付けて記憶し、前記吸着ツールを前記作業者の右手または左手の人差し指で前記ワークを指さす手指形状に対応付けて記憶する、
ピッキング条件決定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、ピッキング条件決定システムについて開示する。

【背景技術】

【0002】

従来、ばら積み状態で供給された同種の複数のワークを、ワークの種別に応じたピッキングツール（例えば、メカチャックや吸着ノズル）を用いてトレイ上に整列させて配置するピッキングシステムが知られている。例えば、特許文献１には、供給された同種の複数のワークの画像を撮像し、予め作成されたワーク形状モデルとのパターンマッチングによりロボットがピッキングする対象ワークを抽出し、ワークの種別毎に定められるピッキング条件にしたがって対象ワークをピッキングするロボットシステムが開示されている。ピッキング条件には、ワーク形状モデルにおけるピッキング位置や、ピッキングツールの種別に関する条件が含まれる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１８／１６３２４２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述したピッキングシステムでは、ピッキング条件を定めるに当たって、ピッキングするワークの種別ごとに、ピッキングツールの種別とピッキング位置とを、作業者が入力する必要がある。このため、多くの種類のワークに対してピッキング位置を設定する場合には、作業者には負担となる場合がある。

【0005】

本開示は、ピッキング条件をより簡単に設定できるようにすることを主目的とする。

【課題を解決するための手段】

【0006】

本開示の第１のピッキング条件決定システムは、
指定のピッキングツールを使ってワークを指定のピッキング位置でピッキングするピッキングロボットに適用され、前記ピッキングツールの種別と前記ピッキング位置とを含むピッキング条件を決定するピッキング条件決定システムであって、
撮像範囲に含まれる対象物の三次元画像を撮像可能な撮像部と、
前記撮像範囲に作業者の手指と前記ワークとが含まれた状態で前記撮像部により撮像された画像から前記手指を認識する認識処理を実行する認識部と、
認識した前記手指のジェスチャに基づいて前記ワークの前記ピッキング条件を決定する決定部と、
を備えることを要旨とする。

【0007】

この第１のピッキング条件決定システムでは、画像から確認した作業者の手指のジェスチャに基づいてワークのピッキング条件を決定する。これにより、作業者による面倒なデータの入力が必要なくなり、ピッキング条件をより簡単に設定できることができる。

【0008】

本開示の第２のピッキング条件決定システムは、
指定のピッキングツールを使ってワークを指定のピッキング位置でピッキングするピッキングロボットに適用され、前記ピッキングツールの種別と前記ピッキング位置とを含むピッキング条件を決定するピッキング条件決定システムであって、
ＡＲマーカと、
各種画像を表示可能な表示部と、
撮像範囲に含まれる対象物の三次元画像を撮像可能な撮像部と、
前記撮像範囲に作業者の手指と前記ＡＲマーカとが含まれた状態で前記撮像部により撮像された画像に基づいて、前記手指と該ＡＲマーカに対応するワークのＡＲコンテンツとが含まれるＡＲ画像を作成し、該ＡＲ画像を前記表示部に表示させる表示制御部と、
前記ＡＲ画像から前記手指を認識する認識処理を実行する認識部と、
認識した前記手指のジェスチャに基づいて前記ワークの前記ピッキング条件を決定する決定部と、
を備えることを要旨とする。

【0009】

この第２のピッキング条件決定システムでは、本開示の第１のピッキング条件決定システムと同様の効果を奏する。また、ピッキング条件を決定するに当たり、実際にワークを用意する必要がなくなる。

【図面の簡単な説明】

【0010】

【図1】ロボットシステム１０の概略構成図である。

【図2】ロボット２０の概略構成図である。

【図3】ロボットシステム１０の電気的な接続関係を示すブロック図である。

【図4】ボルト形のワークＷをピッキングツールでピッキングする様子を示す説明図である。

【図5】干渉チェック領域ＡＩの説明図である。

【図6】画像処理システム８０の概略構成図である。

【図7】ピッキング条件決定処理の一例を示すフローチャートである。

【図8】人差し指Ｆ２でワークＷを指さす手指形状の説明図である。

【図9】親指Ｆ１と人差し指Ｆ２とでワークＷを摘まむ手指形状の説明図である。

【図10】第１変形例の画像処理システム８０の一例を示す概略構成図である。

【図11】第１変形例のピッキング条件決定処理の一例を示すフローチャートである。

【図12】第２変形例の画像処理システム８０の一例を示す概略構成図である。

【図13】第２変形例のピッキング条件決定処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

次に、本開示を実施するための形態について図面を参照しながら説明する。

【0012】

図１は、ロボットシステム１０の概略構成図である。図２は、ロボット２０の概略構成図である。図３は、ロボットシステム１０の電気的な接続関係を示すブロック図である。なお、ワールド座標系において、図１中、左右方向はＸ軸方向であり、前後方向はＹ軸方向であり、上下方向はＺ軸方向である。

【0013】

ロボットシステム１０は、図１に示すように、ロボット２０と、ロボット制御装置７０（図３参照）と、画像処理装置９０（図３参照）とを備える。ロボットシステム１０は、本実施形態では、ワーク供給装置１２により供給されたワークＷをピッキング（把持）し、ピッキングしたワークＷをトレイ搬送装置１４により搬送されたトレイ１５上に整列させてプレースするピックアンドプレースシステムとして構成される。なお、ロボットシステム１０は、ピッキングしたワークＷを対象物に組み付ける組み付けシステムとして構成されてもよい。

【0014】

ロボット２０は、図２に示すように、５軸の垂直多関節アーム（以下、アームという）２２を備える。アーム２２は、６つのリンク（第１～第６リンク３１～３６）と、各リンクを回転または旋回可能に連結する５つの関節（第１～第５関節４１～４５）とを有する。各関節（第１～第５関節４１～４５）には、対応する関節を駆動するモータ（サーボモータ）５１～５５と、対応するモータの回転位置を検出するエンコーダ（ロータリエンコーダ）６１～６５とが設けられている。

【0015】

アーム２２の先端リンク（第６リンク３６）には、エンドエフェクタとしての複数種のピッキングツールが着脱可能となっている。本実施形態では、ピッキングツールには、ワークＷを吸着する吸着ツール（例えば、ワークＷを負圧によって吸着する吸着ノズルや、ワークＷを磁力によって吸着する電磁石など）と、一対の把持爪によってワークＷを把持するチャックツール（例えば、ワークＷを保持する近接位置とワークＷの保持を解除する離間位置との間を移動可能な２つのクランプ爪を有するメカニカルチャックなど）とが含まれる。先端リンクに装着するピッキングツールは、ピッキングしようとするワークＷの形状や素材に合わせて適宜選択される。

【0016】

また、アーム２２の先端部（第５リンク３５）には、第１カメラ２４が取り付けられている。第１カメラ２４は、ワーク供給装置１２により供給された各ワークＷの位置および姿勢を認識するために当該ワークＷを撮像したり、トレイ搬送装置１４により搬送されたトレイ１５の位置を認識するために当該トレイ１５を撮像したり、ワークＷやトレイ１５までの距離を測定したりする三次元カメラである。

【0017】

アーム２２の基端リンク（第１リンク３１）は、作業台１１に固定されている。作業台１１には、ワーク供給装置１２やトレイ搬送装置１４などが配置されている。ワーク供給装置１２は、本実施形態では、前後方向（Ｙ軸方向）に離間して配置された駆動ローラおよび従動ローラに架け渡されたコンベアベルト１３を備えるベルトコンベア装置により構成される。コンベアベルト１３には複数のワークＷがバラ置きされ、ワーク供給装置１２は、駆動ローラを回転駆動することにより、コンベアベルト１３上の複数のワークＷを後方から前方へ供給する。なお、ワーク供給装置は、ベルトコンベア装置に代えて或いはベルトコンベア装置に併設して、ケース（部品箱）に収容された複数のワークをケースごと供給するケース供給装置とされてもよい。トレイ搬送装置１４は、ベルトコンベア装置により構成され、ワークＷの供給方向とは直交する方向（Ｘ軸方向）にトレイ１５を搬送し、略中央位置にて位置決め保持する。

【0018】

ロボット制御装置７０は、図３に示すように、ＣＰＵ７１を中心としたマイクロプロセッサとして構成され、ＣＰＵ７１の他に、ＲＯＭ７２やストレージ（例えば、ＳＳＤやＨＤＤ）７３、ＲＡＭ７４、図示しない入出力インタフェース、図示しない通信インタフェースなどを備える。ロボット制御装置７０には、エンコーダ６１～６５などからの検知信号が入力される。また、ロボット制御装置７０からは、ワーク供給装置１２やトレイ搬送装置１４、モータ５１～５５、ツールアクチュエータ５６などへの制御信号が出力される。ツールアクチュエータ５６は、ロボット２０に装着されているピッキングツールを駆動するためのアクチュエータである。

【0019】

ロボット制御装置７０は、ロボット２０の各モータ５１～５５を駆動制御することにより、ロボット２０に、ワークＷをピッキングさせるピッキング処理と、ピッキングさせたワークＷをトレイ１５にプレースさせるプレース処理とを実行する。ピッキング処理は、具体的には、以下のようにして行なわれる。即ち、ロボット制御装置７０は、目標とされるピッキング位置ＰＰおよび姿勢に対応するアーム２２の各関節の目標位置を取得する。続いて、ロボット制御装置７０は、各関節の位置が当該取得した目標位置に一致するように対応するモータ５１～５５を駆動制御する。ボルト型のワークＷを吸着ツールでピッキングする場合には、ピッキング位置ＰＰは、図４（ａ）に示すように、ワークの先端に１箇所設定されている。また、ボルト型のワークＷをチャックツールでピッキングする場合には、ピッキング位置ＰＰは、図４（ｂ）に示すように、ワークの略中央に２箇所設定されている。そして、ロボット制御装置７０は、ピッキングツールによってワークＷがピッキングされるようツールアクチュエータ５６を制御する。プレース処理は、具体的には、以下のようにして行なわれる。即ち、ロボット制御装置７０は、目標とされるプレース位置および姿勢に対応するアーム２２の各関節の目標位置を取得する。続いて、ロボット制御装置７０は、各関節の位置が当該取得した目標位置に一致するように対応するモータ５１～５５を駆動制御する。そして、ロボット制御装置７０は、ピッキングしたワークＷがプレース（ワークＷの把持が解除）されるようツールアクチュエータ５６を制御する。

【0020】

画像処理装置９０は、図３に示すように、ＣＰＵ９１を中心としたマイクロプロセッサとして構成され、ＣＰＵ９１の他に、ＲＯＭ９２やストレージ９３、ＲＡＭ９４、図示しない入出力インタフェース、図示しない通信インタフェースなどを備える。画像処理装置９０には、第１カメラ２４からの画像信号や、入力装置９５からの入力信号などが入力される。また、画像処理装置９０からは、第１カメラ２４への駆動信号や表示装置９６への出力信号などが出力される。ここで、入力装置９５は、例えばキーボードやマウス等、オペレータが入力操作を行なう入力デバイスである。表示装置９６は、例えば液晶ディスプレイ等、各種情報を表示するための表示デバイスである。画像処理装置９０は、ロボット制御装置７０と通信可能に接続されており、互いに制御信号やデータのやり取りを行なっている。

【0021】

画像処理装置９０は、ロボット制御装置７０に制御信号を送信してアーム２２（第１カメラ２４）をワーク供給装置１２により供給されたワークＷの撮像ポイントへ移動させ、第１カメラ２４を駆動してワークＷを撮像し、得られた画像データ（撮像画像）を入力する。続いて、画像処理装置９０は、入力した画像データを処理して、撮像画像中のワークＷを認識する。そして、画像処理装置９０は、干渉チェック処理を行ない、認識したワークＷのうちピッキング可能な対象ワークを抽出し、当該対象ワークの位置（代表位置）とそのピッキング位置ＰＰとからピッキングに使用するピッキングツールの目標位置および目標姿勢を設定して、ロボット制御装置７０に送信する。ここで、ピッキング位置ＰＰは、ワークＷの代表位置を原点としワークＷの長手方向をＺ軸とする直交座標系であるワーク座標系の座標値として、後述する画像処理システム８０により予め決定されている。撮像画像に基づいて認識されるワークＷの代表位置は、第１カメラ２４において予め定められた位置を原点とし、第１カメラ２４の光軸をＺ軸とする第１カメラ座標系の座標値として与えられる。一方、ピッキングツールの目標位置は、予め定められた位置を原点とし、上下方向をＺ軸とし、前後方向をＹ軸とし、左右方向をＸ軸とするワールド座標系の座標値として設定する必要がある。このため、画像処理装置９０は、撮像画像により認識したワークＷの代表位置とピッキング位置ＰＰとの各座標系をワールド座標系に変換して、ワールド座標系でのピッキング位置を算出し、算出したワールド座標系のピッキング位置をピッキングツールの目標位置に設定する。なお、ピッキングツールの目標姿勢は、設定したピッキングツールの目標位置や撮像画像から認識される対象ワークの向き（姿勢）に基づいて設定される。

【0022】

ここで、干渉チェック処理は、ピッキングツールで対象ワークをピッキングする際に当該ピッキングツールが周辺ワークＷと干渉しないかどうかをチェックする処理である。具体的には、予め定められた干渉チェック領域ＡＩに他のワークＷがあるか否かを判定する。吸着ツールを用いて対象ワークをピッキングする際の干渉チェック領域ＡＩは、図５（ａ）に示すように半径Ｒの球状領域である。この領域は、例えば、ピッキング位置ＰＰを中心として吸着ノズルの負圧が及ぶ領域や、ピッキング位置ＰＰを中心として電磁チャックの磁力が及ぶ領域である。チャックツールを用いて対象ワークをピッキングする際の干渉チェック領域ＡＩは、図５（ｂ）に示すようにピッキング位置ＰＰを中心としてメカチャックの２つのクランプ爪が近接位置（把持位置）と離間位置（把持解除位置）との間を移動する移動領域を形成する２つの直方体状領域である。

【0023】

次に、このようにして構成されたロボットシステム１０で用いるピッキングツールの種別とピッキング位置ＰＰとを含むピッキング条件を決定する手順について説明する。ピッキング条件の決定は、上述した画像処理装置９０を含む画像処理システム８０を用いて行われる。画像処理システム８０は、図６に示すように、第２カメラ９７と、ロボットシステム１０と共用の画像処理装置９０と、を備える。

【0024】

第２カメラ９７は、撮像範囲に含まれる物体の画像を撮像したり、当該物体までの距離を取得したりする三次元カメラである。第２カメラ９７は、図６に示すように、載置台９８に固定されている。第２カメラ９７は、例えば、ステレオカメラとして構成されている。第２カメラ９７は、対象物の画像データや対象物までの距離データを画像処理装置９０に対して出力する。

【0025】

画像処理装置９０は、第２カメラ９７から入力される画像データや距離データに基づいて、ワークＷのピッキング位置ＰＰや当該ワークＷのピッキングに用いるピッキングツールを決定する。ストレージ９３には、ピッキング条件の決定に用いられる手指形状データ９３ａが記憶されている。手指形状データ９３ａは、ピッキング条件のうちピッキングツールの決定に用いられるデータであり、その詳細については後述する。

【0026】

図７は、ピッキング条件決定処理の一例を示すフローチャートである。この処理は、作業者Ｔによって、ピッキング条件の作成対象である対象ワークの種別が入力された後、画像処理装置９０のＣＰＵ９１によって実行される。

【0027】

本処理を開始すると、ＣＰＵ９１は、まず、第２カメラ９７から入力される画像データや距離データに基づき、対象ワークを認識する（Ｓ１００）。具体的には、ＣＰＵ９１、３次元のパターンマッチングなどにより、第２カメラ９７から対象ワークまでの距離、対象ワークの姿勢を認識する。次に、ＣＰＵ９１は、距離データに基づいて、第２カメラ９７において予め定めた位置を原点とし、第２カメラ９７の光軸をＺ軸とする直交座標系である第２カメラ座標系での対象ワークの代表位置（例えば、重心位置）であるワーク位置Ｐ１Ｃ（Ｘ１Ｃ，Ｙ１Ｃ，Ｚ１Ｃ）を取得する（Ｓ１０２）。続いて、ＣＰＵ９１は、第２カメラ９７から入力される画像を表示装置９６に表示させる（Ｓ１０４）。そして、ＣＰＵ９１は、表示装置９６に表示させる画像を更新しながら、作業者Ｔによる入力装置９５の操作を受け付けて、撮像指示が入力されるまで待つ（Ｓ１０６）。作業者Ｔは、対象ワークにおいてピッキング位置ＰＰに設定したい位置に指の先端を配置した状態で、入力装置９５を操作して画像処理装置９０に対して画像の撮像を指示する。

【0028】

撮像の指示が入力されると、ＣＰＵ９１は、第２カメラ９７の撮像範囲に含まれる物体の画像を撮像し（Ｓ１０８）、画像を取得する（Ｓ１１０）。次に、ＣＰＵ９１は、三次元のパターンマッチング等により、取得した画像から作業者Ｔの手指Ｈを認識する（Ｓ１１２）。続いて、ＣＰＵ９１は、手指形状データ９３ａを参照して、手指Ｈの形状を判定する（Ｓ１１４）。手指形状データ９３ａは、ワークＷのピッキングに用いられるピッキングツールを作業者Ｔの手指Ｈの形状に対応付けて記憶したものである。そして、ＣＰＵ９１は、手指Ｈの形状が図８に示すような人差し指Ｆ２で対象ワークを指さす形状であるか否かを判定する（Ｓ１１６）。手指Ｈの形状が人差し指Ｆ２で対象ワークを指さす形状であると判定したならば、ＣＰＵ９１は、対象ワークをピッキングする際に使用するピッキングツールを吸着ツールに決定する（Ｓ１１８）。手指Ｈの形状が人差し指Ｆ２で対象ワークを指さす形状でないと判定したならば、ＣＰＵ９１は、手指Ｈの形状が図９に示すような親指Ｆ１と人差し指Ｆ２とで対象ワークを摘まむ形状であるか否かを判定する（Ｓ１２０）。手指Ｈの形状が親指Ｆ１と人差し指Ｆ２とで対象ワークを摘まむ形状であると判定したならば、ＣＰＵ９１は、対象ワークをピッキングする際に使用するピッキングツールをチャックツールに決定する（Ｓ１２２）。手指Ｈの形状が親指Ｆ１と人差し指Ｆ２とで対象ワークを摘まむ形状でないと判定したならば、ＣＰＵ９１は、Ｓ１１４で判定した手指形状に対応するピッキングツールが手指形状データ９３ａに登録されていないと判定して、表示装置９６に、エラーメッセージ（作業者Ｔの手指形状に基づいてピッキングツールを決定することができなかった旨のメッセージ）を表示させ（Ｓ１２４）、再びＳ１００に戻り、処理をやり直す。

【0029】

Ｓ１１８の後またはＳ１２２の後、ＣＰＵ９１は、Ｓ１１０で取得した画像に基づいて、第２カメラ座標系での指先位置Ｐ２Ｃ（Ｘ２Ｃ，Ｙ２Ｃ，Ｚ２Ｃ）を取得する（Ｓ１２６）。次に、ＣＰＵ９１は、第２カメラ座標系での指先位置Ｐ２Ｃをワーク座標系での対象ワークに対する指先の相対位置である相対指先位置ＰＬ１に変換する（Ｓ１２８）。この処理は、例えば、以下のようにして実行される。すなわち、まず、ＣＰＵ９１は、第２カメラ座標系でのワーク位置Ｐ１Ｃ（対象ワークの代表位置）と指先位置Ｐ２Ｃとをそれぞれワールド座標系でのワーク位置Ｐ１Ｗ（Ｘ１Ｗ，Ｙ１Ｗ，Ｚ１Ｗ）と指先位置Ｐ２Ｗ（Ｘ２Ｗ，Ｙ２Ｗ，Ｚ２Ｗ）とに変換行列を用いて変換する。変換行列は、載置台９８に対する第２カメラ９７の設置位置および第２カメラ９７の姿勢（傾き）によって予め定められる。次に、ＣＰＵ９１は、ワールド座標系での対象ワークの代表位置に対する指先の相対位置である相対指先位置ＰＬ１を算出する。具体的には、ＣＰＵ９１は、ワールド座標系での指先位置Ｐ２Ｗにおける各軸の座標値からワールド座標系でのワーク位置Ｐ１Ｗにおける各軸の座標値を減じて、ワールド座標系での相対指先位置ＰＬ１を算出する。続いて、ＣＰＵ９１は、変換行列を用いてワールド座標系での相対指先位置ＰＬ１を、対象ワークの代表位置を原点とし対象ワークの長手方向をＺ軸としたワーク座標系での指先位置ＰＬ１に変換する。変換行列は、ワールド座標系における載置台９８に対する対象ワークの位置（ワーク位置Ｐ１Ｗ）や対象ワークの姿勢（傾き）に基づいて予め定められる。

【0030】

次に、ＣＰＵ９１は、ワーク座標系での指先位置ＰＬ１をピッキング位置ＰＰに設定する（Ｓ１３０）。そして、ＣＰＵ９１は、対象ワークのピッキング位置ＰＰとピッキングツールとをストレージ９３に登録して（Ｓ１３２）、本処理を終了する。

【0031】

この画像処理システム８０では、画像処理装置９０のＣＰＵ９１は、画像における作業者Ｔの手指形状を判定して、ストレージ９３に記憶された手指形状データ９３ａと照らし合わすことで、対象ワークをピッキングする際のピッキングツールを決定する。このため、作業者Ｔは、直感的な操作により対象ワークのピッキングに用いるピッキングツールを比較的簡単に決定することができる。

【0032】

また、ＣＰＵ９１は、対象ワークに対する作業者Ｔの指先位置をピッキング位置ＰＰに設定する。すなわち、作業者Ｔが対象ワークにおいて指先を配置した位置がピッキング位置ＰＰに設定される。このため、作業者Ｔは、直感的な操作によりピッキング位置ＰＰを比較的簡単に設定することができる。

【0033】

ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。本実施形態の画像処理システム８０が本開示のピッキング条件決定システムに相当し、第２カメラ９７が撮像部に相当し、ピッキング条件決定処理のＳ１１２およびＳ１１４を実行するＣＰＵ９１が認識部に相当し、ピッキング条件決定処理のＳ１１６～Ｓ１３０の処理を実行するＣＰＵ９１が決定部に相当する。

【0034】

なお、本発明は上述した実施形態に何ら限定されることはなく、本開示の発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

【0035】

例えば、画像処理システム８０は、下記の第１変形例や第２変形例に示すように構成されてもよい。第１変形例の画像処理システムは、図１０に示すように、画像処理装置９０と、第２カメラ９７と、ＡＲマーカＭと、ユーザ端末１００とを備える。第１変形例の画像処理システム８０では、載置台９８に載置されたワークＷを第２カメラ９７で撮像する代わりに、載置台９８に載置されたＡＲマーカＭを第２カメラ９７で撮像する。そして、第１変形例の画像処理システム８０では、ＡＲマーカＭに対応して予め作成されたワークＷの画像（ＡＲコンテンツ）をユーザ端末１００に表示させる。

【0036】

ＡＲマーカＭは、例えば、２次元的な模様や色彩を紙に印刷したものである。ＡＲマーカＭは、載置台９８上に配置されている。ＡＲマーカＭは、ワークＷの種別毎に異なる模様や色彩を有する。

【0037】

ユーザ端末１００は、タブレットＰＣやノートＰＣなど、図示しない表示装置を有するものである。ユーザ端末１００は、画像処理装置９０からの画像信号を入力し、表示部に画像を表示する。

【0038】

次に、第１変形例の画像処理システム８０におけるピッキング条件決定処理について説明する。図１１は、第１変形例のピッキング条件決定処理の一例を示すフローチャートである。なお、図１１において、図７と同様の処理については、同じステップ番号を付して詳細な説明を省略した。この処理は、作業者Ｔによって、ピッキング条件の作成対象である対象ワークの種別が入力された後、画像処理装置９０のＣＰＵ９１によって実行される。

【0039】

この処理を開始すると、ＣＰＵ９１は、まず、第２カメラ９７から入力される画像データからＡＲマーカＭを認識し、ＡＲマーカＭに対応する対象ワークのＡＲコンテンツを取得する（Ｓ２００）。ＡＲコンテンツは、対象ワークの形状データに基づいて予め作成され、ＡＲマーカＭに対応付けられてストレージ９３に記憶されている。次に、ＣＰＵ９１は、作業者Ｔによる入力装置９５の操作を受け付けて、ＡＲコンテンツの表示倍率αを入力する（Ｓ２０２）。表示倍率αは、ユーザ端末１００にＡＲコンテンツを表示する際の各軸方向の倍率である。そして、ＣＰＵ９１は、表示倍率がα倍の対象ワークのＡＲコンテンツを含むＡＲ画像をユーザ端末１００に表示させる（Ｓ２０４）。

【0040】

次に、ＣＰＵ９１は、作業者Ｔによる入力装置９５の操作を受け付けて、入力された表示倍率αに応じてＡＲ画像を更新しながら、表示倍率αが確定するまで待つ（Ｓ２０６）。表示倍率αが確定していないならば、ＣＰＵ９１は、再びＳ２０２に戻り、表示倍率αの入力を受け付ける。表示倍率αが確定したならば、ＣＰＵ９１は、確定した表示倍率αでＡＲ画像を更新しながら、撮像指示が入力されるまで待つ（Ｓ１０６）。作業者Ｔは、ユーザ端末１００の画面に表示された対象ワークのＡＲコンテンツを見ながら、ユーザ端末１００の画面上で対象ワークの希望するピッキング位置に指先が一致するように、載置台９８に載置されたＡＲマーカＭに指先を配置した状態で、入力装置９５を操作して画像処理装置９０に対して画像の撮像を指示する。撮像指示が入力されるまで、ＣＰＵ９１は、ユーザ端末１００にＡＲ画像を表示し続ける。撮像指示が入力されたならば、ＣＰＵ９１は、画像を撮像し（Ｓ１０８）、画像を取得する（Ｓ１１０）。続いて、ＣＰＵ９１は、ＡＲマーカＭまでの距離データに基づいて、第２カメラ座標系での対象ワークの代表位置（ＡＲマーカＭが載置された位置から求められる仮想ワークの位置）であるワーク位置Ｐ１Ｃ（Ｘ１Ｃ，Ｙ１Ｃ，Ｚ１Ｃ）を取得する（Ｓ２０８）。そして、ＣＰＵ９１は、取得した画像から作業者Ｔの手指Ｈを認識する。（Ｓ１１２）。

【0041】

次に、ＣＰＵ９１は、手指Ｈの形状を判定し（Ｓ１１４）、手指Ｈの形状が図８に示すような人差し指Ｆ２で対象ワークを指さす形状であるか否かを判定する（Ｓ１１６）。手指Ｈの形状が人差し指Ｆ２で対象ワークを指さす形状であると判定したならば、ＣＰＵ９１は、対象ワークをピッキングする際のピッキングツールを吸着ツールに決定する（Ｓ１１８）。手指Ｈの形状が人差し指Ｆ２で対象ワークを指さす形状でないと判定したならば、ＣＰＵ９１は、手指Ｈの形状が図９に示すような親指Ｆ１と人差し指Ｆ２とで対象ワークを摘まむ形状であるか否かを判定する（Ｓ１２０）。手指Ｈの形状が親指Ｆ１と人差し指Ｆ２とで対象ワークを摘まむ形状であると判定したならば、ＣＰＵ９１は、対象ワークをピッキングする際のピッキングツールをチャックツールに決定する（Ｓ１２２）。手指Ｈの形状が親指Ｆ１と人差し指Ｆ２とで対象ワークを摘まむ形状でないと判定したならば、ＣＰＵ９１は、Ｓ１１４で判定した手指Ｈの形状に対応するピッキングツールが手指形状データ９３ａに登録されていないと判定して、表示装置９６に、エラーメッセージ（作業者Ｔの手指形状に基づいてピッキングツールを決定することができなかった旨のメッセージ）を表示させ（Ｓ１２４）、再びＳ２００に戻り、処理をやり直す。

【0042】

Ｓ１１８の後またはＳ１２２の後、ＣＰＵ９１は、Ｓ１１０で取得した画像に基づいて、第２カメラ座標系での指先位置Ｐ２Ｃ（Ｘ２Ｃ，Ｙ２Ｃ，Ｚ２Ｃ）を取得し（Ｓ１２６）、第２カメラ座標系での指先位置Ｐ２Ｃをワーク座標系での対象ワークに対する指先の位置である相対指先位置ＰＬ２に変換する（Ｓ２１０）。具体的には、ＣＰＵ９１は、上述した実施形態と同様にワーク座標系での作業者Ｔの指先の位置である指先位置ＰＬ１を算出し、指先位置ＰＬ１の各軸の座標値を（１／α）倍して、ワーク座標系での縮尺後の指先位置ＰＬ２を算出する。続いて、ＣＰＵ９１は、縮尺後の指先位置ＰＬ２をピッキング位置ＰＰに設定する（Ｓ２１２）。そして、ＣＰＵ９１は、対象ワークのピッキング位置ＰＰとピッキングツールとをストレージ９３に登録して（Ｓ１３２）、本処理を終了する。

【0043】

この画像処理システム８０では、上述した実施形態の画像処理システム８０と同様の効果を奏する。また、第２カメラ９７から入力した画像データに基づいてＡＲマーカＭを認識し、認識したＡＲマーカＭに対応する対象ワークのＡＲコンテンツと作業者Ｔの手指Ｈとをユーザ端末１００に表示させながら、ＡＲマーカＭの位置から求められる仮想ワークの代表位置と作業者ＴのＡＲマーカＭに対する手指Ｈの形状および指先の位置に基づいてピッキング条件を決定する。このため、対象ワークを用意しなくてもピッキング条件を決定することができる。

【0044】

次に、第２変形例の画像処理システムについて説明する。第２変形例の画像処理システムは、図１２に示すように、画像処理装置９０と、ハンドトラッキンググローブ１１０と、ＶＲゴーグル１２０とを有する。第２変形例の画像処理システム８０では、現実世界の作業者Ｔの手指ＨとワークＷとを第２カメラ９７によって撮像する代わりに、作業者Ｔの手指Ｈをハンドトラッキングにより認識し、認識した手指ＨのＶＲコンテンツとワークＷのＶＲコンテンツとを仮想空間上に表示する。

【0045】

ハンドトラッキンググローブ１１０は、図示しない複数のセンサを有する。複数のセンサは、作業者Ｔの手指Ｈの形状に関する信号を画像処理装置９０に出力する。画像処理装置９０は、各センサからの信号に基づいて、作業者Ｔの手指Ｈの形状を認識し、認識した形状に対応する手指ＨのＶＲコンテンツをＶＲゴーグル１２０に出力する。

【0046】

ＶＲゴーグル１２０は、図示しないが、ユーザの両目の前に配置される２つの表示パネル（例えば、液晶パネルや有機ＥＬパネル）と、２つの表示パネルの前に配置されるレンズ（拡大レンズ）等を備える。ＶＲゴーグル１２０は、画像処理装置９０から入力されたＶＲコンテンツを２つの表示パネルに表示して、仮想空間上にコンテンツを立体表示する。

【0047】

次に、第２変形例の画像処理システム８０におけるピッキング条件決定処理について説明する。図１３は、第２変形例のピッキング条件決定処理の一例を示すフローチャートである。なお、図１３において、図７および図１１と同様の処理については、同じステップ番号を付して詳細な説明を省略した。この処理は、作業者Ｔによって、ピッキング条件の作成対象である対象ワークの種別が入力された後、画像処理装置９０のＣＰＵ９１によって実行される。

【0048】

本処理を開始すると、ＣＰＵ９１は、まず、作業者Ｔの手指ＨのＶＲコンテンツをＶＲゴーグル１２０に出力する（Ｓ３００）。手指ＨのＶＲコンテンツは、予め作成され、ストレージ９３に記憶されている。なお、ＶＲゴーグルに出力される手指ＨのＶＲコンテンツは、ハンドトラッキンググローブ１１０から入力される信号に基づく形状である。次に、ＣＰＵ９１は、作業者Ｔによる入力装置９５の操作を受け付けて、ＶＲ表示される対象ワークの表示倍率αを入力する（Ｓ３０２）。続いて、ＣＰＵ９１は、対象ワークのＶＲコンテンツをＶＲゴーグル１２０に出力する（Ｓ３０４）。対象ワークのＶＲコンテンツは、対象ワークの形状データ（ＣＡＤデータなど）に基づいて予め作成され、ストレージ９３に記憶されている。そして、ＣＰＵ９１は、作業者Ｔによる入力装置９５の操作を受け付けて、表示倍率αに応じてＶＲコンテンツの表示を更新しながら、表示倍率αが確定するまで待つ（Ｓ３０６）。表示倍率αは、仮想空間上にＶＲコンテンツを表示する際の各軸方向の倍率である。表示倍率αが確定していないならば、ＣＰＵ９１は、再びＳ３０２に戻り、表示倍率αの入力を受け付ける。表示倍率αが確定したならば、ＣＰＵ９１は、画像の取得が指示されるまで待つ（Ｓ３０８）。作業者Ｔは、ＶＲゴーグル１２０に表示された対象ワークのＶＲコンテンツを見ながら、対象ワークにおいてピッキング位置ＰＰに決定したい位置に手指ＨのＶＲコンテンツにおける指先を配置した状態で、入力装置９５を操作して画像処理装置９０に対して画像の取得を指示する。画像の取得が指示されるまで、ＣＰＵ９１は、ＶＲゴーグル１２０にＶＲコンテンツを表示し続ける。続いて、ＣＰＵ９１は、画像を取得する（Ｓ１１０）。そして、取得した画像における手指ＨのＶＲコンテンツの形状を認識する（Ｓ３１０）。

【0049】

次に、手指ＨのＶＲコンテンツの形状が図８に示すような人差し指Ｆ２で対象ワーク（ＶＲコンテンツ）を指さす形状であるか否かを判定する（Ｓ１１６）。手指ＨのＶＲコンテンツの形状が人差し指Ｆ２で対象ワークのＶＲコンテンツを指さす形状であると判定したならば、ＣＰＵ９１は、対象ワークをピッキングする際のピッキングツールを吸着ツールに決定する（Ｓ１１８）。手指ＨのＶＲコンテンツの形状が人差し指Ｆ２で対象ワークのＶＲコンテンツを指さす形状でないと判定したならば、ＣＰＵ９１は、手指ＨのＶＲコンテンツの形状が図９に示すような親指Ｆ１と人差し指Ｆ２とでワークを摘まむ形状であるか否かを判定する（Ｓ１２０）。親指Ｆ１と人差し指Ｆ２とでワークを摘まむ手指Ｈの形状であると判定したならば、ＣＰＵ９１は、対象ワークをピッキングする際のピッキングツールをチャックツールに決定する（Ｓ１２２）。手指Ｈの形状が親指Ｆ１と人差し指Ｆ２とでワークを摘まむ形状でないと判定したならば、ＣＰＵ９１は、Ｓ３１０で判定した手指形状に対応するピッキングツールが手指形状データ９３ａに登録されていないと判定して、表示装置９６に、エラーメッセージ（作業者Ｔの手指Ｈの形状に基づいてピッキングツールを決定することができなかった旨のメッセージ）を表示させ（Ｓ１２４）、再びＳ３００に戻り、処理をやり直す。

【0050】

Ｓ１１８の後またはＳ１２２の後、ＣＰＵ９１は、Ｓ１１０で取得した画像に基づいて、仮想空間において予め定められた位置を原点とし、仮想空間における上下方向をＺ軸とし、前後方向をＹ軸とし、左右方向をＸ軸とする直交座標系であるＶＲワールド座標系での対象ワークの代表位置（例えば、重心位置）であるワーク位置Ｐ１Ｖ（Ｘ１Ｖ，Ｙ１Ｖ，Ｚ１Ｖ）を取得する（Ｓ３１２）。次に、ＣＰＵ９１は、ＶＲワールド座標系での指先位置Ｐ２Ｖ（Ｘ２Ｖ，Ｙ２Ｖ，Ｚ２Ｖ）を取得する。続いて、ＣＰＵ９１は、取得したＶＲワールド座標系での指先位置Ｐ２Ｖを、対象ワークの代表位置を原点とし、長手方向をＺ軸とする直交座標系であるＶＲワーク座標系での指先位置ＰＬ２に変換する（Ｓ３１６）。具体的には、ＣＰＵ９１は、指先位置Ｐ２Ｖにおける各軸の座標値からワーク位置Ｐ１Ｖの各軸の座標値を減じてＶＲワールド座標系での相対指先位置Ｐ３Ｖを算出する。次に、ＣＰＵ９１は、変換行列を用いてＶＲワールド座標系での相対指先位置Ｐ３ＷをＶＲワーク座標系での指先位置ＰＬ１に変換する。そして、ＣＰＵ９１は、指先位置ＰＬ１の各軸の座標値を（１／α）倍して、ＶＲワーク座標系での縮尺後の指先位置ＰＬ２を算出する。続いて、ＣＰＵ９１は、縮尺後の指先位置ＰＬ２をピッキング位置ＰＰに設定する（Ｓ２１２）。そして、ＣＰＵ９１は、対象ワークのピッキング位置とピッキングツールとをストレージ９３に登録して（Ｓ１３２）、本処理を終了する。

【0051】

以上説明したように、本開示の第１のピッキング条件決定システムでは、画像から確認した作業者の手指動作に基づいてワークのピッキング条件を決定する。これにより、作業者による面倒なデータの入力が必要なくなり、ピッキング条件をより簡単に設定できることができる。

【0052】

本開示の第２のピッキング条件決定システムでは、本開示の第１のピッキング条件決定システムと同様の効果を奏する。また、ピッキング条件を決定するに当たり、実際にワークを用意する必要がなくなる。

【0053】

また、第２のピッキング条件決定システムにおいて、前記表示制御部は、前記作業者の指示に応じて前記ワークの前記ＡＲコンテンツを拡大または縮小して前記表示部に表示させてもよい。こうすれば、サイズが比較的小さいワークや比較的大きいワークに対しても、ワークの狙いの位置に作業者の手指を動かすことができ、比較的容易にピッキング条件を決定することができる。

【0054】

また、第１および第２のピッキング条件決定システムにおいて、前記認識部は、前記認識処理において前記ワークに対する前記指先の位置を認識し、前記決定部は、認識した前記指先の位置を前記指定のピッキング位置に決定してもよい。こうすれば、作業者の感覚的な操作によりピッキング位置を決定することができる。

【0055】

また、第１および第２のピッキング条件決定システムにおいて、複数のピッキングツールをそれぞれを互いに異なる手指形状に対応付けて記憶した記憶部を備え、前記決定部は、前記記憶部に記憶された前記複数のピッキングツールのうち前記認識部で認識した前記手指形状に対応するピッキングツールを前記指定のピッキングツールに決定してもよい。こうすれば、作業者の感覚的な操作によりピッキングツールを決定することができる。

【0056】

また、第１および第２のピッキング条件決定システムにおいて、前記複数のピッキングツールには、前記ワークを把持する２つの把持爪を有するメカチャックと、前記ワークを吸着する吸着ツールとが含まれ、前記記憶部は、前記メカチャックを前記作業者の右手または左手の人差し指と親指とで前記ワークを摘まむ手指形状に対応付けて記憶し、前記吸着ツールを前記作業者の右手または左手の人差し指で前記ワークを指さす手指形状に対応付けて記憶していてもよい。メカチャックや吸着ツールを用いてワークをピッキングする場合も多く、また、これらの手指形状は比較的区別し易いため、ピッキングツールをこれらの手指形状に対応付けて記憶することの意義は大きい。

【0057】

なお、本明細書では、出願当初の請求項５において「請求項１ないし３のいずれか１項に記載のピッキング条件決定システム」を「請求項１ないし４のいずれか１項に記載のピッキング条件決定システム」に変更した技術的思想も開示されている。

【産業上の利用可能性】

【0058】

本開示は、画像処理装置や多関節ロボットの製造産業などに利用可能である。

【符号の説明】

【0059】

１０ ロボットシステム、１１ 作業台、１２ ワーク供給装置、１３ コンベアベルト、１４ トレイ搬送装置、１５ トレイ、２０ ロボット、２２ アーム、２４ 第１カメラ、３１ 第１リンク、３２ 第２リンク、３３ 第３リンク、３４ 第４リンク、３５ 第５リンク、３６ 第６リンク、４１ 第１関節、４２ 第２関節、４３ 第３関節、４４ 第４関節、４５ 第５関節、５１～５５ モータ、５６ ツールアクチュエータ、６１～６５ エンコーダ、７０ ロボット制御装置、７１ ＣＰＵ、７２ ＲＯＭ、７３ ストレージ、７４ ＲＡＭ、８０ 画像処理システム、９０ 画像処理装置、９１ ＣＰＵ、９２ ＲＯＭ、９３ ストレージ、９３ａ 手指形状データ、９４ ＲＡＭ、９５ 入力装置、９６ 表示装置、９７ 第２カメラ、９８ 載置台、１００ ユーザ端末、１１０ ハンドトラッキンググローブ、１２０ ＶＲゴーグル、ＡＩ 干渉チェック領域、Ｆ１ 親指、Ｆ２ 人差し指、Ｈ 手指、Ｌ２ 指先位置、Ｍ ＡＲマーカ、Ｐ１Ｃ ワーク位置、Ｐ１Ｖ ワーク位置、Ｐ１Ｗ ワーク位置、Ｐ２Ｃ 指先位置、Ｐ２Ｖ 指先位置、Ｐ２Ｗ 指先位置、Ｐ３Ｖ 相対指先位置、Ｐ３Ｗ 相対指先位置、ＰＬ１ 相対指先位置、ＰＬ２ 相対指先位置、ＰＰ ピッキング位置、Ｒ 半径、Ｔ 作業者、Ｗ ワーク。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】