特許 7531196 ロボットシステム及びピッキング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-01

(45)【発行日】2024-08-09

(54)【発明の名称】ロボットシステム及びピッキング方法

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240802BHJP

【ＦＩ】

B25J13/08 A

【請求項の数】 8

(21)【出願番号】P 2020151539

(22)【出願日】2020-09-09

(65)【公開番号】P2022045772

(43)【公開日】2022-03-22

【審査請求日】2023-07-12

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】石毛 真修

(72)【発明者】

【氏名】梅舘 拓也

(72)【発明者】

【氏名】井尻 善久

【審査官】田中 成彦

(56)【参考文献】

【文献】国際公開第２０１９／０６５４２６（ＷＯ，Ａ１）

【文献】特表２０１９－５０３２７８（ＪＰ，Ａ）

【文献】国際公開第２０１９／０９４９３７（ＷＯ，Ａ１）

【文献】特開２０１２－０５５９９９（ＪＰ，Ａ）

【文献】特開２０１６－０５９９８３（ＪＰ，Ａ）

【文献】特開２０１９－０８９１４５（ＪＰ，Ａ）

【文献】特開２０１３－０８６１８６（ＪＰ，Ａ）

【文献】特表２０１８－５０７１１６（ＪＰ，Ａ）

【文献】特開２０２０－０８２３２２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

(57)【特許請求の範囲】

【請求項1】

ワークを把持する複数の指を備えたロボット機構と、
前記複数の指による前記ワークの把持状態を検出する検出部と、
前記検出部の検出結果に基づいて前記複数の指に把持されたワークの数を認識する認識部と、
前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、前記認識部により認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御する制御部と、
を備え、
前記複数の指の少なくとも１つは、可撓性を有し、
前記制御部は、前記複数の指で前記ワークを把持した状態において、前記複数の指の少なくとも１つを、把持のための運動方向である第１方向、前記第１方向及び前記指の長手方向と交差する第２方向、前記指の長手方向である第３方向、及び前記第３方向を回転軸として回転する回転方向の少なくとも１つの方向に移動させることが繰り返されるように、前記ロボット機構の運動を制御し、
前記複数の指の少なくとも１つを前記第１方向に移動させる場合、前記複数の指において前記複数の指の少なくとも１つではないその他の指が前記複数の指の少なくとも１つの動きに追従して前記第１方向に移動し、前記複数の指の少なくとも１つを前記第２方向に移動させる場合、前記その他の指が前記複数の指の少なくとも１つの動きに追従して前記第２方向に移動しない
ロボットシステム。

【請求項2】

前記複数の指の少なくとも１つが弾性部材で構成されている
請求項１記載のロボットシステム。

【請求項3】

ワークを把持する複数の指を備えたロボット機構と、
前記複数の指による前記ワークの把持状態を検出する検出部と、
前記検出部の検出結果に基づいて前記複数の指に把持されたワークの数を認識する認識部と、
前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、前記認識部により認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御する制御部と、
を備え、
前記検出部は、少なくとも１つの指の把持面に設けられ、前記ワークが接触する前記把持面の圧力分布を検出する圧力分布センサを含み、
前記認識部は、前記検出部により検出された圧力分布を入力とし、前記複数の指で把持した前記ワークの個数を出力として学習された把持数認識モデルにより前記ワークの個数を認識し、
前記制御部は、前記圧力分布及び前記複数の指を駆動する駆動部の駆動状態を入力とし、前記複数の指で把持した前記ワークの個数と、前記ワークの数を前記指定数とするための前記駆動部の駆動方法と、を出力として学習された駆動方法モデルから出力された前記駆動方法に基づいて前記ロボット機構の運動を制御すると共に、前記認識部により認識された前記ワークの数が前記指定数となるまで、前記複数の指により前記ワークを把持した状態で、前記複数の指の少なくとも１つを、把持のための運動方向である第１方向、前記第１方向及び前記指の長手方向と交差する第２方向、前記指の長手方向である第３方向、及び前記第３方向を回転軸として回転する回転方向の少なくとも１つの方向に移動させることが繰り返されるように、前記ロボット機構の運動を制御し、
前記複数の指の少なくとも１つを前記第１方向に移動させる場合、前記複数の指において前記複数の指の少なくとも１つではないその他の指が前記複数の指の少なくとも１つの動きに追従して前記第１方向に移動し、前記複数の指の少なくとも１つを前記第２方向に移動させる場合、前記その他の指が前記複数の指の少なくとも１つの動きに追従して前記第２方向に移動しない
ロボットシステム。

【請求項4】

前記圧力分布センサ上に弾性部材が設けられている
請求項３記載のロボットシステム。

【請求項5】

前記制御部は、前記認識部により認識された前記ワークの数が前記指定数となるまで、前記複数の指により前記ワークを把持した状態で、前記複数の指の少なくとも１つを、把持のための運動方向である第１方向、前記第１方向及び前記指の長手方向と交差する第２方向、前記指の長手方向である第３方向、及び前記第３方向を回転軸として回転する回転方向の少なくとも１つの方向に移動させることが繰り返されるように、前記ロボット機構の運動を制御する
請求項１又は請求項２に記載のロボットシステム。

【請求項6】

前記検出部は、前記複数の指の相対的な位置関係が互いに異なる状態で前記把持状態を複数回検出し、
前記認識部は、前記把持状態を複数回検出した結果に基づいて前記ワークの個数を認識する
請求項１～５の何れか１項に記載のロボットシステム。

【請求項7】

ワークを把持する複数の指を備えたロボット機構の前記複数の指による前記ワークの把持状態を検出し、
前記ワークの把持状態の検出結果に基づいて前記複数の指に把持されたワークの数を認識し、
前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御し、
前記複数の指の少なくとも１つは、可撓性を有し、
前記複数の指で前記ワークを把持した状態において、前記複数の指の少なくとも１つを、把持のための運動方向である第１方向、前記第１方向及び前記指の長手方向と交差する第２方向、前記指の長手方向である第３方向、及び前記第３方向を回転軸として回転する回転方向の少なくとも１つの方向に移動させることが繰り返されるように、前記ロボット機構の運動を制御し、
前記複数の指の少なくとも１つを前記第１方向に移動させる場合、前記複数の指において前記複数の指の少なくとも１つではないその他の指が前記複数の指の少なくとも１つの動きに追従して前記第１方向に移動し、前記複数の指の少なくとも１つを前記第２方向に移動させる場合、前記その他の指が前記複数の指の少なくとも１つの動きに追従して前記第２方向に移動しない
ピッキング方法。

【請求項8】

ワークを把持する複数の指を備えたロボット機構の前記複数の指による前記ワークの把持状態を検出し、
前記ワークの把持状態の検出結果に基づいて前記複数の指に把持されたワークの数を認識し、
前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御し、
少なくとも１つの指の把持面に設けられ、前記ワークが接触する前記把持面の圧力分布を検出する圧力分布センサを含み、
検出された圧力分布を入力とし、前記複数の指で把持した前記ワークの個数を出力として学習された把持数認識モデルにより前記ワークの個数を認識し、
前記圧力分布を入力とし、前記複数の指で把持した前記ワークの個数と、前記複数の指の少なくとも１つの指の駆動方法であって前記ワークの数を前記指定数とするための駆動方法と、を出力として学習された駆動方法モデルから出力された前記駆動方法に基づいて前記ロボット機構の運動を制御すると共に、認識された前記ワークの数が前記指定数となるまで、前記複数の指により前記ワークを把持した状態で、前記複数の指の少なくとも１つを、把持のための運動方向である第１方向、前記第１方向及び前記指の長手方向と交差する第２方向、前記指の長手方向である第３方向、及び前記第３方向を回転軸として回転する回転方向の少なくとも１つの方向に移動させることが繰り返されるように、前記ロボット機構の運動を制御し、
前記複数の指の少なくとも１つを前記第１方向に移動させる場合、前記複数の指において前記複数の指の少なくとも１つではないその他の指が前記複数の指の少なくとも１つの動きに追従して前記第１方向に移動し、前記複数の指の少なくとも１つを前記第２方向に移動させる場合、前記その他の指が前記複数の指の少なくとも１つの動きに追従して前記第２方向に移動しない
ピッキング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットシステム及びピッキング方法に関する。

【背景技術】

【0002】

特許文献１～３には、ばら積みされたワークの撮影画像に基づいてピッキング可能なワークを認識してワークをピッキングする技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第５７６７４６４号公報

【文献】特開２０１７－４２８５９号公報

【文献】特許第５１９６１５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来技術では、特にねじ等のような小さいワーク、金属のワーク、光沢があるワークの場合、画像センサや深度センサによるワークの位置や姿勢を確実に検出するのが困難である結果、１つのワークのピッキングを確実に行うのが困難である。また、周辺の干渉物とのクリアランスの推定や、把持可能性の計算を失敗することによってもピッキングの失敗を招く。さらに、１つのワークをピッキングすることによりその周囲のワークの配置が変わってしまうことが多いので、毎回のピッキング動作の前にワークの位置や姿勢を検出するための時間も要する。

【0005】

本発明は、上記の点に鑑みてなされたものであり、ワークの位置や姿勢を毎回事前に検出しなくても、高い確度で、ワークをピッキングすることができるロボットシステム及びピッキング方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

開示の第１態様は、ロボットシステムであって、ワークを把持する複数の指を備えたロボット機構と、前記複数の指による前記ワークの把持状態を検出する検出部と、前記検出部の検出結果に基づいて前記複数の指に把持されたワークの数を認識する認識部と、前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、前記認識部により認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御する制御部と、を備え、前記複数の指の少なくとも1つは、可撓性を有し、前記制御部は、前記複数の指で前記ワークを把持した状態において、少なくとも１つの指の位置が変化するように前記ロボット機構の運動を制御する。

【0007】

上記第１態様において、前記複数の指の少なくとも１つが弾性部材で構成されていてもよい。

【0008】

開示の第２態様は、ワークを把持する複数の指を備えたロボット機構と、前記複数の指による前記ワークの把持状態を検出する検出部と、前記検出部の検出結果に基づいて前記複数の指に把持されたワークの数を認識する認識部と、前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、前記認識部により認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御する制御部と、を備え、前記検出部は、少なくとも１つの指の把持面に設けられ、前記ワークが接触する前記把持面の圧力分布を検出する圧力分布センサを含み、前記認識部は、前記検出部により検出された圧力分布を入力とし、前記複数の指で把持した前記ワークの個数を出力として学習された把持数認識モデルにより前記ワークの個数を認識し、前記制御部は、前記圧力分布及び前記複数の指を駆動する駆動部の駆動状態を入力とし、前記複数の指で把持した前記ワークの個数と、前記ワークの数を前記指定数とするための前記駆動部の駆動方法と、を出力として学習された駆動方法モデルから出力された前記駆動方法に基づいて前記ロボット機構の運動を制御する。

【0009】

上記第２態様において、前記圧力分布センサ上に弾性部材が設けられている構成としてもよい。

【0010】

上記第１態様において、前記制御部は、前記認識部により認識された前記ワークの数が前記指定数となるまで、前記複数の指により前記ワークを把持した状態で、前記複数の指の少なくとも１つを、把持のための運動方向である第１方向、前記第１方向及び前記指の長手方向と交差する第２方向、前記指の長手方向である第３方向、及び前記第３方向を回転軸として回転する回転方向の少なくとも１つの方向に移動させることが繰り返されるように、前記ロボット機構の運動を制御するようにしてもよい。

【0011】

上記第１態様において、前記検出部は、前記複数の指の相対的な位置関係が互いに異なる状態で前記把持状態を複数回検出し、前記認識部は、前記把持状態を複数回検出した結果に基づいて前記ワークの個数を認識するようにしてもよい。

【0012】

開示の第３態様は、ピッキング方法であって、ワークを把持する複数の指を備えたロボット機構の前記複数の指による前記ワークの把持状態を検出し、前記ワークの把持状態の検出結果に基づいて前記複数の指に把持されたワークの数を認識し、前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御し、前記複数の指の少なくとも1つは、可撓性を有し、前記複数の指で前記ワークを把持した状態において、少なくとも１つの指の位置が変化するように前記ロボット機構の運動を制御する。

【0013】

開示の第４態様は、ピッキング方法であって、ワークを把持する複数の指を備えたロボット機構の前記複数の指による前記ワークの把持状態を検出し、前記ワークの把持状態の検出結果に基づいて前記複数の指に把持されたワークの数を認識し、前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御し、少なくとも１つの指の把持面に設けられ、前記ワークが接触する前記把持面の圧力分布を検出する圧力分布センサを含み、検出された圧力分布を入力とし、前記複数の指で把持した前記ワークの個数を出力として学習された把持数認識モデルにより前記ワークの個数を認識し、前記圧力分布を入力とし、前記複数の指で把持した前記ワークの個数と、前記複数の指の少なくとも１つの指の駆動方法であって前記ワークの数を前記指定数とするための駆動方法と、を出力として学習された駆動方法モデルから出力された前記駆動方法に基づいて前記ロボット機構の運動を制御する。

【発明の効果】

【0014】

本発明によれば、ワークの位置や姿勢を毎回事前に検出しなくても、高い確度で、ワークをピッキングすることができる。

【図面の簡単な説明】

【0015】

【図1】ロボットシステムの構成図である。

【図2】制御装置の機能ブロック図である。

【図3】制御装置のハードウェア構成を示すブロック図である。

【図4】ピッキング処理の流れを示すフローチャートである。

【図5】指の斜視図である。

【図6】ワークを把持した指をＺ軸方向に沿って下方から見た図である。

【図7】ワークを把持した指をＹ軸方向に沿って見た図である。

【図8】ワークを把持した指をＸ軸方向に沿って見た図である。

【図9】圧力分布センサ及び弾性部材を示す図である。

【図10】弾性部材について説明するための図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されている場合があり、実際の比率とは異なる場合がある。

【0017】

＜第１実施形態＞

【0018】

図１は、第１実施形態に係るロボットシステム１０の構成図である。図１に示すように、ロボットシステム１０は、ロボット機構２０、制御装置３０、及び撮影部４０を備える。ロボットシステム１０は、本実施形態では、ワークＷをピッキングするピッキング装置として機能する。

【0019】

ロボット機構２０は、ピッキング動作を行う際の運動制御の対象である機構部分としてのロボットアームＡＲと、ロボットアームＡＲの先端に取り付けられたロボットハンドＨと、を含む。ロボットハンドＨは、ワークＷが複数載置されている載置場所の一例としての箱５０からワークＷを把持する。ロボットハンドＨは、把持部の一例である。なお、本実施形態では、ワークＷは、一例としてネジ等のロボットハンドＨで複数のワークＷを把持できる程度の比較的小さい部品である場合について説明するが、ワークＷはこれに限られるものではない、

【0020】

ロボットハンドＨは、複数の指、本実施形態では一例として２つの指Ｆ１、Ｆ２を備えるが、指の数は２つに限られるものではない。また、指Ｆ１、Ｆ２は、本実施形態では一例として板状の部材で構成されるが、指Ｆ１、Ｆ２の形状はこれに限られるものではない。

【0021】

また、ロボットハンドＨは、指Ｆ１、Ｆ２でワークＷを把持した状態において、指Ｆ１の位置が変化するように駆動する駆動部２２－１と、指Ｆ１、Ｆ２でワークＷを把持した状態において、指Ｆ２の位置が変化するように駆動する駆動部２２－２と、を備える。なお、本実施形態では、指Ｆ１、Ｆ２の両方に駆動部が設けられた場合について説明するが、指Ｆ１、Ｆ２の何れかに駆動部を設けた構成としてもよい。

【0022】

また、指Ｆ１の把持面には、ワークＷが接触する把持面の圧力分布を検出する圧力分布センサ２４－１が設けられている。同様に、指Ｆ２の把持面には、ワークＷが接触する把持面の圧力分布を検出する圧力分布センサ２４－２が設けられている。ここで、圧力分布センサ２４－１、２４－２は、指Ｆ１、Ｆ２によるワークＷの把持状態を検出する検出部の一例である。

【0023】

なお、本実施形態では、指Ｆ１、Ｆ２の両方の把持面の各々に圧力分布センサが設けられた場合について説明するが、指Ｆ１、Ｆ２の何れかの指の把持面に圧力分布センサを設けた構成としてもよい。

【0024】

ロボット機構２０は、一例として自由度が６の垂直多関節ロボット、水平多関節ロボット等が用いられるが、ロボットの自由度及び種類はこれらに限られるものではない。

【0025】

制御装置３０は、ロボット機構２０を制御する。図２に示すように、制御装置３０は、機能的には、認識部３２及び制御部３４を含む。

【0026】

認識部３２は、圧力分布センサ２４－１、２４－２の検出結果、すなわち圧力分布に基づいて、指Ｆ１、Ｆ２に把持されたワークＷの個数を認識する。認識部３２は、本実施形態では一例として、圧力分布センサ２４－１、２４－２で検出された圧力分布の各々を入力とし、ワークＷの数を出力として学習された学習済みモデル、例えばニューラルネットワークを用いた学習済みモデルを用いて、指Ｆ１、Ｆ２で把持されたワークＷの個数を認識する。

【0027】

制御部３４は、ロボット機構２０に箱５０からワークＷを把持する動作をさせた後に、認識部３２により認識されたワークの個数が予め指定された指定数と異なる場合、把持されたワークＷの数が指定数となるようにロボット機構２０の運動を制御する。なお、本実施形態では、指定数が１の場合について説明する。すなわち、認識部３２により認識されたワークの個数が複数の場合は、認識部３２により認識されたワークの個数が１つになるまで、ワークＷが落下するようにロボット機構２０の運動を制御する。

【0028】

具体的には、制御部３４は、例えば指Ｆ１、Ｆ２でワークＷを把持した把持状態を変化させるため、指Ｆ１、Ｆ２の少なくとも一方が移動するように、駆動部２２－１、２２－２の少なくとも一方を制御する。すなわち、指Ｆ１、Ｆ２の相対位置が変化するように、指Ｆ１、Ｆ２の少なくとも一方をずらす。これにより、指Ｆ１、Ｆ２で把持しているワークＷの把持状態が変化し、ワークＷを落下させることができる。

【0029】

撮影部４０は、箱５０の上方から箱５０内のワークＷを撮影可能な位置に設置され、制御装置３０の指示によって箱５０内のワークＷを撮影した撮影画像を制御装置３０に出力する。

【0030】

次に、制御装置３０のハードウェア構成を示すブロック図である。

【0031】

図３に示すように、制御装置３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０Ｃ、ストレージ３０Ｄ、入力部３０Ｅ、モニタ３０Ｆ、光ディスク駆動装置３０Ｇ及び通信インタフェース３０Ｈを有する。各構成は、バス３０Ｉを介して相互に通信可能に接続されている。

【0032】

本実施形態では、ストレージ３０Ｄには、ピッキングプログラムが格納されている。ＣＰＵ３０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、ＣＰＵ３０Ａは、ストレージ３０Ｄからプログラムを読み出し、ＲＡＭ３０Ｃを作業領域としてプログラムを実行する。ＣＰＵ３０Ａは、ストレージ３０Ｄに記録されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。

【0033】

ＲＯＭ３０Ｂは、各種プログラム及び各種データを格納する。ＲＡＭ３０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。ストレージ３０Ｄは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0034】

入力部３０Ｅは、キーボード３０Ｅ１、及びマウス３０Ｅ２等のポインティングデバイスを含み、各種の入力を行うために使用される。モニタ３０Ｆは、例えば、液晶ディスプレイであり、ワークＷの把持状態等の各種の情報を表示する。モニタ３０Ｆは、タッチパネル方式を採用して、入力部３０Ｅとして機能してもよい。光ディスク駆動装置３０Ｇは、各種の記録媒体(ＣＤ－ＲＯＭ又はブルーレイディスクなど)に記憶されたデータの読み込みや、記録媒体に対するデータの書き込み等を行う。

【0035】

通信インタフェース３０Ｈは、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ又はＷｉ－Ｆｉ（登録商標）等の規格が用いられる。

【0036】

図２に示した制御装置３０の各機能構成は、ＣＰＵ３０Ａがストレージ３０Ｄに記憶されたピッキングプログラムを読み出し、ＲＡＭ３０Ｃに展開して実行することにより実現される。

【0037】

次に、ロボットシステム１０の作用について説明する。

【0038】

図４は、ロボットシステム１０によるピッキング処理の流れを示すフローチャートである。ユーザーが入力部３０Ｅを操作してピッキング処理の実行を指示すると、ＣＰＵ３０Ａがストレージ３０Ｄからピッキングプログラムを読み出して、ＲＡＭ３０Ｃに展開し実行することにより、ピッキング処理が実行される。

【0039】

ステップＳ１００では、ＣＰＵ３０Ａが、制御部３４として、ロボットハンドＨにより箱５０内のワークＷを把持するようロボット機構２０を制御する。具体的には、例えば撮影部４０に撮影を指示して箱５０内のワークＷを撮影した撮影画像を取得し、取得した撮影画像を画像解析することによりワークＷの存在する場所を特定する。このとき、把持すべきワークＷの位置や姿勢を特定する必要はなく、ワークＷが存在する場所を特定するだけでよい。そして、ワークＷが存在する場所にロボットハンドＨが移動するようにロボットアームＡＲを制御し、その後、指Ｆ１、Ｆ２でワークＷを把持するように駆動部２２－１、２２－２を制御する。あるいは、撮像部４０による撮影を行うことなく、箱５０内の何れかの位置で指Ｆ１、Ｆ２を閉じる動作を行い、その結果として、ある確率でワークＷが把持されるようにしてもよい。特に、箱５０内に多数のワークＷが残存している場合には、事前にワークＷが存在する場所の特定すらしなくても、高い確率でワークＷを把持することができる。

【0040】

ステップＳ１０２では、ＣＰＵ３０Ａが、認識部３２として、圧力分布センサ２４－１、２４－２から指Ｆ１、Ｆ２の把持面の圧力分布を各々取得する。そして、取得した指Ｆ１、Ｆ２の把持面の圧力分布から指Ｆ１、Ｆ２によって把持されたワークＷの個数を認識する。

【0041】

ステップＳ１０４では、ＣＰＵ３０Ａが、制御部３４として、ステップＳ１０２で認識したワークＷの個数が０であるか否かを判定する。そして、認識したワークＷの個数が０ではない場合、すなわち、少なくとも１つ以上のワークＷを把持している場合はステップＳ１０６へ移行する。一方、認識したワークの個数が０の場合はステップＳ１００へ戻ってワークＷを把持し直す。

【0042】

ステップＳ１０６では、ＣＰＵ３０Ａが、制御部３４として、ステップＳ１０２で認識したワークＷの個数が指定数であるか否か、すなわち認識したワークＷの個数が１つであるか否かを判定する。そして、認識したワークＷの個数が１の場合はステップＳ１０８へ移行する。一方、認識したワークＷの個数が１ではない場合、すなわち複数の場合は、ステップＳ１１０へ移行する。

【0043】

ステップＳ１０８では、ＣＰＵ３０Ａが、制御部３４として、ロボットハンドＨで把持したワークＷを所定の場所に移動して載置するようにロボット機構２０を制御する。

【0044】

ステップＳ１１０では、ＣＰＵ３０Ａが、制御部３４として、指Ｆ１、Ｆ２の少なくとも一方をずらすように、駆動部２２－１、２２－２の少なくとも一方を制御する。例えば、ずらす指、方向、及び移動量を予め定めておいてもよいし、ステップＳ１０２で取得した指Ｆ１、Ｆ２の把持面の圧力分布に基づいて、ずらす指、方向、及び移動量を決定してもよい。これにより、指Ｆ１、Ｆ２で把持しているワークＷの把持状態が変化し、ワークＷが落下しやすくなる。

【0045】

ステップＳ１１２では、ＣＰＵ３０Ａが、制御部３４として、箱５０内のワークＷを全てピッキングしたか否かを判定する。すなわち、箱５０内が空になっているか否かを判定する。具体的には、例えば撮影部４０で撮影された撮影画像を画像解析して、箱５０内にワークＷが残っているか否かを判定する。そして、箱５０内にワークＷが残っていない場合は、本ルーチンを終了する。一方、箱５０内にワークＷが残っている場合はステップＳ１００へ戻り、ワークＷを全てピッキングするまで上記と同様の処理を繰り返す。

【0046】

このように、本実施形態では、把持すべきワークＷの位置や姿勢を事前に検出してからワークＷを把持するのではなく、まずはワークＷを把持してから、把持したワークＷの個数が指定数になるまで指Ｆ１、Ｆ２の少なくとも一方をずらす運動を行う。これにより、ワークＷの位置や姿勢を毎回事前に検出しなくても、高い確度で、ワークＷをピッキングすることができる。

【0047】

（変形例１）

【0048】

次に、第１実施形態の変形例１について説明する。

【0049】

把持したワークＷの数を認識する場合に、例えば、指Ｆ１、Ｆ２の各々の把持面におけるワークＷの接触面積に基づいて、把持したワークＷの個数を認識してもよい。例えば、圧力分布センサ２４－１、２４－２で検出された圧力分布の各々に基づいて、指Ｆ１、Ｆ２の各々の把持面におけるワークＷの接触面積を各々算出する。そして、例えば各接触面積と把持したワークの個数との対応関係を表すテーブルデータ又は数式等を用いて、把持したワークＷの個数を認識してもよい。例えばワークＷが球体の場合には、弾性を有する把持面が１個のワークＷで押されることにより形成される接触面積は比較的安定しているので、このようにして個数を認識することが可能である。

【0050】

（変形例２）

【0051】

次に、第１実施形態の変形例２について説明する。

【0052】

把持したワークＷの数を認識する場合に、例えば、検出部の一例としての撮影部４０で指Ｆ１、Ｆ２でワークＷを把持した状態を撮影し、撮影部４０で撮影された撮影画像に基づいて、把持したワークＷの個数を認識するようにしてもよい。この場合、制御部３４は、指Ｆ１、Ｆ２で把持されたワークＷを撮影部４０で撮影可能な位置、すなわち、指Ｆ１、Ｆ２によってワークＷが隠れない位置で撮影されるように、ロボットハンドＨを移動させてもよい。また、撮影部４０の移動機構を更に備えた構成とし、撮影部４０をロボットハンドＨの位置に移動させるようにしてもよい。また、ロボットハンドＨ及び撮影部４０の両方を移動させてもよい。

【0053】

（変形例３）

【0054】

次に、第１実施形態の変形例３について説明する。

【0055】

把持したワークＷの数を認識する場合に、例えば、指Ｆ１、Ｆ２でワークＷを把持した状態の指Ｆ１、Ｆ２にかかる力を検出する検出部の一例としての６軸力覚センサを備えた構成とし、認識部３２は、力覚センサにより検出された力の鉛直方向成分が把持前に対して把持後に増加した量、すなわちワークＷの総重量に基づいて、ワークＷの個数を認識するようにしてもよい。この場合、例えばワークＷの総重量と、ワークＷの１個当たりの重量と、に基づいて、ワークＷの個数を認識するようにしてもよい。すなわち、力覚センサにより検出された力から算出したワークＷの総重量をワークＷの１個当たりの重量で除算することによりワークＷの個数を算出してもよい。

【0056】

（変形例４）

【0057】

次に、第１実施形態の変形例４について説明する。

【0058】

制御部３４は、認識部３２により認識されたワークＷの数が指定数と異なる場合、例えば指定数より少ない場合、箱５０からワークＷを把持し直すようにロボット機構２０の運動を制御するようにしてもよい。すなわち、箱５０上で指Ｆ１、Ｆ２を開く動作をさせることにより、一旦把持したワークＷを箱５０上に戻してから、再度箱５０内のワークＷを把持するようにロボット機構２０を制御してもよい。

【0059】

（変形例５）

【0060】

次に、第１実施形態の変形例５について説明する。

【0061】

制御部３４は、認識部３２により認識されたワークＷの数が指定数より多い場合、指Ｆ１、Ｆ２で把持しているワークの少なくとも一部に外力を加えて落下させるようにロボット機構２０を制御するようにしてもよい。例えば、棒状の固定の治具にワークＷを衝突させるようにロボット機構２０を制御して、ワークＷを落下させるようにしてもよい。また、例えば棒状部材によってワークＷに外力を加える外力機構を更に設けた構成とし、当該外力機構を制御して棒状部材をワークＷに衝突させることでワークＷを落下させるようにしてもよい。

【0062】

＜第２実施形態＞

【0063】

次に、第２実施形態について説明する。なお、第１実施形態と同一部分については同一符号を付し、詳細な説明は省略する。

【0064】

第２実施形態では、指Ｆ１、Ｆ２の少なくとも１つが可撓性を有する構成の場合について説明する。第２実施形態では、指Ｆ１、Ｆ２の両方が可撓性を有する場合について説明するが、指Ｆ１、Ｆ２の一方が可撓性を有する構成であってもよい。

【0065】

図５に示すように、第２実施形態に係る指Ｆ１は、指Ｆ１の長手方向がＺ軸方向、すなわち重力方向に沿っている場合において、Ｘ軸方向に可撓性を有する蛇腹Ｆ１Ａを備えている。このため、指Ｆ１は、図５においてＸ軸方向に可撓性を有する。

【0066】

指Ｆ２は、Ｘ軸方向に可撓性を有する蛇腹Ｆ２Ａを備えている。このため、指Ｆ１は、図５においてＸ軸方向に可撓性を有する。更に、指Ｆ２は、Ｙ軸方向に可撓性を有する蛇腹Ｆ２Ｂを備えている。このため、指Ｆ２は、図５においてＹ軸方向にも可撓性を有する。

【0067】

駆動部２２－１は、図５においてＺ軸方向を回転軸として矢印Ａ方向に指Ｆ１が回転するよう駆動する回転用モータを備える。この回転用モータを駆動することにより、図６（Ａ）に示すように指Ｆ１、Ｆ２を下方から見た場合においてワークＷを把持した状態から、図６（Ｂ）に示すように、Ｚ軸方向を回転軸として矢印Ａ方向に指Ｆ１をずらすことができる。

【0068】

また、指Ｆ２の指先と駆動部２２－２とは、例えば紐状の第１の腱（図示省略）によって接続されている。そして、駆動部２２－２は、第１の腱を引っ張るように駆動する第１の引っ張り用モータを備えている。この第１の引っ張り用モータを駆動することにより、図７（Ａ）に示す状態から、図７（Ｂ）に示すように指Ｆ２をＸ軸方向に動かすことができる。なお、指Ｆ１は、Ｘ軸方向に可撓性を有する蛇腹Ｆ１Ａを備えているため、指Ｆ２の動きに追従してＸ軸方向に移動する。

【0069】

また、指Ｆ２の指先と駆動部２２－２とは、例えば紐状の第２の腱（図示省略）によって接続されている。そして、駆動部２２－２は、第２の腱を引っ張るように駆動する第２の引っ張り用モータを備えている。この第２の引っ張り用モータを駆動することにより、図８（Ａ）に示す状態から、図８（Ｂ）に示すように指Ｆ２をＹ軸方向に動かすことができる。なお、指Ｆ１は、Ｙ軸方向に可撓性を有しないため、指Ｆ２の動きに追従してＹ軸方向に移動することはない。

【0070】

また、図１では図示は省略したが、指Ｆ１の指先のワークＷの把持面には、図９に示すように、圧力分布センサ２４－１が貼り付けられており、更にその上から弾性部材２６－１が貼り付けられている。指Ｆ２も同様に、指先のワークＷの把持面には、圧力分布センサ２４－２が貼り付けられており、更にその上から弾性部材２６－１と同様の弾性部材が貼り付けられている。

【0071】

圧力分布センサ２４－１、２４－２は、ｍ×ｎ（ｍ、ｎは整数）個の圧力検出素子で構成される。例えばｍ＝６、ｎ＝４等とすることができるが、ｍ、ｎの値はこれに限られるものではない。

【0072】

例えば図１０（Ａ）に示すように、圧力分布センサ２４－１上に弾性部材２６－１が設けられていない場合、ワークＷを把持した際には、ワークＷを２カ所の接点Ｓ１、Ｓ２のみでしか検知できないため、ワークＷを精度良く認識できない虞がある。これに対し、図１０（Ｂ）に示すように、圧力分布センサ２４－１上に弾性部材２６－１を設けた構成の場合、図１０（Ｂ）において矢印で示すように、把持されたワークＷの圧力が圧力分布センサ２４－１に対して面で伝わることとなり、ワークＷを精度良く認識することができる。

【0073】

なお、指Ｆ１、Ｆ２が弾性部材で構成されてもよい。すなわち、弾性部材を別個に設けるのではなく、指Ｆ１、Ｆ２の指先自体が弾性部材で構成されていてもよい。

【0074】

認識部３２は、第２実施形態では一例として、圧力分布センサ２４－１、２４－２により検出された圧力分布を入力とし、指Ｆ１、Ｆ２で把持したワークＷの個数を出力として学習された把持数認識モデルによりワークＷの個数を認識する。

【0075】

把持数認識モデルとしては、例えば畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）を用いた学習モデルを学習した学習済みモデルを用いることができるが、これに限られるものではない。

【0076】

ワークＷの個数を認識するための圧力分布検出は、指Ｆ１、Ｆ２の相対位置関係を変えて複数回行ってもよい。その場合、制御部３４では、指Ｆ１、Ｆ２の少なくとも１つを予め定めた方向へ移動させる制御を行うことにより、圧力分布センサ２４－１、２４－２において、ワークＷの把持状態を複数回検出させる。例えば、指Ｆ１を押すように、指Ｆ２をＸ軸方向へ移動させながら圧力分布センサ２４－１、２４－２において複数回圧力分布を検出させる。すなわち、時系列で指Ｆ１、Ｆ２の把持面の圧力分布を検出させる。

【0077】

認識部３２は、圧力分布センサ２４－１、２４－２の各々で複数回検出した結果、すなわち、複数回検出した指Ｆ１、Ｆ２の圧力分布の各々を把持数認識モデルに入力する。このように、複数の圧力分布を把持数認識モデルに入力することにより、精度良くワークＷの個数を認識することができる。

【0078】

なお、例えば指Ｆ１のＸ軸方向への反りの度合いを検出するストレッチセンサーを指Ｆ１に設け、このストレッチセンサーの出力値を把持数認識モデルに更に入力するようにしてもよい。

【0079】

制御部３４は、指Ｆ１、Ｆ２でワークＷを把持した状態において、指Ｆ１、Ｆ２のうち少なくとも１つの指の位置が変化するようにロボット機構２０の運動を制御する。

【0080】

具体的には、指Ｆ１、Ｆ２によりワークＷを把持した状態で、指Ｆ１、Ｆ２の少なくとも１つを、予め定めた第１方向、第１方向と交差する第２方向、第１方向及び第２方向と交差する第３方向、及び第３方向を回転軸として回転する回転方向の少なくとも１つの方向に移動させるように、ロボット機構２０の運動を制御する。例えば、図５においてＸ軸方向を第１方向とした場合、Ｙ軸方向が第２方向、Ｚ軸方向が第３方向となり、矢印Ａ方向が回転方向となる。

【0081】

ずらす指、方向、及び移動量については、第１実施形態で説明したように、例えばステップＳ１０２で取得した指Ｆ１、Ｆ２の把持面の圧力分布に基づいて決定してもよい。

【0082】

また、制御部３４は、圧力分布センサ２４－１、２４－２で検出された圧力分布及び駆動部２２－１、２２－２の駆動状態を入力とし、指Ｆ、Ｆ２で把持したワークＷの個数と、ワークＷの数を指定数とするための駆動部２２－１、２２－２の駆動方法と、を出力として学習された駆動方法モデルから出力された駆動方法に基づいてロボット機構２０の運動を制御してもよい。ここでいう「駆動方法」は、例えば駆動命令又は駆動命令生成の元となる情報のような駆動に関わる情報であり、機械学習でいう「行動」、制御理論でいう「制御入力」に相当するものを意味する。第２実施形態では、駆動方法モデルから出力された駆動方法に基づいてロボット機構２０の運動を制御する場合について説明する。

【0083】

ここで、駆動部２２－１の駆動状態とは、駆動部２２－１の回転用モータの回転角であり、指Ｆ１の矢印Ａ方向の初期状態からの移動量に相当する。また、駆動部２２－２の駆動状態とは、駆動部２２－２の第１の引っ張り用モータの回転角及び第２の引っ張り用モータの回転角であり、それぞれ指Ｆ２のＸ軸方向の初期状態からの移動量及びＹ軸方向の初期状態からの移動量に相当する。

【0084】

駆動方法モデルは、第２実施形態では一例として再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＲＮＮ）の一種であるＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ）ベースの学習モデル及び／又は強化学習モデルを含む学習済みモデルを用いた構成とする。

【0085】

このような駆動方法モデルでは、ＬＳＴＭベースの学習モデルに圧力分布センサ２４－１、２４－２で検出された圧力分布及び駆動部２２－１、２２－２の駆動状態が入力され、把持しているワークＷの個数を求める。そして、求めたワークＷの個数、圧力分布センサ２４－１、２４－２で検出された圧力分布、及び駆動部２２－１、２２－２の駆動状態を状態情報として強化学習モデルに入力する。強化学習モデルは、入力された状態情報に対応する行動として、駆動部２２－１、２２－２の駆動方法を出力する。すなわち、駆動部２２－１の回転用モータの回転角、駆動部２２－２の第１の引っ張り用モータの回転角及び第２の引っ張り用モータの回転角を出力する。制御部３４は、駆動方法モデルから出力された駆動方法に従って駆動部２２－１、２２－２を駆動し、指Ｆ１、Ｆ２の少なくとも一方を移動させる。なお、ストレッチセンサーの出力値を状態情報に含め、駆動方法モデルに更に入力するようにしてもよい。

【0086】

次に、ロボットシステム１０の作用について説明する。

【0087】

第２実施形態に係るロボットシステム１０によるピッキング処理の基本的な流れは、第１実施形態で説明した図４に示すフローチャートで示す処理と同様である。以下、第２実施形態において特徴的な処理について説明する。

【0088】

図４のステップＳ１０２では、ＣＰＵ３０Ａが、制御部３４として、指Ｆ１、Ｆ２でワークＷを把持した状態において、指Ｆ２をＸ軸方向に移動させながら、認識部３２として、圧力分布センサ２４－１、２４－２から指Ｆ１、Ｆ２の把持面の圧力分布を時系列で各々取得する。そして、時系列取得した指Ｆ１、Ｆ２の把持面の圧力分布を把持数認識モデルに入力することにより、指Ｆ１、Ｆ２によって把持されたワークＷの個数を認識する。

【0089】

ステップＳ１１０では、ＣＰＵ３０Ａが、制御部３４として、圧力分布センサ２４－１、２４－２で検出された圧力分布及び駆動部２２－１、２２－２の駆動状態を駆動方法モデルに入力し、駆動方法モデルから出力された駆動方法に従って駆動部２２－１、２２－２を駆動することで指Ｆ１、Ｆ２の少なくとも一方をずらすように移動させ、ワークＷの把持状態を変化させる。これにより、ワークＷが落下しやすくなる。

【0090】

このように、第２実施形態では、把持数認識モデルを用いてワークＷの把持数を認識し、駆動方法モデルを用いて指Ｆ１、Ｆ２の動作を制御する。これにより、ワークＷの位置や姿勢を毎回事前に検出しなくても、高い確度で、ワークＷをピッキングすることができる。

【0091】

なお、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行したピッキング処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、ピッキング処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0092】

また、上記各実施形態では、ピッキングプログラムがストレージ３０Ｄ又はＲＯＭ３０Ｂに予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【符号の説明】

【0093】

１０ ロボットシステム
２０ ロボット機構
２２－１、２２－２ 駆動部
２４－１、２４－２ 圧力分布センサ
２６－１ 弾性部材
３０ 制御装置
３２ 認識部
３４ 制御部
４０ 撮影部
５０ 箱
Ｆ１、Ｆ２ 指
Ｆ１Ａ、Ｆ２Ａ、Ｆ２Ｂ 蛇腹
ＡＲ ロボットアーム
Ｈ ロボットハンド
Ｗ ワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】