特開 2023-86109 ピッキング装置、情報処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023086109

(43)【公開日】2023-06-21

(54)【発明の名称】ピッキング装置、情報処理装置及びプログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20230614BHJP

【ＦＩ】

B25J13/08 Z

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022192881

(22)【出願日】2022-12-01

(31)【優先権主張番号】P 2021199767

(32)【優先日】2021-12-09

(33)【優先権主張国・地域又は機関】JP

【新規性喪失の例外の表示】新規性喪失の例外適用申請有り

(71)【出願人】

【識別番号】000002107

【氏名又は名称】住友重機械工業株式会社

(71)【出願人】

【識別番号】304023318

【氏名又は名称】国立大学法人静岡大学

(74)【代理人】

【識別番号】100090033

【弁理士】

【氏名又は名称】荒船 博司

(74)【代理人】

【識別番号】100093045

【弁理士】

【氏名又は名称】荒船 良男

(72)【発明者】

【氏名】宮澤 宣嗣

(72)【発明者】

【氏名】小林 祐一

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS04

3C707AS06

3C707KS03

3C707KS04

3C707KS31

3C707KS34

3C707KT03

3C707KT06

3C707KX07

3C707LS15

3C707LS20

3C707LT06

3C707LT12

3C707NS10

3C707NS24

(57)【要約】

【課題】接触により物体の姿勢又は状態を推定できるピッキング装置、情報処理装置及びプログラムを提供する。
【解決手段】物体への接触情報を取得する接触情報取得手段と、ピッキング手段とを備え、物体に対して複数回の接触動作を実行し、接触動作で取得された接触情報に基づき物体の姿勢又は状態を推定し、推定結果に基づいてピッキング手段がピッキング動作を行う。
【選択図】図２

【特許請求の範囲】

【請求項1】

物体への接触情報を取得する接触情報取得手段と、
ピッキング手段とを備え、
前記物体に対して複数回の接触動作を実行し、前記接触動作で取得された接触情報に基づき前記物体の姿勢又は状態を推定し、推定結果に基づいて前記ピッキング手段がピッキング動作を行う
ピッキング装置。

【請求項2】

前記接触情報は、接触した前記物体からの反力の情報である、
請求項１記載のピッキング装置。

【請求項3】

前記複数回の接触動作は、前記物体の面をなぞる動作を含む、
請求項１記載のピッキング装置。

【請求項4】

なぞる面を変えて複数回、前記物体の面を当該面の縁部までなぞる動作を実行し、その後、前記物体の姿勢の推定結果を用いて前記ピッキング手段が前記物体の取り出しを行う、
請求項３記載のピッキング装置。

【請求項5】

前記複数回の前記物体の面を当該面の縁部までなぞる動作のうち、第ｎ（ｎは１以上の整数）回目になぞる面と、前記第ｎ回目に連続する第（ｎ＋１）回目になぞる面とは、前記第ｎ回目のなぞる動作で到達した縁部を挟んで隣り合い、
前記第ｎ回目のなぞる動作の軌跡と、前記第（ｎ＋１）回目のなぞる動作の軌跡とが連続する、
請求項４記載のピッキング装置。

【請求項6】

前記物体に接触するリーチ動作を一回と、前記物体の面を当該面の縁部までなぞる動作を１回又は複数回実行し、その後、前記物体の姿勢の推定結果を用いて前記ピッキング手段が前記物体の取り出しを行う、
請求項３記載のピッキング装置。

【請求項7】

仮の複数の軌跡でそれぞれ前記物体の面を当該面の縁部までなぞる動作を実行した場合に、前記仮の複数の軌跡のうち前記物体の姿勢の候補をより絞ることのできる仮の軌跡を選択し、
選択された前記軌跡に沿って前記物体の面を当該面の縁部までなぞる動作を実行し、その後、前記物体の姿勢の推定結果を用いて前記ピッキング手段が前記物体の取り出しを行う、
請求項３記載のピッキング装置。

【請求項8】

前記物体は不定形部分を有し、
前記接触情報に基づいて前記不定形部分の状態、あるいは、前記不定形部分に含まれる目標位置を推定する、
請求項１記載のピッキング装置。

【請求項9】

前記接触情報と前記物体の状態とを対応づける学習情報が予め与えられ、
前記接触情報と前記学習情報とに基づいて前記不定形部分を有する前記物体の状態又は前記目標位置を推定する、
請求項８記載のピッキング装置。

【請求項10】

仮の複数の軌道で動くことによって前記接触情報を得た場合に、前記仮の複数の軌道のうち前記物体の状態の候補をより絞ることのできる仮の軌道を判別し、
判別された前記軌道で前記接触情報取得手段を動かすことで前記接触情報を取得する、
請求項８記載のピッキング装置。

【請求項11】

前記物体は封筒物であり、前記不定形部分は封の折り返し部、或いは、開口部である、
請求項８記載のピッキング装置。

【請求項12】

接触情報取得手段を介して物体への接触情報を取得する情報処理装置であって、
前記物体に対して複数回の接触動作でそれぞれ取得された複数回分の前記接触動作に基づいて前記物体の姿勢又は状態を推定する情報処理装置。

【請求項13】

接触情報取得手段を介して物体への接触情報を取得する情報処理装置を、
前記物体に対して複数回の接触動作でそれぞれ取得された複数回分の前記接触動作に基づいて前記物体の姿勢又は状態を推定する手段として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ピッキング装置、情報処理装置及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、物体の映像と、物体へ接触した際の計測情報とから、物体の姿勢を推定するシステムが示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１３６６７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のシステムでは、物体へ接触した際の計測情報を用いることで、物体の姿勢を推定可能としている。しかしながら、接触によって物体の姿勢を効率的に推定するには、物体への接触の仕方に改善の余地がある。また、形状が一意に定まっていない物体が対象となることもある。

【0005】

本発明は、接触により物体の姿勢又は状態を推定できるピッキング装置、情報処理装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係るピッキング装置は、
物体への接触情報を取得する接触情報取得手段と、
ピッキング手段とを備え、
前記物体に対して複数回の接触動作を実行し、前記接触動作で取得された接触情報に基づき前記物体の姿勢又は状態を推定し、推定結果に基づいて前記ピッキング手段がピッキング動作を行う。

【0007】

本発明に係る情報処理装置は、
接触情報取得手段を介して物体への接触情報を取得する情報処理装置であって、
前記物体に対して複数回の接触動作でそれぞれ取得された複数回分の前記接触動作に基づいて前記物体の姿勢又は状態を推定する。

【0008】

本発明に係るプログラムは、
接触情報取得手段を介して物体への接触情報を取得する情報処理装置を、
前記物体に対して複数回の接触動作でそれぞれ取得された複数回分の前記接触動作に基づいて前記物体の姿勢又は状態を推定する手段として機能させる。

【発明の効果】

【0009】

本発明によれば、接触によって物体の姿勢又は状態を推定できるピッキング装置、情報処理装置及びプログラムを提供できる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係るピッキング装置を示すブロック図である。

【図2】実施形態１において物体の面を当該面の縁部までなぞる動作の例を示す図であり、（Ａ）は物体としてボルトが適用された場合の一例、（Ｂ－１）、（Ｂ－２）は物体としてナットが適用された場合の一例を示す。

【図3】実施形態１の制御部により実行されるピッキング処理の一例を示すフローチャートである。

【図4】実施形態２におけるピッキング動作を説明する図である。

【図5】実施形態２のピッキング装置を示す図である。

【図6】実施形態２の制御部により実行されるピッキング処理の一例を示すフローチャートである。

【図7】図６のステップＳ２３～Ｓ２５の処理を示す説明図である。

【発明を実施するための形態】

【0011】

（実施形態１）
以下、本発明の実施形態について図面を参照して詳細に説明する。図１は、本発明の実施形態に係るピッキング装置を示すブロック図である。本実施形態に係るピッキング装置１は、物体の姿勢を推定し、当該物体を把持等により収容箇所から取り出す装置である。ピッキング装置１は、物体の映像を取得する撮影部２１と、物体に接触した際の接触情報を取得可能な力覚センサ２２と、接触情報取得手段としての力覚センサ２２を動かす駆動装置２３と、物体を把持及び搬送するピッキング手段としてのロボットアーム２４と、これらを制御する情報処理装置としての制御部１０とを備える。

【0012】

撮影部２１は、撮像素子及び結像レンズを有し、デジタル信号の映像を取得する。撮影部２１は、物体の大まかな位置を把握できる映像を取得できればよい。撮影部２１は、二次元の映像に加えて映像上の各点の奥行の情報が得られるデプスセンサであってもよい。

【0013】

力覚センサ２２は、物体に接触可能な接触子２２ａを有し、物体に接触中の接触情報（接触子２２ａによる物体への接触に関する情報）を取得する。接触情報には、接触点の位置の情報と、接触点から接触子２２ａに加わる反力の向きを示す情報すなわち接触面の向き（面の法線）の情報とが含まれる。力覚センサ２２は、非常に小さな反力を受けた段階で停止することで、接触する物体を動かすことなく、接触情報を取得することができる。

【0014】

駆動装置２３は、任意の経路で力覚センサ２２（具体的にはその接触子２２ａ）を動かすことが可能な三次元駆動装置である。力覚センサ２２を動かす駆動装置２３は、ロボットアーム２４を動かす駆動装置と兼用されていてもよい。

【0015】

制御部１０は、ＣＰＵ（Central Processing Unit）１１と、ＣＰＵ１１がデータを展
開するＲＡＭ（Random access memory）１２と、ＣＰＵ１１が実行する制御プログラム並びにＣＰＵ１１が使用する制御データが格納された記憶装置１３と、撮影部２１、力覚センサ２２、駆動装置２３及びロボットアーム２４と信号をやり取りするインタフェース１４と、を備えたコンピュータである。制御部１０は、力覚センサ２２の駆動制御、ロボットアーム２４の駆動制御、並びに、物体の姿勢を推定する処理を行う。

【0016】

実施形態１において、記憶装置１３には、後述するピッキング処理のプログラム１３ａが格納されている。さらに、記憶装置１３には、物体の形状及び大きさを示す外面情報１３ｂが記憶されている。

【0017】

外面情報１３ｂは、例えば、物体の表面に一様に分布する複数の点の位置データ（相対的な位置データ）を含む。外面情報１３ｂは、各点の位置データに加えて、各点の法線データが含まれていてもよい。法線データは、各点が含まれる面に垂直で、当該点を通る法線の方向を示す。なお、各点の法線データは、予め与えられず、上記の複数の点の位置データから制御部１０が計算により求めてもよい。

【0018】

制御部１０は、撮影部２１が取得した映像から物体のおおまかな位置を推定する。映像に基づく推定は、物体のいずれかの箇所に接触子２２ａを接触させることができる程度のおおまかな推定であってよい。具体的な手法は限定されないが、例えば、制御部１０は、映像から画像認識処理を行うことで、大きな許容誤差で物体の中央点又は物体が位置する点を推定することができる。

【0019】

制御部１０は、力覚センサ２２を制御して、接触子２２ａを物体から離間した位置から物体に接触するまで移動させるリーチ動作を行わせることができる。具体的には、制御部１０は、物体が存在すると推定される方向に、接触子２２ａを移動させつつ、接触子２２ａに加わる反力の有無を判別することでリーチ動作を実現できる。接触子２２ａが物体に接触すると接触子２２ａに加わった反力が検出されるので、当該検出に基づき制御部１０が接触子２２ａを停止させることでリーチ動作が完了する。

【0020】

さらに、制御部１０は、力覚センサ２２を制御して、接触子２２ａを物体の面に接触させたまま当該面に沿って移動させるなぞり動作を行わせることが可能である。具体的には、制御部１０は、接触子２２ａが物体に接触した状態において、接触子２２ａが受ける反力から接触した面の向きの情報を得る。当該得られた接触面の向きの情報に基づき、制御部１０は、接触面に対して接触子２２ａが斜め方向（例えば３０度）に力を加えるように力覚センサ２２を駆動制御する。ここで、接触子２２ａが物体を押す力は、物体が動かない大きさに留める。すると、接触子２２ａに生じる力のうち、接触面に垂直な向きの力は物体からの反力により相殺され、接触面に平行な成分の力が残る。そして、当該平行な成分の力により、接触子２２ａが面に沿って進むことになり、接触子２２ａのなぞり動作が実現される。

【0021】

＜物体の姿勢の推定＞
制御部１０は、接触子２２ａのリーチ動作と、接触子２２ａが物体の１つの面を当該面の縁部に到達するまでなぞる動作（以下、当該動作を「特定動作」とも呼ぶ）とによって得られる接触情報（接触位置及び接触位置における面の向きの情報）に基づいて物体の姿勢を推定する。

【0022】

ここで、物体の１つの面とは、１つの平面、あるいは、折り曲がりなく連続する１つの曲面を意味するが、接触子２２ａが検知できない細かい凹凸又は細かい折曲がりであれば、当該凹凸又は折曲がりが含まれる面を１つの面と見なしてもよい。例えば、接触子２２ａの大きさがボルトのネジ溝よりも大きいような場合には、ネジ溝を有するボルトの軸部の外周面は１つの面と見なしてもよい。また、上記の縁部とは、面の縁に向かって接触子２２ａが移動したときに接触子２２ａが到達可能な面の最縁端を意味する。例えば、物体の第１の面が外に凸の角部を挟んで別の第２の面と隣り合っていれば、当該角部が上記第１の面の縁部の一つに相当する。一方、物体の第１の面が内に凹んだ隅部を挟んで第２の面と隣り合っており、接触子２２ａが当該隅部の奥まで進入できない場合には、接触子２２ａが隅部に向かって移動したときに接触子２２ａが到達可能な第１の面の最縁端を縁部と見なせばよい。

【0023】

上記のように、接触子２２ａの特定動作によって得られた接触情報を用いて物体の姿勢を推定することで、制御部１０は、速やかに推定結果を得ることができる。すなわち、接触子２２ａを物体に接触するまで移動させるリーチ動作では、接触子２２ａの移動中に物体の姿勢に関する情報を得ることはできず、接触した際に接触面の一点の位置と接触面の向きの情報が得られるのみである。したがって、リーチ動作では、接触子２２ａの移動時間に対して得られる接触情報が非常に少ない。一方、特定動作であれば、接触子２２ａの移動中、制御部１０は移動軌跡に沿った接触面の位置及び形状の情報が得られ、さらに、特定動作の最後では面の縁の位置情報が得られる。すなわち、特定動作では、接触子２２ａの移動時間に対して得られる接触情報が多い。したがって、特定動作から得られる多くの接触情報を用いることで、制御部１０は物体の姿勢を速やかに推定することができる。

【0024】

図２は、物体の面を当該面の縁部までなぞる動作（特定動作）の例を示す図である。図２（Ａ）はボルトを物体Ｔ１として、接触子２２ａがリーチ動作を行い、接触子２２ａが軸部ｔ１の点Ｐ１に接触した後、接触子２２ａが軌跡Ｃ１に沿って特定動作を行った例を示している。制御部１０は、特定動作の軌跡Ｃ１の初期段階で当該軌跡Ｃ１の曲率及び位置と、予め保持している物体Ｔ１の外面情報１３ｂとに基づいて、軸部ｔ１に接触していること、並びに、軸部ｔ１の中心軸Ａ１の位置を特定できる。さらに、制御部１０は、軌跡Ｃ１の最後で接触子２２ａが軸部ｔ１の先端に到達したことに基づいて、軸部ｔ１の先
端位置を特定できる。そして、これらから制御部１０は物体Ｔ１の姿勢を推定できる。図２（Ａ）は、１回のリーチ動作と１回の特定動作により物体Ｔ１の姿勢が特定できた例を示す。

【0025】

制御部１０は、接触子２２ａがなぞる面を変えて複数回の特定動作を行うように力覚センサ２２を制御し、当該複数回の特定動作で得られる接触情報に基づき、物体の姿勢を推定してもよい。複数回の特定動作により、異なる複数の面の位置及び向き、並びに、これらの面の縁の位置を特定できるので、これらの情報に基づいて、制御部１０は、物体の姿勢を容易に特定できる。

【0026】

図２（Ｂ－１）、（Ｂ－２）はナットを物体Ｔ２として、接触子２２ａが複数回の特定動作を行った例を示している。当該図において、接触子２２ａは、まず、リーチ動作により第１面ｔ２１の点Ｐ２に接触し、その後、軌跡Ｃ２に沿って第１面ｔ２１の特定動作と、第２面ｔ２２の特定動作と、第３面ｔ２３のなぞり動作を行っている。制御部１０は、第２面ｔ２２における特定動作の初期段階において、第１面ｔ２１、第２面ｔ２２、並びに、これらに挟まれる角部の位置及び角度（９０度）を特定できる。さらに、制御部１０は、第２面ｔ２２の特定動作と、第３面ｔ２３のなぞり動作とにより、第２面ｔ２２、第３面ｔ２３、並びに、これらに挟まれる角部の位置及び角度（１２０度）を特定できる。そして、これらの特定された情報と、予め保持している物体Ｔ２の外面情報１３ｂとに基づいて、制御部１０は、物体Ｔ２の姿勢を推定できる。図２（Ｂ－１）及び図２（Ｂ－２）は、１回のリーチ動作と、２回の特定動作と、その後のなぞり動作とによって、物体Ｔ２の姿勢が特定できた例を示す。

【0027】

図２（Ｂ－１）、（Ｂ－２）に示したように、接触子２２ａがなぞる面を変えて複数回の特定動作を行うことで、制御部１０は、より多くの物体の姿勢に関する情報を取得でき、速やかに物体の姿勢を推定することが容易になる。

【0028】

ここで、制御部１０は、図２（Ｂ－１）、（Ｂ－２）に示したように、複数回の特定動作のうち、第ｎ（ｎは１以上の整数）回目の特定動作でなぞる面と、第ｎ回目に連続する第（ｎ＋１）回目の特定動作でなぞる面とが、縁部を挟んで隣り合う面であってもよい。そして、第ｎ回目の特定動作で接触子２２ａが移動する軌跡Ｃ２と、第（ｎ＋１）回目の特定動作で接触子２２ａが移動する軌跡Ｃ２とが連続してもよい。このような軌跡Ｃ２が採用されることで、制御部１０は、接触子２２ａを物体の面に接触させたまま、複数の特定動作を連続的に行わせることができるので、物体の姿勢の推定に寄与する多くの接触情報を速やかに取得することができる。

【0029】

仮に、接触子２２ａが、複数回の特定動作を行う過程で、物体の面から離間した場合、制御部１０は、再度、リーチ動作により接触子２２ａを物体の面に接触させる制御を行う必要がある。リーチ動作は、接触子２２ａが物体の表面に接触した際に過度な力が物体に及ぼされないよう、接触子２２ａを緩やかに動かすという制約が生じる。したがって、リーチ動作の回数が少ない方が、単位時間当たりに取得できる接触情報が多くなる。したがって、上記のような複数の面にわたって連続する軌跡Ｃ２が採用されることで、制御部１０は、速やかに多くの接触情報を取得し、速やかに物体の姿勢を推定することができる。

【0030】

ここで、制御部１０は、接触子２２ａがリーチ動作を１回のみ行い、続く１回又は複数回の特定動作が連続的に行われるように、接触子２２ａの軌跡を設定してもよい。このような軌跡の設定により、速やかに物体の姿勢を推定することができる。図２（Ａ）、並びに、図２（Ｂ－１）及び図２（Ｂ－２）は、上記のように接触子２２ａの軌跡が設定された例を示す。

【0031】

なお、制御部１０は、物体の姿勢を推定する際に、リーチ動作を１回のみ実行することに限られない。例えば、特定動作の際に、隣り合う面との間の角部が鋭角であり、接触子２２ａが物体の面から離間した場合には、再び、リーチ動作から開始してもよい。また、特定動作で面の縁部に接触子２２ａが到達したときに、制御部１０が、一担、接触子２２ａを物体から離間させ、再び、リーチ動作から特定動作に遷移するように接触子２２ａを動かすようにしてもよい。このような制御であっても、１回又は複数回の特定動作により、速やかに多くの接触情報を取得できるので、制御部１０は、速やかに物体の姿勢を推定することができる。

【0032】

制御部１０は、接触子２２ａに特定動作を行わせる際、いずれの方向に接触子２２ａを移動させるか軌跡の選択処理を行ってもよい。選択処理において、制御部１０は、接触子２２ａが複数の仮の軌跡でそれぞれ特定動作を行った場合に、いずれの軌跡が物体の姿勢の候補数をより絞ることのできるのか求め、求められた軌跡を選択して接触子２２ａに特定動作を行わせればよい。このような軌跡の選択処理を行うことで、より速やかに物体の姿勢を特定できる特定動作の軌跡が選択されるので、物体の姿勢の推定をより速やかに達成することができる。

【0033】

続いて、特定動作の軌跡の選択処理を含んだ物体の姿勢推定処理の詳細な一例について説明する。図３は、制御部により実行されるピッキング処理の一例を示すフローチャートである。

【0034】

物体の姿勢推定処理が開始されると、先ず、制御部１０は、撮影部２１から映像を取得して物体の大まかな位置を特定する（ステップＳ１）。そして、制御部１０は、力覚センサ２２を制御してリーチ動作により接触子２２ａを移動させ、物体の面に接触させる（ステップＳ２）。接触子２２ａが面に接触することで、力覚センサ２２から接触情報（接触点の位置及び接触面の向き）が送られ、制御部１０は接触情報を取得する。

【0035】

続いて、制御部１０は、予め保持している物体の外面情報１３ｂと上記の接触情報とに基づき、上記の接触情報に合致する物体の姿勢の複数の候補を計算する（ステップＳ３）。ここで、制御部１０は、物体の姿勢を、所定の基準位置からの並進量（並進ベクトルｒ）と基準の向きからの回転量（回転ベクトルθ）とで表わすことができる。以下では、物体の１つの姿勢に対応する１組のパラメータ（ｒ，θ）を、パーティクルと呼ぶ。初期の段階において、物体の姿勢の全候補に対応するパーティクルは無数あり、物体の姿勢の候補は、パラメータ（ｒ、θ）で張られる空間内での無数のパーティクルの分布として与えられる。分布密度が高いパーティクルの値が、真である確率の高いパーティクル（物体の姿勢）に相当する。無数のパーティクルの分布は、パーティクルのパラメータ（ｒ、θ）に幅（ｒ～ｒ＋Δｒ、θ～θ＋Δθ）を持たせることで、有限個のパーティクルの集合として扱うことができる。さらに、各パーティクルに分布密度を付随させることで、有限個のパーティクルによりパーティクルの分布を表わすことができる。以下では、単に、「パーティクルの集合」と言ったときには、個々のパーティクルに分布密度の値が付随された有限個のパーティクルの集合を意味するものとする。ステップＳ３において、制御部１０は、物体の姿勢の候補を表わすパーティクルの集合を計算する。

【0036】

次に、制御部１０は、接触子２２ａのなぞり動作を試行するために仮の複数の軌跡を作成する（ステップＳ４）。ここで、制御部１０は、接触子２２ａと物体との接触点を中心として接触面に沿って放射状に延びる複数の軌跡を作成すればよい。複数の軌跡の放射状に延びる各方向は、例えば３６０度を等間隔に分けた複数の角度の方向とすればよい。さらに、軌跡の長さは、予め所定の長さとしてもよいし、あるいは、長さを決めずに面の縁に達する長さとしてもよい。軌跡は、接触面が平面であっても曲面であっても接触面から離れないよう、接触面の法線方向に自由度を持ったものとして作成される。

【0037】

次に、制御部１０は、その時点の物体の姿勢の候補として計算されているパーティクルの集合の各々に対して、仮の軌跡で接触子２２ａになぞり動作を行わせた場合を試行する。そして、当該試行において得られる接触情報から、パーティクルの集合（パーティクルの分布）がどのように絞られるのか（すなわち物体の姿勢がどのように絞られるのか）を計算する（ステップＳ５）。仮に、ステップＳ４で作成された複数の軌跡が第１軌跡～第３６軌跡を含むとすれば、ステップＳ５の計算によって、第１軌跡の試行により絞られたパーティクルの集合、第２軌跡の試行により絞られたパーティクルの集合、・・・、第３６軌跡の試行により絞られたパーティクルの集合が求められる。試行により絞られたパーティクルの集合を計算する方法としては、下記文献［１］の“MANIFOLD PARTICLE FILTER”を用いた計算手法を適用できる。
文献［１］：Michael C. Koval. Mehmet R. Dogar, Nancy S. Pollard, Siddhartha S. Srinivasa, “Pose Estimation for Contact Manipulation with Manifold Particle Filters” Proc. of IEEE/RSJ International Conference on Intelligent Robots and Systems, 2013.

【0038】

続いて、制御部１０は、ステップＳ５の結果から、いずれの軌跡が最も物体の姿勢の候補数を絞ることができるのか判別する（ステップＳ６）。当該判別の処理において、制御部１０は、まず、ステップＳ５で各軌跡に対応して求められたパーティクルの集合に対して、パーティクルの集合の情報エントロピーを計算する。すなわち、仮に、ステップＳ４で作成された複数の軌跡が第１軌跡～第３６軌跡を含むとすれば、ステップＳ６の計算により、第１軌跡の試行により絞られたパーティクルの集合の情報エントロピー、第２軌跡の試行により絞られたパーティクルの集合の情報エントロピー、・・・、第３６軌跡の試行により絞られたパーティクルの集合の情報エントロピーが求められる。情報エントロピーは低いほど、パーティクルの分布がより絞られていること、すなわち、物体の姿勢の候補数がより絞られていることを表わす。パーティクルの集合の情報エントロピーを計算する方法としては、下記文献［２］の“Entropy approximation”の方法が用いられてもよ
い。
文献［２］：Yvo Boers, Hans Driessen, Arunabha Bagchi and Pranab Mandal, “Particle filter based entropy”, Information Fusion 13th Conference on, pp.1-8, IEEE,
2010.

【0039】

なお、ステップＳ６の計算過程で、物体の姿勢の候補数を絞ることのできる度合いが同一（上記の情報エントロピーの減少量が同一）である複数の軌跡があり、軌跡が一つに決定されない場合には、制御部１０は、前回の軌跡と同一方向の軌跡を判別結果としてもよい。あるいは、前回の軌跡がなければ、制御部１０は、任意の軌跡を判別結果としてもよい。

【0040】

ステップＳ６の計算により、最も物体の姿勢の候補数を絞ることのできる軌跡を判別したら、制御部１０は、当該軌跡で接触子２２ａがなぞり動作を行うように力覚センサ２２を駆動する（ステップＳ７）。ここで、制御部１０は、接触子２２ａが物体から離間しないよう、軌跡に沿った接触面に平行な力と、物体が動かない程度に接触面を垂直に押す力とを合成した力を接触子２２ａに加えながら、接触子２２ａを動かす。当該合成した力は、物体が動かない程度に接触面を斜め（例えば３０度）に加圧する力に相当する。当該なぞり動作により、力覚センサ２２から接触情報（軌跡上の各点の位置、軌跡上の各点における接触面の向き、なぞり動作の途中に接触面の縁が有ったか否か、縁があれば軌跡上のどの点が縁であったか）が送られ、当該接触情報を制御部１０が取得する。ステップＳ４～Ｓ９のループ処理において、ステップＳ７のなぞり動作が繰り返し行われることで接触子２２ａが接触面の縁に達し、特定動作が実現される。

【0041】

さらに、制御部１０は、ステップＳ７のなぞり動作が行われる前の時点で、物体の姿勢の候補であったパーティクルの集合から、ステップＳ７のなぞり動作で得られた接触情報に合致するパーティクルを抽出することで、パーティクルの集合を更新する（ステップＳ８）。当該パーティクルの集合の抽出についても、上記文献［１］の“MANIFOLD PARTICLE FILTER”を用いた計算手法を適用できる。

【0042】

そして、制御部１０は、ステップＳ９で抽出されたパーティクルの集合（すなわちパーティクルの分布）を、その時点における物体の姿勢の候補とし、当該候補が、物体を把持可能な程度に絞られているか判別する（ステップＳ９）。その結果、ＮＯであれば、処理をステップＳ４に戻して、再び、ステップＳ４～Ｓ９の処理を繰り返す。当該繰り返の処理により、次第に物体の姿勢の候補数が絞られ、最終的にほぼ一つの姿勢に絞られる。

【0043】

そして、ステップＳ９の判別結果がＹＥＳとなれば、直前のステップＳ８で抽出されたパーティクルにより、物体の姿勢の推定結果が表わされることになる。したがって、ステップＳ９の判別結果がＹＥＳとなれば、制御部１０は、接触子２２ａを物体から離間させる（ステップＳ１０）。そして、制御部１０は、上記の物体の姿勢の推定結果に基づきロボットアーム２４を駆動制御して、物体をピッキング（把持及び搬送）する（ステップＳ１１）。

【0044】

図３のピッキング処理によれば、ステップＳ４～Ｓ６において、制御部１０は、仮の複数の軌跡でなぞり動作を試行した場合に、いずれの軌跡が選択された場合に、物体の姿勢の候補数をより絞ることができるのか計算する。そして、計算により求められた軌跡でなぞり動作を実行させることで、物体の姿勢をより速やかに推定することができる。

【0045】

上述したピッキング処理のプログラム１３ａは、制御部１０の記憶装置１３など、非一過性の記憶媒体（non transitory computer readable medium）に記憶されている。制御部１０は、可搬型の非一過性の記録媒体に記憶されたプログラムを読み込み、当該プログラムを実行するように構成されてもよい。上記の可搬型の非一過性の記憶媒体は、上述したピッキング処理のプログラム１３ａを記憶していてもよい。

【0046】

以上、本発明に係る実施形態１について説明した。しかし、本発明は、上記の実施形態１に限られるものではない。例えば、上記実施形態１では、複数の仮の軌跡でなぞり動作を試行した場合に、物体の姿勢の候補数がより絞られる軌跡を制御部１０が選択し、当該軌跡で接触子２２ａになぞり動作を行わせる例を示した。しかし、制御部１０は、接触子２２ａにランダムな方向に特定動作を行わせてもよく、この場合でも、特定動作により多くの接触情報が得られることで、制御部１０は、速やかに物体の姿勢を推定することができる。その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。

【0047】

（実施形態２）
図４は、実施形態２におけるピッキング動作を説明する図である。図４（Ａ）は、状態を推定する対象の物体Ｔ１を側方から眺めた図である。図４（Ｂ）は、対象の物体Ｔ１を上方から眺めた図である。図４（Ｃ）～（Ｆ）は、一連の接触動作及びピッキング動作の一例を示す図である。

【0048】

実施形態２のピッキング装置１は、不定形部分を有する物体Ｔ３に対して力覚センサ２２の接触により状態を推定し、ロボットアーム２４により物体Ｔ３のピッキング、あるいは、物体Ｔ３に付随した別の物体のピッキングを行う装置である。

【0049】

具体例として、物体Ｔ３は、封の折り返し部分などの不定形部分ｑ１を有する封筒物である。不定形部分ｑ１は、折り返し長さＬ１、折り返し角度θ１にバラツキがあるなど、不定形である。実施形態２において、制御部１０は、不定形部分（折り返し部分）ｑ１の幅方向における中央部をピッキングを行うための目標位置ｄ１として推定する。そして、ロボットアーム２４は、推定結果に基づいて、目標位置（折り返し部分の中央部）ｄ１を把持することで物体Ｔ３をピッキングする。

【0050】

なお、不定形部分を有する物体としては、上記の例に限られず、様々な物体を対象とすることができる。例えば、物体は、開口を不定形部分とする封筒物であってもよい。この場合、不定形部分（開口）は、開口高さ及び開口幅にバラツキがあるなど不定形である。制御部１０は、不定形部分（開口）の中央部を、ピッキング用の通路となる目標位置として推定してもよい。そして、ロボットアーム２４は、推定結果に基づいて、アーム先端を目標位置を介して封筒物の内部へ挿入し、封筒物に入っている付随物をピッキングすることができる。

【0051】

図５は、実施形態２のピッキング装置の構成を示す図である。実施形態２のピッキング装置１は、制御部１０の処理及びデータ構成が異なる他は、実施形態１と同様である。

【0052】

制御部１０は、不定形部分を有する物体Ｔ３の状態を推定するために必要な学習情報１３ｄが予め与えられている。物体Ｔ３の１つの状態は、物体Ｔ３の位置、姿勢、不定形部分ｑ１の状態（折り返し長さＬ１、折り返し角度θ１）により定められる。学習情報１３ｄは、物体Ｔ３への接触情報と、物体Ｔ３の状態とを対応づける情報である。対応づける情報とは、接触情報Ａがあったときに、物体Ｔ３が状態ａである確率がｘａ％、物体Ｔ３が状態ｂである確率がｘｂ％、・・・物体Ｔ３が状態ｎである確率がｘｎ％など、確率を伴って一つの接触情報と複数の状態とを対応づける情報である。

【0053】

学習情報１３ｄを使用した一例は、次の通りである。制御部１０は、例えば接触子２２ａを、物体Ｔ３の折り返し部分ｑ１が位置する高さで、水平に移動させることで、接触子２２ａに物体Ｔ３に接触し、その反力の情報（反力の有無、大きさ及び方向のうちの一つ又は複数）である接触情報を得る。そして、学習情報１３ｄから接触情報に対応する物体Ｔ３の状態情報を抽出する。抽出された状態情報には、上記の接触情報を受けた場合に、あり得る１つ又は複数の物体Ｔ３（不定形部分ｑ１を含む）の状態とその確率とが含まれる。学習情報１３ｄは、予め、シミュレーション或いは試験を行うことで作成され、外部から制御部１０へ入力される。あるいは、ピッキング装置１に学習処理を行わせることで、制御部１０が、内部で学習情報１３ｄを生成し、保持していてもよい。

【0054】

＜ピッキング処理＞
図６は、実施形態２の制御部により実行されるピッキング処理の一例を示すフローチャートである。図６のピッキング処理のプログラム１３ｃは、制御部１０の記憶装置１３など、非一過性の記憶媒体（non transitory computer readable medium）に記憶されている。制御部１０は、可搬型の非一過性の記録媒体に記憶されたプログラムを読み込み、当該プログラムを実行するように構成されてもよい。上記の可搬型の非一過性の記憶媒体は、上述したピッキング処理のプログラム１３ｃを記憶していてもよい。

【0055】

ピッキング処理が開始されると、先ず、制御部１０は、撮影部２１から映像を取得して物体の大まかな位置を推定する（ステップＳ２１）。そして、制御部１０は、力覚センサ２２を制御して接触子２２ａを物体Ｔ１に接触させる（ステップＳ２２）。接触子２２ａが接触することで、力覚センサ２２から接触情報（反力の有無、大きさ及び方向のうちの一つ又は複数）が送られ、制御部１０は接触情報を取得する。

【0056】

続いて、制御部１０は、接触情報に合致する物体Ｔ３の状態の候補を計算する（ステップＳ２３）。状態の候補は、後述するパーティクルフィルタ１１１がパーティクルの集合として計算する。

【0057】

次に、制御部１０は、次の接触を行うために複数の仮の軌道を作成する（ステップＳ２４）。そして、制御部１０は、仮の各軌道に接触子２２ａを動かしたときをシミュレーションすることで、物体Ｔ３の状態の候補をどれだけ絞ることができるか計算し、より候補が絞れる軌道を判別する（ステップＳ２５）。

【0058】

続いて、制御部１０は、ステップＳ２５で判別された軌道で接触子２２ａを動かすことで物体Ｔ３に接触し、新たな接触情報を取得する（ステップＳ２６）。新たな接触情報が取得されたら、制御部１０は、現在計算されている物体Ｔ３の状態の候補（パーティクルの集合）の中から、新たな接触情報に合致する状態の候補を抽出し、新たな物体Ｔ３の状態の候補とする（パーティクルの集合の更新）（ステップＳ２７）。

【0059】

そして、制御部１０は、ステップＳ２７で計算された物体Ｔ３の状態の候補により、目標位置（折り返し部分の中央部）ｄ１が特定されたか判別する（ステップＳ２８）。その結果、ＮＯであれば、制御部１０は、ステップＳ２４からの処理を繰り返す。一方、ＹＥＳであれば、制御部１０は、接触子２２ａを物体から離し（ステップＳ２９）、ロボットアーム２４を駆動制御して、推定された目標位置ｄ１を把持して物体Ｔ３をピッキングする（ステップＳ３０）。

【0060】

＜物体Ｔ３の状態の推定処理の詳細＞

【0061】

図７は、図６のステップＳ２３～Ｓ２５の処理を示す説明図である。パーティクルフィルタ１１１、動作軌道生成部１１２、シミュレータ１１３－１～１１３－ｋ、軌道評価及び選択部１１４は、制御部１０がプログラムを実行することで構成される機能モジュール（ソフトウェア）である。

【0062】

パーティクルフィルタ１１１は、図６のステップＳ２３及びＳ２７の処理を実行する。パーティクルフィルタ１１１は、接触情報に合致する物体Ｔ３の状態の候補として、パーティクルの集合を計算する。１つのパーティクルは、物体Ｔ３の１つの状態を表わし、パーティクルがＮ個有るということは、物体Ｔ３の状態がＮ通りあることを意味する。１つのパーティクルは、物体Ｔ３の位置、姿勢、不定形部分ｑ１の状態（封の折り返し部分の長さＬ１、角度θ１等）を１つに特定する１組のパラメータに相当する。上記の各パラメータが取りえる値は連続量であるので、上記のパーティクルは無限個存在し、パーティクルの集合はパーティクルの分布を表わす。

【0063】

パーティクルフィルタ１１１は、シミュレーションでパーティクルの集合を扱うために、パーティクルの集合の中から複数のパーティクルｘ_１～ｘ_Ｎを抽出する。パーティクルフィルタ１１１は、連続量であるパーティクルの分布の中から偏りが少なくなるようにＮ個のパーティクルｘ_１～ｘ_Ｎを抽出し、かつ、各パーティクルｘ_ｊの分布度数を表わす重みｗ_ｊを抽出する。パーティクルの集合はＮ個のパーティクルｘ_１～ｘ_Ｎと各重みｗ_１～ｗ_Ｎとで近似的に表わすことができる。

【0064】

動作軌道生成部１１２は、ステップＳ２４の処理を実行し、複数の軌道ａ_１～ａ_ｋを作成する。動作軌道生成部１１２は、物体Ｔ３に対して様々な位置で接触可能な複数の軌道を生成すればよい。細かい間隔で多数の軌道を生成すれば、より良い軌道を判別して、目標位置ｄ１を速やかに特定することが可能となるが、その分、計算負荷が増す。粗い間隔で少ない軌道しか生成しなくても、ステップＳ２４～Ｓ２８のループ処理を繰り返すことで、目標位置ｄ１を特定することができる。動作軌道生成部１１２は、計算負荷と全体の処理時間との兼ね合いにより、適度な数の軌道を生成すればよい。

【0065】

シミュレータ１１３－１～１１３－ｋ及び軌道評価及び選択部１１４は、ステップＳ２５の処理を実行する。

【0066】

第１番目のシミュレータ１１３－１は、パーティクルフィルタ１１１が抽出したＮ個のパーティクルｘ_１～ｘ_Ｎの各々と、動作軌道生成部１１２が生成した１つの軌道ａ_１とで、Ｎ通りのシミュレーションを行う。すなわち、Ｎ通りの物体Ｔ３の状態のうち、１つの状態の物体Ｔ３に、軌道ａ_１で接触子２２ａが接触した場合をシミュレーションし、このようなシミュレーションをＮ通りの状態の各々について行う。そして、当該シミュレーションで得られた接触情報と、現状のパーティクルの集合ｐとから、情報エントロピーＨ（ｐ）の減少量の総和ｆ（ａ^１）を計算する。情報エントロピーＨ（ｐ）とは、パーティクルの集合ｐのバラツキ度合を示す量であり、情報エントロピーＨ（ｐ）が低いほど、パーティクルの集合ｐの分布がより絞られていること、すなわち、物体Ｔ３の状態の候補がより絞られていることを表わす。

【0067】

第２番目から第ｋ番目のシミュレータ１１３－２～１１３－ｋは、それぞれの軌道ａ_２～ａ_ｋについて、同様のシミュレーションを行って、各軌道ａ_２～ａ_ｋで接触を試みたときの情報エントロピーＨ（ｐ）の減少量の総和ｆ（ａ_２）～ｆ（ａ_ｋ）をそれぞれ求める。

【0068】

軌道評価及び選択部１１４は、シミュレータ１１３－１～１１３－ｋがそれぞれ計算した減少量の総和ｆ（ａ_１）～ｆ（ａ_ｋ）を比較して、最も大きい減少量が得られる軌道ａ_Ｚ（軌道ａ_１～ａ_ｋの何れか）を、物体Ｔ３の状態の候補をより絞ることのできる軌道として判別する。

【0069】

次式（１）、（３）は、シミュレータ１１３－１～１１３－ｋが計算する情報エントロピーＨ（ｐ）と、情報エントロピーＨ（ｐ）の減少量の総和ｆ（ａ_ｋ）との一例を示す。

【0070】

次式（１）において、ｐはパーティクルの集合であり、パーティクルの集合ｐの分布からＮ個のパーティクルｘ_１～ｘ_Ｎが抽出され、各パーティクルｘ_ｊの分布度数が重みｗ_ｊで表わされている。ｘ_ｉはステップＳ２７の前に抽出されたパーティクル、ｘ_ｊはステップＳ２７の後に抽出されたパーティクルを表わす。Ｐは、式（２）に示すように、パーティクルの分布を表わす確率分布である。

【0071】

【数1】

【0072】

次式（３）において、ｆ（ａ_ｋ）は、軌道ａ_ｋで接触を試みた場合の情報エントロピーＨ（ｐ）の減少量の総和を示す。Ｍは、計算を行う対象のパーティクルの総数を示し、ｇは計算対象のパーティクルの各々を表わす添え字である。シミュレーションでは、離散的な複数の接触情報の各々が或る確率で得られるというように接触情報を確率分布で表わす。Ｌは、当該表記を行った場合の複数の接触情報の総数を示し、ｈは当該離散的な複数の接触情報の各々を表わす添え字である。Ｈ_ａｋ（）は、軌道ａ_ｋに沿って移動した後のパーティクルの集合の情報エントロピーを示す。ｘ_ｖ ^ｇは、仮想的なセンサ値を取得するために真値と仮定したパーティクルを表わし、ｓ_ｋｇ ^ｈは、ｘ_ｖ ^ｇが真値と仮定したときに軌道ａ_ｋの動作により得られる接触情報を表わし、前述した学習情報から得られる。

【0073】

【数2】

【0074】

図６のステップＳ２４～Ｓ２８のループ処理において、上記のパーティクルフィルタ１１１、動作軌道生成部１１２、シミュレータ１１３－１～１１３－ｋ、軌道評価及び選択部１１４による処理が繰り返されることで、物体Ｔ３の状態の候補（パーティクルの集合の分布）が絞られていき、物体Ｔ３の状態、並びに、目標位置ｄ１が特定される。そして、上述したピッキングが実現される。

【0075】

以上、実施形態２のピッキング装置１によれば、制御部１０が、物体Ｔ３に対して複数回の接触動作を実行させ、接触動作で取得された接触情報に基づいて物体Ｔ３の状態を推定する。そして、当該状態の推定結果に基づいてロボットアーム２４がピッキング動作を行う。したがって、映像により物体Ｔ３の状態を認識しにくい環境においても、接触により物体Ｔ３の状態を特定し、指定のピッキングを行うことができる。映像により物体Ｔ３の状態を認識し難い環境としては、例えば物体Ｔ３が透明素材（エアークッション素材など）である場合や、暗闇の環境などがある。

【0076】

さらに、実施形態２のピッキング装置１によれば、接触情報は、接触子２２ａが物体Ｔ３に接触した際に生じる物体からの反力の情報（反力の有無、大きさ及び方向のうちの一つ又は複数）である。したがって、物体Ｔ３が撓む構成であっても、物体Ｔ３を大きく変形させることなく、適宜な接触情報を得ることができる。

【0077】

さらに、実施形態２においてピッキング装置１が状態を推定する物体Ｔ３は、不定形部分ｑ１を有し、接触情報に基づいて物体Ｔ３の状態（不定形部分ｑ１の状態を含む）、あるいは、不定形部分ｑ１に含まれる目標位置ｄ１を推定する。したがって、形状が一つに定まらない物体Ｔ３に対しても、所定のピッキング動作が可能となる。

【0078】

さらに、実施形態２のピッキング装置１によれば、接触情報と物体Ｔ３の状態とを対応づける学習情報１３ｄが予め与えられ、制御部１０は、接触情報と学習情報１３ｄとに基づいて不定形部分ｑ１を有する物体Ｔ３の状態又は目標位置を推定する。したがって、物体Ｔ３の不定形の度合が大きい場合でも、学習情報１３ｄにより、接触情報から物体Ｔ３の状態の候補を効率的に絞っていくことができる。

【0079】

さらに、実施形態２のピッキング装置１によれば、制御部１０は、仮に、複数の軌道ａ_１～ａ_ｋで動くことによって接触情報を得た場合をシミュレーションし、何れの軌道ａ_１～ａ_ｋを用いた場合に、物体Ｔ３の状態の候補をより絞ることのできるか判別し、判別された軌道ａ_Ｚで接触子２２ａを動かすことで接触情報を取得する。このような処理により、制御部１０は、効率的かつ速やかに物体Ｔ３の状態を特定することができる。

【0080】

そして、実施形態２のピッキング装置１によれば、不定形部分ｑ１として封の折り返し部、或いは、開口部を有するような封筒物を、対象の物体Ｔ３として、封筒物の特定位置のピッキング、あるいは、封筒物に収納された物体のピッキングを行うことができる。

【0081】

以上、本発明に係る実施形態２について説明した。しかし、本発明は、上記の実施形態２に限られるものではない。例えば、上記実施形態２では、複数の仮の軌道で接触子２２ａを動かした場合に、物体の状態の候補がより絞られる軌道を制御部１０が判別し、当該軌道で接触子２２ａを動かす例を示した。しかし、制御部１０は、接触子２２ａをランダムな方向、あるいは、所定の複数の方向に移動させて複数の接触情報を取得することで、物体の状態を推定してもよい。このような構成においても、多くの接触を行うことで、制御部１０は物体の状態を推定することができる。その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。

【符号の説明】

【0082】

１ ピッキング装置
１０ 制御部（情報処理装置）
１３ａ ピッキング処理プログラム
１３ｂ 物体の外面情報
２１ 撮影部
２２ 力覚センサ（接触情報取得手段）
２２ａ 接触子
２３ 駆動装置
２４ ロボットアーム（ピッキング手段）
Ｔ１、Ｔ２ 物体
Ｐ１、Ｐ２ リーチ動作で接触した点
Ｃ１、Ｃ２ なぞり動作の軌跡
ｔ２１ 第１面
ｔ２２ 第２面
ｔ２３ 第３面
１３ｃ ピッキング処理プログラム
１３ｄ 学習情報
Ｔ３ 物体
ｑ１ 不定形部分
ｄ１ 目標位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】