特開 2024-118901 生成装置、生成方法、及び生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024118901

(43)【公開日】2024-09-02

(54)【発明の名称】生成装置、生成方法、及び生成プログラム

(51)【国際特許分類】

   B25J 9/16 20060101AFI20240826BHJP

   B25J 13/08 20060101ALI20240826BHJP

【ＦＩ】

B25J9/16

B25J13/08 A

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023025473

(22)【出願日】2023-02-21

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和４年９月１９日 ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ａｂｓｔｒａｃｔ／ｄｏｃｕｍｅｎｔ／９８９４６７３／にて公開 令和４年１０月１４日 ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝Ｘｚｚ＿ｚｔ５ＢｇＡＥにて公開 令和４年１０月２１日 ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｏｍｒｏｎ－ｓｉｎｉｃｘ／ｕｎｃｅｒｔａｉｎｔｙ－ａｗａｒｅ－ｍａｎｉｐｕｌａｔｉｏｎ－ｐｌａｎｎｉｎｇにて公開 令和４年１０月２４日 ＩＲＯＳ２０２２（ｈｔｔｐｓ：／／ｅｖｅｎｔｓ．ｉｎｆｏｖａｙａ．ｃｏｍ／ｐｒｅｓｅｎｔａｔｉｏｎ？ｉｄ＝８４５９８）にて公開

(71)【出願人】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】フェリクス フォン ドリガルスキ

(72)【発明者】

【氏名】笠浦 一海

(72)【発明者】

【氏名】クリスティアン ベルトラン エルナンデス

(72)【発明者】

【氏名】▲濱▼屋 政志

(72)【発明者】

【氏名】田中 一敏

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS06

3C707BS10

3C707DS01

3C707ES03

3C707EW01

3C707KS03

3C707KS04

3C707KS30

3C707KT03

3C707KT06

3C707LT06

3C707LT12

3C707LT18

3C707LV08

3C707LV09

3C707LV14

(57)【要約】

【課題】多様な対象物の姿勢を精度良く位置決めすることができる生成装置、生成方法、及び生成プログラムを得る。
【解決手段】生成装置は、ロボットの把持部により対象物を把持する第１の動作、把持部により把持された対象物を支持面に置く第２の動作、及び把持部により対象物を押す第３の動作のうちの少なくとも１つの動作の２つ以上の組合せからなる動作列であって、対象物の位置決めを行うための動作列を生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ロボットの把持部により対象物を把持する第１の動作、前記把持部により把持された前記対象物を支持面に置く第２の動作、及び前記把持部により前記対象物を押す第３の動作のうちの少なくとも１つの動作の２つ以上の組合せからなる動作列であって、前記対象物の位置決めを行うための動作列を生成する生成部
を含む生成装置。

【請求項2】

前記動作列の候補に含まれる各動作を行ったと仮定した場合の各動作後の前記対象物の姿勢及び、その姿勢の不確実性を推定する推定部をさらに含み、
前記生成部は、各動作を順次行うたびに前記推定部により推定された姿勢の不確実性が減少する動作列を生成する
請求項１に記載の生成装置。

【請求項3】

前記推定部は、前記不確実性を表すスコアを算出し、
前記生成部は、異なる複数の動作列の候補の中から、最終的な前記スコアが最小となる動作列を選択することによって動作列を生成する
請求項２に記載の生成装置。

【請求項4】

前記第３の動作において、前記把持部が前記対象物に接触する２点以上の点を結ぶ線分又は面に対して、前記対象物の重心から引いた垂線が前記線分内又は前記面内に位置することを条件とする
請求項１から請求項３の何れか１項に記載の生成装置。

【請求項5】

前記生成部は、１つの動作列の中に同じ動作を含む場合、その同じ動作の間では動作条件を異ならせる
請求項１から請求項３の何れか１項に記載の生成装置。

【請求項6】

ロボットの把持部により対象物を把持する第１の動作、前記把持部により把持された前記対象物を支持面に置く第２の動作、及び前記把持部により前記対象物を押す第３の動作のうちの少なくとも１つの動作の２つ以上の組合せからなる動作列であって、前記対象物の位置決めを行うための動作列を生成する
ことを含む処理をコンピュータが実行する生成方法。

【請求項7】

コンピュータを、
ロボットの把持部により対象物を把持する第１の動作、前記把持部により把持された前記対象物を支持面に置く第２の動作、及び前記把持部により前記対象物を押す第３の動作のうちの少なくとも１つの動作の２つ以上の組合せからなる動作列であって、前記対象物の位置決めを行うための動作列を生成する生成部
として機能させるための生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、生成装置、生成方法、及び生成プログラムに関する。

【背景技術】

【0002】

従来、把持部を備えるロボットであって、把持部により対象物を把持し、対象物を組み立てる作業等を行うロボットに関する技術が提案されている。

【0003】

例えば、特許文献１には、作業対象物の複数の作業部位のうちの一部の作業部位に対して、センサにより得られた計測値に基づいて、エンドエフェクタを移動させることにより一部の作業部位に位置決めして作業させるロボット装置が開示されている。このロボット装置は、位置決めしたエンドエフェクタの位置姿勢を基準位置姿勢として設定する。また、このロボット装置は、複数の作業部位のうちの一部の作業部位以外の残部の作業部位に対して、基準位置姿勢から次の作業部位までのオフセット量を算出する。また、このロボット装置は、エンドエフェクタを基準位置姿勢からオフセット量だけずらした位置姿勢に移動させることにより残部の作業部位に位置決めして作業させる。

【0004】

また、特許文献２には、環境内で、物体を保持しているロボットの手を動かすステップと、所定の時点に、物体を保持しているロボットの手の中の姿勢を、先の相互作用情報に基づいて推定するステップとを含む方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１５－０００４５５号公報

【特許文献2】ＷＯ２０２１／０４８５９８Ａ１

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、ロボットによる組み立て作業において、ロボットが備える把持部により対象物の適切な箇所を把持し、精度良く作業を行うためには、対象物の姿勢を精度良く位置決めすることが求められる。

【0007】

しかしながら、特許文献１及び特許文献２に記載の技術では、対象物の形状が限定されてしまい、多様な対象物の姿勢を精度良く位置決めできない場合がある。

【0008】

本開示は、上記の点に鑑みてなされたものであり、多様な対象物の姿勢を精度良く位置決めすることができる生成装置、生成方法、及び生成プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本開示に係る生成装置は、ロボットの把持部により対象物を把持する第１の動作、前記把持部により把持された前記対象物を支持面に置く第２の動作、及び前記把持部により前記対象物を押す第３の動作のうちの少なくとも１つの動作の２つ以上の組合せからなる動作列であって、前記対象物の位置決めを行うための動作列を生成する生成部を含む。

【0010】

また、本開示に係る生成方法は、ロボットの把持部により対象物を把持する第１の動作、前記把持部により把持された前記対象物を支持面に置く第２の動作、及び前記把持部により前記対象物を押す第３の動作のうちの少なくとも１つの動作の２つ以上の組合せからなる動作列であって、前記対象物の位置決めを行うための動作列を生成することを含む処理をコンピュータが実行する。

【0011】

また、本開示に係る生成プログラムは、コンピュータを、ロボットの把持部により対象物を把持する第１の動作、前記把持部により把持された前記対象物を支持面に置く第２の動作、及び前記把持部により前記対象物を押す第３の動作のうちの少なくとも１つの動作の２つ以上の組合せからなる動作列であって、前記対象物の位置決めを行うための動作列を生成する生成部として機能させる。

【発明の効果】

【0012】

本開示によれば、多様な対象物の姿勢を精度良く位置決めすることができる。

【図面の簡単な説明】

【0013】

【図1】ロボットシステムの概略構成を示すブロック図である。

【図2】生成装置のハードウェア構成の一例を示すブロック図である。

【図3】生成装置の機能的な構成の一例を示すブロック図である。

【図4】把持部が対象物を押す動作の条件を説明するための図である。

【図5】把持部が対象物を把持する動作の条件を異ならせることを説明するための図である。

【図6】把持部が対象物を置く動作を説明するための図である。

【図7】把持部が対象物を把持する動作を説明するための図である。

【図8】把持部が対象物を押す動作を説明するための図である。

【図9】動作列生成処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、本開示の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法及び比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0015】

まず、図１を参照して、本実施形態に係るロボットシステム１の構成を説明する。図１に示すように、ロボットシステム１は、生成装置１０、制御装置５０、及びロボット５２を含む。生成装置１０及び制御装置５０の例としては、コンピュータが挙げられる。生成装置１０及び制御装置５０は、１台のコンピュータによって実現されてもよい。

【0016】

ロボット５２は、ロボットアーム５４及び把持部５６を含む。ロボットアーム５４は、リンクと、リンク間を接続すると共に、モータの駆動により回転又は直動伸縮するジョイントとを含んで構成される。ロボットアーム５４は、制御装置５０から出力された指令値にしたがってモータが駆動されて、ジョイントの回転角度又は伸縮状態が変更される。これにより、把持部５６が３次元空間において指定された位置、及び指定された姿勢となるように制御される。

【0017】

把持部５６は、ロボットアーム５４の先端に設けられ、支持面Ｐ上に置かれた対象物Ｏを把持可能なツールである。把持部５６は、２本の平板状の指を備え、２本の指によって対象物Ｏを把持可能である。また、把持部５６は、支持面Ｐ上において対象物Ｏを水平方向に押すことも可能である。なお、本実施形態では、把持部５６が２本の指を備える場合について説明するが、把持部５６が３本以上の指を備えてもよい。

【0018】

制御装置５０は、生成装置１０から入力された動作列に基づく指令値を生成し、かつロボット５２へ出力する。

【0019】

次に、図２を参照して、本実施形態に係る生成装置１０のハードウェア構成を説明する。図２に示すように、生成装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２、メモリ１４、記憶装置１６、入出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１８、及び入出力装置２０を含む。各構成は、バス２６を介して相互に通信可能に接続されている。

【0020】

記憶装置１６には、生成プログラム３０が格納されている。ＣＰＵ１２は、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、ＣＰＵ１２は、記憶装置１６からプログラムを読み出し、メモリ１４を作業領域としてプログラムを実行する。ＣＰＵ１２は、記憶装置１６に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。

【0021】

メモリ１４は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により構成され、作業領域として一時的にプログラム及びデータを記憶する。記憶装置１６は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0022】

入出力Ｉ／Ｆ１８は、制御装置５０と接続するためのインタフェースである。入出力装置２０は、例えば、キーボード及びマウス等の、各種の入力を行うための入力装置、ディスプレイ等の、各種の情報を出力するための出力装置である。出力装置として、タッチパネルディスプレイを採用することにより、入力装置として機能させてもよい。

【0023】

本実施形態では、ロボット５２が行う組み立て作業として、プレート等の対象物Ｏがトレイの支持面Ｐ上に置かれ、対象物Ｏを土台の上に、ねじ穴の位置が合うように固定する作業を例に説明する。なお、対象物Ｏの３次元データ、支持面Ｐの高さ、及び土台の位置は、既知であるものとする。

【0024】

このようなロボット５２が行う作業において、対象物Ｏを目標位置に精度良く固定するためには、その作業を行う前に、対象物Ｏの姿勢を精度良く推定することが好ましい。本実施形態に係る生成装置１０は、ロボット５２が作業を行う前に、対象物Ｏの位置決めを行うための動作列を生成する機能を有する。

【0025】

次に、図３を参照して、生成装置１０の機能的な構成について説明する。図３に示すように、生成装置１０は、生成部４０、推定部４２、及び出力部４４を含む。ＣＰＵ１２が生成プログラム３０を実行することにより、生成部４０、推定部４２、及び出力部４４として機能する。

【0026】

生成部４０は、第１の動作、第２の動作、及び第３の動作のうちの少なくとも１つの動作の２つ以上の組合せからなる動作列であって、対象物Ｏの位置決めを行うための動作列を生成する。また、生成部４０は、動作列の候補に含まれる各動作を順次行うたびに姿勢の不確実性が減少する動作列を生成する。

【0027】

第１の動作は、ロボット５２の把持部５６により対象物Ｏを把持する動作である、第２の動作は、把持部５６により把持された対象物Ｏを支持面Ｐに置く動作である。第３の動作は、把持部５６により対象物Ｏを押す動作である。以下では、第１の動作（すなわち、Ｇｒａｓｐ Ａｃｔｉｏｎ）をＧｒａｓｐ、第２の動作（すなわち、Ｐｌａｃｅ Ａｃｔｉｏｎ）をＰｌａｃｅ、第３の動作（すなわち、Ｐｕｓｈ Ａｃｔｉｏｎ）をＰｕｓｈと称することもある。

【0028】

具体的には、まず、生成部４０は、異なる複数の動作列の候補を生成する。本実施形態では、動作列の候補数を３０とし、１つの動作列に含まれる動作の数を３とした場合を例について説明する。動作列の候補数及び１つの動作列に含まれる動作の数は、この例に限定されず、要求される精度及び処理時間の許容値等に応じて設定されてもよい。

【0029】

Ｎを行動可能な動作列の候補数、ｄを１つの動作列に含まれる動作の数とした場合、生成部４０による探索空間の大きさはＯ（Ｎ＾ｄ）となり、十分に小さい値である。このため、生成部４０は、幅優先探索によって姿勢の不確実性が減少する動作列の候補を生成することができる。生成部４０は、各ステップにおいて、次の動作を選択する。選択された動作を行ったと仮定した場合の動作後の対象物Ｏの姿勢及び姿勢の不確実性は、後述する推定部４２により推定される。なお、本実施形態では、対象物Ｏの初期姿勢の推定値及び姿勢の不確実性は、視覚センサからの出力及びその視覚センサの精度に基づいて概算されるものとする。

【0030】

動作列には、３つの動作のうちの何れかの動作と、その動作の動作条件との組が含まれる。動作条件とは、例えば、Ｇｒａｓｐであれば、把持部５６が把持する対象物Ｏの位置等が相当し、Ｐｌａｃｅであれば、対象物Ｏを置く支持面Ｐ上の位置等が相当し、Ｐｕｓｈであれば、把持部５６が把持する対象物Ｏの位置等が相当する。

【0031】

本実施形態では、図４に示すように、Ｐｕｓｈにおいて、把持部５６が対象物Ｏに接触する２点以上の点を結ぶ線分又は面に対して、対象物Ｏの重心Ｇから引いた垂線が線分内又は面内に位置することを条件とする。これにより、把持部５６が対象物Ｏを押すことによって対象物Ｏが転がり、その結果として対象物Ｏの姿勢の不確実性が高まることを抑制することができる。

【0032】

また、生成部４０は、１つの動作列の中に同じ動作を含む場合、その同じ動作の間では動作条件を異ならせてもよい。一例として図５に示すように、対象物Ｏが側面視Ｌ字型のプレートであり、１つの動作列の中に２回のＧｒａｓｐを含む場合について説明する。図５の例では、灰色に塗りつぶされた矩形が把持部５６の指を表している。この場合、生成部４０は、１回目のＧｒａｓｐでは、把持部５６は指を水平にした状態で対象物Ｏを把持し、２回目のＧｒａｓｐでは、把持部５６は指を垂直にした状態で対象物Ｏを把持する。このように、把持部５６が把持する対象物Ｏの位置を異ならせることによって、姿勢の不確実性を減少させることができる。

【0033】

生成部４０は、生成した異なる複数の動作列の候補の中から、最終的な姿勢の不確実性を表すスコアが最小となる動作列を選択することによって動作列を生成する。

【0034】

推定部４２は、動作列の候補に含まれる各動作を行ったと仮定した場合の各動作後の対象物Ｏの姿勢及び、その姿勢の不確実性を推定する。本実施形態では、推定部４２は、姿勢の不確実性を表すスコアを算出する。以下、推定部４２の処理の詳細について説明する。

【0035】

本実施形態では、対象物Ｏの姿勢の確信度をモデル化するために、以下の参考文献１に記載されている手法を用いる。以下の（１）式に示すように、不確実性を伴う姿勢Ｔ∈ＳＯ（３）を、確率変数ξ∈Ｒ^６による小さな摂動を伴う平均姿勢Ｔ^―∈ＳＯ（３）として表現する。このＴ^―は、（１）式の右辺に示すように、Ｔの上に「－」があることを示している。
［参考文献１］T. D. Barfoot and P. T. Furgale, “Associating uncertainty with three-dimensional poses for use in estimation problems,” IEEE Trans. on Robotics, vol.30, no.3, pp.679-693, 2014.

【0036】

【数1】

【0037】

変数ξは、ゼロ平均ガウス分布Ｎ（０，Σ）（Σは共分散行列）に従うと仮定する。従って、摂動変数の平均姿勢Ｔ^―と共分散行列Σとを用いて姿勢の確信度が表現される。

【0038】

各動作が姿勢の確信度に与える影響は以下のように計算される。まず、（１）式により姿勢の粒子Ｔ_１、…、Ｔ_Ｎを生成する（Ｎは粒子数）。各動作後の姿勢Ｔ_１、…、Ｔ_Ｎは、後述する計算方法により推定される。最後に、サンプルＴ’_１、…、Ｔ’_Ｎに適合する分布として新しい姿勢の確信度（Ｔ^―’，Σ’）を推定する。Ｔ^―’を計算するために、以下の（２）式を、ニュートン法を使用して解く。

【0039】

【数2】

【0040】

より正確には、（２）式の解の現在の近似をＴ^―’ _ｓとし、ξ’_ｓ，ｉ＝ｌｎ（Ｔ’_ｉ（Ｔ^―’ _ｓ）^－１）^∨とする。そして、

を次の近似とし、ここで、η_ｓを以下の（３）式で表す。

【0041】

【数3】

【0042】

（３）式のＪ_ｓは写像のヤコビアン

であり、上記参考文献１の（３３）式及び（３４）式を用いて計算することができる。

【0043】

Ｔ^―’の計算後に、以下の（４）式に従って姿勢の不確実性を表すΣ’が計算される。

【0044】

【数4】

【0045】

次に、推定部４２による、各動作を行ったと仮定した場合の各動作後の対象物Ｏの姿勢の推定処理の詳細を説明する。ここでは、対象物Ｏは多面体であり、多面体の重心は既知であると仮定する。また、ここでは、対象物Ｏと把持部５６との間の摩擦、及び対象物Ｏと支持面Ｐとの間の摩擦は無視するものとする。

【0046】

対象物Ｏの重心を支持面Ｐ上に投影した点をＣとする。Ｐｌａｃｅにおいて、対象物Ｏと支持面Ｐとの摩擦を無視するため、支持ポリゴン内の点Ｃの位置は変化しない。従って、Ｐｌａｃｅにおいて、対象物Ｏの回転は、配置されたまま計算すればよい。

【0047】

一例として図６に示すように、支持面Ｐに置かれる対象物Ｏの回転は、次の４段階に分けられる。
（１）対象物Ｏのどの頂点も支持面Ｐ上にない場合、対象物Ｏは垂直に落下し、回転しない。
（２）対象物Ｏの１つの頂点のみが支持面Ｐ上にある場合、その頂点と点Ｃとを結ぶ線と直交する支持面Ｐ上の線を中心に対象物Ｏは回転する。
（３）対象物Ｏの２つの頂点が支持面Ｐ上にあり、点Ｃから２つの頂点を結ぶ線に垂直な線が存在する場合、対象物Ｏは２つの頂点を結ぶ線を中心に回転する。
（４）対象物Ｏの３つ以上の頂点が支持面Ｐ上にあり、点Ｃが支持面Ｐ上の対象物Ｏの頂点の凸包の内側にある場合、対象物Ｏは安定に配置される。それ以外の場合、配置動作は不安定とみなされる。

【0048】

推定部４２は、Ｐｌａｃｅを行ったと仮定した場合のＰｌａｃｅ後の対象物Ｏの姿勢の推定値を以下の（５）式～（１３）式に従って算出する。以下の表記を用いる。
ある点ｖのｘ、ｙ、ｚ座標をｖ_ｘ、ｖ_ｙ、ｖ_ｚとする。
２つの点ｖとｕとを結ぶ直線を

とする。
直線ｌの周りを角度θで回転させた変換をＴ_ｌ，θとする。
ｄ∈｛ｘ，ｙ，ｚ｝とし、ｄ座標が一定の直線ｌと２つの点ｖ、ｕに対して、Ｔ_ｌ，θ（ｖ）とＴ_ｌ，θ（ｕ）のｄ座標が同じになるような角度θをａｎｇ_ｄ，ｌ（ｖ，ｕ）とする。
対象物Ｏの頂点の初期座標の集合をｖ_０、ｖ_１、…、ｖ_ｎとする。
支持面Ｐのｚ座標をｚ_０とする。

【0049】

Ｐｌａｃｅによる変換は以下のように計算される。
１）

【0050】

【数5】

２）ｖ_ｉ０を含み、

に直交する支持面Ｐ上の直線をｌ_１とする。

【0051】

【数6】

【0052】

【数7】

【0053】

【数8】

【0054】

【数9】

【0055】

３）

とする。

【0056】

【数10】

【0057】

【数11】

【0058】

【数12】

【0059】

最終的に、以下の（１３）式によってＰｌａｃｅ後の座標が計算される。

【0060】

【数13】

【0061】

Ｇｒａｓｐにおいて、把持部５６の指は支持面Ｐに対して直交する２つの平行平面の一部であり、その法線方向に移動すると考える。ここで、ｘ軸は支持面Ｐ及び指の両方に平行であり、ｙ軸は指に直交し、ｚ軸は支持面Ｐから離れる方向であると考える。対象物Ｏの初期姿勢が安定姿勢に近く、重心が把持部５６の指からあまり離れていない場合、対象物Ｏのｘ軸に対する位置の変化は無視できるほど小さい。また、対象物Ｏのｙ軸の位置は、指によって固定され、ｚ軸の位置は支持面Ｐによって固定される。従って、Ｇｒａｓｐにおいては、把持部５６が把持中の対象物Ｏの回転のみを決めればよい。

【0062】

一例として図７に示すように、Ｇｒａｓｐにおける対象物Ｏの回転は、把持部５６の指の閉まり具合によって次の５段階に分けられる。
（１）いずれの指も対象物Ｏに触れていない場合、対象物Ｏは回転しない。
（２）対象物Ｏの１つの頂点がいずれかの指に触れている場合、又は２つの頂点がそれぞれ１つの指に触れている場合、対象物Ｏはｚ軸を中心に回転する。
（３）対象物Ｏの２つの頂点が一方の指に触れ、他方の指に対象物Ｏの頂点が触れていない場合、対象物Ｏは押されるのみであり、回転しない。
（４）対象物Ｏの２つの頂点が一方の指に触れ、対象物Ｏの１つの頂点が他方の指に触れている場合、同じ指に触れている２つの頂点を結ぶ線の周りを対象物Ｏは回転する。
（５）対象物Ｏの３つ以上の頂点が一方の指に触れ、対象物Ｏの少なくとも１つの頂点が他方の指に触れている場合、あるいは、それぞれの指に対象物Ｏの２つの頂点が触れている場合、一方の指に触れている頂点の凸包と他方の指に触れている頂点の凸包との交点が存在すれば、対象物Ｏは安定して把持されていると考えられる。そうでない場合は、対象物Ｏは不安定に把持されていると考えられる。
なお、第３段階は、必ずしも通過するとは限らない。また、第２段階、第３段階、及び第４段階において、同じｘ座標とｙ座標を有する頂点は１つの頂点とみなされる。

【0063】

推定部４２は、Ｇｒａｓｐを行ったと仮定した場合のＧｒａｓｐ後の対象物Ｏの姿勢の推定値を以下の（１４）式～（２３）式に従って算出する。
１）

【0064】

【数14】

【0065】

【数15】

【0066】

２）ｖ_ｉ０、ｖ_ｉ１を含むｚ軸に平行な直線をそれぞれｌ_０、ｌ_１とする。

【0067】

【数16】

【0068】

【数17】

【0069】

【数18】

【0070】

【数19】

【0071】

３）

とする。

【0072】

【数20】

【0073】

【数21】

【0074】

【数22】

【0075】

最終的に、以下の（２３）式によってＰｌａｃｅ後の座標が計算される。（２３）式におけるｇ_ｙは、把持部５６のｙ座標である。

【0076】

【数23】

【0077】

Ｐｕｓｈにおいて、Ｇｒａｓｐと同じ座標が用いられる。Ｐｕｓｈでは、対象物Ｏをｘ軸方向に押す。ＰｕｓｈにおいてもＧｒａｓｐの場合と同じ推論が適用可能なため、対象物Ｏの回転のみを計算すればよい。

【0078】

一例として図８に示すように、Ｐｕｓｈにおける対象物Ｏの回転は、次の３段階に分けられる。
（１）把持部５６の指が対象物Ｏに触れていない場合、対象物Ｏは回転しない。
（２）対象物Ｏの頂点が１つでも指に触れている場合、対象物Ｏはｚ軸の周りを回転する。
（３）対象物Ｏの２つの頂点が指に触れている場合、対象物Ｏは押されるのみであり、回転しない。
なお、同じｘ座標とｙ座標を有する頂点は１つの頂点とみなされる。

【0079】

推定部４２は、Ｐｕｓｈを行ったと仮定した場合のＰｕｓｈ後の対象物Ｏの姿勢の推定値を以下の（２４）式～（２８）式に従って算出する。
１）

【0080】

【数24】

【0081】

２）ｖ_ｉ０を含むｚ軸に平行な直線をｌ_１とする。

【0082】

【数25】

【0083】

【数26】

【0084】

【数27】

【0085】

最終的に、以下の（２８）式によってＰｕｓｈ後の座標が計算される。（２８）式におけるｇ_ｘは、把持部５６のｘ座標であり、ｗ_ｘは把持部５６の指の幅である。

【0086】

【数28】

【0087】

生成部４０が複数の動作列の候補の中から１つの動作列を選択するために、推定部４２は、姿勢の不確実性をスカラーとして定量化する。この定量化のために、（１）式の代替式として、以下の（２９）式が用いられる。

【0088】

【数29】

【0089】

ξ’の共分散行列をΣ’とする。ΣからΣ’への変換は、上記参考文献１の座標変換式である（２６）式により計算することができる。推定部４２は、以下の（３０）式に従って、姿勢の不確実性を表すスコアを算出する。（３０）式におけるｃ_ｉ，ｊは固定係数である。

【0090】

【数30】

【0091】

ΣからΣ’へ変換する理由は、Σ’が対象物Ｏ自身の座標系と関連するためである。Σ’の最初の３つの対角成分は、ｘ、ｙ、ｚにおける対象物Ｏの位置の不確実性に対応し、２番目の３つの対角成分は、対象物Ｏの姿勢の不確実性に対応する。Σ’の非対角成分は、それらの間の共分散に対応する。

【0092】

いくつかの対象物Ｏは、軸の周りに回転対称性を持ち、その周りの不確実性を排除することは難しい。このような場合、避けられない不確実性が無視され、残りを最小化するように、係数ｃ_ｉ，ｊが設定される。

【0093】

出力部４４は、生成部４０により選択された動作列を制御装置５０に対して出力する。制御装置５０は、生成装置１０から入力された動作列に基づく指令値を生成し、かつロボット５２へ出力する。ロボット５２は、制御装置５０から入力された指令値に従って駆動し、対象物Ｏの位置決めを行う。

【0094】

次に、図９を参照して、生成装置１０の作用を説明する。ＣＰＵ１２が生成プログラム３０を実行することによって、図９に示す動作列生成処理が実行される。図９に示す動作列生成処理は、例えば、ユーザにより実行開始の指示が入力された場合等に実行される。

【0095】

図９のステップＳ１０で、生成部４０は、前述したように、幅優先探索によって異なる複数の動作列の候補を生成する。推定部４２は、前述したように、この幅優先探索の各ステップにおいて、そのステップの動作を行ったと仮定した場合の動作後の対象物Ｏの姿勢及び姿勢の不確実性を推定する。

【0096】

ステップＳ１２で、生成部４０は、ステップＳ１０で生成された複数の動作列の候補の中から、最終的な姿勢の不確実性を表すスコアが最小となる動作列を選択することによって動作列を生成する。ステップＳ１４で、出力部４４は、ステップＳ１２で選択された動作列を制御装置５０に対して出力する。

【0097】

ステップＳ１４の処理が終了すると、動作列生成処理が終了する。ロボット５２は、ステップＳ１４で制御装置５０から入力された指令値に従って駆動し、対象物Ｏの位置決めを行う。

【0098】

以上説明したように、本実施形態によれば、Ｇｒａｓｐ、Ｐｌａｃｅ、及びＰｕｓｈという３つの動作によって対象物Ｏが位置決めされる。従って、多様な対象物Ｏの姿勢を精度良く位置決めすることができる。また、専用の治具を用いることなく、対象物Ｏの姿勢を精度良く位置決めすることができる。

【0099】

なお、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した動作列生成処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、動作列生成処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0100】

また、上記実施形態では、生成プログラム３０が記憶装置１６に予め記憶（インストール）されている態様を説明したが、これに限定されない。生成プログラム３０は、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体に記録された形態で提供されてもよい。また、生成プログラム３０は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0101】

以下に、本開示に関する付記項を記載する。

【0102】

（付記項１）
ロボットの把持部により対象物を把持する第１の動作、前記把持部により把持された前記対象物を支持面に置く第２の動作、及び前記把持部により前記対象物を押す第３の動作のうちの少なくとも１つの動作の２つ以上の組合せからなる動作列であって、前記対象物の位置決めを行うための動作列を生成する生成部
を含む生成装置。

【0103】

（付記項２）
前記動作列の候補に含まれる各動作を行ったと仮定した場合の各動作後の前記対象物の姿勢及び、その姿勢の不確実性を推定する推定部をさらに含み、
前記生成部は、各動作を順次行うたびに前記推定部により推定された姿勢の不確実性が減少する動作列を生成する
付記項１に記載の生成装置。

【0104】

（付記項３）
前記推定部は、前記不確実性を表すスコアを算出し、
前記生成部は、異なる複数の動作列の候補の中から、最終的な前記スコアが最小となる動作列を選択することによって動作列を生成する
付記項２に記載の生成装置。

【0105】

（付記項４）
前記第３の動作において、前記把持部が前記対象物に接触する２点以上の点を結ぶ線分又は面に対して、前記対象物の重心から引いた垂線が前記線分内又は前記面内に位置することを条件とする
付記項１から付記項３の何れか１項に記載の生成装置。

【0106】

（付記項５）
前記生成部は、１つの動作列の中に同じ動作を含む場合、その同じ動作の間では動作条件を異ならせる
付記項１から付記項４の何れか１項に記載の生成装置。

【0107】

（付記項６）
ロボットの把持部により対象物を把持する第１の動作、前記把持部により把持された前記対象物を支持面に置く第２の動作、及び前記把持部により前記対象物を押す第３の動作のうちの少なくとも１つの動作の２つ以上の組合せからなる動作列であって、前記対象物の位置決めを行うための動作列を生成する
ことを含む処理をコンピュータが実行する生成方法。

【0108】

（付記項７）
コンピュータを、
ロボットの把持部により対象物を把持する第１の動作、前記把持部により把持された前記対象物を支持面に置く第２の動作、及び前記把持部により前記対象物を押す第３の動作のうちの少なくとも１つの動作の２つ以上の組合せからなる動作列であって、前記対象物の位置決めを行うための動作列を生成する生成部
として機能させるための生成プログラム。

【符号の説明】

【0109】

１ ロボットシステム
１０ 生成装置
１２ ＣＰＵ
１４ メモリ
１６ 記憶装置
１８ 入出力Ｉ／Ｆ
２０ 入出力装置
２６ バス
３０ 生成プログラム
４０ 生成部
４２ 推定部
４４ 出力部
５０ 制御装置
５２ ロボット
５４ ロボットアーム
５６ 把持部
Ｏ 対象物
Ｐ 支持面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】