特開 2023-124202 情報処理装置、把持システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023124202

(43)【公開日】2023-09-06

(54)【発明の名称】情報処理装置、把持システム及びプログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20230830BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】27

【出願形態】ＯＬ

(21)【出願番号】P 2022027830

(22)【出願日】2022-02-25

(71)【出願人】

【識別番号】515130201

【氏名又は名称】株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】ウマデシング アヴィナシュ

(72)【発明者】

【氏名】高橋 城志

(72)【発明者】

【氏名】深谷 直樹

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS04

3C707ES03

3C707KT03

3C707KT06

3C707KT11

3C707LS20

3C707LV07

3C707LW12

3C707MT09

3C707NS26

(57)【要約】

【課題】把持におけるグリッパの適切な把持位置を得ること。
【解決手段】実施形態に係る情報処理装置は、１又は複数のメモリと、１又は複数のプロセッサとを有する。前記１又は複数のプロセッサは、物体が置かれている第１の領域の画像を取得し、前記画像において前記物体が占める第２の領域を特定し、所定形状の図形を、前記第２の領域にフィッティングし、前記第２の領域にフィットさせた前記所定形状の図形の前記画像における位置に基づいて、グリッパで前記第１の領域に置かれている前記物体を把持する際の当該グリッパの指部を挿入する接触領域を取得するように構成されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

１又は複数のメモリと、
１又は複数のプロセッサと、を有し、
前記１又は複数のプロセッサは、
物体が置かれている第１の領域の画像を取得し、
前記画像において前記物体が占める第２の領域を特定し、
所定形状の図形を、前記第２の領域にフィッティングし、
前記第２の領域にフィットさせた前記所定形状の図形の前記画像における位置に基づいて、グリッパで前記第１の領域に置かれている前記物体を把持する際の当該グリッパの指部を挿入する接触領域を取得する、
ように構成されている情報処理装置。

【請求項2】

前記１又は複数のプロセッサは、前記第２の領域に基づいて前記所定形状の図形の前記画像における位置、大きさ及び向きのうちの少なくとも１つを調整することで、前記所定形状の図形を前記物体の前記第２の領域にフィッティングするように構成されている、請求項１に記載の情報処理装置。

【請求項3】

前記１又は複数のプロセッサは、前記第２の領域にフィットさせた前記所定形状の図形の所定方向の大きさに基づいて、前記グリッパで前記物体を把持するための前記グリッパの開口幅を取得するように構成されている、請求項１又は請求項２に記載の情報処理装置。

【請求項4】

前記取得されるグリッパの開口幅は、前記第２の領域にフィットさせた前記所定形状の図形の所定方向の大きさよりも大きい、請求項３に記載の情報処理装置。

【請求項5】

前記１又は複数のプロセッサは、前記第２の領域にフィットさせた前記所定形状の図形の向きに基づいて、前記グリッパで前記物体を把持するための前記グリッパの向きを取得するように構成されている、請求項１から請求項４のうちの何れか１項に記載の情報処理装置。

【請求項6】

前記取得されるグリッパの向きは、前記取得された画像上の向きである、請求項５に記載の情報処理装置。

【請求項7】

前記所定形状は、楕円形状である、請求項１から請求項６のうちの何れか１項に記載の情報処理装置。

【請求項8】

前記１又は複数のプロセッサは、
前記物体の高さ及び前記物体の接触領域の高さを取得し、
前記物体の高さ及び前記接触領域の高さに少なくとも基づいて、前記物体を前記グリッパで把持するか否かを判定するように構成されている、
請求項１から請求項７のうちの何れか１項に記載の情報処理装置。

【請求項9】

前記１又は複数のプロセッサは、
前記第１の領域における各部の高さ情報を取得し、
前記第２の領域にフィットさせた前記所定形状の図形の内部に対応する前記高さ情報に基づいて、前記物体の高さを特定し、
前記第２の領域にフィットさせた前記所定形状の図形に隣接する部分に対応する前記高さ情報に基づいて、前記接触領域の高さを特定するように構成されている、
請求項８に記載の情報処理装置。

【請求項10】

前記１又は複数のプロセッサは、少なくとも、前記物体の高さが、前記接触領域の高さよりも高いことを条件として、前記物体を前記グリッパで把持すると判定するように構成されている、請求項８又は請求項９に記載の情報処理装置。

【請求項11】

前記１又は複数のプロセッサは、前記物体に隣接する複数の領域であって、当該複数の領域の図心が前記第２の領域にフィットさせた前記所定形状の図形の図心と前記取得された画像上で一致する領域に、前記接触領域を設定するように構成されている、請求項１から請求項１０のうちの何れか１項に記載の情報処理装置。

【請求項12】

前記１又は複数のプロセッサは、前記第２の領域にフィットさせた前記所定形状の図形に設定される所定軸における両端に、前記接触領域を設定するように構成されている、請求項１から請求項１０のうちの何れか１項に記載の情報処理装置。

【請求項13】

前記所定形状は、楕円形状であり、
前記所定軸における両端は、前記第２の領域にフィットさせた前記楕円形状の図形の短軸の両端である、
請求項１２に記載の情報処理装置。

【請求項14】

前記接触領域の大きさは、前記接触領域に挿入される前記グリッパの指部の大きさに対応する、請求項１から請求項１３のうちの何れか１項に記載の情報処理装置。

【請求項15】

前記第１の領域には、前記物体の他、前記物体とテクスチャが同種の１つ以上の物体が置かれ、
前記画像には、テクスチャが同種の複数の物体の画像が含まれる、
請求項１から請求項１４のうちの何れか１項に記載の情報処理装置。

【請求項16】

前記１又は複数のプロセッサは、
前記複数の物体のうちの第１の物体の前記接触領域の高さと、当該第１の物体に隣接する第２の物体の高さとを取得し、
少なくとも、前記第１の物体の前記接触領域の高さが、前記第２の物体の高さよりも高いことを条件として、前記第１の物体を前記グリッパで把持すると判定するように構成されている、
請求項１５に記載の情報処理装置。

【請求項17】

前記１又は複数のプロセッサは、前記グリッパの前記接触領域、開口幅及び向きに基づいて、前記物体を前記第１の領域から把持させるように当該グリッパを制御するための制御信号を出力するように構成されている、請求項１から請求項１６のうちの何れか１項に記載の情報処理装置。

【請求項18】

前記１又は複数のプロセッサは、訓練データを用いて訓練された機械学習モデルからの前記画像の入力に応じた出力に基づいて前記第２の領域を特定するように構成され、
前記機械学習モデルを訓練するための前記訓練データは、
前記グリッパで把持される前記物体に対応する複数の３ＤＣＧモデルを、３Ｄシミュレーション環境に置き、前記３Ｄシミュレーション環境に置かれた前記複数の３ＤＣＧモデルを撮影することで得られた画像と、
当該画像に対応する教師データとしての、当該画像に含まれる前記複数の３ＤＣＧモデルをそれぞれ区別するラベルと、を含む、
請求項１から請求項１７のうちの何れか１項に記載の情報処理装置。

【請求項19】

前記複数の３ＤＣＧモデルは、前記３Ｄシミュレーション環境に位置及び向きがランダムにあるいは規則的に置かれる、請求項１８に記載の情報処理装置。

【請求項20】

前記複数の３ＤＣＧモデルは、形状及び大きさの少なくとも１つが互いに異なる２つの３ＤＣＧモデルを含む、請求項１８又は請求項１９に記載の情報処理装置。

【請求項21】

前記複数の３ＤＣＧモデルは、第１の３ＤＣＧモデルと、当該第１の３ＤＣＧモデルから作成された第２の３ＤＣＧモデルとを含む、請求項１８から請求項２０のうちの何れか１項に記載の情報処理装置。

【請求項22】

請求項１から請求項２１のうちのいずれか１項に記載の情報処理装置と、
前記グリッパと、を有し、
前記１又は複数のプロセッサは、前記グリッパの前記接触領域、開口幅及び向きに基づいて前記グリッパを制御することにより、当該グリッパに前記物体を前記第１の領域から把持させるように構成されている、
把持システム。

【請求項23】

前記グリッパは、少なくとも一部が前記制御に応じて可動に構成された複数の指部を有し、
前記複数の指部のうち少なくとも１の指部は、所定方向に外力を受けることで当該所定方向に移動可能なように構成されている、
請求項２２に記載の把持システム。

【請求項24】

前記所定方向は、前記物体を把持するために前記グリッパが前記接触領域に挿入される方向と逆方向である、請求項２３に記載の把持システム。

【請求項25】

前記グリッパは、前記移動可能なように構成されている指部を、前記所定方向とは逆方向に付勢する付勢機構を有する、請求項２３又は請求項２４に記載の把持システム。

【請求項26】

前記複数の指部は、少なくとも一部が前記制御に応じて変位することに伴い開閉するように構成されている、請求項２３から請求項２５のうちの何れか１項に記載の把持システム。

【請求項27】

物体が置かれている第１の領域の画像を取得し、
前記画像において前記物体が占める第２の領域を特定し、
所定形状の図形を、前記第２の領域にフィッティングし、
前記第２の領域にフィットさせた前記所定形状の図形の前記画像における位置に基づいて、グリッパで前記第１の領域に置かれている前記物体を把持する際の当該グリッパの指部を挿入する接触領域を取得する、
ことをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施形態は、情報処理装置、把持システム及びプログラムに関する。

【背景技術】

【0002】

従来、弁当などの食品工場では、グリッパにより食品トレイに入った食品を１個１個、把持して弁当箱に詰めることが行われている。

【0003】

このように個数で量を管理する食品にはさまざまな種類があるが、例えば唐揚げや餃子など、食品の種類によっては形状が不定形であり、グリッパによる適切な把持位置を決定することは困難であった。また、例えば個々の食品の位置及び／又は姿勢がグリッパとの接触により変化するなど、変化前に決定された把持位置が適切ではなくなってしまう場合もあった。把持位置が適切ではない場合、グリッパが食品などの柔らかい把持対象物に損傷を与えるおそれがあった。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Domae, Y., Okuda, H., Taguchi, Y., Sumi, K., Hirai, T., "Fast Graspability Evaluation on Single Depth Maps for Bin Picking with General Grippers", IEEE International Conference on Robotics and Automation (ICRA), DOI: 10.1109/ICRA.2014.6907124, May 2014, pp. 1997-2004.

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示が解決しようとする課題は、把持におけるグリッパの適切な把持位置を得ることである。

【課題を解決するための手段】

【0006】

実施形態に係る情報処理装置は、１又は複数のメモリと、１又は複数のプロセッサとを有する。前記１又は複数のプロセッサは、物体が置かれている第１の領域の画像を取得し、前記画像において前記物体が占める第２の領域を特定し、所定形状の図形を、前記第２の領域にフィッティングし、前記第２の領域にフィットさせた前記所定形状の図形の前記画像における位置に基づいて、グリッパで前記第１の領域に置かれている前記物体を把持する際の当該グリッパの指部を挿入する接触領域を取得するように構成されている。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係る把持システムの構成の一例を示す模式図である。

【図2】図２は、実施形態に係る情報処理装置の一例としてのコントローラの構成を示すブロック図である。

【図3】図３は、実施形態に係るグリッパの構成の一例を示す図である。

【図4】図４は、実施形態に係るグリッパの外力に対する応答について説明するための図である。

【図5】図５は、実施形態に係る情報処理装置の一例としてのコントローラにおいて実行される、訓練処理の流れの一例を示すフローチャートである。

【図6】図６は、実施形態に係る情報処理装置の一例としてのコントローラにおいて実行される、把持処理の流れの一例を示すフローチャートである。

【図7】図７は、実施形態に係る把持処理における把持位置の取得について説明するための図である。

【図8】図８は、実施形態に係る把持処理におけるグリッパの動作について説明するための図である。

【図9】図９は、実施形態に係る各装置のハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら、情報処理装置、把持システム及びプログラムの実施形態について詳細に説明する。なお、以下に記載する実施形態の構成は、あくまで一例であって、以下の記載内容に限られるものではない。また、当該構成によってもたらされる作用及び効果も、あくまで一例であって、以下の記載内容に限られるものではない。

【0009】

なお、以下の説明において、既出の図に関して前述したものと同一又は略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表されている場合もある。また、既出の図に関して前述したものと同一又は略同一の機能を有する構成要素について、末尾にａ、ｂ又はｃを付して区別している場合もある。また、例えば図面の視認性を確保する観点から、各図面の説明において主要な構成要素だけに参照符号を付し、既出の図において前述したものと同一又は略同一の機能を有する構成要素であっても参照符号を付していない場合もある。また、同じ符号が付された複数の構成要素は、全ての機能及び性質が共通するとは限らず、各実施形態に応じた異なる機能及び性質を有していてもよい。

【0010】

図１は、実施形態に係る把持システム１の構成の一例を示す模式図である。把持システム１は、図１に示すように、コントローラ３、グリッパ５、ロボット６及びＲＧＢ－Ｄカメラ７を有する。

【0011】

実施形態に係る把持システム１は、コントローラ３の制御の下で、ロボット６に搭載されたグリッパ５により、所定領域２０１にバラ積みされた物体２０３を把持するシステムである。

【0012】

一例として、所定領域２０１は、食品トレイなどの物体２０３が収容される容器の領域、あるいは物体２０３が載置される領域として予め他の領域とは区別された床上の領域などの領域である。本実施形態では、所定領域２０１が食品トレイである場合を例示する。ここで、所定領域２０１は、物体２０３が置かれている第１の領域の一例である。なお、物体２０３が置かれている第１の領域は、予め区別された領域に限定されず、把持システム１によって把持される物体２０３が置かれている領域を指す。この第１の領域は、例えば、ＲＧＢ－Ｄカメラ７の撮像範囲に対応する領域である。あるいは、第１の領域は、当該撮像範囲の一部に対応する領域である。第１の領域は、ユーザにより指定されてもよいし、撮影画像に対する物体検出の結果に基づいてコントローラ３などにより特定されてもよい。

【0013】

一例として、物体２０３は、食品などの柔らかい物体であって、１つ１つの形状が異なる不定形の形状を有する。具体的には、所定領域２０１に収容された物体２０３のうちの任意の２の物体２０３は、互いに形状が異なる。なお、所定領域２０１に収容された物体２０３のうちの２の物体２０３が同一の形状を有していてもよい。また、物体２０３が柔らかいとは、物体２０３の形状が、物体２０３に加えられた外力に応じて変形し得ることを意味する。また、一例として、物体２０３は、例えば食品のように、表面が傷つきやすく、把持の際には注意が必要であるとする。物体２０３としては、例えば、唐揚げ、ブロッコリ、きのこ、ミートボール、芋、ソーセージ、餃子などの個数で量を管理する種々の食品が利用可能である。

【0014】

一例として、所定領域２０１には、同一種類の少なくとも１つの物体２０３が置かれているとする。なお、所定領域２０１は、複数種類の物体２０３が置かれていてもよい。複数種類の物体２０３とは、例えば複数種類の食品であり、その形状や大きさ、表面性状がそれぞれ異なる物体である。換言すれば、所定領域２０１には、例えばテクスチャが同種の１つ以上の物体２０３が置かれているとする。所定領域２０１に置かれる物体２０３は、同一種類の食品であるなど、例えばテクスチャは共通であるが、個々の形状や大きさにはバラつきがある。個々の物体２０３の形状や大きさが異なると、把持の際にグリッパ５から加えられる外力に対する転がり方などの移動の仕方、回転の仕方が異なるため、物体２０３の位置及び／又は姿勢の変化は、一様ではない。

【0015】

図２は、実施形態に係る情報処理装置の一例としてのコントローラ３の構成を示すブロック図である。コントローラ３は、例えば、グリッパ５の動作を制御する。コントローラ３は、例えば、Central Processing Unit（ＣＰＵ）等のプロセッサ３１と、Random Access Memory（ＲＡＭ）及びRead Only Memory（ＲＯＭ）等の主記憶装置と、Hard Disk Drive（ＨＤＤ）又はSolid State Drive（ＳＳＤ）等の補助記憶装置とを含むメモリ３３と有するコンピュータである。プロセッサ３１は、Field Programmable Gate Array（ＦＰＧＡ）又はApplication Specific Integrated Circuit（ＡＳＩＣ）等の専用のハードウェアとして構成されていてもよい。コントローラ３は、バッテリなどの電源を有していてもよいし、外部電源から電力の供給を受ける形態であってもよい。

【0016】

なお、本実施形態に係るコントローラ３は、例えばロボット６の外部に設けられた情報処理装置であるが、これに限らない。コントローラ３は、グリッパ５やロボット６の内部に設けられていてもよい。

【0017】

コントローラ３は、メモリ３３のＲＡＭにロードされた制御プログラム３３１がプロセッサ３１により実行されることにより、取得機能３１１、訓練機能３１２、特定機能３１３、フィッティング機能３１４、決定機能３１５、フィルタリング機能３１６及び制御機能３１７を実現する。

【0018】

取得機能３１１においてコントローラ３は、ＲＧＢ－Ｄカメラ７により物体２０３が置かれている所定領域２０１の画像及び高さ情報を取得する。また、コントローラ３は、メモリ３３から３ＤＣＧモデル３３５を取得する。

【0019】

訓練機能３１２においてコントローラ３は、３Ｄシミュレーション環境おいて条件を変えながら３ＤＣＧモデル３３５を複製して乱雑にあるいは整頓して配置することにより、訓練用の入力データを生成する。また、コントローラ３は、訓練用の入力データにおける各３ＤＣＧモデル３３５を区別するラベルを教師データとして生成する。また、コントローラ３は、訓練用の入力データ及び教師データを含む訓練用データを用いて、物体２０３を含む画像の入力に応じて、当該物体２０３の領域をセグメンテーションするように機械学習モデル３３３のパラメータを決定する機械学習モデル３３３の訓練を行う。換言すれば、学習済みの機械学習モデル３３３は、物体２０３を含む画像の入力に応じて、当該物体２０３の領域をセグメンテーションした結果を出力するようにパラメータが決定されたモデルである。機械学習モデル３３３としては、例えばＭａｓｋ－ＲＣＮＮモデルなどのニューラルネットワークが適宜利用可能である。

【0020】

特定機能３１３においてコントローラ３は、所定領域２０１の画像に対する機械学習モデル３３３を用いた物体検出により、所定領域２０１の画像における物体２０３の、物体の形状をした領域（第２の領域）を特定する。

【0021】

フィッティング機能３１４においてコントローラ３は、検出された各物体２０３のその形状の領域に対して、所定形状の図形２１７をフィッティングする。言い換えると、コントローラ３は、画像から検出された各物体２０３について、所定形状の図形２１７を、物体２０３のその画像における形状にフィッティングする。

【0022】

ここで、所定形状の図形２１７は、例えば楕円形状（図７参照）であるが、これに限らない。所定形状の図形２１７は、例えば把持対象の物体２０３の形状に応じて適宜選択されればよく、円形や長方形などの他の形状であっても構わない。例えば所定形状が長方形であれば、後述する楕円形状の図形の短軸の長さを長方形の短辺の長さと読み替えればよく、所定形状が円形であれば、後述する楕円形状の図形の短軸の長さを円形の直径と読み替えればよい。

【0023】

決定機能３１５においてコントローラ３は、検出された各物体２０３のその形状の領域に対してフィットさせた所定形状の図形２１７の位置に基づいて、接触領域２１９を設定する。具体的には、コントローラ３は、検出された各物体２０３のその形状の領域に対してフィットさせた所定形状の図形２１７に隣接する領域を接触領域２１９として設定する。以下、画像における物体２０３についての領域であって、その物体２０３の形状の領域を、単に物体２０３の領域と記載する場合もある。

【0024】

ここで、接触領域２１９は、所定領域２０１に置かれている物体２０３をグリッパ５で把持する際に、グリッパ５の指部５０３（把持部５０５）を挿入する領域である。

【0025】

一例として、接触領域２１９は、物体２０３、すなわち物体２０３の領域に対してフィットさせた所定形状の図形２１７に隣接する複数の領域であって、当該複数の領域の図心が所定形状の図形２１７の図心と所定領域２０１の画像上で一致する領域である。

【0026】

一例として、接触領域２１９は、グリッパ５が図３及び図４に例示するように、一対の指部５０３を有する場合、物体２０３の領域に対してフィットさせた所定形状の図形２１７の外側の領域である。接触領域２１９となるこの領域は、図形２１７に対して予め定められる軸（所定軸）の両端に隣接する領域である。この所定軸の両端は、図形２１７の外形線（輪郭）上に設定されるものであり、両端の位置は図形２１７の形状に応じて異なる。

【0027】

一例として、所定形状の図形２１７が楕円形状である場合、接触領域２１９を規定する所定軸は、楕円形状の短軸である。換言すれば、接触領域２１９は、所定形状の図形２１７が楕円形状である場合、当該楕円形状の図形２１７の短軸の両端の領域である。

【0028】

一例として、所定形状の図形２１７が円形状である場合、接触領域２１９を規定する所定軸は、円形状の直径である。換言すれば、接触領域２１９は、所定形状の図形２１７が円形状である場合、当該円形状の図形２１７の直径の両端の領域である。

【0029】

一例として、所定形状の図形２１７が長方形状である場合、接触領域２１９を規定する所定軸は、長方形の図心を通り、且つ、短辺に平行な線分である。換言すれば、接触領域２１９は、所定形状の図形２１７が長方形状である場合、当該長方形状の図形２１７の図心を通り、且つ、その短辺に平行な線分の両端の領域である。なお、所定形状の図形２１７が長方形状である場合、長方形状の図形２１７の内部を通る短辺に平行な線分を所定軸として設定してもよい。

【0030】

なお、接触領域２１９の大きさは、例えば、接触領域２１９に挿入されるグリッパ５の指部５０３の大きさに対応する。グリッパ５の指部５０３の大きさとは、例えば、把持部５０５の幅や厚さ、長さである。把持部５０５の長さは、グリッパ５の差し込み方向における把持部５０５の大きさである。把持部５０５の厚さとは、グリッパ５の差し込み方向に直交する方向であって、複数の指部５０３の開閉方向における把持部５０５の大きさである。把持部５０５の幅とは、グリッパ５の差し込み方向及び開閉方向に直交する方向における把持部５０５の大きさである。

【0031】

フィルタリング機能３１６においてコントローラ３は、ＲＧＢ－Ｄカメラ７により得られた深度情報に基づいて、把持する物体２０３の候補をフィルタリングし、ロボット６のグリッパ５による把持対象の物体２０３、すなわちグリッパ５の指部５０３（把持部５０５）を挿入する接触領域２１９を取得する。

【0032】

制御機能３１７においてコントローラ３は、図示しない駆動部によりロボット６のアームを駆動し、グリッパ５の全体を駆動する。また、コントローラ３は、駆動部５０１によりグリッパ５の複数の指部５０３、すなわちグリッパ５の一部を駆動する。コントローラ３は、ロボット６のアーム及びグリッパ５の少なくとも一方を駆動することにより、所定領域２０１の物体２０３をグリッパ５に把持させる。つまり、コントローラ３は、グリッパ５の少なくとも一部を駆動する。

【0033】

図３は、実施形態に係るグリッパ５の構成の一例を示す図である。グリッパ５は、図３に示すように、駆動部５０１、取付部５０２及び複数の指部５０３を有する。

【0034】

駆動部５０１は、グリッパ５の複数の指部５０３をコントローラ３の制御に従い駆動するアクチュエータを有する。一例として、アクチュエータは、固定プレート５０４に取り付けられる。アクチュエータは、例えばサーボモータである。なお、アクチュエータは、この例に限らず、ソレノイド、動力シリンダ及びリニアアクチュエータのような、他のアクチュエータであってもよい。

【0035】

グリッパ５は、取付部５０２によりロボット６のアームに装着される。取付部５０２は、例えば駆動部５０１の上部に設けられた図示しないネジ穴などにより構成されている。ここで、駆動部５０１の上部とは、図３の例において、駆動部５０１の指部５０３とは反対側、すなわち駆動部５０１の固定プレート５０４の側である。例えば、図１の例において、グリッパ５は、ロボット６に搭載されるエンドエフェクタである。なお、グリッパ５は、人間が装着可能な義手のような、人間を模したエンドエフェクタであってもよい。つまり、グリッパ５は、全体がコントローラ３の制御に応じて可動に構成されている。

【0036】

複数の指部５０３は、図３に示すように、駆動部５０１に接続されている。なお、図３は、複数の指部５０３として一対の指部５０３を例示するが、これに限らない。複数の指部５０３の数は、３以上の複数であっても構わない。

【0037】

複数の指部５０３は、少なくとも一部がコントローラ３の制御に応じて可動に構成されている。一例として、複数の指部５０３は、コントローラ３の制御の下で駆動部５０１により駆動され、閉じた状態の指部５０３ａと、開いた状態の指部５０３ｃとの間を遷移する。なお、閉じた状態の指部５０３ａと、開いた状態の指部５０３ｃとの間において移動される指部５０３は、複数の指部５０３のうちの少なくとも１つの指部５０３であってもよい。つまり、複数の指部５０３は、少なくとも一部がコントローラ３の制御に応じて変位することに伴い開閉するように構成されている。

【0038】

また、複数の指部５０３のうち少なくとも１の指部５０３は、所定方向５０６に外力を受けることで所定方向５０６に移動可能なように構成されている。一例として、複数の指部５０３は、例えば物体２０３との接触に伴い物体２０３から受ける外力に応じて移動され、例えば、外力を受けていない状態の指部５０３ａと、外力を受けて移動された状態の指部５０３ｂとの間を遷移する。

【0039】

なお、外力を受けていない、かつ、開いた状態の指部５０３ｃについても、外力を受けて移動された状態の指部５０３ｂと同様に、所定方向５０６に外力を受けて移動される。また、複数の指部５０３は、少なくとも一部がコントローラ３の制御に応じた開閉動作の途中であっても、所定方向５０６に外力を受けて移動可能である。

【0040】

図４は、実施形態に係るグリッパ５の外力に対する応答について説明するための図である。一例として、複数の指部５０３のうち少なくとも１の指部５０３は、図４に示すように、把持部５０５、接続部５０７、基部５０９及び付勢機構５１１を有する。

【0041】

複数の指部５０３のうち少なくとも１の指部５０３は、接続部５０７により駆動部５０１に取り付けられている。当該指部５０３において、基部５０９は、図４に示すように、接続部５０７に対して移動可能に構成されている。例えば、基部５０９は、把持部５０５に所定方向５０６の外力を受けたとき、所定方向５０６において接続部５０７に近づくように移動する。把持部５０５は、基部５０９に取り付けられており、物体２０３の接触領域２１９に挿入され、物体２０３を把持する部分である。

【0042】

また、複数の指部５０３のうち少なくとも１の指部５０３には、付勢機構５１１が設けられる。付勢機構５１１は、例えば、接続部５０７及び基部５０９に接続されている。付勢機構５１１は、外力を受けて基部５０９及び把持部５０５が移動する所定方向５０６とは逆方向に基部５０９を移動させるように付勢可能である。換言すれば、付勢機構５１１は物体２０３を把持するためにグリッパ５が接触領域２１９に挿入される方向に、基部５０９及び把持部５０５を付勢可能である。本実施形態において、付勢とは、いずれか一方に偏るような力を加えることを意味する。

【0043】

なお、付勢機構５１１は、図４に例示するように、例えば引きバネであるが、これに限らない。付勢機構５１１としては、引きバネ、押しバネ、巻きバネ又は他の形状のバネであってもよく、ゴムのような弾性体であってもよい。

【0044】

一例として、所定方向５０６とは、図３及び図４に例示するように、物体２０３を把持するためにグリッパ５が接触領域２１９に挿入される方向とは逆方向である。なお、複数の指部５０３のうち少なくとも１の指部５０３は、当該所定方向５０６とは異なる方向に外力を受けて移動されるように構成されていてもよい。一例として、複数の指部５０３のうち少なくとも１の指部５０３は、当該所定方向５０６に加えて、あるいは代えて、指部５０３の開閉方向と、所定方向５０６及び開閉方向に直交する水平方向との少なくとも一方に外力を受けて移動されるように構成されていてもよい。一例として、複数の指部５０３のうち少なくとも１の指部５０３は、所定方向５０６、開閉方向及び水平方向の少なくともいずれかに対して斜め方向に外力を受けて移動されるように構成されていてもよい。

【0045】

なお、所定方向５０６、開閉方向及び水平方向は、それぞれ把持対象の物体２０３の外周面に沿う方向の一例である。ここで、物体２０３の外周面に沿う方向とは、当該外周面上の任意の点における接線方向である。

【0046】

なお、複数の指部５０３のうち少なくとも１の指部５０３は、当該所定方向５０６とは異なる方向に外力を受けて移動されるように構成される場合、付勢機構５１１は、当該外力を受けて移動される方向の逆方向に基部５０９及び把持部５０５を付勢可能であればよい。

【0047】

なお、複数の指部５０３のそれぞれは、互いに異なる形状、構造及び機能を有していてもよい。

【0048】

なお、実施形態に係るロボット６は、例えば、図１に例示するように、支持台からアームが延びた産業用ロボットであるが、これに限らない。ロボット６は、人型の筐体を有する人間型ロボットであってもよい。

【0049】

以下、図面を参照して、本実施形態に係る把持システム１で実行される制御処理及びグリッパ５の動作の一例について説明する。

【0050】

図５は、実施形態に係る情報処理装置の一例としてのコントローラ３において実行される、訓練処理の流れの一例を示すフローチャートである。

【0051】

取得機能３１１においてコントローラ３は、メモリ３３に格納されている物体２０３に対応する３ＤＣＧモデル３３５を取得する（Ｓ１０１）。ここで、物体２０３に対応する３ＤＣＧモデル３３５とは、例えば、グリッパ５で把持される物体２０３の形状や大きさを模した３ＤＣＧモデルである。

【0052】

訓練機能３１２においてコントローラ３（シミュレータ３５）は、３Ｄシミュレーション環境おいて条件を変えながら３ＤＣＧモデル３３５を複製して乱雑にあるいは整頓して配置することにより、訓練用の入力データを生成する（Ｓ１０２）。

【0053】

具体的には、シミュレータ３５は、３Ｄシミュレーション環境に物体の３ＤＣＧモデル３３５を複数、配置する。３Ｄシミュレーション環境は、複数の３ＤＣＧモデルが配置されるトレイ（容器）の３ＤＣＧモデルを含んでもよい。一例として、シミュレータ３５は、位置及び向きをランダムに変えながら、複数の３ＤＣＧモデル３３５を３Ｄシミュレーション環境に配置する。換言すれば、３Ｄシミュレーション環境に配置される複数の３ＤＣＧモデル３３５は、位置及び向きのうち少なくとも位置が互いに異なる２つの３ＤＣＧモデルを含む。

【0054】

なお、位置及び向きをランダムに変えることなく、複数の３ＤＣＧモデルを整列配置してもよい。一例として、シミュレータ３５は、形状及び大きさが異なる３ＤＣＧモデル３３５それぞれを、複数個、３Ｄシミュレーション環境に配置してよい。例えば、シミュレータ３５は、フォトグラメトリなどの既存の３次元復元手法を用いて複数の実物体２０３それぞれの３ＤＣＧモデルを作成し、作成された各３ＤＣＧモデルを複数個、３Ｄシミュレーション環境に配置してよい。換言すれば、３Ｄシミュレーション環境に配置される複数の３ＤＣＧモデル３３５は、形状及び大きさの少なくとも１つが互いに異なる複数の３ＤＣＧモデルを含んでよい。なお、配置される３ＤＣＧモデルは同形状であってもよい。なお、シミュレータ３５は、各３ＤＣＧモデル３３５について、位置及び向きをランダムに変えながら、複数の３ＤＣＧモデル３３５を３Ｄシミュレーション環境に配置してもよい。なお、シミュレータ３５は、形状及び大きさの少なくとも１つをランダムに変えた複数の３ＤＣＧモデル３３５を３Ｄシミュレーション環境に配置してもよい。

【0055】

そして、訓練機能３１２においてコントローラ３（シミュレータ３５）は、３Ｄシミュレーション環境に配置された複数の３ＤＣＧモデル３３５を配置するごとに撮影することで、訓練用の入力データとしての複数の訓練用入力画像を得る。なお、シミュレータ３５は、１の配置に対して照明条件（光の強さ、方向、色、種類、光源の数など）を含むシミュレータ３５内の撮影条件や、その撮影方向、背景色や３ＤＣＧモデルやトレイなどを含むシミュレータ３５内で撮影される対象の色、の少なくとも１つをランダムに変えるドメインランダマイゼーションを施すことにより、１の配置に対して複数の訓練用入力画像を取得してもよい。

【0056】

また、訓練機能３１２においてコントローラ３（シミュレータ３５）は、訓練用入力画像（訓練用の入力データ）において３ＤＣＧモデル３３５それぞれを区別するラベルを、その訓練用入力画像に対応する教師データとして生成する（Ｓ１０３）。

【0057】

そして、訓練機能３１２においてコントローラ３は、訓練用入力画像と、当該訓練用入力画像において３ＤＣＧモデル３３５それぞれを区別するラベルとを含む訓練データを用いて、機械学習モデル３３３を訓練する（Ｓ１０４）。換言すれば、コントローラ３は、当該訓練データを用いて、物体２０３を含む画像の入力に応じて当該画像において物体２０３が占める領域（物体２０３の形状をした第２の領域）を出力するように機械学習モデル３３３のパラメータを決定する。コントローラ３は、決定されたパラメータをメモリ３３に格納する。

【0058】

なお、３ＤＣＧモデル３３５は、把持対象の物体２０３を模したモデルに限らず、把持対象の他の物体２０３に対応するモデルであってもよい。あるいは、３ＤＣＧモデル３３５は、複数種の物体２０３を模した、複数種の物体２０３に共通のモデルであってもよい。あるいは、３ＤＣＧモデル３３５は、複数種の物体２０３をそれぞれ模した、複数種の物体２０３に対応する複数のモデルであってもよい。

【0059】

図６は、実施形態に係る情報処理装置の一例としてのコントローラ３において実行される、把持処理の流れの一例を示すフローチャートである。図７は、実施形態に係る把持処理における把持位置の取得について説明するための図である。図８は、実施形態に係る把持処理におけるグリッパ５の動作について説明するための図である。

【0060】

ここでは、図７及び図８に例示するように、所定領域２０１に複数の物体２０３が置かれている状態で図６の流れが実行される場合を説明する。なお、所定領域２０１（第１の領域）に置かれている複数の物体２０３は、一例として、テクスチャが同種の２つ以上の物体であるとする。

【0061】

取得機能３１１においてコントローラ３は、図７に例示するように、ＲＧＢ－Ｄカメラ７により物体２０３が置かれている所定領域２０１の画像２１１及び高さ情報２１５ｂ（図７参照）を取得する（Ｓ２０１）。当該所定領域２０１の画像２１１には、テクスチャが同種の複数の物体２０３の画像が含まれる。

【0062】

特定機能３１３においてコントローラ３は、所定領域２０１の画像に対する物体検出により物体２０３の形状をした領域２１６（第２の領域）を特定する（Ｓ２０２）。以下、物体２０３の形状をした領域２１６を、単に物体２０３の領域２１６と記載する場合もある。

【0063】

具体的には、コントローラ３は、機械学習モデル３３３に所定領域２０１の画像２１１を入力する。機械学習モデル３３３は、図７に例示するように、シミュレータ３５により３ＤＣＧモデル３３５に基づいて生成された訓練用入力画像２１０を含む訓練用データを用いて訓練されている。そして、コントローラ３は、機械学習モデル３３３から出力されるインスタンスセグメンテーションの結果の画像２１３を取得することにより、所定領域２０１の画像２１１における物体２０３の領域２１６（第２の領域）を特定する。

【0064】

以下、説明の簡単のために、インスタンスセグメンテーションの結果の画像２１３のうちの一部の領域の画像２１５に注目する。もちろん、インスタンスセグメンテーションの結果の画像２１３のうちの画像２１５の他の領域の画像についても以下の説明と同様である。

【0065】

所定領域２０１の画像２１１における物体２０３の領域２１６が特定された後、図７に例示するように、検出された各物体２０３のその形状の領域２１６に基づいて、グリッパ５により物体２０３を把持するための把持位置の候補を検出する処理が行われる（Ｓ２０３～Ｓ２０４）。

【0066】

図７の画像２１５ａは、画像２１５ａに対する把持位置の候補の検出結果を示す画像を例示する。図７の画像２１８ａ，２１８ｂは、それぞれ画像２１３の任意の一部を例示する画像である。

【0067】

具体的には、フィッティング機能３１４においてコントローラ３は、図７の画像２１８ａに例示するように、検出された各物体２０３のその形状の領域２１６に対して所定形状の図形２１７をフィッティングする（Ｓ２０３）。一例として、コントローラ３は、検出された各物体２０３のその形状の領域２１６に基づいて所定形状の図形２１７の位置、大きさ及び向きのうちの少なくとも１つを調整することで、所定形状の図形２１７を各物体２０３の領域２１６にフィッティングする。

【0068】

また、決定機能３１５においてコントローラ３は、図７の画像２１８ｂに例示するように、各フィット図形２１７に対して、フィット図形２１７に隣接する領域を接触領域２１９として設定する（Ｓ２０４）。具体的には、コントローラ３は、フィット図形２１７の位置に基づいて、グリッパ５で所定領域２０１に置かれている物体２０３を把持する際の当該グリッパ５の指部５０３を挿入する接触領域２１９を設定する。

【0069】

フィルタリング機能３１６においてコントローラ３は、図７に例示するように、各フィット図形２１７の物体２０３に対して、グリッパ５によって把持する候補とするか否かを判定するフィルタリングを行う（Ｓ２０５）。

【0070】

図７の高さ情報２１５ｂは、インスタンスセグメンテーションの結果の画像２１３のうちの一部の領域の画像２１５に対応する高さ情報を例示する。当該判定は、例えば、物体２０３、すなわちフィット図形２１７の内部の領域に対応する高さ情報と、接触領域２１９に対応する高さ情報とに基づいて行われる。

【0071】

具体的には、コントローラ３は、ＲＧＢ－Ｄカメラ７により得られた所定領域２０１の各部の高さ情報２１５ｂにおける、各フィット図形２１７の内部に対応する高さ情報に基づいて物体２０３の高さを特定する。また、コントローラ３は、高さ情報２１５ｂにおける、各フィット図形２１７に隣接する部分に対応する高さ情報に基づいて接触領域２１９の高さを特定する。一例として、各高さは、対応する各領域における高さ情報の中央値である。なお、各高さとしては、中央値に限らず、対応する各領域における高さ情報の平均値など、他の統計値が使用されてもよい。コントローラ３は、物体２０３の高さが接触領域２１９の高さよりも高いことを条件として、物体２０３をグリッパ５で把持する候補とすると判定する。ここで、物体２０３の高さが接触領域２１９の高さよりも高いとは、例えば、物体２０３の高さが、接触領域２１９の高さよりグリッパ５の指部５０３の挿入量以上であることを言う。なお、各フィット図形２１７に隣接する部分として、判定対象の物体２０３に隣接する物体２０３が用いられても構わない。

【0072】

図７の画像２１５ｃは、インスタンスセグメンテーションの結果の画像２１３のうちの一部の領域の画像２１５に対応する、フィルタリングの結果を示す画像である。つまり、図７の画像２１５ｃに所定形状の図形２１７とともに示されている物体２０３は、画像２１５ａに含まれる複数の物体２０３のうちのグリッパ５によって把持する候補として抽出された１以上の物体２０３を例示する。

【0073】

その後、制御機能３１７においてコントローラ３は、把持する候補とされた１以上の物体２０３から、所定のルールにしたがって少なくとも１つの物体を選択する（Ｓ２０６）。一例として、コントローラ３は、把持する候補とされた１以上の物体２０３からランダムに物体２０３を選択する。一例として、コントローラ３は、把持する候補とされた１以上の物体２０３のうちの最も高さが高い、すなわち表面側の物体２０３を選択する。一例として、コントローラ３は、把持する候補とされた１以上の物体２０３のうちのインスタンスセグメンテーションの信頼度が最も高い物体２０３を選択する。

【0074】

また、コントローラ３は、図８の各状態Ａ１～Ａ５の遷移に例示するように、グリッパ５の位置、開口幅、向き及び把持開始時の高さ（把持高さ）を制御し、選択された物体２０３を所定領域２０１から把持する（Ｓ２０７）。

【0075】

具体的には、コントローラ３は、フィット図形２１７の位置、大きさ、向き及び対応する高さ情報に基づいて、グリッパ５の位置、開口幅、向き及び把持高さを制御する制御信号を生成し、当該制御信号をグリッパ５に出力する。

【0076】

一例として、コントローラ３は、所定形状の図形２１７の図心を、グリッパ５の位置として出力する。グリッパ５の位置とは、例えば、複数の指部５０３を接触領域２１９に差し込む把持動作時の水平方向におけるグリッパ５の開閉方向の中心位置である。水平方向とは、例えばグリッパ５の複数の指部５０３を接触領域２１９に差し込む方向に直交する方向である。例えば、所定形状の図形２１７が楕円形状である場合、グリッパ５の位置は、楕円形状の図形２１７の中心位置である。

【0077】

一例として、コントローラ３は、物体２０３の領域にフィットさせた所定形状の図形２１７の所定方向の大きさに基づいて、グリッパ５で物体２０３を把持するためのグリッパ５の開口幅を取得する。グリッパ５の開口幅は、例えば、図８の状態Ａ１に例示するように、所定形状の図形２１７の所定方向の大きさより大きい。ここで、所定方向の大きさとは、例えば、所定形状の図形２１７に対して設定される所定軸の長さであり、対応する接触領域２１９の間の距離に対応する。所定形状の図形２１７が楕円形状の図形の場合、所定の大きさは、短軸の長さである。例えば、コントローラ３は、所定形状の図形２１７の所定の大きさに、１．１倍などの所定の倍率を乗じた大きさを、グリッパ５の開口幅として取得する。例えば、コントローラ３は、所定形状の図形２１７の所定の大きさに所定のオフセット量を加えた大きさを、グリッパ５の開口幅として取得してもよい。

【0078】

一例として、コントローラ３は、物体２０３の領域にフィットさせた所定形状の図形２１７の向きに基づいて、グリッパ５で物体２０３を把持するためのグリッパ５の向きを取得する。ここで、取得されるグリッパ５の向きは、例えばグリッパ５の垂直軸まわりの回転角であり、また、所定領域２０１の画像２１１上の所定形状の図形２１７の向きである。ここで、グリッパ５の垂直軸は、把持動作においてグリッパ５が差し込まれる方向、あるいは上述の所定方向５０６に沿う軸である。例えば、取得されるグリッパ５の向きは、所定形状の図形２１７に対して接触領域２１９を規定する所定軸に、グリッパ５の開閉方向が沿う向きである。例えば、所定形状の図形２１７が楕円形状の図形であって、かつ、接触領域２１９が当該楕円形状の短軸の両端に設けられる場合、グリッパの向きは、画像２１１上において、その開閉方向が当該楕円形状の短軸に沿う向きである。

【0079】

一例として、コントローラ３は、物体２０３の領域にフィットさせた所定形状の図形２１７の高さに基づいて、グリッパ５で物体２０３を把持する把持高さを取得する。ここで、把持高さとは、例えば物体２０３を把持するために接触領域２１９に差し込んだ複数の指部５０３を閉じ始める際の、グリッパ５の把持部５０５の高さである。例えば、コントローラ３は、所定形状の図形２１７の高さに、所定の差し込み深さを加えた値を、把持高さとして取得する。所定の差し込み深さは、例えば、グリッパ５の形状及び大きさに基づいて予め定められた固定の値である。例えば、所定の差し込み深さは、グリッパ５の差し込み方向における、把持部５０５の先端から中央部分までの長さである。

【0080】

図８の各状態Ａ１～Ａ５の遷移は、グリッパ５の指部５０３が接触領域２１９に挿入されて、物体２０３を把持する流れを例示する。図８の各状態Ｂ１～Ｂ５の遷移は、グリッパ５の指部５０３との接触に伴い物体２０３が回転するなど、物体２０３の位置及び姿勢の少なくとも一方が変化した場合の把持の流れを例示する。上述したように、本実施形態に係るグリッパ５の複数の指部５０３のうちの少なくとも１の指部５０３は、外力を受けて所定方向５０６に移動可能に構成されている。このため、図８の状態Ｂ２及び状態Ｂ３に例示するように、物体２０３が接触領域２１９を決定した時点とは異なる位置又は姿勢であっても、物体２０３に接触した指部５０３が受動的に変位することで、状態Ｂ５に例示するように、物体２０３を適切に把持することができる。また、物体２０３に接触して変位した指部５０３は、所定方向５０６とは反対側に付勢されていることから、把持部５０５を物体２０３に潜り込ませて物体２０３を適切に把持することができる。

【0081】

このように、本実施形態に係るコントローラ３は、物体２０３が置かれている所定領域２０１の画像を取得し、画像において物体２０３が占める領域（物体２０３の形状の領域２１６）を特定し、所定形状の図形２１７を物体２０３の領域２１６にフィッティングし、物体２０３の領域２１６にフィットさせた所定形状の図形２１７の画像２１１における位置に基づいて、所定領域２０１に置かれている物体２０３をグリッパ５で把持する際の当該グリッパ５の指部５０３を挿入する接触領域２１９を取得するように構成されている。

【0082】

これにより、例えば形状や大きさに個体差のある食品などの物体２０３がバラ積みされている状況において、グリッパ５による適切な把持位置を簡便に得ることができる。

【0083】

一例として、コントローラ３は、物体２０３の領域２１６に基づいて所定形状の図形２１７の画像２１１における位置、大きさ及び向きのうちの少なくとも１つを調整することで、所定形状の図形２１７を物体２０３の領域２１６にフィッティングする。

【0084】

一例として、コントローラ３は、物体２０３の領域２１６にフィットさせた所定形状の図形２１７の所定方向の大きさに基づいて、グリッパ５の開口幅を取得する。

【0085】

一例として、当該取得されるグリッパ５の開口幅は、物体２０３の領域２１６にフィットさせた所定形状の図形２１７の所定方向の大きさよりも大きい。

【0086】

一例として、コントローラ３は、物体２０３の領域２１６にフィットさせた所定形状の図形２１７の向きに基づいて、グリッパ５の向きを取得する。

【0087】

一例として、当該取得されるグリッパ５の向きは、物体２０３が置かれている所定領域２０１の画像上の向きである。

【0088】

一例として、所定形状の図形２１７は、楕円形状の図形である。これにより、物体２０３の領域２１６に基づいてグリッパ５による適切な把持位置を簡便に得ることができる。例えば、食品トレイ（所定領域２０１）に複数の唐揚げ（複数の物体２０３）が詰めこまれた状況では、それら複数の唐揚げの画像がインスタンスセグメンテーションの対象となる。このような場合、楕円形状の図形を用いることにより、セグメンテーションの結果として得られる個々の唐揚げの形状の細かな違いに対して、ロバストな把持点（接触領域２１９）の設定が可能となる。

【0089】

一例として、コントローラ３は、物体２０３の高さ及び物体２０３の接触領域２１９の高さを取得し、物体２０３の高さ及び物体２０３の接触領域２１９の高さに少なくとも基づいて、物体２０３をグリッパ５で把持するか否かを判定する。

【0090】

一例として、コントローラ３は、物体２０３が置かれている所定領域２０１における各部の高さ情報を取得し、物体２０３の領域にフィットさせた所定形状の図形２１７の内部に対応する高さ情報に基づいて、物体２０３の高さを特定し、当該所定形状の図形２１７の図形に隣接する部分に対応する高さ情報に基づいて、接触領域２１９の高さを特定する。

【0091】

一例として、コントローラ３は、少なくとも、物体２０３の高さが、接触領域２１９の高さよりも高いことを条件として、物体２０３をグリッパ５で把持すると判定する。

【0092】

一例として、コントローラ３は、物体２０３に隣接する複数の領域であって、当該複数の領域の図心が物体２０３の領域２１６にフィットさせた所定形状の図形２１７の図心と、物体２０３が置かれている所定領域２０１の画像上で一致する領域に、接触領域２１９を設定する。

【0093】

一例として、コントローラ３は、物体２０３の領域２１６にフィットさせた所定形状の図形２１７の所定軸の両端に、接触領域２１９を設定する。

【0094】

一例として、所定形状の図形２１７が楕円形状の図形である場合、所定軸の両端は、物体２０３の領域２１６にフィットさせた楕円形状の図形の短軸の両端である。

【0095】

一例として、接触領域２１９の大きさは、接触領域２１９に挿入されるグリッパ５の指部５０３の把持部５０５の大きさに対応する。

【0096】

一例として、物体２０３が置かれている所定領域２０１には、テクスチャが同種の１つ以上の物体２０３が置かれている。また、物体２０３が置かれている所定領域２０１の画像には、テクスチャが同種の複数の物体２０３の画像が含まれる。

【0097】

一例として、コントローラ３は、判定対象の物体２０３の接触領域２１９の高さ及び当該物体２０３に隣接する他の物体２０３の高さを取得し、判定対象の物体２０３の接触領域２１９の高さが、隣接する他の物体２０３の高さよりも高いことを条件として、判定対象の物体２０３をグリッパ５で把持すると判定する。

【0098】

これにより、グリッパ５が物体２０３に接触したり、接触により物体２０３に損傷を与えたりすることを抑制することができる。

【0099】

一例として、コントローラ３は、訓練データを用いて訓練された機械学習モデル３３３からの、画像の入力に応じた出力に基づいて物体２０３の領域を特定するように構成されている。また、機械学習モデル３３３を訓練するための訓練データは、グリッパ５で把持される物体２０３に対応する複数の３ＤＣＧモデル３３５を、３Ｄシミュレーション環境に置き、３Ｄシミュレーション環境に置かれた複数の３ＤＣＧモデル３３５を撮影することで得られた画像と、当該画像に対応する教師データとしての、当該画像に含まれる複数の３ＤＣＧモデル３３５をそれぞれ区別するラベルと、を含む。

【0100】

一例として、複数の３ＤＣＧモデル３３５は、３Ｄシミュレーション環境に位置及び向きがランダムにあるいは規則的に置かれる。すなわち、複数の３ＤＣＧモデル３３５は、乱雑にあるいは整頓して配置される。

【0101】

一例として、複数の３ＤＣＧモデル３３５は、形状及び大きさの少なくとも１つが互いに異なる２つの３ＤＣＧモデルを含む。

【0102】

一例として、複数の３ＤＣＧモデル３３５は、第１の３ＤＣＧモデルと、当該第１の３ＤＣＧモデルから作成された第２の３ＤＣＧモデルとを含む。

【0103】

条件を変えながら３Ｄシミュレーション環境に３ＤＣＧモデル３３５を配置することにより、個体差の大きい食品などの物体２０３に関して、少なくとも１の３ＤＣＧモデル３３５を予め用意するだけで、モデルを用いたインスタンスセグメンテーションを実現することができる。また、複数の訓練用入力画像のそれぞれについて手作業でアノテーションする必要がなくなるため、アノテーションに要する手間やコスト、アノテーションのミスを低減し、教師データとしてのラベルの精度を向上することができる。また、実際の食品を用いる場合とは異なり、食品の再配置に伴う食品の損傷や乾燥などの経時変化により食品の形状や大きさが変わってしまうことなく、訓練用データを生成することができるため、訓練用データの精度を向上することができる。

【0104】

一例として、把持システム１は、コントローラ３及びグリッパ５を含む。また、コントローラ３は、グリッパ５の接触領域２１９、開口幅及び向きに基づいて、物体２０３を所定領域２０１から把持させるように当該グリッパ５を制御するための制御信号を出力する。

【0105】

一例として、グリッパ５は、少なくとも一部がコントローラ３の制御に応じて可動に構成された複数の指部５０３を有する。また、複数の指部５０３のうち少なくとも１の指部５０３は、所定方向５０６に外力を受けることで当該所定方向５０６に移動可能なように構成されている。

【0106】

一例として、所定方向５０６は、物体２０３を把持するためにグリッパ５が接触領域２１９に挿入される方向と逆方向である。

【0107】

一例として、グリッパ５は、外力を受けて所定方向５０６に移動可能な指部５０３を、所定方向５０６とは逆方向に付勢する付勢機構５１１を有する。

【0108】

一例として、複数の指部５０３は、少なくとも一部がコントローラ３の制御に応じて変位することに伴い開閉するように構成されている。

【0109】

これにより、例えば柔らかい食品などの物体２０３の位置及び／又は姿勢がグリッパ５との接触により変化するなど、把持位置の決定後に物体２０３の位置又は姿勢が変化した場合であっても、物体２０３に接触した指部５０３が受動的に変位することで、グリッパ５が物体２０３に損傷を与えることを抑制しつつ、物体２０３を適切に把持することができる。また、物体２０３に接触して変位した指部５０３は、所定方向５０６とは反対側に付勢されていることから、把持部５０５を物体２０３に潜り込ませて物体２０３を適切に把持することができる。

【0110】

なお、実施形態に係る技術的思想を方法で実現する場合、制御方法は、図１－８に例示するように、把持システム１に関して、１又は複数台のコンピュータに、物体２０３が置かれている所定領域２０１（第１の領域）の画像を取得し、当該画像において物体２０３が占める領域（第２の領域）を特定し、所定形状の図形２１７を、物体２０３の領域にフィッティングし、物体２０３の領域にフィットさせた所定形状の図形２１７の位置に基づいて、グリッパ５で所定領域２０１に置かれている物体２０３を把持する際の当該グリッパ５の指部５０３（把持部５０５）を挿入する接触領域２１９を取得することを実現させる。制御プログラムにより実現される処理手順、処理内容及び効果等は、上述の実施形態と同様なため、説明は省略する。

【0111】

前述した実施形態におけるコントローラ３の一部又は全部は、ハードウェアで構成されていてもよいし、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等が実行するソフトウェア（プログラム）の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、前述した実施形態におけるコントローラ３の少なくとも一部の機能を実現するソフトウェアを、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリ等の非一時的な記憶媒体（非一時的なコンピュータ可読媒体）に収納し、コンピュータに読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワークを介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアがＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の回路に実装されることにより、情報処理がハードウェアにより実行されてもよい。

【0112】

ソフトウェアを収納する記憶媒体は、磁気ディスク、光ディスク等の着脱可能なものでもよいし、ハードディスク、メモリ等の固定型の記憶媒体であってもよい。また、記憶媒体は、コンピュータ内部に備えられてもよいし（主記憶装置、補助記憶装置等）、コンピュータ外部に備えられてもよい。

【0113】

図９は、実施形態に係る各装置のハードウェア構成の一例を示すブロック図である。把持システム１において、コントローラ３は、一例として、コンピュータ８１として実現されてもよい。コンピュータ８１は、例えば図９に示すように、プロセッサ８１１と、主記憶装置８１２（メモリ）と、補助記憶装置８１３（メモリ）と、ネットワークインタフェース８１４と、デバイスインタフェース８１５とを有する。コンピュータ８１において、プロセッサ８１１と、主記憶装置８１２（メモリ）と、補助記憶装置８１３（メモリ）と、ネットワークインタフェース８１４と、デバイスインタフェース８１５とは、バス８１６を介して接続されている。

【0114】

図９のコンピュータ８１は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、図９では、１台のコンピュータ８１が示されているが、ソフトウェアが複数台のコンピュータにインストールされて、当該複数台のコンピュータそれぞれがソフトウェアの同一の又は異なる一部の処理を実行してもよい。この場合、コンピュータそれぞれがネットワークインタフェース８１４等を介して通信して処理を実行する分散コンピューティングの形態であってもよい。つまり、前述した実施形態におけるコントローラ３は、１又は複数の記憶装置に記憶された命令を１台又は複数台のコンピュータが実行することで機能を実現するシステムとして構成されてもよい。また、端末から送信された情報をクラウド上に設けられた１台又は複数台のコンピュータで処理し、この処理結果を端末に送信するような構成であってもよい。

【0115】

前述した実施形態におけるコントローラ３の各種演算は、１又は複数のプロセッサを用いて、又はネットワークを介した複数台のコンピュータを用いて、並列処理で実行されてもよい。また、各種演算が、プロセッサ内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部又は全部は、ネットワークを介してコンピュータ８１と通信可能なクラウド上に設けられたプロセッサ及び記憶装置の少なくとも一方により実行されてもよい。このように、前述した実施形態における各装置は、１台又は複数台のコンピュータによる並列コンピューティングの形態であってもよい。

【0116】

プロセッサ８１１は、コンピュータの制御装置及び演算装置を含む電子回路（処理回路、Processing circuit、Processing circuitry、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣ等）であってもよい。また、プロセッサ８１１は、専用の処理回路又は汎用プロセッサと専用の処理回路との両方を含む半導体装置のいずれであってもよい。プロセッサ８１１は、電子論理素子を用いた電子回路に限定されるものではなく、光論理素子を用いた光回路により実現されてもよい。また、プロセッサ８１１は、量子コンピューティングに基づく演算機能を含むものであってもよい。

【0117】

プロセッサ８１１は、コンピュータ８１の内部構成の各装置等から入力されたデータやソフトウェア（プログラム）に基づいて演算処理を行い、演算結果や制御信号を各装置等に出力することができる。プロセッサ８１１は、コンピュータ８１のＯＳ（Operating System）や、アプリケーション等を実行することにより、コンピュータ８１を構成する各構成要素を制御してもよい。

【0118】

前述した実施形態におけるコントローラ３は、１又は複数のプロセッサ８１１により実現されてもよい。ここで、プロセッサ８１１は、１チップ上に配置された１又は複数の電子回路を指してもよいし、２つ以上のチップあるいは２つ以上のデバイス上に配置された１又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。

【0119】

主記憶装置８１２は、プロセッサ８１１が実行する命令及び各種データ等を記憶する記憶装置であり、主記憶装置８１２に記憶された情報がプロセッサ８１１により読み出される。補助記憶装置８１３は、主記憶装置８１２以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ、不揮発性メモリのいずれでもよい。前述した実施形態におけるコントローラ３において各種データを保存するための記憶装置は、主記憶装置８１２又は補助記憶装置８１３により実現されてもよく、プロセッサ８１１に内蔵される内蔵メモリにより実現されてもよい。

【0120】

記憶装置（メモリ）１つに対して、複数のプロセッサが接続（結合）されてもよいし、単数のプロセッサが接続されてもよい。プロセッサ１つに対して、複数の記憶装置（メモリ）が接続（結合）されてもよい。前述した実施形態におけるコントローラ３が、少なくとも１つの記憶装置（メモリ）とこの少なくとも１つの記憶装置（メモリ）に接続（結合）される複数のプロセッサで構成される場合、複数のプロセッサのうち少なくとも１つのプロセッサが、少なくとも１つの記憶装置（メモリ）に接続（結合）される構成を含んでもよい。また、複数台のコンピュータに含まれる記憶装置（メモリ）とプロセッサによって、この構成が実現されてもよい。さらに、記憶装置（メモリ）がプロセッサと一体になっている構成（例えば、Ｌ１キャッシュ、Ｌ２キャッシュを含むキャッシュメモリ）を含んでもよい。

【0121】

ネットワークインタフェース８１４は、無線又は有線により、通信ネットワーク８２に接続するためのインタフェースである。ネットワークインタフェース８１４は、既存の通信規格に適合したもの等、適切なインタフェースを用いればよい。ネットワークインタフェース８１４により、通信ネットワーク８２を介して接続された外部装置８３ａと情報のやり取りが行われてもよい。なお、通信ネットワーク８２は、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、ＰＡＮ（Personal Area Network）等の何れか又はそれらの組み合わせであってよく、コンピュータ８１と外部装置８３ａとの間で情報のやり取りが行われるものであればよい。ＷＡＮの一例としてインターネット等があり、ＬＡＮの一例としてＩＥＥＥ８０２．１１やイーサネット（登録商標）等があり、ＰＡＮの一例としてＢｌｕｅｔｏｏｔｈ（登録商標）やＮＦＣ（Near Field Communication）等がある。

【0122】

デバイスインタフェース８１５は、外部装置８３ｂと直接接続するＵＳＢ等のインタフェースである。

【0123】

外部装置８３ａはコンピュータ８１とネットワークを介して接続されている装置である。外部装置８３ｂはコンピュータ８１と直接接続されている装置である。

【0124】

外部装置８３ａ又は外部装置８３ｂは、一例として、入力装置であってもよい。入力装置は、例えば、カメラ、マイクロフォン、モーションキャプチャ、各種センサ、キーボード、マウス、タッチパネル等のデバイスであり、取得した情報をコンピュータ８１に与える。また、パーソナルコンピュータ、タブレット端末、スマートフォン等の入力部とメモリとプロセッサを備えるデバイスであってもよい。

【0125】

例えば、外部装置８３ａ又は外部装置８３ｂは、前述した実施形態におけるＲＧＢ－Ｄカメラ７であってもよい。

【0126】

また、外部装置８３ａ又は外部装置８３ｂは、一例として、出力装置でもよい。出力装置は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、ＰＤＰ（Plasma Display Panel）、又は有機ＥＬ（Electro Luminescence）パネル等の表示装置であってもよいし、音声等を出力するスピーカ等であってもよい。また、パーソナルコンピュータ、タブレット端末又はスマートフォン等の出力部とメモリとプロセッサを備えるデバイスであってもよい。

【0127】

また、外部装置８３ａ又は外部装置８３ｂは、記憶装置（メモリ）であってもよい。例えば、外部装置８３ａはネットワークストレージ等であってもよく、外部装置８３ｂはＨＤＤ等のストレージであってもよい。

【0128】

また、外部装置８３ａ又は外部装置８３ｂは、前述した実施形態における各装置（コントローラ３又は把持システム１を搭載するロボット６）の構成要素の一部の機能を有する装置でもよい。つまり、コンピュータ８１は、外部装置８３ａ又は外部装置８３ｂの処理結果の一部又は全部を送信又は受信してもよい。

【0129】

本明細書（請求項を含む）において、「a、b及びcの少なくとも1つ（一方）」又は「a、b又はcの少なくとも1つ（一方）」の表現（同様な表現を含む）が用いられる場合は、a、b、c、a-b、a-c、b-c又はa-b-cのいずれかを含む。また、a-a、a-b-b、a-a-b-b-c-c等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、a-b-c-dのようにdを有する等、列挙された要素（a、b及びc）以外の他の要素を加えることも含む。

【0130】

本明細書（請求項を含む）において、「データを入力として／データに基づいて／に従って／に応じて」等の表現（同様な表現を含む）が用いられる場合は、特に断りがない場合、各種データそのものを入力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を入力として用いる場合を含む。また「データに基づいて／に従って／に応じて」何らかの結果が得られる旨が記載されている場合、当該データのみに基づいて当該結果が得られる場合を含むとともに、当該データ以外の他のデータ、要因、条件及び／又は状態にも影響を受けて当該結果が得られる場合をも含み得る。また、「データを出力する」旨が記載されている場合、特に断りがない場合、各種データそのものを出力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を出力とする場合も含む。

【0131】

本明細書（請求項を含む）において、「接続される（connected）」及び「結合される（coupled）」との用語が用いられる場合は、直接的な接続／結合、間接的な接続／結合、電気的（electrically）な接続／結合、通信的（communicatively）な接続／結合、機能的（operatively）な接続／結合、物理的（physically）な接続／結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続／結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。

【0132】

本明細書（請求項を含む）において、「ＡがＢするよう構成される（A configured to B）」との表現が用いられる場合は、要素Ａの物理的構造が、動作Ｂを実行可能な構成を有するとともに、要素Ａの恒常的（permanent）又は一時的（temporary）な設定（setting/configuration）が、動作Ｂを実際に実行するように設定（configured/set）されていることを含んでよい。例えば、要素Ａが汎用プロセッサである場合、当該プロセッサが動作Ｂを実行可能なハードウェア構成を有するとともに、恒常的（permanent）又は一時的（temporary）なプログラム（命令）の設定により、動作Ｂを実際に実行するように設定（configured）されていればよい。また、要素Ａが専用プロセッサ、専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造が動作Ｂを実際に実行するように構築（implemented）されていればよい。

【0133】

本明細書（請求項を含む）において、含有又は所有を意味する用語（例えば、「含む（comprising/including）」、「有する（having）等）」が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、open-endedな用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。

【0134】

本明細書（請求項を含む）において、ある箇所において「１つ又は複数（one or more）」、「少なくとも１つ（at least one）」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）が用いられているとしても、後者の表現が「１つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）は、必ずしも特定の数に限定されないものとして解釈されるべきである。

【0135】

本明細書において、ある実施例の有する特定の構成について特定の効果（advantage/result）が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の１つ又は複数の実施例についても当該効果が得られると理解されるべきである。但し当該効果の有無は、一般に種々の要因、条件及び／又は状態に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件及び／又は状態が満たされたときに実施例に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。

【0136】

本明細書（請求項を含む）において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書（請求項を含む）において、「１又は複数のハードウェアが第１の処理を行い、前記１又は複数のハードウェアが第２の処理を行う」等の表現が用いられている場合、第１の処理を行うハードウェアと第２の処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第１の処理を行うハードウェア及び第２の処理を行うハードウェアが、前記１又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、電子回路を含む装置等を含んでよい。

【0137】

本明細書（請求項を含む）において、複数の記憶装置（メモリ）がデータの記憶を行う場合、複数の記憶装置（メモリ）のうち個々の記憶装置（メモリ）は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。

【0138】

以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において、種々の追加、変更、置き換え、部分的削除等が可能である。例えば、前述した実施形態において、数値又は数式を説明に用いている場合、これらは例示的な目的で示されたものであり、本開示の範囲を限定するものではない。また、実施形態で示した各動作の順序も例示的なものであり、本開示の範囲を限定するものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】