特開 2024-35630 把持装置、および制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024035630

(43)【公開日】2024-03-14

(54)【発明の名称】把持装置、および制御方法

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240307BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022140216

(22)【出願日】2022-09-02

(71)【出願人】

【識別番号】000102692

【氏名又は名称】ＮＴＮ株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】成田 武史

(72)【発明者】

【氏名】丸井 直樹

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS01

3C707BS10

3C707DS01

3C707ES03

3C707ET08

3C707EV02

3C707KS03

3C707KS04

3C707KS17

3C707KS20

3C707KS30

3C707KT02

3C707KT05

3C707KT06

3C707LT06

3C707LV07

3C707LV08

3C707LV09

3C707LW03

3C707NS06

(57)【要約】

【課題】ワークの把持成功率を向上させる。
【解決手段】制御装置５０は、第１カメラ１１で撮像された第１画像に基づいて、少なくとも１つのワークの各々の把持成功率を取得する。制御装置５０は、各々の把持成功率に基づいて少なくとも１つのワークから対象ワークを決定する。制御装置５０は、ハンド３１と対象ワークとの距離が第１所定距離となるまで把持ユニット３０を移動する。制御装置は、把持ユニット３０を移動させた後に、第２カメラ１２に撮像させることにより第２画像を取得する。制御装置５０は、第２画像に基づいて、対象ワークの第１把持位置を取得する。そして、制御装置５０は、第１把持位置で対象ワークを把持ユニットに把持させるための制御信号を出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも１つのワークを撮像する第１カメラと、
ワークを把持するハンドを有する把持ユニットと、
前記把持ユニットに配置され、前記ハンドを撮像する第２カメラと、
前記第１カメラ、前記第２カメラ、および前記把持ユニットを制御する制御装置とを備え、
前記制御装置は、
前記第１カメラで撮像された第１画像に基づいて、前記少なくとも１つのワークの各々の把持成功率を取得し、
前記各々の把持成功率に基づいて前記少なくとも１つのワークから対象ワークを決定し、
前記ハンドと前記対象ワークとの距離が第１所定距離となるまで前記把持ユニットを移動し、
前記把持ユニットを移動させた後に、前記第２カメラに撮像させることにより第２画像を取得し、
前記第２画像に基づいて、前記対象ワークの第１把持位置を取得し、
前記第１把持位置で前記対象ワークを前記把持ユニットに把持させるための制御信号を出力する、把持装置。

【請求項2】

前記制御装置は、
前記制御信号を出力して、前記把持ユニットを第２所定距離、上方に移動させたときに、前記第２カメラに撮像させることにより第３画像を取得し、
前記第３画像に基づいて前記把持ユニットが前記対象ワークを把持できたか否かを判定する、請求項１に記載の把持装置。

【請求項3】

前記制御装置は、第１推定モデルおよび第２推定モデルを有し、
前記制御装置は、
前記第１推定モデルおよび前記第１画像に基づいて、前記少なくとも１つのワークの各々の第２把持位置を取得し、
前記第２推定モデルおよび前記各々の第２把持位置に基づいて、前記各々の把持成功率を取得し、
前記対象ワークを把持できたか否かの判定結果に基づいて前記第１推定モデルおよび前記第２推定モデルのうち少なくとも一方を更新する、請求項２に記載の把持装置。

【請求項4】

前記制御装置は、第３推定モデルを有し、
前記制御装置は、
前記第３推定モデルおよび前記第２画像に基づいて、前記第１把持位置を取得し、
前記対象ワークを把持できたか否かの判定結果に基づいて前記第３推定モデルを更新する、請求項２または請求項３に記載の把持装置。

【請求項5】

前記第２カメラは、前記ハンドが前記対象ワークを把持した前記第２画像を前記制御装置が取得するように、固定されている、請求項１～請求項４のいずれか１項に記載の把持装置。

【請求項6】

前記把持装置は、前記第２カメラの撮像範囲を照射する照射装置をさらに備える、請求項１～請求項５のいずれか１項に記載の把持装置。

【請求項7】

前記把持ユニットは、複数の把持部を有し、
前記制御装置が前記制御信号を出力することにより、前記複数の把持部は互いに第１所定方向に沿って近づき、
前記第２カメラの光軸は、前記第１所定方向と直交し、
前記複数の把持部が互いに第１所定方向に沿って近づいたときのワークが、前記第２カメラの光軸上に存在する、請求項１～請求項６のいずれか１項に記載の把持装置。

【請求項8】

把持装置の制御方法であって、
前記把持装置は、
少なくとも１つのワークを撮像する第１カメラと、
ワークを把持するハンドを有する把持ユニットと、
前記把持ユニットに配置され、前記ハンドを撮像する第２カメラとを備え、
前記制御方法は、
前記第１カメラで撮像された第１画像に基づいて、前記少なくとも１つのワークの各々の把持成功率を取得することと、
前記各々の把持成功率に基づいて前記少なくとも１つのワークから対象ワークを決定することと、
前記ハンドと前記対象ワークとの距離が第１所定距離となるまで前記把持ユニットを移動することと、
前記把持ユニットを移動させた後に、前記第２カメラに撮像させることにより第２画像を取得することと、
前記第２画像に基づいて、前記対象ワークの第１把持位置を取得することと、
前記第１把持位置で前記対象ワークを前記把持ユニットに把持させるための制御信号を出力することとを備える、制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、把持装置、および制御方法に関する。

【背景技術】

【0002】

たとえば、特許文献１には、ワークを把持する把持装置が開示されている。この把持装置は、撮像装置と、機械学習により構築された学習済モデルとを有する。把持装置は、撮像装置がワークを撮像することにより画像を取得する。把持装置は、該画像と学習済モデルとに基づいてワークの最適把持位置を検出する。そして、把持装置は、最適把持位置でワークを把持する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１５１４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

把持装置においては、ワークの把持成功率を向上させることが要望されている。

【0005】

この発明は、上記のような課題を解決するためになされたものであり、ワークの把持成功率を向上させる技術を提供することである。

【課題を解決するための手段】

【0006】

本開示の把持装置は、第１カメラと、把持ユニットと、第２カメラと、制御装置とを備える。第１カメラは、少なくとも１つのワークを撮像する。把持ユニットは、ワークを把持するハンドを有する。第２カメラは、把持ユニットに配置され、ハンドを撮像する。制御装置は、第１カメラ、第２カメラ、および把持ユニットを制御する。制御装置は、第１カメラで撮像された第１画像に基づいて、少なくとも１つのワークの各々の把持成功率を取得する。制御装置は、各々の把持成功率に基づいて少なくとも１つのワークから対象ワークを決定する。制御装置は、ハンドと対象ワークとの距離が第１所定距離となるまで把持ユニットを移動する。制御装置は、把持ユニットを移動させた後に、第２カメラに撮像させることにより第２画像を取得する。制御装置は、第２画像に基づいて、対象ワークの第１把持位置を取得する。そして、制御装置は、第１把持位置で対象ワークを把持ユニットに把持させるための制御信号を出力する。

【0007】

また、本開示の制御方法は、把持装置の制御方法である。把持装置は、第１カメラと、把持ユニットと、第２カメラとを備える。第１カメラは、少なくとも１つのワークを撮像する。把持ユニットは、ワークを把持するハンドを有する。第２カメラは、把持ユニットに配置され、ハンドを撮像する。制御方法は、第１カメラで撮像された第１画像に基づいて、少なくとも１つのワークの各々の把持成功率を取得することを備える。また、制御方法は、各々の把持成功率に基づいて少なくとも１つのワークから対象ワークを決定することを備える。また、制御方法は、ハンドと対象ワークとの距離が第１所定距離となるまで把持ユニットを移動することを備える。また、制御方法は、把持ユニットを移動させた後に、第２カメラに撮像させることにより第２画像を取得することを備える。また、制御方法は、第２画像に基づいて、対象ワークの第１把持位置を取得することを備える。そして、制御方法は、第１把持位置で対象ワークを把持ユニットに把持させるための制御信号を出力することを備える。

【発明の効果】

【0008】

本発明によれば、ワークの把持成功率を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】把持装置の全体の構成例を示す図である。

【図2】ハンドなどをＸＺ平面で平面視した図である。

【図3】ハンドなどをＹＺ平面で平面視した図である。

【図4】制御装置の機能ブロック図である。

【図5】第１画像の一例を示す図である。

【図6】第１位置モデルの概念の一例を示す図である。

【図7】把持成功率モデルの概念の一例を示す図である。

【図8】第２画像の一例を示す図である。

【図9】第２位置モデルの概念の一例を示す図である。

【図10】第３画像の一例を示す図である。

【図11】二値化された第２画像の一例を示す図である。

【図12】二値化された第２画像の一例を示す図である。

【図13】判定データ記憶部の判定データの更新の一例を示す図である。

【図14】把持装置の処理を示すフローチャートである。

【図15】別の実施の形態のハンドなどをＸＺ平面で平面視した図である。

【図16】別の実施の形態のハンドなどをＹＺ平面で平面視した図である。

【図17】別の実施の形態のハンドが採用された場合の第３画像を示す図である。

【図18】吸着型が採用されたハンドの一例を示す図である。

【図19】吸着型が採用されたハンドが採用された場合の第３画像を示す図である。

【図20】吸着型が採用されたハンド３１の他の態様が示された図である。

【図21】照明装置を第２カメラの光軸から平面視した図である。

【発明を実施するための形態】

【0010】

以下、図面に基づいて本発明の実施の形態を説明する。なお、以下の図面において同一または相当する部分には同一の参照番号を付しその説明は繰返さない。

【0011】

［把持装置の構成］
図１は、把持装置１００の全体の構成例を説明するための図である。把持装置１００は、第１カメラ１１と、第２カメラ１２と、把持ユニット３０と、制御装置５０とを備える。把持ユニット３０は、位置決め機構３２と、位置決め機構３２の先端に配置されているハンド３１とを有する。図１の例では、作業台６０が設置されている。作業台６０には、少なくとも１つのワークが配置されている。このように、少なくとも１つのワークは、所定領域に配置されている。

【0012】

第１カメラ１１は、支持部１５により支持されている。第１カメラ１１は、作業台６０の上方に設置されている。第１カメラ１１は、作業台６０に配置されている少なくとも一つのワークを含む撮像範囲を俯瞰で撮像する。第１カメラ１１は例えば、２次元撮像装置である。

【0013】

ハンド３１は、ワークＷを把持する。ハンド３１の詳細な構成は後述する。位置決め機構３２は、ハンド３１が作業台６０上のワークを把持可能なように、ハンド３１の姿勢および位置を調整する。位置決め機構３２は例えば、多軸ロボットである。

【0014】

把持ユニット３０は、初期位置に存在する。把持ユニット３０が初期位置に存在する場合には、第１カメラ１１の撮像範囲には把持ユニット３０は含まれないことが好ましい。把持装置１００に把持処理を開始させる開始操作がユーザにより実行されると、把持ユニット３０は、後述する把持処理を開始する。

【0015】

第２カメラ１２は、把持ユニット３０に配置されている。第２カメラ１２は、典型的には、位置決め機構３２の先端であり、かつハンド３１の近傍に取付けられている。第２カメラ１２は、たとえば、ハンド３１がワークを把持した場合の、該ハンド３１および該ワークの少なくとも一部を撮像する。第２カメラ１２は例えば、２次元撮像装置である。

【0016】

制御装置５０は、第１カメラ１１、第２カメラ１２、および把持ユニット３０を制御する。また、制御装置５０は、主に、ＣＰＵ５２（Central Processing Unit）と、メモリ５４とを有する。メモリ５４は、たとえば、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを有する。ＲＯＭには、ＣＰＵ５２が実行するプログラムを格納する。ＲＡＭは、ＣＰＵ５２におけるプログラムの実行により生成されるデータなどを一時的に格納する。

【0017】

図２および図３は、ハンド３１などの構成例を説明するための図である。本実施の形態のハンド３１は、いわゆるチャック機構により構成される。ハンド３１は、把持部３１Ａと、把持部３１Ｂと、固定部３１Ｃと、固定部３１Ｄと、開閉部３１Ｅとを有する。

【0018】

把持部３１Ａは、固定部３１Ｃに固定される。把持部３１Ｂは、固定部３１Ｄに固定される。固定部３１Ｃおよび固定部３１Ｄは、開閉部３１Ｅに取付けられている。

【0019】

開閉部３１Ｅは、固定部３１Ｃおよび固定部３１Ｄを所定方向において近づける方向または遠ざける方向に移動させる。該所定方向は、本開示の「第１所定方向」に対応する。これにより、把持部３１Ａおよび把持部３１Ｂを開閉させることができる。制御装置５０は、ワークを把持ユニット３０に把持させる場合には、把持部３１Ａおよび把持部３１Ｂを閉じる方向（把持部３１Ａおよび把持部３１Ｂを近づける方向）に移動させる。また、制御装置５０は、把持していたワークを把持ユニット３０に解放させる場合には、把持部３１Ａおよび把持部３１Ｂを開く方向（把持部３１Ａおよび把持部３１Ｂを遠ざける方向）に移動させる。

【0020】

第２カメラ１２は、位置決め機構３２の先端部３２Ａに設置されている。第２カメラ１２は、該第２カメラ１２の光軸と上記の第１所定方向とが直交するように配置される。さらに、第２カメラ１２の光軸と先端部３２Ａの中心軸とは一致する。なお、第２カメラ１２の光軸は、典型的には、第２カメラ１２のレンズの対称軸である。

【0021】

図２の例では、把持部３１Ａおよび把持部３１Ｂの開閉方向（第１所定方向）がＸ軸とされ、第２カメラ１２の光軸はＺ軸とされる。また、Ｘ軸およびＺ軸と直交する軸はＹ軸とされる。図２は、ＸＺ平面でハンド３１などを平面視した図である。また、図３は、ＹＺ平面でハンド３１などを平面視した図である。図３に示すように把持部３１Ｂ（および把持部３１Ａ）は、略Ｌ字型の形状を有する。なお、把持部の数は３以上としてもよい。また、把持部の形状は他の形状としてもよい。

【0022】

［制御装置の機能ブロック図］
図４は、制御装置５０の機能ブロック図である。制御装置５０は、第１取得部１０１と、第２取得部１０２と、第１検出部１０４と、判定データ記憶部１１８と、出力部１１０と、第２検出部１２４と、決定部１３０と、判定部１２０と、指令部１３２とを有する。

【0023】

第１検出部１０４は、第１位置推定部１０８と、第１位置モデル１０６とを有する。出力部１１０は、成功率推定部１１６と、構築部１１２と、把持成功率モデル１１４とを有する。第２検出部１２４は、第２位置推定部１２６と、第２位置モデル１２８とを有する。第１位置モデル１０６は、本開示の「第１推定モデル」に対応する。把持成功率モデル１１４は、本開示の「第２推定モデル」に対応する。第２位置モデル１２８は、本開示の「第３推定モデル」に対応する。

【0024】

第１カメラ１１は、作業台６０に配置されている少なくとも１つのワークＷを撮像することにより第１画像を生成する。第１取得部１０１は、第１カメラ１１からの第１画像を取得する。第１画像は、第１位置推定部１０８に出力される。第１位置推定部１０８は、第１画像および第１位置モデル１０６に基づいて、少なくとも１つのワークの各々の仮把持位置を取得する。仮把持位置は、本開示の「第２把持位置」に対応する。

【0025】

仮把持位置は、把持ユニット３０が該仮把持位置でワークを把持した場合に把持が成功するであると推測される位置である。また、少なくとも１つのワークは、第１画像により撮像されたワークである。第１位置モデル１０６は、予め機械学習により構築される。第１位置モデル１０６は、ニューラルネットワークで構築される。ニューラルネットワークは入力層、中間層、出力層、及び各層を接続するリンクから構成される。第１位置モデル１０６は、入力層に第１画像が入力されることで、出力層から第１画像に含まれるすべてのワーク（ワークの画像）について仮把持位置を出力する。

【0026】

図５は、第１画像の一例である。このような第１画像が、第１検出部１０４に出力される。図６は、第１位置モデル１０６の概念の一例を示す図である。図６の例では、第１画像データＧ１、Ｇ２、．．．、Ｇｎが、それぞれ、プロファイルＡ１、Ａ１、．．．Ａｎとが関連付けられている。ただし、ｎは、２以上の整数である。以下では、第１画像データＧ１、Ｇ２、．．．、Ｇｎは、まとめて、第１画像データＧとも称され、プロファイルＡ１、Ａ１、．．．Ａｎは、まとめて、プロファイルＡとも称される。

【0027】

第１画像データＧは、第１カメラ１１または第１カメラと同等のカメラが、１以上のワークを過去に撮像した画像の画像データである。図６の例では、第１画像データＧは、ワークの数が３つである例が示されている（ワークＡ～ワークＣ）。しかしながら、ワークの数が１つ以上である第１画像データＧが準備されてもよい。

【0028】

プロファイルデータは、各ワーク事に、該ワークの仮把持位置が画素単位で規定されているデータである。仮把持位置は、把持ユニット３０が該ワークを適切に把持するための把持位置である。たとえば、図６の例のプロファイルデータでは、ワークＡ～ワークＣが示されている第１画像データＧ１に対しては、ワークＡの仮把持位置、ワークＢの仮把持位置、ワークＣの仮把持位置が指定されている。

【0029】

第１位置モデル１０６は、たとえば、入力者の手入力によって構築される。入力者は、把持装置１００の開発者または把持装置１００のユーザである。たとえば、該入力者が、第１カメラ１１または第１カメラと同等のカメラに、１以上のワークを撮像させて、第１画像データを生成させる。そして、該第１画像データに係る画像を表示装置（図示せず）に表示させ、表示されたワークの仮把持位置を指定する。

【0030】

このように、入力者によって指定された仮把持位置が教師データとし、該仮把持位置と第１画像データとが学習データとして、第１位置モデル１０６が構築される。

【0031】

また、後述するように、第１位置モデル１０６は、自動的に更新可能とされる。なお、第１位置モデル１０６は第１画像データから仮把持位置を検出できればよく、必ずしもニューラルネットワークで構築される必要はない。たとえば、ニューラルネットワーク以外の機械学習手法で構築されてもよい。

【0032】

説明を図４に戻す。成功率推定部１１６は、第１位置推定部１０８が出力したすべての仮把持位置（各々の仮把持位置）と、把持成功率モデル１１４とに基づいて、すべての仮把持位置のそれぞれの把持成功率を出力する。把持成功率は、把持ユニット３０が仮把持位置でワークを把持するように制御装置５０が制御信号を出力した場合に該ワークの把持が成功する確率である。把持成功率モデル１１４は、たとえば、ニューラルネットワークで構築される。把持成功率モデル１１４は、入力層に仮把持位置が入力されることで、出力層から把持成功率を出力する。

【0033】

図７は、把持成功率モデル１１４の概念の一例を示す図である。図７の把持成功率モデル１１４では、ｍ個の判定データＢ１、Ｂ２、．．．、Ｂｍが規定されている。ただし、ｍは２以上の整数である。以下では、判定データＢ１、Ｂ２、．．．、Ｂｍは、まとめて、判定データＢとも称される。

【0034】

判定データＢでは、仮把持位置と、把持成否結果とが関連付けられている。把持成否結果は、該把持成否結果に関連付けられている仮把持位置で把持させる制御信号が制御装置５０が出力されたときに、把持ユニット３０によるワークの把持が成功したか否かを示す結果である。

【0035】

図７の例では、たとえば、判定データＢ１においては、仮把持位置と、成功を示す把持成否結果とが関連付けられている。また、判定データＢ２においては、仮把持位置と、失敗を示す把持成否結果とが関連付けられている。把持成功率モデル１１４は、入力者の手入力によって構築されるようにしてもよい。

【0036】

このように、入力された把持成否結果が教師データとし、該把持成否結果と仮把持位置とが学習データとして、把持成功率モデル１１４が構築される。

【0037】

また、後述するように、把持成功率モデル１１４は自動的に更新可能とされる。なお、把持成功率モデル１１４は仮把持位置から把持成功率を検出できればよく、必ずしもニューラルネットワークで構築される必要はない。たとえば、ニューラルネットワーク以外の機械学習手法で構築されてもよい。

【0038】

説明を図４に戻す。決定部１３０は、第１カメラ１１により撮像された少なくとも１つのワークから、成功率推定部１１６からの把持成功率に基づいて、対象ワークを決定する。対象ワークは、把持ユニット３０により把持される対象のワークである。たとえば、決定部１３０は、成功率推定部１１６が出力した全ての把持成功率のうち所定の閾値よりも高い把持成功率を特定する。そして、決定部１３０は、該特定した仮把持位置を含むワークを対象ワークとして決定する。これにより、対象ワークが１以上決定され得る。なお、変形例として、決定部１３０は、成功率推定部１１６が出力した全ての把持成功率のうち最大の把持成功率を特定するようにしてもよい。この変形例においては、決定部１３０は、該最大の把持成功率に対応する仮把持位置を含むワークを対象ワークとして決定する。

【0039】

決定部１３０が、対象ワークを決定した場合に、該対象ワークを示す情報を指令部１３２に出力する。指令部１３２は、該対象ワークを示す情報を受信すると、把持ユニット３０に対して制御信号を出力する。該制御信号は、ハンド３１と対象ワークとの距離が第１所定距離となるまで前記把持ユニット３０（ハンド３１）を移動させるように位置決め機構３２を制御するための信号である。第１所定距離は、ハンド３１の向きなどの調整などが可能となるための距離である。

【0040】

制御装置５０は、ハンド３１と対象ワークとの距離が第１所定距離となったときに、第２カメラ１２に対象ワークの画像を撮像させる。ハンド３１と対象ワークとの距離が第１所定距離となったか否かの判断は、第２カメラ１２が距離センサとして用いられることにより実現される。なお、距離センサは、第２カメラ１２ではなく別のセンサが配置されるようにしてもよい。

【0041】

第２カメラ１２は対象ワークの画像を撮像することにより第２画像を生成する。第２取得部１０２は、第２カメラ１２からの第２画像を取得する。第２画像は、第２検出部１２４の第２位置推定部１２６に出力される。第２位置推定部１２６は、第２画像および第２位置モデル１２８に基づいて、対象ワークの本把持位置を取得する。本把持位置は、本開示の「第１把持位置」に対応する。

【0042】

第２位置モデル１２８は、予め機械学習により構築される。第２位置モデル１２８は、ニューラルネットワークで構築される。ニューラルネットワークは入力層、中間層、出力層、及び各層を接続するリンクから構成される。第２位置モデル１２８は、入力層に第２画像が入力されることで、出力層から第２画像に含まれる対象ワークの本把持位置を出力する。

【0043】

図８は、第２画像の一例である。図８の例では、対象ワーク画像ＷＳと、把持部３１Ａの把持部画像３１ＡＳと、把持部３１Ｂの把持部画像３１ＢＳとが示されている。

【0044】

このような第２画像が、第２検出部１２４に出力される。図９は、第２位置モデル１２８の概念の一例を示す図である。図９の例では、第２画像データＨ１、Ｈ２、．．．、Ｈｐが、それぞれ、プロファイルＣ１、Ｃ１、．．．Ｃｐとが関連付けられている。ただし、ｐは、２以上の整数である。以下では、第２画像データＨ１、Ｈ２、．．．、Ｈｐは、まとめて、第２画像データＨとも称され、プロファイルＣ１、Ｃ１、．．．Ｃｐは、まとめて、プロファイルＣとも称される。

【0045】

第２画像データＨは、第２カメラ１２または第２カメラ１２と同等のカメラが、１つのワークを過去に撮像した画像の画像データである。図９の例では、様々な方向を向いている１つのワークと、把持部画像３１ＡＳと、把持部画像３１ＢＳとが示されている。

【0046】

プロファイルデータは、様々方向を向いたワーク毎に、該ワークの本把持位置が画素単位で規定されているデータである。本把持位置は、把持ユニット３０が該ワークを適切に把持するための把持位置である。

【0047】

第２位置モデル１２８は、入力者の手入力によって構築される。たとえば、該入力者が、第２カメラ１２または第２カメラ１２と同等のカメラに、１つのワークを撮像させて、第２画像データを生成させる。そして、該第２画像データに係る画像を表示装置（図示せず）に表示させ、表示されたワークの本把持位置を指定する。

【0048】

このように、入力者によって指定された本把持位置が教師データとし、該本把持位置と第２画像データとが学習データとして、第２位置モデル１２８が構築される。

【0049】

また、後述するように、第２位置モデル１２８は、自動的に更新可能とされる。なお、第２位置モデル１２８は第２画像データから本把持位置を検出できればよく、必ずしもニューラルネットワークで構築される必要はない。たとえば、ニューラルネットワーク以外の機械学習手法で構築されてもよい。

【0050】

第２位置推定部１２６は、本把持位置を取得すると、該本把持位置を指令部１３２に出力する。指令部１３２は、該本把持位置で対象ワークを把持するための制御信号を把持ユニット３０に出力する。把持ユニット３０は、制御信号を受信すると把持動作を実行する。ここで、把持動作は、該本把持位置で対象ワークを把持部３１Ａおよび把持部３１Ｂで挟む動作である。本実施の形態においては、把持動作は、把持部３１Ａおよび把持部３１Ｂを閉方向（図２参照）に移動する動作である。

【0051】

また、把持ユニット３０が把持動作を実行して、把持部３１Ａおよび把持部３１Ｂで対象ワークを挟んだ状態で、ハンド３１を上方（Ｚ軸＋方向）に第２所定距離移動させる。上方は、対象ワークの配置位置から離れる方向を含む。

【0052】

ここで、把持部３１Ａおよび把持部３１Ｂで対象ワークを挟んだ状態でハンド３１が上方に移動したときに、対象ワークがハンド３１から滑り落ちることなどにより、把持が失敗する場合がある。そこで、本実施の形態においては、制御装置５０は、把持動作を実行させる制御信号を出力して、把持ユニット３０を第２所定距離、上方に移動させたときに、第２カメラ１２に画像を撮像させる。該画像は、本開示の「第３画像」に対応する。第２カメラ１２により撮像された第３画像を、第２取得部１０２は取得する。該第３画像は、判定部１２０に出力される。そして、判定部１２０は、この第３画像に基づいて、対象ワークを把持できたか否かを判定する。

【0053】

図１０は、第３画像の一例を示す図である。図１０の例では、対象ワーク画像ＷＳと、把持部画像３１ＡＳと、把持部画像３１ＢＳとが示されている。図１０の例は、把持ユニット３０により対象ワークの把持が成功している状態で該把持ユニット３０を第２所定距離、上方に移動させたときに第２カメラ１２により撮像された第３画像である。したがって、図１０の第３画像は、図８の第２画像よりも対象ワーク画像ＷＳが大きく表示されている。また、図１０の例では、第２カメラ１２の光軸が示されている。図１０に示すように、把持部３１Ａおよび把持部３１Ｂが互いに第１所定方向に沿って近づいたときのワークが、第２カメラ１２の光軸上に存在する。

【0054】

次に、判定部１２０による判定手法を説明する。本実施の形態の判定部１２０は、第２画像および第３画像に基づいて対象ワークを把持できたか否かを判定する。本実施の形態においては、判定部１２０は、第２画像および第３画像に対して二値化処理を実行する。判定部１２０は、画像（対象ワーク画像ＷＳと、把持部画像３１ＡＳと、把持部画像３１ＢＳ）の領域を第１値（たとえば、１）とし、該画像以外の領域を第２値（たとえば、０）とする。図１１は、二値化された第２画像の一例である。図１２は、二値化された第３画像の一例である。図１１および図１２の例では、画像領域にクロスハッチングが付加されている。

【0055】

また、判定部１２０は、二値化された第２画像の画像領域（第１値の領域）の画素数と、二値化された第３画像の画像領域（第１値の領域）の画素数との差分値を算出する。そして、判定部１２０は、該差分値に基づいて、対象ワークを把持できたか否かを判定する。たとえば、差分値は、二値化された第３画像の画像領域（第１値の領域）の画素数から、二値化された第２画像の画像領域（第１値の領域）の画素数を差し引くことにより算出される。そして、判定部１２０は、差分値と、所定の閾値とを比較する。把持に成功していると、第３画像における対象ワーク画像ＷＳの画素数は多くなる現象が生じる。判定部１２０による判定は、この現象に基づいて実現される。差分値が閾値以上である場合には、判定部１２０はハンド３１による対象ワークの把持が成功していると判定する。一方、差分値が閾値未満である場合には、判定部１２０はハンド３１による対象ワークの把持が失敗していると判定する。

【0056】

なお、判定部１２０による判定手法は、上記の二値化処理に限られない。たとえば、判定部１２０は、第２画像を用いずに第３画像を用いて、対象ワークを把持できたか否かを判定してもよい。たとえば、判定部１２０は、二値化された第３画像に基づいて、対象ワークを把持できたか否かを判定してもよい。また、予め収集した第３画像に基づいて機械学習により構築されたモデルと、第３画像とに基づいて対象ワークを把持できたか否かを判定してもよい。

【0057】

判定部１２０は、判定結果を指令部１３２に出力する。把持成功である旨を示す成功判定結果は、第１値（たとえば、１）であり、把持失敗である旨を示す失敗判定結果は、第２値（たとえば、０）である。

【0058】

指令部１３２は、判定結果に応じた処理を実行する。指令部１３２は、成功判定結果を受信した場合に継続動作を示す制御信号を把持ユニット３０に出力する。継続動作は、ハンド３１による対象ワークの把持が成功した場合の次の行動に移るために位置決め機構３２、およびハンド３１を作動して実施する動作である。継続動作は、たとえば、把持した対象ワークを目的領域に配置させる動作、把持した対象ワークによる組立動作、および嵌めあい動作に関する動作などである。

【0059】

一方、指令部１３２は、失敗判定結果を受信した場合に中断動作を示す制御信号を把持ユニット３０に出力する。中断動作は、ハンド３１による対象ワークの把持が失敗した場合に次の行動へ移ることを中断する動作である。中段動作は、たとえば、把持ユニット３０を初期位置（第１画像の取得時の位置）へ作動する動作である。

【0060】

また、判定部１２０は、判定結果を判定データ記憶部１１８にも出力する。判定データ記憶部１１８は、図７で示した判定データＢ１～Ｂｍを記憶する。判定データ記憶部１１８は、判定部１２０から判定結果を受信した場合には、該判定結果に基づいたデータを追加することにより判定データを更新する。

【0061】

図１３は、判定データ記憶部１１８の判定データの更新の一例を示す図である。図１３の例では、既存の判定データＢ１～Ｂｍ（図７も参照）に対して、新たな判定データＢｍ＋１が追加されていることが示されている。新たな判定データＢｍ＋１は、判定部１２０からの判定結果に基づいて判定部１２０などにより生成される情報である。

【0062】

構築部１１２は、判定データ記憶部１１８の判定データが更新されると、該更新後の判定データ（つまり、図１３の判定データＢｍ＋１が追加された後の判定データ）を反映させるように、把持成功率モデル１１４を更新する。なお、モデル（把持成功率モデル１１４など）の更新は、たとえば、モデルで規定されているパラメータを更新する処理を含む。把持成功率モデル１１４の更新により、成功率推定部１１６による把持成功率の推定精度を向上させることができる。

【0063】

また、構築部１１２は、該更新後の判定データ（つまり、図１３の判定データＢｍ＋１が追加された後の判定データ）を反映させるように、第１位置モデル１０６および第２位置モデル１２８を更新するようにしてもよい。第１位置モデル１０６の更新により、第１位置推定部１０８による仮把持位置の推定精度を向上させることができる。また、第２位置モデル１２８の更新により、第２位置推定部１２６による本把持位置の推定精度を向上させることができる。

【0064】

また、把持装置１００は、第１位置モデル１０６、第２位置モデル１２８、および把持成功率モデル１１４のうち少なくとも１つのモデルを更新するようにしてもよい。また、把持装置１００は、判定データ記憶部１１８に所定個の判定データが蓄積されたときに、上記の少なくとも１つのモデルを更新するようにしてもよい。

【0065】

［フローチャート］
図１４は、把持装置１００の処理を示すフローチャートである。上述の開始操作がユーザに実行された場合に、このフローチャートは開始する。ステップＳ２において、把持装置１００は、把持ユニット３０を初期位置に移動させる。次に、ステップＳ４では、把持装置１００は、第１カメラ１１から第１画像を取得する。次に、ステップＳ６では、把持装置１００は、ステップＳ４で取得した第１画像に基づいて、作業台６０に配置されている少なくとも１つのワークの各々の仮把持位置を取得する。

【0066】

次に、ステップＳ８において、把持装置１００は、ステップＳ６で取得された各々の仮把持位置に基づいて、少なくとも１つのワークの各々の把持成功率を取得する。次に、ステップＳ１０では、所定の閾値より高い把持成功率がステップＳ８で取得されたか判定する。該閾値より高い把持成功率が取得された場合（ステップＳ１０でＹＥＳ）、処理は、ステップＳ１２に進む。一方、該閾値より高い把持成功率が取得されなかった場合、つまり、取得された全ての把持成功率が該閾値以下である場合（ステップＳ１０でＮＯ）、把持動作を終了する。ステップＳ１０でＮＯと判断された場合には、把持ユニット３０が把持可能なワークが存在しないということである。したがって、たとえば、把持装置１００は、「把持可能なワークが存在しないこと」を示す通知をユーザに実行するようにしてもよい。

【0067】

ステップＳ１２では、把持装置１００は、各々の仮把持位置に基づいて、少なくとも１つのワークから対象ワークを決定する。次に、ステップＳ１４において、把持装置１００は、ハンド３１と対象ワークとの距離が第１所定距離となるまで把持ユニット３０を移動する。

【0068】

次に、ステップＳ１６において、把持装置１００は、第２画像を取得する。次に、ステップＳ１８において、把持装置１００は、第２位置モデル１２８および第２画像に基づいて、本把持位置を取得する。次に、ステップＳ２０において、把持装置１００は、制御信号を出力することにより、把持動作（本把持位置で対象ワークを把持部３１Ａおよび把持部３１Ｂが挟む動作）を実行する。

【0069】

次に、ステップＳ２２において、把持装置１００は、ハンド３１を第２所定距離上昇させる。次に、ステップＳ２４において、把持装置１００は、第３画像（図１０参照）を取得する。次に、ステップＳ２６において、把持装置１００は、把持が成功したか否かを判定する（図１１および図１２参照）。

【0070】

次に、ステップＳ２８において、把持装置１００は、把持の成功の有無を示す判定データ（判定結果）を判定データ記憶部１１８に記憶する。次に、ステップＳ３０において、把持装置１００は、判定データ記憶部１１８に判定データが所定個蓄積されたか否かを判定する。

【0071】

ステップＳ３０でＹＥＳと判定された場合には、処理はステップＳ３２に進む。ステップＳ３０でＮＯと判定された場合には、処理はステップＳ３４に進む。ステップＳ３２において、把持装置１００は、第１位置モデル１０６、第２位置モデル１２８、および把持成功率モデル１１４を更新する。ステップＳ３４において、把持装置１００は、対象ワークの把持が成功したか否かを判断する。この判断は、たとえば、ステップＳ２８で記憶された判定データに基づいて実現される。該判定データが、把持が成功したことを示すデータである場合には、ステップＳ３４では、ＹＥＳと判断される。一方、該判定データが、把持が失敗したことを示すデータである場合には、ステップＳ３４では、ＮＯと判断される。

【0072】

また、ステップＳ１２において決定された対象ワークの数が複数である場合において、ステップＳ３４でＹＥＳと判断された場合には、把持装置１００は、対象ワークの全ての把持が終了するまでステップＳ１４～ステップＳ３４の処理を繰返す。

【0073】

また、把持装置１００は、ステップＳ３４でＹＥＳと判断した場合には、たとえば、再び、処理はＳ２に戻り、ステップＳ４で撮像された第１画像にワークが含まれなくなるまで、処理は繰り返される。

【0074】

以上のように、本実施の形態においては、把持装置１００は、第１カメラで撮像された第１画像に基づいて、作業台６０に配置された少なくとも１つのワークの各々の把持成功率を取得する（ステップＳ８）。また、把持装置１００は、各々の把持成功率に基づいて少なくとも１つのワークから対象ワークを決定する（ステップＳ１２）。また、把持装置１００は、ハンド３１と対象ワークとの距離が第１所定距離となるまで把持ユニット３０を移動する（ステップＳ１４）。把持装置１００は、把持ユニット３０を移動させた後に、第２カメラ１２に撮像させることにより第２画像を取得する（ステップＳ１６）。また、把持装置１００は、第２画像に基づいて、対象ワークの本把持位置を取得する（ステップＳ１８）。そして、把持装置１００は、本把持位置で対象ワークを把持ユニット３０に把持させるための制御信号を出力する（ステップＳ２０）。

【0075】

比較例の把持装置として、「少なくとも１つのワークから対象ワークを決定する処理および該対象ワークの把持位置を決定する処理を１回で実行する把持装置」が考えられる。しかしながら、このような比較例の把持装置では、精密な演算が必要であるなどの理由により、把持の成功率を向上させることは困難であった。これに対し、把持装置１００は、１段階目として少なくとも１つのワークから対象ワークを決定し、２段階目として該対象ワークの本把持位置を決定する。したがって、１回で対象ワークおよび該対象ワークの把持位置を決定する必要がないことから、結果として、ワークの把持成功率を向上させることができる。

【0076】

また、把持装置１００は、対象ワークを把持ユニット３０に把持させるための制御信号を出力する（ステップＳ２０）。その後、把持装置１００は、ハンド３１を第２所定距離上昇させた後に（ステップＳ２０）、第２カメラ１２に撮像させることにより第３画像を取得する。そして、把持装置１００は、第３画像に基づいて把持ユニットが対象ワークを把持できたか否かを判定する。従来の把持装置においては、対象ワークを把持できたか否かを判定するために、俯瞰カメラの撮像範囲にハンドを移動させる必要があった。したがって、タクトタイムが長くなる場合があった。しかしながら、本実施の形態においては、把持ユニット３０に配置された第２カメラで撮像した第３画像に基づいて、対象ワークを把持できたか否かを判定できる。したがって、俯瞰カメラの撮像範囲にハンドを移動させるといった処理を実行する必要がないことから、従来の把持装置と比較してタクトタイムを短縮できる。

【0077】

また、本実施の形態においては、把持装置１００は、第１位置モデル１０６、第２位置モデル１２８、および把持成功率モデル１１４のうち少なくとも１つを自動的に更新できる。したがって、ユーザの処理負担を軽減しつつ、ワークの把持成功率を向上させることができる。

【0078】

また、「第２カメラがハンド３１が対象ワークを把持した第２画像を制御装置５０が取得しない構成」である把持装置では、第２カメラ１２が対象ワークを撮像するために第２カメラ１２の光軸のズレなどを補正するオフセットを計算する必要があった。したがって、このような把持装置では、計算処理の増大およびタクトタイムの増大を招く場合がある。これに対し、本実施の形態の第２カメラ１２は、ハンド３１が対象ワークを把持した第２画像を制御装置５０が取得するように、固定されている（図２など参照）。したがって、上述の計算処理およびタクトタイムを軽減できる。

【0079】

また、比較例の把持装置として、「第２カメラの光軸と、複数の把持部（２つの把持部３１Ａ，３１Ｂ）の移動方向（Ｘ軸方向）とが直交しない把持装置」が考えられる。しかしながら、このような比較例の把持装置においては、適切に第２画像および第３画像を撮像できない場合がある。一方、本実施の形態の把持装置１００においては、第２カメラ１２の光軸は、２つの把持部３１Ａ，３１Ｂ）の移動方向（Ｘ軸方向）と直交する。また、複数の把持部が互いに第１所定方向に沿って近づいたときのワークが、第２カメラ１２の光軸上に存在する（図１０参照）。したがって、複数の把持部が互いに第１所定方向に沿って近づいたときのワークを適切に第３画像として撮像することができる。

【0080】

［ハンドの他の構成］
図１５および図１６は、ハンド３１の他の例であるハンド３１ａを示す図である。ハンド３１ａは、図２のハンド３１と比較すると、開閉部３１Ｅが、開閉部３１Ｆおよび開閉部３１Ｇに代替されている。また、図２および図３のハンド３１の例では、把持部３１Ａおよび把持部３１ＢがＹＺ平面でＬ字型であるのに対し、図１５および図１６のハンド３１ａでは、把持部３１Ａおよび把持部３１ＢがＸＺ平面でＬ字型である。また、図１７は、ハンド３１ａが採用された場合の第３画像である。図１７の例では、対象ワーク画像ＷＳ、開閉部３１Ｆの開閉部画像３１ＦＳ、および開閉部３１Ｇの開閉部画像３１ＧＳが表示されている。また、第２カメラ１２の光軸が記載されている。図１７の例では、把持部３１Ａおよび把持部３１Ｂが互いに第１所定方向に沿って近づいたときのワークが、第２カメラの光軸上に存在する。

【0081】

また、上述の例では、ハンド３１およびハンド３１ａは、いわゆるチャック型である構成を説明した。しかしながら、ハンドは、いわゆる吸着型としてもよい。図１８は、吸着型が採用されたハンド３１ｂの一例である。また、図１８の例での第２カメラ１２は、ハンド３１ｂにより把持された（吸着された）対象ワークＷを撮像可能なように固定されている。図１９は、ハンド３１ｂが採用された場合の第３画像である。図１９の例では、対象ワーク画像ＷＳ、ハンド３１ｂのハンド画像３１ｂＳが表示されている。また、図１９の例では、第２カメラ１２の光軸が記載されている。図１９の例では、ハンド３１ｂに第２カメラの光軸上に存在する。なお、第２カメラ光軸上に対象ワークが存在してもよい。

【0082】

図２０は、ハンド３１ｂの他の態様が示された図である。図２０の例では、把持装置１００は、照明装置２０を有する。図２１は、第２カメラ１２の光軸から平面視した図である。制御装置５０は、第２カメラ１２の撮像範囲を照射する。これにより、ハンド３１ｂが把持した対象ワークを照射できることから、第２カメラ１２は、より鮮明な第２画像および第３画像を生成できる。よって、把持装置１００は、ワークの把持成功率を向上させることができる。なお、照明装置２０は、図２０および図２１に限られず他の態様で装着されてもよい。また、照明装置２０は、ハンド３１またはハンド３１ａに装着されてもよい。

【0083】

［付記］
（第１項） 本開示の把持装置は、第１カメラと、把持ユニットと、第２カメラと、制御装置とを備える。第１カメラは、少なくとも１つのワークを撮像する。把持ユニットは、ワークを把持するハンドを有する。第２カメラは、把持ユニットに配置され、ハンドを撮像する。制御装置は、第１カメラ、第２カメラ、および把持ユニットを制御する。制御装置は、第１カメラで撮像された第１画像に基づいて、少なくとも１つのワークの各々の把持成功率を取得する。制御装置は、各々の把持成功率に基づいて少なくとも１つのワークから対象ワークを決定する。制御装置は、ハンドと対象ワークとの距離が第１所定距離となるまで把持ユニットを移動する。制御装置は、把持ユニットを移動させた後に、第２カメラに撮像させることにより第２画像を取得する。制御装置は、第２画像に基づいて、対象ワークの第１把持位置を取得する。そして、制御装置は、第１把持位置で対象ワークを把持ユニットに把持させるための制御信号を出力する。

【0084】

（第２項） 第１項に記載の把持装置であって、制御装置は、制御信号を出力して、把持ユニットを第２所定距離、上方に移動させたときに、第２カメラに撮像させることにより第３画像を取得する。また、制御装置は、第３画像に基づいて把持ユニットが対象ワークを把持できたか否かを判定する。

【0085】

（第３項） 第２項に記載の把持装置であって、制御装置は、第１推定モデルおよび第２推定モデルを有する。制御装置は、第１推定モデルおよび第１画像に基づいて、少なくとも１つのワークの各々の第２把持位置を取得する。制御装置は、第２推定モデルおよび各々の第２把持位置に基づいて、各々の把持成功率を取得する。そして、制御装置は、対象ワークを把持できたか否かの判定結果に基づいて第１推定モデルおよび第２推定モデルのうち少なくとも一方を更新する。

【0086】

（第４項） 第２項または第３項に記載の把持装置であって、制御装置は、第３推定モデルを有する。制御装置は、第３推定モデルおよび第２画像に基づいて、第１把持位置を取得する。制御装置は、対象ワークを把持できたか否かの判定結果に基づいて第３推定モデルを更新する。

【0087】

（第５項） 第１項～第４項のいずれか１項に記載の把持装置であって、第２カメラは、ハンドが対象ワークを把持した第２画像を制御装置が取得するように、固定されている。

【0088】

（第６項） 第１項～第５項のいずれか１項に記載の把持装置であって、把持装置は、第２カメラの撮像範囲を照射する照射装置をさらに備える。

【0089】

（第７項） 第１項～第６項のいずれか１項に記載の把持装置であって、把持ユニットは、複数の把持部を有する。制御装置が制御信号を出力することにより、複数の把持部は互いに第１所定方向に沿って近づく。第２カメラの光軸は、第１所定方向と直交する。複数の把持部が互いに第１所定方向に沿って近づいたときのワークが、第２カメラの光軸上に存在する。

【0090】

（第８項） 本開示の制御方法は、把持装置の制御方法である。把持装置は、第１カメラと、把持ユニットと、第２カメラとを備える。第１カメラは、少なくとも１つのワークを撮像する。把持ユニットは、ワークを把持するハンドを有する。第２カメラは、把持ユニットに配置され、ハンドを撮像する。制御方法は、第１カメラで撮像された第１画像に基づいて、少なくとも１つのワークの各々の把持成功率を取得することを備える。また、制御方法は、各々の把持成功率に基づいて少なくとも１つのワークから対象ワークを決定することを備える。また、制御方法は、ハンドと対象ワークとの距離が第１所定距離となるまで把持ユニットを移動することを備える。また、制御方法は、把持ユニットを移動させた後に、第２カメラに撮像させることにより第２画像を取得することを備える。また、制御方法は、第２画像に基づいて、対象ワークの第１把持位置を取得することを備える。そして、制御方法は、第１把持位置で対象ワークを把持ユニットに把持させるための制御信号を出力することを備える。

【0091】

以上のように本発明の実施の形態について説明を行ったが、上述の実施の形態を様々に変形することも可能である。また、本発明の範囲は上述の実施の形態に限定されるものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更を含むことが意図される。

【符号の説明】

【0092】

１１ 第１カメラ、１２ 第２カメラ、１５ 支持部、２０ 照明装置、３０ 把持ユニット、３１，３１ａ，３１ｂ ハンド、３１Ａ，３１Ｂ 把持部、３１ＡＳ，３１ＢＳ 把持部画像、３１Ｃ，３１Ｄ 固定部、３１Ｅ，３１Ｆ，３１Ｇ 開閉部、３１ＦＳ，３１ＧＳ 開閉部画像、３１ｂＳ ハンド画像、３２ 位置決め機構、３２Ａ 先端部、５０ 制御装置、５４ メモリ、６０ 作業台、１００ 把持装置、１０１ 第１取得部、１０２ 第２取得部、１０４ 第１検出部、１０６ 第１位置モデル、１０８ 第１位置推定部、１１０ 出力部、１１２ 構築部、１１４ 把持成功率モデル、１１６ 成功率推定部、１１８ 判定データ記憶部、１２０ 判定部、１２４ 第２検出部、１２６ 第２位置推定部、１２８ 第２位置モデル、１３０ 決定部、１３２ 指令部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】