特許 7191569 把持装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-09

(45)【発行日】2022-12-19

(54)【発明の名称】把持装置

(51)【国際特許分類】

   B25J 13/08 20060101AFI20221212BHJP

【ＦＩ】

B25J13/08 A

【請求項の数】 6

(21)【出願番号】P 2018140356

(22)【出願日】2018-07-26

(65)【公開番号】P2020015141

(43)【公開日】2020-01-30

【審査請求日】2021-03-10

(73)【特許権者】

【識別番号】000102692

【氏名又は名称】ＮＴＮ株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】大庭 博明

【審査官】神山 貴行

(56)【参考文献】

【文献】特開２０１７－０３０１３５（ＪＰ，Ａ）

【文献】国際公開第２０１８／１１６５８９（ＷＯ，Ａ１）

【文献】特開２０１７－１８５５７７（ＪＰ，Ａ）

【文献】特開２０１４－２１０３１０（ＪＰ，Ａ）

【文献】特開２０１０－２０７９８９（ＪＰ，Ａ）

【文献】進藤 智則、中田 敦，ファナック/PFNは能動学習、グーグルらはシミュ レータピッキングや把持の機械学習でラベル収集が焦点，ＮＩＫＫＥＩ Ｒｏｂｏｔｉｃｓ 第７号 ，日本，日経ＢＰ社，2016年01月10日，第３頁第２０－７３行

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

ワークの表面を観察するための撮影装置と、
前記ワークの表面上の点の座標データを計測する三次元センサと、
前記ワークを把持するためのハンドと、
把持可能な姿勢に前記ハンドを位置決めする位置決め機構と、
前記撮影装置および前記三次元センサを用いて前記ワークの最適把持位置を検出し、前記位置決め機構および前記ハンドを制御するワーク情報処理装置とを備え、
前記ワーク情報処理装置は、前記三次元センサから取得した座標データまたは前記撮影装置から取得した画像データに基づいて前記ワークの把持位置を決定し、前記把持位置に基づいて前記ハンドが前記ワークを把持するように前記位置決め機構および前記ハンドを作動させ、前記ハンドを前記撮影装置によって撮影させ、取得した画像データに基づいて実際に前記ワークを把持できているか否かを判定し、判定結果と前記把持位置との関係を蓄積して前記把持位置における把持成功率を算出し、前記把持成功率に基づいて次回以降の把持動作時に採用する把持位置を決定し、
前記ワーク情報処理装置は、
前記三次元センサから取得した座標データまたは前記撮影装置から取得した画像データを用いて把持対象とする前記ワークの位置を検出するワーク検出部と、
前記ワーク検出部で検出された前記ワークの位置に基づいて前記ワークの周囲物と前記ハンドとの干渉を判定し、単数または複数の把持位置候補を検出する把持位置候補検出部と、
前記把持位置候補検出部で抽出された前記把持位置候補の中から前記最適把持位置を選択する把持位置選択部と、
前記最適把持位置に基づいて前記位置決め機構または前記ハンドに位置決め指令または把持・開放指令を出力する指令出力部と、
前記撮影装置から取得した画像データに基づいて実際に前記ワークを把持できているか否かを画像処理で判定する把持動作成否判定部とを含み、
前記把持位置候補検出部は、前記把持位置候補について、前記三次元センサまたは前記撮影装置から取得したデータと前記把持動作成否判定部の判定結果とを用いた機械学習結果により前記把持成功率を求め、
前記把持位置選択部は、前記把持成功率が最大になる候補を前記最適把持位置として選択し、
前記把持位置候補検出部は、一定回数の把持動作毎に前記機械学習結果の少なくとも一部をリセットする、把持装置。

【請求項2】

前記把持位置候補検出部は、機械学習の学習データとして前記三次元センサから取得した座標データまたは前記撮影装置から取得した画像データ、把持動作を実行したときの把持位置、および前記把持動作成否判定部の判定結果とを用いて前記把持成功率を求める、請求項１に記載の把持装置。

【請求項3】

予め定められたＮを自然数とすると、前記把持位置候補検出部が、前記把持成功率の算出に学習結果を利用しない把持動作回数は、Ｎ回であり、
前記把持位置選択部は、Ｎ回目までの把持では前記把持位置候補のうち、前記ワークの画像上の重心位置に最も近い点を選択し、Ｎ回を超過してから前記機械学習結果を用いて得られた前記把持成功率が最大になる候補を前記最適把持位置として選択する、請求項１に記載の把持装置。

【請求項4】

前記把持位置候補検出部は、前記把持装置の稼働中に前記三次元センサから取得した座標データまたは前記撮影装置から取得した画像データと前記把持動作成否判定部の判定結果を用い、逐次前記機械学習結果を更新する、請求項１に記載の把持装置。

【請求項5】

前記ワークを収容する容器を載置する振動台をさらに備え、
前記ワーク情報処理装置は、次回の把持動作において、前記ハンドで把持を行なう前に前記容器内のワークを前記撮影装置で撮影した画像に基づいて決定した把持位置に対応する前記把持成功率が判定値よりも低い場合には、前記振動台によって前記ワークの位置を変更する、請求項１に記載の把持装置。

【請求項6】

前記撮影装置は、
前記ハンドで把持される前に前記ワークが置いてある載置場所を撮影する第１カメラと、
前記ハンドで把持された後に前記ワークが配置されるべき配置場所を撮影する第２カメラとを含み、
前記ワーク情報処理装置は、前記第２カメラから取得した画像データに基づいて前記ワークの前記配置場所における配置位置を決定し、前記配置位置が基準位置と一致するか否かを判定し判定結果に基づいて配置成功率を算出し、
前記ワーク情報処理装置は、次回の把持動作において、前記ハンドで把持を行なう前に前記載置場所に置かれているワークを前記第１カメラで撮影し、撮影した画像に基づいて決定した把持位置に対応する前記把持成功率および前記配置成功率に基づいて、前記把持位置の採否を決定する、請求項１に記載の把持装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、ワークをピックアップする把持装置に関する。

【背景技術】

【0002】

機械加工または組立作業において、対象物であるワークは、ロボットまたは組立装置等によって自動的にピックアップされ加工装置または組立物の筐体などにセットされることが多い。ピックアップ時には、ワークの形状や姿勢を認識してピックアップアームを制御する必要がある。たとえば、ロボットや組立装置等によるワークの取り出し作業で必要なワークの姿勢検出や形状認識などにワーク情報処理装置が利用される。

【0003】

従来、ワークの姿勢検出や形状認識などに画像処理が用いられている。ワーク情報処理装置では、カメラでワークを撮影し、パターンマッチング等でワークの姿勢を検出し、検出結果に基づいてピックアップアームを制御して把持可能な姿勢にハンドを位置決めする。

【0004】

特開２０１５－２１３９７３号公報、特開２０１７－０４７５０５号公報、特開２０１６－２２１６４７号公報、特開平１０－３３２３３３号公報および特開平１１－０６６３２１公報には、ワークをピックアップする把持装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１５－２１３９７３号公報

【文献】特開２０１７－０４７５０５号公報

【文献】特開２０１６－２２１６４７号公報

【文献】特開平１０－３３２３３３号公報

【文献】特開平１１－０６６３２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ハンドの姿勢制御に関しては、特開２０１５－２１３９７３号公報（特許文献１）において、ハンドおよびハンドの位置決め機構とワークが格納されている容器との干渉を把持動作前にチェックし、検出されたワークがピッキング可能か否かを判定する方法が提案されている。機械的な干渉を把持動作前にチェックするものであり、ワークの取り出し作業において必要な機能である。

【0007】

また、特開２０１７－０４７５０５号公報（特許文献２）に開示された把持装置は、ハンドのアプローチ点から把持点まで間にハンドが通過する過程で障害物があった場合でも把持不可を判定せず、過去の把持成否情報と把持動作時のハンドの通過領域内の障害物の存在状態を機械学習（サポートベクタマシン）で学習し、把持動作前に学習結果を用いて把持の成否を判定し、判定結果に基づいて把持動作を行なう。この装置も特開２０１５－２１３９７３号公報（特許文献１）と同様、機械的な干渉による把持動作の可否を把持動作前に判定するものである。

【0008】

特開２０１６－２２１６４７号公報（特許文献３）は、装置内に保持されている複数の把持形態情報の中から、把持位置における周囲ワークの状態を考慮して把持形態を選択する方法を提案している。把持形態を選択する評価値として、把持対象と周囲ワークとの接触点の数や、接触点に対象ワークの滑りやすさ、壊れやすさ、絡まりやすさの情報に基づいて評価値を算出し、評価値が最大になる把持形態を選択する方法を提案している。

【0009】

特開２０１７－０４７５０５号公報（特許文献２）は、過去の把持動作の成否情報に基づいた学習で成否判定の精度を向上できる点で特開２０１５－２１３９７３号公報（特許文献１）よりも優れているが、学習には動作の試行が必要であり、学習に時間がかかるという課題がある。また、特開２０１６－２２１６４７号公報（特許文献３）のように、事前に特徴を定める必要があり、学習の準備に時間がかかる場合もある。

【0010】

本発明は、このような課題を解決するためのものであって、その目的は、バラ積みワークの取り出し作業において、適切な把持位置を選択するための学習を比較的短時間で終了することが可能な把持装置を提供することである。

【課題を解決するための手段】

【0011】

本開示に係る把持装置は、ワークの表面を観察するための撮影装置と、ワークの表面上の点の座標データを計測する三次元センサと、ワークを把持するためのハンドと、把持可能な姿勢にハンドを位置決めする位置決め機構と、撮影装置および三次元センサを用いてワークの最適把持位置を検出し、位置決め機構およびハンドを制御するワーク情報処理装置とを備える。ワーク情報処理装置は、三次元センサから取得した座標データまたは撮影装置から取得した画像データに基づいてワークの把持位置を決定し、把持位置に基づいてハンドがワークを把持するように位置決め機構およびハンドを作動させ、ハンドを撮影装置によって撮影させ、取得した画像データに基づいて実際にワークを把持できているか否かを判定し、判定結果と把持位置との関係を蓄積して把持位置における把持成功率を算出し、把持成功率に基づいて次回以降の把持動作時に採用する把持位置を決定する。

【0012】

好ましくは、ワーク情報処理装置は、三次元センサから取得した座標データまたは撮影装置から取得した画像データを用いて把持対象とするワークの位置を検出するワーク検出部と、ワーク検出部で検出されたワークの位置に基づいてワークの周囲物とハンドとの干渉を判定し、単数または複数の把持位置候補を検出する把持位置候補検出部と、把持位置候補検出部で抽出された把持位置候補の中から最適把持位置を選択する把持位置選択部と、最適把持位置に基づいて位置決め機構またはハンドに位置決め指令または把持・開放指令を出力する指令出力部と、撮影装置から取得した画像データに基づいて実際にワークを把持できているか否かを画像処理で判定する把持動作成否判定部とを含む。把持位置候補検出部は、把持位置候補について、三次元センサまたは撮影装置から取得したデータと把持動作成否判定部の判定結果とを用いた機械学習結果により把持成功率を求める。把持位置選択部は、把持成功率が最大になる候補を最適把持位置として選択する。

【0013】

より好ましくは、把持位置候補検出部は、機械学習の学習データとして三次元センサから取得した座標データまたは撮影装置から取得した画像データ、把持動作を実行したときの把持位置、および把持動作成否判定部の判定結果とを用いて把持成功率を求める。

【0014】

より好ましくは、予め定められたＮを自然数とすると、前記把持位置候補検出部が、前記把持成功率の算出に学習結果を利用しない把持動作回数はＮ回である。把持位置選択部は、Ｎ回目までの把持では把持位置候補のうち、前記ワークの画像上の重心位置に最も近い点を選択し、Ｎ回を超過してから機械学習結果を用いて得られた把持成功率が最大になる候補を最適把持位置として選択する。

【0015】

より好ましくは、把持位置候補検出部は、把持装置の稼働中に三次元センサから取得した座標データまたは撮影装置から取得した画像データと把持動作成否判定部の判定結果を用い、逐次機械学習結果を更新する。

【0016】

より好ましくは、把持位置候補検出部は、一定回数の把持動作毎に機械学習結果の少なくとも一部をリセットする。

【0017】

好ましくは、ワークを収容する容器を載置する振動台をさらに備え、ワーク情報処理装置は、次回の把持動作において、ハンドで把持を行なう前に容器内のワークを撮影装置で撮影した画像に基づいて決定した把持位置に対応する把持成功率が判定値よりも低い場合には、振動台によってワークの位置を変更する。

【0018】

好ましくは、撮影装置は、ハンドで把持される前にワークが置いてある載置場所を撮影する第１カメラと、ハンドで把持された後にワークが配置されるべき配置場所を撮影する第２カメラとを含む。ワーク情報処理装置は、第２カメラから取得した画像データに基づいてワークの配置位置を決定し、配置位置が基準位置と一致するか否かを判定し判定結果に基づいて配置成功率を算出する。ワーク情報処理装置は、次回の把持動作において、ハンドで把持を行なう前に載置場所に置かれているワークを第１カメラで撮影し、撮影した画像に基づいて決定した把持位置に対応する把持成功率および配置成功率に基づいて、把持位置の採否を決定する。

【発明の効果】

【0019】

本発明によれば、バラ積みワークの取り出し作業において、適切な把持位置を選択するための学習を比較的短時間で終了することが可能となる。

【図面の簡単な説明】

【0020】

【図1】実施の形態１の把持装置の構成を示す図である。

【図2】ハンドの形状を示す正面図である。

【図3】ハンドの形状を示す側面図である。

【図4】ワーク情報処理装置６の内部構成を示す図である。

【図5】パターンマッチングの様子を説明するための図である。

【図6】パターンマッチング時に検出される情報を説明するための図である。

【図7】図６のＺ軸の＋方向からワークＷを見たときの図である。

【図8】把持位置候補検出部６３が実行する処理を説明するための図である。

【図9】ワークＷの把持可能位置の指示の第１例である。

【図10】ワークＷの把持可能位置の指示の第２例である。

【図11】把持可能箇所が複数となるワークＷと周囲ワークとの状況の配置例を示した図である。

【図12】把持成功時に検出された画像を示す図である。

【図13】把持失敗時に検出された画像を示す図である。

【図14】ワーク情報処理装置が行なう処理を示したフローチャートである。

【図15】実施の形態２の把持装置の構成を示す図である。

【図16】実施の形態２のワーク情報処理装置が実行する処理を説明するためのフローチャートである。

【図17】実施の形態３の把持装置の構成を示す図である。

【図18】実施の形態３のワーク情報処理装置が実行する処理を説明するためのフローチャートである。

【図19】設置成功時に検出された画像を示す図である。

【図20】設置失敗時に検出された画像を示す図である。

【発明を実施するための形態】

【0021】

以下、本発明の実施の形態について図面を参照しつつ説明する。なお、以下の図面において同一または相当する部分には同一の参照番号を付し、その説明は繰り返さない。

【0022】

［実施の形態１］
以下の実施の形態では、バラ積み状態の円柱状ワークを把持する場合について説明する。本実施の形態の把持装置は、バラ積み状態のワークの把持位置検出において、周囲のワークとの干渉を避けてハンドを挿入するための最適把持位置を選択する。

【0023】

（把持装置の構成）
図１は、実施の形態１の把持装置の構成を示す図である。図１を参照して、把持装置１は、ワークＷの表面を観察するためのカメラ２と、ワーク表面の各点のＸＹＺ座標データを計測する三次元センサ３と、ワークＷを把持するためのハンド４と、ワークＷを把持可能な姿勢にハンド４を位置決めする位置決め機構５と、カメラ２からの画像データＲ，Ｇ，Ｂおよび三次元センサ３からのＸＹＺ座標データＤを用いて最適把持位置を検出し、位置決め機構５およびハンド４を制御するワーク情報処理装置６とを備える。

【0024】

ワーク情報処理装置６は、三次元センサ３から取得した座標データまたは撮影装置２から取得した画像データに基づいてワークの把持位置を決定し、把持位置に基づいてハンド４がワークを把持するように位置決め機構５およびハンド４を作動させ、ハンド４を撮影装置２によって撮影させ、取得した画像データに基づいて実際にワークを把持できているか否かを判定し、判定結果と把持位置との関係を蓄積して把持位置における把持成功率を算出し、把持成功率に基づいて次回以降の把持動作時に採用する把持位置を決定する。

【0025】

本実施の形態では、位置決め機構５として多関節ロボットを用いた例を示す。この他にも、水平方向にアームが移動する水平多関節型や、直交する３つのスライド軸により構成された直交型のロボットなどを位置決め機構５として選択することができる。

【0026】

図２は、ハンドの形状を示す正面図である。図３は、ハンドの形状を示す側面図である。ハンド４は、２本の指４１および４２でワーク挟み込むことでワークを把持する。

【0027】

再び図１を参照して、三次元センサ３の内部には、図示しない２台のカメラが搭載されており、三角測量により物体表面の三次元座標を計測する。ワークＷの表面に計測の目印となる模様がない場合、２台のカメラの画像上の点を対応付けできないため、光源からスリット状の光やドット状の光がワークＷに向けて照射される。この光源は、三次元センサ３の内部に搭載されていても良いし、カメラ２の上方に配置しても良い。また、三次元センサ３は、特にステレオ方式の三次元センサに限定する必要はなく、光切断法や位相シフト法などの三次元座標データを計測するセンサであれば特に限定されない。

【0028】

（ワーク情報処理装置の内部構成）
図４は、ワーク情報処理装置６の内部構成を示す図である。ワーク情報処理装置６は、画像入力部６１と、ワーク検出部６２と、把持位置候補検出部６３と、把持位置選択部６４と、把持動作成否判定部６５と、データ保存部６７と、指令出力部６６とを備える。

【0029】

画像入力部６１は、三次元センサ３からのＸＹＺ座標データおよびカメラ２からの画像データを入力する。ワーク検出部６２は、三次元センサ３から取得したＸＹＺ座標データまたはカメラ２から取得した画像データを用いて把持対象とするワークの位置を検出する。把持位置候補検出部６３は、ワーク検出部６２で検出されたワークの位置に基づいてワークの周囲物とハンド４との干渉を判定し、単数または複数の把持位置候補を検出する。把持位置選択部６４は、把持位置候補検出部６３で抽出された把持位置候補の中から、予測された成功率が最大になる最適把持位置を選択する。把持動作成否判定部６５は、カメラ２から取得した画像データに基づいて実際にワークを把持できているか否かを画像処理で判定する。

【0030】

データ保存部６７は、三次元センサ３からのＸＹＺ座標データおよびカメラ２から取得した画像データおよび把持位置候補の座標値、把持動作の成否判定結果等を保存する。指令出力部６６は、最適把持位置に基づいて位置決め機構５またはハンド４に位置決め指令または把持・開放指令を出力する。

【0031】

把持位置候補検出部６３は、把持位置候補について、三次元センサ３または撮影装置２から取得したデータと把持動作成否判定部６５の判定結果とを用いた機械学習結果により把持成功率を求め、把持成功率が最大になる候補を最適把持位置として選択する。
（ワーク情報処理装置における処理手順）
以下に、ワーク情報処理装置６の各部の処理を詳細に説明する。

【0032】

ワーク検出部６２は、三次元センサ３から取得したＸＹＺ座標データＤを用いて把持対象を検出する。本実施の形態では、把持対象の検出にパターンマッチングを用いる例を示す。

【0033】

図５は、パターンマッチングの様子を説明するための図である。あらかじめワークＷの画像がテンプレートＴとしてデータ保存部６７に保存されている。ワーク検出部６２は、把持対象の検出時にテンプレートＴを読み出してカメラ２からの画像データや三次元センサ３からのＸＹＺ座標データに重ね合わせ、最も一致する姿勢を有するワークを探索するパターンマッチングを行なう。

【0034】

図６は、パターンマッチング時に検出される情報を説明するための図である。パターンマッチングでは、ワークＷの中心座標（ｏｘ，ｏｙ，ｏｚ）と各軸周りの回転角度（α，β，γ）が検出される。

【0035】

次に、把持位置候補検出部６３が実行する処理を説明する。図７は、図６のＺ軸の＋方向からワークＷを見たときの図である。図７には、把持対象のワークＷと、周囲の４つのワークと、ハンド４の２本の指４１、４２との位置関係が示されている。また、図７では、ハンド４の２指４１，４２の座標の中点がワークＷの重心Ｏと一致するようにハンド４が位置決めされている。図７の例では、ワークＷとハンド４の２指４１，４２は干渉しない。図７に示したようなワークＷとハンド４の２指４１，４２が干渉しない箇所を、把持位置候補検出部６３は把持可能と判断する。

【0036】

図８は、把持位置候補検出部６３が実行する処理を説明するための図である。把持位置候補検出部６３は、図８のニューラルネットワークで、図７に示す把持位置候補と把持動作の成功率を予測する。ニューラルネットワークは、三次元センサ３から取得したＸＹＺ座標データＤおよびカメラ２から取得した画像Ｒ，Ｇ，Ｂを入力とし、把持位置候補のＸＹＺ座標値と把持成功率を予測する。

【0037】

把持位置候補検出部６３は、ニューラルネットワークの学習処理も行なう。学習にはバックプロバケーション（誤差逆伝播法）を用いる。学習のために、以下の教師データを準備する。

【0038】

ワークＷをカメラ２で図６のＺ軸の＋方向から撮影する。ワークＷについて、ハンド４が干渉しない位置を人間が指示する。図９は、ワークＷの把持可能位置の指示の第１例である。図１０は、ワークＷの把持可能位置の指示の第２例である。図９および図１０に示すような矩形を人間が指示して把持可能位置の教師データとする。

【0039】

図９、図１０に示した矩形の中心座標Ｘ，Ｙと奥行方向の座標Ｚを、三次元センサ３から取得した座標データＤから求める。また、指示した把持位置の成功率の初期値として、最大値１００を与える。成功率は０～１００の範囲の値とする。

【0040】

把持を試行して学習を行なうと時間がかかる。この課題に対処するために、本実施の形態では、動作を試行する前にある程度の学習を済ませておく。

【0041】

たとえば、あらかじめワークを撮影し、撮影した画像の中で把持可能な箇所を人間が判断して指示し、撮影した画像と人間が指示した箇所を教師データとして事前に学習を行う。この学習結果を用いることで、実際の動作の試行回数を減らすことができる。

【0042】

また、以上のような方法をとることで、特開２０１６－２２１６４７号公報（特許文献３）のように、事前に特徴を定める必要はなくなり、把持の可否判断に必要な特徴情報を学習で取得することができる。

【0043】

図１１は、把持可能箇所が複数となるワークＷと周囲ワークとの状況の配置例を示した図である。図１１のような状況を想定し、把持位置には把持の優先度を示すラベルを割り当てる。ここでは、たとえば、Ａを優先度最大とし、順番にＢ，Ｃと３段階の優先度を設ける。優先度は矩形の指示者が判断して割り当てる。

【0044】

以上より、各矩形に対し、中心座標（Ｘ，Ｙ）、奥行座標Ｚ、矩形の縦横サイズ、成功率の初期値、ラベルが割り当てられる。これらの情報とワークＷの画像Ｒ，Ｇ，Ｂ、三次元センサ３から取得したＸＹＺ座標データＤを教師データとしニューラルネットワークの学習を行なう。把持位置候補検出部６３は、この学習結果を初期値として把持位置候補を検出する。

【0045】

次に把持位置選択部６４および把持動作成否判定部６５が実行する処理について説明する。把持位置選択部６４は、把持位置候補検出部６３が検出した把持位置候補の内、優先度が高く、把持動作の予測成功率が最大の候補を選択する。

【0046】

把持動作の成否は、把持動作成否判定部６５が判定する。実際の把持動作後、カメラ２でハンド４を撮影し、ハンド４内のワークを画像処理で検出し、検出できた場合は成功、未検出の場合は失敗と判定する。

【0047】

図１２は、把持成功時に検出された画像を示す図である。ワークを把持していないハンド４の画像とワークＷの把持に成功したハンド４との画像を比較すると、不一致の部分が生じる。このように不一致の部分がある場合には把持成功と判定される。

【0048】

図１３は、把持失敗時に検出された画像を示す図である。ワークを把持していないハンド４の画像とワークＷの把持に失敗したハンド４との画像を比較すると、一致するので差分の画像が生じない。このように不一致の部分が無い場合には把持失敗と判定される。

【0049】

把持動作成否判定部６５は、図１２、図１３に示したように、あらかじめ撮影されデータ保存部６７に保存されていた把持していない状態のハンド４の画像を、把持動作後の画像と比較して、２つの画像が一致していれば未検出、不一致ならば検出と判定する。

【0050】

把持位置候補検出部６３は、把持動作の試行中も学習を行ない、学習結果を更新する。把持位置候補検出部６３は、機械学習の学習データとして三次元センサ３から取得した座標データまたは撮影装置から取得した画像データ、把持動作を実行したときの把持位置、および把持動作成否判定部６５の判定結果とを用いる。

【0051】

把持動作成否判定部６５において、未検出の場合、ニューラルネットワークが予測した把持動作の成功率Ｓを下記式に代入して更新された成功率Ｓ’を得る。
Ｓ’＝α×Ｓ＋β
ここでは、（α、β）を更新係数と呼ぶ。それぞれの値は任意だが、ここでは（α，β）＝（０．９９，－０．１）とした。なお、学習を試行し経験的に定めた最適値を用いてもよい。

【0052】

把持動作試行中は、以上のように更新された成功率Ｓ’と、ニューラルネットワークが予測した中心座標（Ｘ，Ｙ）、奥行座標Ｚ、矩形の縦横サイズおよびラベルと、把持位置候補検出部６３が検出に利用した画像Ｒ，Ｇ，Ｂとデータ、三次元センサ３の画像データＤを用いて学習が行なわれる。

【0053】

把持位置候補検出部６３は、把持装置１の稼働中に三次元センサ３から取得した座標データまたは撮影装置２から取得した画像データと把持動作成否判定部６５の判定結果を用い、逐次機械学習結果を更新する。

【0054】

以上のように、把持動作のたびに、把持動作結果に基づいた学習を行なうことで、成功率の低い把持位置は除外され、成功率の高い把持位置のみが選択されるようになる。これにより、把持の失敗が低減され、取り出し作業を効率化することができる。

【0055】

また、本実施の形態では、把持装置が稼働している間、逐次学習を行なう例を示したが、周囲の環境変化やハンド４の形状変化、ワークの加工品位の変化等によっては、逐次学習よりも一定間隔で学習結果をリセットした方が好ましい場合も考えられる。

【0056】

このようなときは、あらかじめ設定した回数Ｍの把持動作毎に学習結果をリセットしてもよい。把持位置候補検出部６３は、一定回数の把持動作毎に機械学習結果をリセットする。リセット後は、再度、把持動作のたびに同様の学習を行ない、学習回数がＭに達したとき学習結果をリセットする。また、Ｍは特に固定の値にする必要はなく、周囲の環境やハンド４、ワーク等の変化に応じてリセットのたびに変化させてもよい。

【0057】

また、把持動作中の自動学習では、定期的に人間が認識結果を確認し、教師データを作成してもよい。

【0058】

この場合、データ保存部６７に保存された画像を参照し、たとえば図９、図１０に示すような矩形を人間が指示する。また、更新された成功率Ｓ’を人間が直接指定してもよい。これにより、学習時間のさらなる短縮化を図ることができる。

【0059】

以上説明した一連の処理をフローチャートで説明する。図１４は、ワーク情報処理装置が行なう処理を示したフローチャートである。図１４に示す処理は、図９、図１０で説明した人間が把持位置の教師データを与えてニューラルネットワークにある程度の学習をさせた後に行なわれる処理である。ワーク情報処理装置６は、カメラ２および三次元センサ３から画像を取得する（Ｓ１）。続いて、ワーク情報処理装置６は、取得した画像から把持対象を検出し（Ｓ２）、把持位置候補を検出し、把持位置候補の把持成功率を予測する（Ｓ３）。

【0060】

そして、ワーク情報処理装置６は、把持位置候補のうち、優先度最大、かつ把持成功率最大の把持位置候補を選択し（Ｓ４）、位置決め機構５およびハンド４を用いて把持動作を行なう（Ｓ５）。

【0061】

好ましくは、Ｎを自然数とすると、ステップＳ３における把持成功率の算出に学習結果を利用しない把持動作回数であるＮをあらかじめ設定し、Ｎ回目までの把持では把持位置候補のうち、ワークの画像上の重心位置に最も近い点を選択し、Ｎ回を超過してからステップＳ３において機械学習結果を用いて把持成功率を算出し、ステップＳ４において把持成功率が最大になる候補を最適把持位置として選択してもよい。

【0062】

把持動作を実行した後、ワーク情報処理装置６は、カメラ２でハンド４の画像を撮影し（Ｓ６）、把持動作の成否を確認する（Ｓ７）。そして、ワーク情報処理装置６は、画像および把持位置座標、把持動作成否を保存し（Ｓ８）、ニューラルネットワークの学習処理を実行する（Ｓ９）。

【0063】

また、学習処理の負荷が高い場合、把持成功率の算出に時間を要する場合も考えられる。本実施の形態では、ワーク情報処理装置６の把持位置候補検出部６３で学習を行なう例を示したが、特にこれに限定する必要はなく、把持位置候補検出部６３の学習処理をワーク情報処理装置６の専用の学習装置で行ってもよい。この場合、たとえば、ワーク情報処理装置６と学習装置をシリアル通信やＩ／Ｏ等で接続し、学習に用いる把持位置候補の座標値および三次元センサのＸＹＺ座標データＤ、カメラの画像データＲ，Ｇ，Ｂ、把持動作の成否判定結果を、ワーク情報処理装置６から学習装置に送信する。学習装置は受信したデータに基づいて学習を行ない、学習結果をワーク情報処理装置６に送信する。ワーク情報処理装置６は学習装置から受信した新たな学習結果を用いて把持成功率を算出する。

【0064】

なお、本実施の形態では、学習にバックプロバケーション（誤差逆伝播法）を用いることとしたが、これ以外にもサポートベクタマシン等の教師あり学習法や、オートエンコーダ（自己符号化器）やｋ平均法、主成分分析などの教師なし学習法、およびそれらを複合した機械学習法を用いてもよい。

【0065】

以上説明したように、実施の形態１に係る把持装置によれば、三次元センサまたはカメラで実際に撮影したワーク画像と実際の把持動作結果を学習に用いることにより、ワークの寸法や表面性状のバラツキ、ハンドの現在の状態等を学習に反映させることができ、把持成功率の低下を軽減することができる。また、把持成功率の低下を軽減することができるため、作業のタクトタイムを短縮できる。

【0066】

［実施の形態２］
実施の形態１では現状の配置のワークのうち一番把持成功率の高いワークを選択した。しかし、隣接ワークとの位置関係によっては、ハンド４が挿入できないことがある。実施の形態２では、このような場合に把持作業を補助する。

【0067】

図１５は、実施の形態２の把持装置の構成を示す図である。図１５を参照して、把持装置１Ａは、図１の把持装置１の構成に加えて、さらに、ワークを収容する容器（ワークトレー７）を載置する振動台８を備える。振動台８には、振動体が設けられている。また、把持装置１Ａは、ワーク情報処理装置６に代えてワーク情報処理装置６Ａを備える。カメラ２と、三次元センサ３と、ハンド４と、位置決め機構５については、図１の場合と同様であるので説明は繰り返さない。

【0068】

ワーク情報処理装置６Ａは、把持位置候補の把持成功率が閾値よりも低い場合に振動台８を振動させて把持成功率を向上させるように試行する。

【0069】

ワーク情報処理装置６Ａは、次回の把持動作において、ハンドで把持を行なう前に容器内のワークを撮影装置で撮影した画像に基づいて決定した把持位置に対応する把持成功率が判定値よりも低い場合には、振動台８によってワークの位置を変更する。

【0070】

図１６は、実施の形態２のワーク情報処理装置が実行する処理を説明するためのフローチャートである。図１６のフローチャートの処理は、ステップＳ４の次にステップＳ５１およびＳ５２の処理を実行する点が図１４で説明した処理と相違する。

【0071】

ワーク情報処理装置６Ａは、画像を取得（Ｓ１）、把持対象の検出（Ｓ２）、把持位置候補の把持成功率を予測（Ｓ３）、優先度最大、かつ把持成功率最大の把持位置候補の選択（Ｓ４）という各処理を図１４の場合と同様に順次行なう。

【0072】

そして、ワーク情報処理装置６Ａは、ステップＳ５１において、把持位置候補の予測された成功率Ｓがある閾値Ｔよりも高いか否かを判定する。

【0073】

把持位置候補の予測された成功率Ｓが閾値Ｔに到達しない場合（Ｓ５１でＮＯ）、振動台８を矢印の方向に一定時間振動させた後（Ｓ５２）、再度ステップＳ１～Ｓ４の処理を実行し、閾値Ｔを超える成功率Ｓを与える把持位置候補の検出を試みる。

【0074】

把持位置候補の予測された成功率Ｓが閾値Ｔより高くなった場合（Ｓ５１でＹＥＳ）、実施の形態１と同様に、ステップＳ５～Ｓ９の処理を実行する。

【0075】

なお、ステップＳ５２の処理を数回繰り返しても成功率が向上した把持位置候補が検出されなかった場合、たとえば、ハンド４でワークをずらす動作をさせてもよい。

【0076】

実施の形態２の把持装置は、実施の形態１の把持装置と同様な効果を奏するとともに、さらに、ワークの配置が悪いため把持成功率が高くない場合に把持成功率を向上させることができる。

【0077】

［実施の形態３］
実施の形態１では、学習は、把持成功率が高くなるように行なわれた。しかし、把持装置は、把持するだけでなく把持後のワークを次工程の加工等のために、作業台等に設置する必要もある。ハンド４の把持位置によっては、ワークが次工程の作業に最適な位置に配置されない場合も考えられる。実施の形態３では、把持動作に加えて配置動作も考慮して学習を実行する。

【0078】

図１７は、実施の形態３の把持装置の構成を示す図である。図１７を参照して、把持装置１Ｂは、図１の把持装置１の構成において、撮像装置としてカメラ２Ａとカメラ２Ｂを備える。カメラ２Ａは、図１のカメラ２と同様なカメラである。カメラ２Ｂは、次工程のワーク作業台１０に設置されたワークの位置を撮影する。把持装置１Ｂは、また、ワーク情報処理装置６に代えてワーク情報処理装置６Ｂを備える。カメラ２と、三次元センサ３と、ハンド４と、位置決め機構５については、図１の場合と同様である。

【0079】

すなわち、図１７に示すように、撮影装置２は、ハンドで把持される前にワークが置いてある載置場所を撮影する第１カメラ２Ａと、ハンドで把持された後にワークが配置される部材を撮影する第２カメラ２Ｂとを含む。ワーク情報処理装置６Ｂは、第２カメラ２Ｂから取得した画像データに基づいてワークの配置位置を決定し、配置位置が基準位置と一致するか否かを判定し判定結果に基づいて配置成功率を算出し、次回の把持動作において、ハンド４で把持を行なう前に載置場所に置かれているワークを第１カメラ２Ａで撮影した画像に基づいて決定した把持位置に対応する把持成功率および配置成功率に基づいて、把持位置の採否を決定する。

【0080】

図１８は、実施の形態３のワーク情報処理装置が実行する処理を説明するためのフローチャートである。図１８のフローチャートの処理は、ステップＳ７の次にステップＳ１０１～Ｓ１０３の処理を実行する点が図１４で説明した処理と相違する。

【0081】

ワーク情報処理装置６Ｂは、ステップＳ１～Ｓ７の処理を図１４の場合と同様に順次行なう。そして、ワーク情報処理装置６Ｂは、ステップＳ１０１において、把持したワークの設置動作を実行し、ステップＳ１０２においてカメラ２Ｂで設置位置の画像を撮影し、ステップＳ１０３において設置動作の成否を確認する。

【0082】

そして実施の形態１と同様に、ステップＳ８～Ｓ９の処理を実行する。ステップＳ９の学習処理では、把持成功率に加えて、設置成功率が考慮される。

【0083】

図１９は、設置成功時に検出された画像を示す図である。目標位置にワークを配置した画像と、実際にハンド４で把持した後にワークをワーク作業台１０に設置した画像とを比較すると、一致する。このように不一致の部分が無い場合には設置成功と判定される。

【0084】

図２０は、設置失敗時に検出された画像を示す図である。目標位置にワークを配置した画像と、実際にハンド４で把持した後にワークをワーク作業台１０に設置した画像とを比較すると、不一致が生じる。このように不一致の部分がある場合には設置失敗と判定される。

【0085】

ワーク情報処理装置６Ｂは、図１９、図２０に示したように、あらかじめ撮影されデータ保存部６７に保存されていた目標位置に配置したワークの画像を、設置動作後のワークの画像と比較して、２つの画像が一致していれば成功、不一致ならば失敗と判定する。

【0086】

実施の形態３の把持装置は、実施の形態１の把持装置と同様な効果を奏するとともに、さらに、ワークの把持位置が悪いため設置成功率が高くない場合に設置成功率を向上させることができる。

【0087】

なお、実施の形態２と３を組み合わせた把持装置を用いても良い。
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0088】

１，１Ａ，１Ｂ 把持装置、２，２Ａ，２Ｂ カメラ、３ 三次元センサ、４ ハンド、５ 位置決め機構、６，６Ａ，６Ｂ ワーク情報処理装置、７ ワークトレー、８ 振動台、１０ ワーク作業台、４１，４２ 指、６１ 画像入力部、６２ ワーク検出部、６３ 把持位置候補検出部、６４ 把持位置選択部、６５ 把持動作成否判定部、６６ 指令出力部、６７ データ保存部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】