特開 2023-180666 ロボット支援装置、ロボット支援方法、ロボット支援プログラム、ロボット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023180666

(43)【公開日】2023-12-21

(54)【発明の名称】ロボット支援装置、ロボット支援方法、ロボット支援プログラム、ロボット

(51)【国際特許分類】

   B25J 13/08 20060101AFI20231214BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022094161

(22)【出願日】2022-06-10

(71)【出願人】

【識別番号】000002107

【氏名又は名称】住友重機械工業株式会社

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100116274

【弁理士】

【氏名又は名称】富所 輝観夫

(72)【発明者】

【氏名】宮澤 宣嗣

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS04

3C707BS13

3C707CT05

3C707CV09

3C707CW08

3C707CX01

3C707CX03

3C707CY13

3C707DS01

3C707FS01

3C707FU01

3C707HS27

3C707KS03

3C707KS04

3C707KS35

3C707KT01

3C707KT05

3C707KT06

3C707KT18

3C707KV01

3C707KW05

3C707KX10

3C707LT06

3C707LV07

3C707LW12

3C707MT04

3C707NS28

(57)【要約】

【課題】作業対象におけるロボットの作業位置を適切に決定できるロボット支援装置等を提供する。
【解決手段】ロボット支援装置９０は、撮影部５０によって撮影された作業対象（梱包材６０）の画像に含まれる特徴部分（梱包部６３）を検知する特徴部分検知部９２と、作業対象におけるロボットアームの作業部（吸着ハンド２０および固定吸着部２１）の作業位置（開梱位置６４）を、特徴部分に対する相対的な位置として決定する作業位置決定部９３と、を備える。作業位置決定部９３は、特徴部分と作業位置の組を訓練データとする機械学習に基づいて、特徴部分検知部９２によって検知された特徴部分から、作業対象におけるロボットアームの作業位置を決定する。
【選択図】図７

【特許請求の範囲】

【請求項1】

撮影された作業対象の画像に含まれる特徴部分を検知する特徴部分検知部と、
前記作業対象におけるロボットの作業位置を、前記特徴部分に対する相対的な位置として決定する作業位置決定部と、
を備えるロボット支援装置。

【請求項2】

前記作業対象は梱包材であり、
前記特徴部分検知部は、撮影された前記梱包材の画像に含まれる梱包部を前記特徴部分として検知する、
請求項１に記載のロボット支援装置。

【請求項3】

前記梱包部は、前記梱包材の開閉部および結束部のいずれかである、請求項２に記載のロボット支援装置。

【請求項4】

前記作業位置決定部は、前記梱包材における前記ロボットの作業位置を、前記梱包部に隣接する位置として決定する、請求項２に記載のロボット支援装置。

【請求項5】

前記作業位置は、前記ロボットが前記梱包材を開梱する開梱位置である、請求項２に記載のロボット支援装置。

【請求項6】

前記作業位置決定部は、前記特徴部分と前記作業位置の組を訓練データとする機械学習に基づいて、前記特徴部分検知部によって検知された特徴部分から、前記作業対象における前記ロボットの作業位置を決定する、請求項１から５のいずれかに記載のロボット支援装置。

【請求項7】

撮影された作業対象の画像に含まれる特徴部分を検知する特徴部分検知ステップと、
前記作業対象におけるロボットの作業位置を、前記特徴部分に対する相対的な位置として決定する作業位置決定ステップと、
を備えるロボット支援方法。

【請求項8】

撮影された作業対象の画像に含まれる特徴部分を検知する特徴部分検知ステップと、
前記作業対象におけるロボットの作業位置を、前記特徴部分に対する相対的な位置として決定する作業位置決定ステップと、
をコンピュータに実行させるロボット支援プログラム。

【請求項9】

作業部と、
前記作業部の作業対象を撮影する撮影部と、
前記作業対象の画像に含まれる特徴部分を検知する特徴部分検知部と、
前記作業対象における前記作業部の作業位置を、前記特徴部分に対する相対的な位置として決定する作業位置決定部と、
前記作業部を前記作業位置において作業させる作業制御部と、
を備えるロボット。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット支援装置等に関する。

【背景技術】

【0002】

工場、物流倉庫、建設現場、病院等の産業現場において、人間の代わりに各種の作業を行う産業用ロボットが導入されている。従来の産業用ロボットは大型で高出力のものが多く、安全のために人間が入れない隔離空間を設けて作業を行わせる必要があった。一方、近年では人間と同じ空間で一緒に作業を行う協働ロボットの導入も進んでいる。従来の産業用ロボットと比べて小型の協働ロボットは狭いスペースに設置でき、低出力であることから安全確保のための大がかりなシステムを必要としない。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１７５１６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１には、梱包材の内容物の収容状況に応じて把持位置を決定するロボットが開示されている。しかし、例えば梱包材が不透明である場合は内容物の収容状況を正確に把握できないため、適切な把持位置を決定できない恐れがある。

【0005】

本発明はこうした状況に鑑みてなされたものであり、作業対象におけるロボットの作業位置を適切に決定できるロボット支援装置等を提供することを目的とする。なお、本発明は協働ロボットに限らない一般的な産業用ロボットとしてのロボットアーム等に適用可能である。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様のロボット支援装置は、撮影された作業対象の画像に含まれる特徴部分を検知する特徴部分検知部と、作業対象におけるロボットの作業位置を、特徴部分に対する相対的な位置として決定する作業位置決定部と、を備える。

【0007】

この態様では、撮影された作業対象の画像に含まれる特徴部分に対する相対的な位置としてロボットの作業位置が決定されるため、例えば、特徴部分以外の作業対象の形状が不定である場合や、不透明な梱包材等の作業対象の内容物が把握できない場合であっても、作業対象におけるロボットの作業位置を適切に決定できる。

【0008】

本発明の別の態様は、ロボット支援方法である。この方法は、撮影された作業対象の画像に含まれる特徴部分を検知する特徴部分検知ステップと、作業対象におけるロボットの作業位置を、特徴部分に対する相対的な位置として決定する作業位置決定ステップと、を備える。

【0009】

本発明の更に別の態様は、ロボットである。このロボットは、作業部と、作業部の作業対象を撮影する撮影部と、作業対象の画像に含まれる特徴部分を検知する特徴部分検知部と、作業対象における作業部の作業位置を、特徴部分に対する相対的な位置として決定する作業位置決定部と、作業部を作業位置において作業させる作業制御部と、を備える。

【0010】

なお、以上の構成要素の任意の組合せや、これらの表現を方法、装置、システム、記録媒体、コンピュータプログラム等に変換したものも、本発明に包含される。

【発明の効果】

【0011】

本発明によれば、作業対象におけるロボットの作業位置を適切に決定できる。

【図面の簡単な説明】

【0012】

【図1】ロボットアームの外観を示す斜視図である。

【図2】ロボットアームの各ジョイントを構成する連結装置の構成を模式的に示す。

【図3】ロボットアームの各ジョイントを構成する連結装置の構成を模式的に示す。

【図4】ロボット支援装置の第１実施例を模式的に示す。

【図5】ロボットによるピッキング作業が行われる作業台の模式的な上面図である。

【図6】ロボットによるピッキング作業のフローチャートである。

【図7】ロボット支援装置の機能ブロック図である。

【図8】吸着ハンドによる梱包材の把持作業および開梱作業におけるロボット支援装置の処理を模式的に示す。

【図9】ロボット支援装置の第２実施例を模式的に示す。

【図10】把持ハンドによる梱包材の把持作業および取出作業におけるロボット支援装置の処理を模式的に示す。

【発明を実施するための形態】

【0013】

以下では、図面を参照しながら、本発明を実施するための形態（以下では実施形態ともいう）について詳細に説明する。説明および／または図面においては、同一または同等の構成要素、部材、処理等に同一の符号を付して重複する説明を省略する。図示される各部の縮尺や形状は、説明の簡易化のために便宜的に設定されており、特に言及がない限り限定的に解釈されるものではない。実施形態は例示であり、本発明の範囲を何ら限定するものではない。実施形態に記載される全ての特徴やそれらの組合せは、必ずしも本発明の本質的なものであるとは限らない。

【0014】

図１は、産業用ロボットまたは協働ロボットの一例としてのロボットアーム１００の外観を示す斜視図である。このロボットアーム１００は、シリアルリンク機構による垂直多関節型のロボットアームである。本発明を適用可能なロボットは狭義のロボットアームに限られず、複数のリンク（人体における骨に相当）を相対運動可能に連結するジョイント（人体における関節に相当）を有する広義のロボットアームまたは任意のロボットでよい。また、シリアルリンク機構の代わりにパラレルリンク機構としてもよいし、垂直多関節型の代わりに水平多関節型としてもよい。

【0015】

ロボットアーム１００は、台座１０に近い方から順に、第１ジョイント１１、第２ジョイント１２、第３ジョイント１３、第４ジョイント１４、第５ジョイント１５、第６ジョイント１６、第７ジョイント１７の七つのジョイントまたは軸を有する。各ジョイントは人体の各関節に相当し、第１ジョイント１１は腰、第２ジョイント１２は肩、第３ジョイント１３は上腕（捻り）、第４ジョイント１４は肘、第５ジョイント１５は前腕（捻り）、第６ジョイント１６は手首、第７ジョイント１７は指先（捻り）に相当する。なお、各軸の方向はロボットアーム１００の目的や用途に応じて適宜設計可能だが、本実施形態では台座１０が水平面に置かれるとして、第１ジョイント１１は鉛直方向（水平面である台座１０に対して垂直）、第２ジョイント１２は水平方向（水平面である台座１０に対して平行）、第３ジョイント１３は第２ジョイント１２に対して垂直方向、第４ジョイント１４は水平方向、第５ジョイント１５は第４ジョイント１４に対して垂直方向、第６ジョイント１６は水平方向、第７ジョイント１７は第６ジョイント１６に対して垂直方向を向く。

【0016】

ロボットアーム１００の先端部にある第７ジョイント１７には、作業目的に応じた形状や機能を持つ作業部としてのエンドエフェクタまたはロボットハンドが取り付けられる。例えば、物を掴むためのグラップル状、物を掬うためのシャベル状、物を下から支えて運搬するためのフォーク状、物を引っ掛けて運搬するためのフック状、物を吊り上げて運搬するためのクレーン状といった各種のエンドエフェクタが利用可能である。本実施形態ではエンドエフェクタとして、作業対象としてのワーク６０を把持または保持し、必要に応じて開封や内容物の取出し等の任意の作業を実施する把持ツールまたは保持ツールを用いる例を説明する。なお、本明細書における「作業」は広義に解釈すべきであり、ワーク６０を把持または保持すること自体も「作業」に包含される。従って、後述する「作業位置」は、エンドエフェクタによるワーク６０の把持位置または保持位置も包含する概念である。

【0017】

図２および図３は、ロボットアーム１００の各ジョイント１１～１７を構成する連結装置３０の構成を模式的に示す。図２の連結装置３０は、図１における第２ジョイント１２、第４ジョイント１４、第６ジョイント１６等の「曲げ」の動作を行うジョイントに適用可能であり、図３の連結装置３０は、図１における第１ジョイント１１、第３ジョイント１３、第５ジョイント１５、第７ジョイント１７等の「捻り」の動作を行うジョイントに適用可能である。

【0018】

図２において、連結装置３０は第１部材としての第１リンク４１と第２部材としての第２リンク４２を相対運動可能に連結する。連結装置３０は人体における関節に相当し、連結装置３０で相互に連結される第１リンク４１および第２リンク４２は人体における骨に相当する。

【0019】

第１リンク４１および第２リンク４２は、連結装置３０による連結態様に応じて、様々な態様の相対運動をする。本実施形態では、第１リンク４１および第２リンク４２の延伸方向に垂直な回転軸Ａを中心として第１リンク４１と第２リンク４２が相対回転する例を説明する。

【0020】

なお、第１リンク４１および第２リンク４２の相対運動は回転運動に限らず並進運動でもよい。例えば、第１リンク４１および第２リンクの延伸方向に垂直な方向（図２の紙面に垂直な方向）に第１リンク４１および第２リンク４２が相対的に並進運動するように構成してもよいし、第１リンク４１および第２リンクの延伸方向に平行な方向（図２の上下方向）に第１リンク４１および第２リンク４２が相対的に並進運動するように構成してもよい。

【0021】

連結装置３０は、筐体３１と、制御基板３２と、モータ３３と、減速機３４と、弾性部材３５と、出力フランジ３６を備える。筐体３１は、回転軸Ａの周りに回転対称な形状をしており、その内部に連結装置３０の構成要素３２～３６を収容する。筐体３１の外周には、第１リンク４１が取り付けられる第１取付部３１１と、第２リンク４２が取り付けられる第２取付部３１２が設けられる。

【0022】

第１取付部３１１において筐体３１に固定される第１リンク４１は、筐体３１と一体的に回転軸Ａの周りに第２リンク４２に対して相対回転可能である。第２取付部３１２は、構成要素３２～３６を収容する筐体３１の内部空間と繋がる底面側（図２の左側）の開口部である。この開口部に設けられる出力フランジ３６を介して第２リンク４２は連結装置３０に取り付けられる。

【0023】

制御基板３２はロボットアーム１００全体の制御を担う中央制御装置（不図示）の制御の下で連結装置３０を制御する。例えば、モータ３３に対する駆動指令の生成、出力軸エンコーダ（不図示）の測定データに基づく適応制御、弾性部材３５の弾性変形に基づくトルクの検出、検出されたトルクに基づく適応制御等が制御基板３２で行われる。モータ３３は制御基板３２からの駆動指令に応じて回転軸Ａの周りに第２リンク４２を回転駆動する動力を発生させるアクチュエータである。減速機３４は歯車等によってモータ３３の回転速度を減らし減速比に比例したトルクを発生させる。

【0024】

弾性部材３５は、動力源としてのモータ３３および減速機３４と、動力によって回転駆動される負荷としての第２リンク４２の間に直列に設けられ、連結装置３０において直列弾性アクチュエータ（ＳＥＡ：Series Elastic Actuator）を構成する。協働ロボットとしてのロボットアーム１００と一緒に作業を行う人間が衝突したとしても、弾性部材３５の弾性変形によって衝撃が吸収されるため安全性が向上する。また、弾性部材３５は、モータ３３および減速機３４で発生した動力や第２リンク４２に加わる外力を弾性エネルギーとして蓄積および解放できるため、人間の筋肉のような効率的な動作を実現できる。

【0025】

弾性部材３５は連結装置３０に弾性を付与する部材であり、例えば、ばねやゴム等の任意の弾性体によって形成される。また、弾性部材３５に加えてまたは代えて、連結装置３０の第１リンク４１および第２リンク４２の相対回転に対して抵抗を付与する抵抗付与部材を設けてもよい。抵抗付与部材としては、機械的な摩擦によって抵抗を付与するもの、油やグリース等の粘性流体の粘性によって抵抗を付与するもの等が挙げられる。弾性部材３５の弾性や抵抗付与部材が付与する抵抗を制御基板３２によって可変としてもよい。

【0026】

なお、弾性部材３５は外力によるトルクを検出するトルクセンサとしても機能する。すなわち、外力によるトルクは弾性部材３５の弾性変形を引き起こすため、その弾性変形量に基づいてトルクを検出できる。弾性部材３５の弾性変形量を測定するためには、磁歪センサ、ひずみゲージ、圧電素子、偏光素子、静電容量センサ等の各種の変位センサを弾性部材３５の表面等に取り付ければよい。変位センサで測定された弾性変形量は制御基板３２に実装される演算装置等によってトルクに変換される。なお、連結装置３０には、弾性部材３５および／または他の部材によって、連結装置３０に加わる力を検出する力センサを設けてもよい。以下では、力センサおよびトルクセンサを力覚センサと総称する。

【0027】

このように連結装置３０には、加わる力および／またはトルクを検出可能な力覚センサが取り付けられてもよい。各ジョイント１１～１７を構成する連結装置３０に加わる力および／またはトルクに基づいて、ロボットアーム１００の先端部に設けられる把持ツールや保持ツール等のエンドエフェクタまたはロボットハンドが、把持対象、保持対象、作業対象としてのワーク６０から受ける力および／またはトルクを演算できる。つまり、連結装置３０に設けられる力覚センサによって、エンドエフェクタがワーク６０から受ける力および／またはトルクを間接的に検出できる。これらの力覚センサに加えてまたは代えて、エンドエフェクタに力覚センサを取り付けることで、当該エンドエフェクタがワーク６０から受ける力および／またはトルクを直接的に検出してもよい。

【0028】

以上の構成において、減速機３４、弾性部材３５、抵抗付与部材は、それぞれジョイントとしての連結装置３０に柔軟性を付与する柔軟性付与部を構成する。ここで、柔軟性とはジョイントの曲がりやすさを意味し、外力によってジョイントが曲がる場合に柔軟性があるという。例えば、減速機３４は減速比に比例したトルクを発生させるため、減速比を低くすることで外力によってジョイントが曲がりやすい柔軟性の高い状態を実現できる。また、弾性部材３５や抵抗付与部材は、外力に抗する弾性力や抵抗を発生させつつもジョイントが曲がることを許容するため、ジョイントに柔軟性を付与しているといえる。なお、柔軟性付与部は少なくとも一つのジョイントに設ければよく、図１の七つのジョイント１１～１７全てに柔軟性付与部を設けなくてもよい。

【0029】

出力軸エンコーダ（不図示）は、第２リンク４２の第１リンク４１に対する回転軸Ａの周りの回転位置を測定するロータリエンコーダである。出力フランジ３６は、減速機３４が生成したトルクを弾性部材３５を介して第２リンク４２に伝え、回転軸Ａの周りに第２リンク４２を回転させる。出力フランジ３６の周囲には、筐体３１に対する第２リンク４２の回転を円滑化する軸受３６１が設けられる。

【0030】

図３の連結装置３０では、第１リンク４１と第２リンク４２が、それぞれの延伸方向に平行な回転軸Ｂを中心として相対回転する。筐体３１の第２リンク４２側に設けられる切欠３７によって、モータ３３による第２リンク４２の回転軸Ｂの周りの回転を筐体３１が阻害しない構成になっている。

【0031】

図４は、本実施形態に係るロボット支援装置９０（図７）の第１実施例を模式的に示す。本実施例では、作業対象またはワークとしての梱包材６０がロボットアーム１００によって開梱され、その内容物７０が取出アーム８０によって取り出される。なお、本図におけるロボットアーム１００は図１と同様に構成できるが大幅に簡略化して図示されている。例えば、本図では七つの軸またはジョイント１１～１７のうち、第２ジョイント１２、第４ジョイント１４、第７ジョイント１７のみが模式的に示されており、その他の四つのジョイント１１、１３、１５、１６の図示は省略されている。

【0032】

ロボットアーム１００の先端部にある第７ジョイント１７には、作業部またはエンドエフェクタとしての吸着ハンド２０が取り付けられる。吸着ハンド２０は、袋状の梱包材６０の梱包材本体６１の表面に吸着することで、当該梱包材本体６１の一方側（以下では便宜的に表側ともいう）から梱包材６０を把持または保持する把持ツールまたは保持ツールである。また、吸着ハンド２０と対になる固定吸着部２１が、吸着ハンド２０および／または第７ジョイント１７の可動範囲の内部または近傍に固定的に設置されている。吸着ハンド２０と共に作業部を構成する固定吸着部２１は、吸着ハンド２０と同様に、袋状の梱包材６０の梱包材本体６１の表面に吸着することで、当該梱包材本体６１の他方側（以下では便宜的に裏側ともいう）から梱包材６０を把持または保持する把持ツールまたは保持ツールである。

【0033】

このように、袋状の梱包材本体６１は、表側において吸着ハンド２０に吸着され、裏側において固定吸着部２１に吸着されることで、両側から把持または保持される。この状態で吸着ハンド２０を固定吸着部２１から梱包材本体６１の表裏方向（図４における略左右方向）に離間させることで、袋状の梱包材本体６１が開けられる（すなわち、梱包材６０が開梱される）。なお、吸着ハンド２０と対になる吸着部（２１）は、吸着ハンド２０と同様に移動可能に構成されてもよい。例えば、ロボットアーム１００と同様のロボットアームおよび／またはロボットの先端部に吸着部（２１）を取り付けることで、いわゆる双腕ロボットによって梱包材６０を開梱する構成としてもよい。また、吸着ハンド２０や固定吸着部２１等の吸着ツールに加えてまたは代えて、その他のタイプの把持ツールまたは保持ツール（例えばグリッパまたは把持ハンド）が梱包材６０を把持または保持するために利用されてもよい。

【0034】

以上のように吸着ハンド２０や固定吸着部２１によって袋状の梱包材本体６１が開けられた状態で、取出アーム８０が梱包材本体６１の開口６２に上方から挿入される。吸着ハンド２０や固定吸着部２１と共に作業部を構成する取出アーム８０は、先端部に設けられるグリッパまたは把持ハンドによって梱包材本体６１の内容物７０を把持して開口６２から取り出す。

【0035】

後述するように、以上のようなロボットアーム１００や取出アーム８０等のロボットによる把持、開梱、取出し等の一連の作業は、カメラ等の撮影部５０が撮影した梱包材６０や内容物７０等の作業対象の画像（静止画および／または動画）に基づいて自動化される。図４の例では、撮影部５０がロボットアーム１００の先端部、すなわち作業部としての吸着ハンド２０の近傍に設けられているが、作業対象および／または作業部を撮影できる限り撮影部５０を設ける位置は任意である。例えば、撮影部５０はロボットアーム１００や取出アーム８０等のロボットの先端部から離れた位置（台座１０等）に設けられてもよいし、ロボットアーム１００や取出アーム８０等のロボットが設置される部屋、区画、空間等のロボット外に設置されてもよい。

【0036】

梱包材６０の内容物７０は任意であるが、民生用や産業用の電子機器に搭載される電子回路基板が例示される。本実施形態によれば、このような電子機器を製造する工場やサプライチェーンにおいて、部品棚や部品トレイに収納されている多数の梱包材６０を順次把持して開梱し、取り出した電子回路基板（内容物７０）を出荷トレイに配膳するピッキング作業を効率化できる。ピッキング作業は作業対象のワーク６０等に応じて人間とロボットが分担する場合も多いため、ロボットアーム１００や取出アーム８０等のロボットを図２等に関して説明したＳＥＡ等の柔軟性付与部を備える協働ロボットとして構成することで安全性を高められる。

【0037】

図５は、ロボットによるピッキング作業が行われる作業台の模式的な上面図である。本図における左側の部品トレイ置場６には、開梱前の多数の梱包材６０が収納された一または複数の部品トレイ６Ａが置かれる。ロボットアーム１００や取出アーム８０等のロボットは、後述するカメラ等の撮影部５０その他の情報読取部によって、指示マーク６Ｂにおけるコード等の情報を読み取ることで、自身（特に先端部）が部品トレイ置場６の近傍に位置することを認識する。本図における右側の出荷トレイ置場７には、開梱された梱包材６０から取り出された多数の内容物７０（電子回路基板等）が収納された一または複数の出荷トレイ７Ａが置かれる。ロボットアーム１００や取出アーム８０等のロボットは、後述するカメラ等の撮影部５０その他の情報読取部によって、指示マーク７Ｂにおけるコード等の情報を読み取ることで、自身（特に先端部）が出荷トレイ置場７の近傍に位置することを認識する。

【0038】

図６は、ロボットによるピッキング作業のフローチャートである。フローチャートにおける「Ｓ」は、ステップまたは処理を意味する。Ｓ１では、空き領域のある出荷トレイ７Ａが不図示のトレイ運搬ロボットによって識別される。Ｓ２では、トレイ運搬ロボットが指示マーク７Ｂを読み取ることで出荷トレイ置場７を認識する。Ｓ３では、トレイ運搬ロボットが空き領域のある出荷トレイ７Ａを出荷トレイ置場７に設置する。Ｓ４では、上記と同じまたは異なるトレイ運搬ロボットが、指示マーク６Ｂを読み取ることで部品トレイ置場６を認識する。Ｓ５では、トレイ運搬ロボットがピッキング作業の対象である部品トレイ６Ａを部品トレイ置場６に設置する。

【0039】

Ｓ６では、ロボットアーム１００、固定吸着部２１、取出アーム８０等のロボットまたは作業部がピッキング作業を行う。具体的には、指示マーク６Ｂを読み取ることで部品トレイ置場６を認識したロボットアーム１００、固定吸着部２１、取出アーム８０等のロボットまたは作業部は、Ｓ５で設置された部品トレイ６Ａ内の梱包材６０を一つずつ把持して開梱し、電子回路基板等の内容物７０を取り出す。そして、指示マーク７Ｂを読み取ることで出荷トレイ置場７を認識した取出アーム８０等のロボットまたは作業部は、開梱された梱包材６０から取り出された電子回路基板等の内容物７０をＳ３で設置された出荷トレイ７Ａ内の空き領域に一つずつ配膳または配置する。

【0040】

Ｓ７では、Ｓ６におけるピッキングの成否が記録される。Ｓ８では、上記と同じまたは異なるトレイ運搬ロボットにピッキングの終了が通知される。Ｓ９では、トレイ運搬ロボットがＳ６においてピッキングの終了した部品トレイ６Ａを把持して不図示の部品棚に収納する。Ｓ１０では、Ｓ６においてピッキングが行われた出荷トレイ７Ａに必要な種類の部品（内容物７０）が必要な数だけ配膳されているか否か、すなわちキッティングが終了したか否かが判定される。Ｓ１０で「No」と判定された場合はＳ４に戻り、新たな部品トレイ６Ａからのピッキング作業が継続される。Ｓ１０で「Yes」と判定された場合はＳ１１に進み、上記と同じまたは異なるトレイ運搬ロボットが、Ｓ１０においてキッティングが終了したと判定された出荷トレイ７Ａを把持し、出荷トレイ置場７から不図示の出荷エリアに運搬する。

【0041】

図７は、本実施形態に係るロボット支援装置９０の機能ブロック図である。ロボット支援装置９０は、画像取得部９１と、特徴部分検知部９２と、作業位置決定部９３と、訓練データ格納部９４と、作業制御部９５を備える。これらの機能ブロックは、コンピュータの中央演算処理装置、メモリ、入力装置、出力装置、コンピュータに接続される周辺機器等のハードウェア資源と、それらを用いて実行されるソフトウェアの協働により実現される。コンピュータの種類や設置場所は問わず、上記の各機能ブロックは、単一のコンピュータのハードウェア資源で実現してもよいし、複数のコンピュータに分散したハードウェア資源を組み合わせて実現してもよい。例えば、ロボット支援装置９０の機能ブロックの一部または全部を、支援対象としてのロボット（ロボットアーム１００や取出アーム８０）に組み込んでもよいし、支援対象としてのロボット外の構成として実現してもよい。

【0042】

画像取得部９１は、撮影部５０が撮影した梱包材６０等の作業対象の画像（静止画および／または動画）を取得する。特徴部分検知部９２は、画像取得部９１が取得した作業対象の画像に含まれる梱包材６０の特徴部分を検知する。作業位置決定部９３は、作業対象としての梱包材６０におけるロボットアーム１００（作業部としての吸着ハンド２０等）の作業位置を、特徴部分検知部９２が検知した特徴部分に対する相対的な位置として決定する。作業制御部９５は、作業部としての吸着ハンド２０等を作業位置決定部９３が決定した作業位置において作業させる。

【0043】

図８は、吸着ハンド２０（および固定吸着部２１）による把持作業および開梱作業におけるロボット支援装置９０の処理を模式的に示す。本図における梱包材６０は、撮影部５０によって撮影された梱包材６０の画像を表す。本図では便宜的に袋状の梱包材本体６１の内部に収容されている電子回路基板等の内容物７０も併せて示すが、梱包材本体６１が撮影部５０にとって不透明である場合は内容物７０が画像に写らなくてもよい。

【0044】

特徴部分検知部９２は、梱包材６０の画像に含まれる梱包部６３を梱包材６０の特徴部分として検知する。ここで、梱包部６３とは袋状の梱包材本体６１の開閉部であり、簡易的なチャック、ファスナー、ジッパー、シール等の封止機構を備える部分でもよいし、単に袋状の梱包材本体６１の内周面が接触および／または近接している部分でもよい。袋状の梱包材本体６１の典型的な梱包部６３は、図示の例のように、梱包材本体６１の開口６２の近傍（図８における上部）において、一端（図８における左端）と他端（図８における右端）の間を横断して延在する特徴的な長尺形状を有する。

【0045】

袋状の梱包材本体６１の形状は全体としては不定であるが、梱包部６３のような特徴部分は一定の形状を有しているため、特徴部分検知部９２によって高精度に検知できる。特徴部分検知部９２によって検知された梱包部６３の領域は、図８において矩形状の検知領域６３′として模式的に示されている。なお、後述する作業位置決定部９３と同様に、特徴部分検知部９２は機械学習能力を備える人工知能によって構成されてもよい。このような特徴部分検知部９２は、梱包部６３を含む梱包材６０の図８のような画像と、当該画像における梱包部６３の領域（すなわち図８における検知領域６３′）の多数の組によって構成される訓練データまたは教師データに基づく機械学習によって、画像取得部９１から提供される梱包材６０の画像中の梱包部６３を高精度に検知できる。特徴部分検知部９２の機械学習のための訓練データは、後述する訓練データ格納部９４に格納されてもよい。

【0046】

作業位置決定部９３は、梱包材本体６１における吸着ハンド２０（および固定吸着部２１）の作業位置６４を、特徴部分検知部９２が検知した梱包部６３の検知領域６３′に対する相対的な位置として決定する。作業位置６４は、ロボットアーム１００の吸着ハンド２０および固定吸着部２１が梱包材本体６１の表側および裏側に吸着して把持する吸着位置および把持位置であると共に、梱包材本体６１に両側から吸着した吸着ハンド２０および固定吸着部２１を離間させることで梱包部６３を開梱する開梱位置６４でもある。図示されるように、開梱位置６４は効率的な開梱作業のために被開梱部としての梱包部６３に隣接または近接する位置として決定される。開梱位置６４は図８における梱包部６３の下方の隣接領域に設定されてもよいが、図８の例のように梱包部６３の上方の隣接領域すなわち開口６２に近い側の隣接領域に開梱位置６４を設定することで、梱包部６３を効率的に開梱できる。

【0047】

また、表裏の開梱位置６４に吸着する吸着ハンド２０および固定吸着部２１の離間量すなわち開口６２の開口量または開口径を最大化するために、開梱位置６４は梱包部６３の検知領域６３′の線対称軸上に設けられるのが好ましい。具体的には、矩形状の検知領域６３′の長手方向（図８における左右方向）の中点を通る短手方向（図８における上下方向）の線対称軸上であって、前述のように開口６２に近い側（図８における上側）に開梱位置６４を設定するのが好ましい。

【0048】

以上の考え方は、図８における梱包部６３のような矩形状以外の任意の線対称形状の梱包部の開梱位置の決定に同様に適用できる。すなわち、開梱位置は梱包部の線対称軸上であって、開梱作業によって形成される開口に近い側の梱包部の隣接領域に設定されるのが好ましい。

【0049】

作業位置決定部９３は機械学習能力を備える人工知能によって構成されてもよい。このような作業位置決定部９３は、図８のような梱包材６０の画像における梱包部６３の領域（すなわち図８における検知領域６３′）と、図８のような開梱位置６４の多数の組によって構成される訓練データまたは教師データに基づく機械学習によって、特徴部分検知部９２が検知した梱包部６３の検知領域６３′から、梱包材６０におけるロボットの作業位置としての開梱位置６４を高精度に決定できる。作業位置決定部９３の機械学習のための訓練データは、訓練データ格納部９４に格納されている。なお、作業位置決定部９３の機械学習は、いわゆるダイレクトティーチングによって行われてもよい。例えば、一方の訓練データである梱包部６３の領域６３′が作業位置決定部９３に与えられている状態で、人間がロボットアーム１００を直接的に動かして作業部としての吸着ハンド２０を所期の開梱位置６４まで移動させる。前述のように、ロボットアーム１００は協働ロボットとして構成できるため、このようなダイレクトティーチングの際の安全性を高められる。

【0050】

なお、図７では便宜的に、梱包材６０（作業対象）における梱包部６３（特徴部分）を検知する特徴部分検知部９２と、梱包材６０（作業対象）における開梱位置６４（作業位置）を決定する作業位置決定部９３を別体として示したが、特徴部分検知部９２および作業位置決定部９３を一つの機能ブロックに集約してもよい。このような機能ブロックは、画像取得部９１が取得した作業対象の画像に基づいて、当該作業対象におけるロボットの作業位置を直接的に決定する。

【0051】

作業制御部９５は、作業位置決定部９３が決定した表裏の開梱位置６４において、ロボットアーム１００の吸着ハンド２０および固定吸着部２１に梱包材本体６１を両側から把持させる。そして、作業制御部９５は、梱包材本体６１に両側から吸着した吸着ハンド２０および固定吸着部２１を離間させる（吸着ハンド２０を固定吸着部２１から離間させる）ことで梱包部６３を開梱させる。更に、作業制御部９５は、吸着ハンド２０および固定吸着部２１によって袋状の梱包材本体６１が開けられた状態で、取出アーム８０を図８における上方から梱包材本体６１の開口６２に挿入して内容物７０を取り出す。

【0052】

本実施例によれば、撮影部５０によって撮影された作業対象（梱包材６０）の画像に含まれる特徴部分（梱包部６３）に対する相対的な位置としてロボットの作業位置（開梱位置６４）が決定されるため、例えば、袋状の梱包材６０のように特徴部分以外の形状が不定である場合や、不透明な梱包材６０の内容物７０が把握できない場合であっても、作業対象におけるロボットの作業位置を適切に決定できる。

【0053】

図９は、本実施形態に係るロボット支援装置９０（図７）の第２実施例を模式的に示す。前述の第１実施例と同様の構成要素には同一の符号を付して重複する説明を省略する。本実施例における作業対象またはワークとしての梱包材６０は、紐状またはケーブル状の被結束物６５を、梱包部としての環帯状の結束部６３によって結束したものである。ロボットアーム１００の先端部にある第７ジョイント１７には、作業部としてのグリッパまたは把持ハンド２２が取り付けられている。ロボット支援装置９０は、撮影部５０が撮影した部品トレイ６Ａ内の梱包材６０の画像に基づいて、把持ハンド２２による梱包材６０の把持作業および部品トレイ６Ａからの取出作業を自動化する。

【0054】

図１０は、把持ハンド２２による梱包材６０の把持作業および取出作業におけるロボット支援装置９０の処理を模式的に示す。本図における梱包材６０は、撮影部５０によって撮影された梱包材６０の画像を表す。特徴部分検知部９２は、梱包材６０の画像に含まれるバンド状またはベルト状の結束部６３を梱包材６０の特徴部分として検知する。

【0055】

梱包材６０において、紐状またはケーブル状の被結束物６５の形状は不定であるが、結束部６３のような特徴部分は一定の形状を有しているため、特徴部分検知部９２によって高精度に検知できる。また、被結束物６５と異なる色の結束部６３が使用される場合は、梱包材６０の画像における色の違いに基づいて、結束部６３を被結束物６５と区別して抽出できる。特徴部分検知部９２によって検知された結束部６３の領域は、図１０において矩形状の検知領域６３′として模式的に示されている。実際には、結束部６３の三次元形状に適合する環帯状や円環状の幾何学図形（立体）が、特徴部分検知部９２によって検知された検知領域６３′となる。

【0056】

なお、特徴部分検知部９２は機械学習能力を備える人工知能によって構成されてもよい。このような特徴部分検知部９２は、結束部６３を含む梱包材６０の図１０のような画像と、当該画像における結束部６３の領域（すなわち図１０における検知領域６３′）の多数の組によって構成される訓練データまたは教師データに基づく機械学習によって、画像取得部９１から提供される梱包材６０の画像中の結束部６３を高精度に検知できる。特徴部分検知部９２の機械学習のための訓練データは、訓練データ格納部９４に格納されてもよい。

【0057】

作業位置決定部９３は、梱包材６０における把持ハンド２２の作業位置６４（把持位置）を、特徴部分検知部９２が検知した結束部６３の検知領域６３′に対する相対的な位置として決定する。作業位置６４は、把持ハンド２２を構成する複数の指部または爪部が梱包材６０に当接して把持する複数の把持位置である。図示されるように、複数の把持位置６４は安定した把持作業のために、形状が不定な被結束物６５ではなく、一定の形状を有する結束部６３に隣接または近接する位置として決定される。具体的には複数の把持位置６４は、円環状の結束部６３の検知領域６３′の外周（円周）に沿って略等間隔で設定されるのが好ましい。この考え方は、図１０における結束部６３のような円環状以外の任意の形状の結束部の複数の把持位置の決定に同様に適用できる。すなわち、複数の把持位置は結束部の外周に沿って略等間隔で設定されるのが好ましい。

【0058】

作業位置決定部９３は機械学習能力を備える人工知能によって構成されてもよい。このような作業位置決定部９３は、図１０のような梱包材６０の画像における結束部６３の領域（すなわち図１０における検知領域６３′）と、図１０のような把持位置６４の多数の組によって構成される訓練データまたは教師データに基づく機械学習によって、特徴部分検知部９２が検知した結束部６３の検知領域６３′から、梱包材６０におけるロボットの作業位置としての把持位置６４を高精度に決定できる。作業位置決定部９３の機械学習のための訓練データは、訓練データ格納部９４に格納されている。なお、作業位置決定部９３の機械学習は、いわゆるダイレクトティーチングによって行われてもよい。例えば、一方の訓練データである結束部６３の領域６３′が作業位置決定部９３に与えられている状態で、人間がロボットアーム１００を直接的に動かして作業部としての把持ハンド２２の複数の指部または爪部を所期の複数の把持位置６４まで移動させる。前述のように、ロボットアーム１００は協働ロボットとして構成できるため、このようなダイレクトティーチングの際の安全性を高められる。

【0059】

なお、図７では便宜的に、梱包材６０（作業対象）における結束部６３（特徴部分）を検知する特徴部分検知部９２と、梱包材６０（作業対象）における把持位置６４（作業位置）を決定する作業位置決定部９３を別体として示したが、特徴部分検知部９２および作業位置決定部９３を一つの機能ブロックに集約してもよい。このような機能ブロックは、画像取得部９１が取得した作業対象の画像に基づいて、当該作業対象におけるロボットの作業位置を直接的に決定する。

【0060】

作業制御部９５は、作業位置決定部９３が決定した複数の把持位置６４において、ロボットアーム１００の把持ハンド２２の複数の指部または爪部に、梱包材６０の結束部６３を周囲から把持させる。更に、作業制御部９５は、把持ハンド２２を移動させることで、把持された梱包材６０を部品トレイ６Ａから取り出す。

【0061】

本実施例によれば、撮影部５０によって撮影された作業対象（梱包材６０）の画像に含まれる特徴部分（結束部６３）に対する相対的な位置としてロボットの作業位置（把持位置６４）が決定されるため、例えば、紐状またはケーブル状の被結束物６５を含む梱包材６０のように特徴部分以外の形状が不定である場合であっても、作業対象におけるロボットの作業位置を適切に決定できる。

【0062】

以上、本発明を実施形態に基づいて説明した。例示としての実施形態における各構成要素や各処理の組合せには様々な変形例が可能であり、そのような変形例が本発明の範囲に含まれることは当業者にとって自明である。

【0063】

なお、実施形態で説明した各装置や各方法の構成、作用、機能は、ハードウェア資源またはソフトウェア資源によって、あるいは、ハードウェア資源とソフトウェア資源の協働によって実現できる。ハードウェア資源としては、例えば、プロセッサ、ＲＯＭ、ＲＡＭ、各種の集積回路を利用できる。ソフトウェア資源としては、例えば、オペレーティングシステム、アプリケーション等のプログラムを利用できる。

【符号の説明】

【0064】

２０ 吸着ハンド、２１ 固定吸着部、２２ 把持ハンド、５０ 撮影部、６０ 梱包材、６１ 梱包材本体、６２ 開口、６３ 梱包部、６４ 作業位置、開梱位置、６５ 被結束物、７０ 内容物、８０ 取出アーム、９０ ロボット支援装置、９１ 画像取得部、９２ 特徴部分検知部、９３ 作業位置決定部、９４ 訓練データ格納部、９５ 作業制御部、１００ ロボットアーム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】