ホーム > 特許ランキング > ヤマハ発動機株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-16
(45)【発行日】2022-09-28
(54)【発明の名称】ロボットシステム
(51)【国際特許分類】
B25J 13/08 20060101AFI20220920BHJP
【ＦＩ】
B25J13/08 A
【請求項の数】
13
(21)【出願番号】P 2020525044
(86)(22)【出願日】2018-06-14
(86)【国際出願番号】 JP2018022809
(87)【国際公開番号】W WO2019239563
(87)【国際公開日】2019-12-19
【審査請求日】2020-09-18
(73)【特許権者】
【識別番号】000010076
【氏名又は名称】ヤマハ発動機株式会社
(74)【代理人】
【識別番号】100115381
【弁理士】
【氏名又は名称】小谷 昌崇
(74)【代理人】
【識別番号】100067828
【弁理士】
【氏名又は名称】小谷 悦司
(74)【代理人】
【識別番号】100176304
【弁理士】
【氏名又は名称】福成 勉
(72)【発明者】
【氏名】山口 洸太
(72)【発明者】
【氏名】道添 聡浩
【審査官】臼井 卓巳
(56)【参考文献】
【文献】特開２０１１－０７３０６６（ＪＰ，Ａ）
【文献】特開２００２－２００５８８（ＪＰ，Ａ）
【文献】特開２０１５－０８５４８８（ＪＰ，Ａ）
【文献】特開２０１６－１９７３９３（ＪＰ，Ａ）
【文献】特開２００１－０９５３４８（ＪＰ，Ａ）
【文献】特開２０１３－１８４２７３（ＪＰ，Ａ）
【文献】特開２０１７－０３０１３５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／００８０５７１（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／０１３６６３２（ＵＳ，Ａ１）
【文献】米国特許第０９８０２３１７（ＵＳ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ ９／１６－１９／０６
(57)【特許請求の範囲】
【請求項1】
複数のワークが収容された収容部から前記ワークを把持して取り出し、所定位置に運搬するハンド部を備えたロボットと、前記収容部から前記ワークを取り出して前記所定位置に運搬する、前記ロボットの搬送動作を制御するロボット制御部と、
前記搬送動作に関する条件であって、前記ワークのうち、前記ハンド部により把持することを禁止する把持禁止領域を少なくとも含む搬送条件を設定する搬送条件設定部と、
前記搬送動作が実行された後の前記所定位置のワークを撮像可能な撮像部と、
前記搬送動作が実行されたときの前記ロボット制御部による制御情報と、前記撮像部が撮像した画像に基づく前記ワークの外観的な品質情報とを取得して、これらの情報に基づき前記搬送条件を学習する学習部と、を備え、
前記ロボット制御部は、前記搬送条件設定部により設定された搬送条件に基づき前記ロボットを制御し、
前記搬送条件設定部は、前記学習部の学習結果に基づき前記搬送条件を修正する、ロボットシステム。
【請求項2】
請求項１に記載のロボットシステムにおいて、前記搬送条件設定部は、前記把持禁止領域に加えて、前記ワーク周辺の空間であって前記ワークに対して前記ハンド部が接近することを禁止する侵入禁止領域を少なくとも含む前記搬送条件を設定する、ロボットシステム。
【請求項3】
請求項１又は２に記載のロボットシステムにおいて、ワークの前記搬送条件を記憶する第１記憶部をさらに備え、
前記搬送条件設定部は、新たに搬送条件を設定すべき対象ワークと形状が類似する類似ワークについてその搬送条件が前記第１記憶部に既に記憶されている場合に、当該類似ワークの搬送条件に基づき前記対象ワークの搬送条件を設定する、ロボットシステム。
【請求項4】
請求項１又は２に記載のロボットシステムにおいて、前記搬送条件設定部は、前記ワークの画像に基づき前記搬送条件を設定する、ロボットシステム。
【請求項5】
請求項４に記載のロボットシステムにおいて、前記撮像部を第２撮像部と定義したときに、
前記搬送動作が実行される前の前記収容部内のワーク、又は前記収容部から取り出された、前記ハンド部により把持された状態のワークを撮像可能な第１撮像部をさらに備え、
前記搬送条件設定部は、前記第１撮像部が撮像した前記ワークの画像に基づき前記搬送条件を設定する、ロボットシステム。
【請求項6】
請求項１乃至５の何れか一項に記載のロボットシステムにおいて、前記搬送動作が実行された後の前記収容部内のワークを撮像可能な第３撮像部をさらに備え、
前記学習部は、前記制御情報及び前記所定位置におけるワークの品質情報に加え、前記第３撮像部が撮像した画像に基づく前記収容部内のワークの外観的な品質情報をさらに取得し、これらの情報に基づき前記搬送条件を学習する、ロボットシステム。
【請求項7】
請求項１乃至６の何れか一項に記載のロボットシステムにおいて、前記搬送条件は、前記ハンド部によるワークの把持力、ワークの運搬速度及び前記ハンド部によるワークの把持位置の少なくとも一つをさらに含む、ロボットシステム。
【請求項8】
請求項７に記載のロボットシステムにおいて、前記搬送条件は、ワークの運搬速度及び前記ハンド部によるワークの把持位置を含み、
前記学習部は、前記ワークにおける前記把持禁止領域以外の領域内において可及的に運搬速度が速くなる前記把持位置を学習する、ロボットシステム。
【請求項9】
請求項５に記載のロボットシステムにおいて、前記搬送動作が実行された後の前記収容部内のワークを撮像可能な第３撮像部と、
過去の前記収容部内のワーク配置情報及び過去の前記収容部内のワークの品質情報を記憶する第２記憶部と、をさらに含み、
前記第１撮像部は、前記搬送動作が実行される前の前記収容部内のワークを撮像可能なものであり、
前記搬送条件は、前記収容部から前記ワークを取り出す際の当該ワークに対する前記ハンド部のアプローチ方法を含み、
前記学習部は、前記制御情報及び前記所定位置におけるワークの品質情報に加え、前記第３撮像部が撮像した画像に基づく前記収容部内のワークの外観的な品質情報をさらに取得し、これらの情報に基づき前記搬送条件を学習するとともに、前記第１撮像部が撮像した画像から取得されるワーク配置情報が、前記過去のワーク配置情報であってかつ前記収容部内のワークの品質情報に基づき搬送動作に失敗したと認定されたワーク配置情報と類似する場合に、前記搬送条件とは異なるアプローチ方法をとるように学習する、ロボットシステム。
【請求項10】
請求項１乃至９の何れか一項に記載のロボットシステムにおいて、前記搬送条件設定部は、ワークの表面状態に関する情報を取得し、当該表面状態に関する情報に基づき前記把持禁止領域を設定する、ロボットシステム。
【請求項11】
請求項５、６又は９に記載のロボットシステムにおいて、複数の前記撮像部の機能を兼用する少なくとも１つの撮像部を備えている、ロボットシステム。
【請求項12】
請求項１１に記載のロボットシステムにおいて、前記１つの撮像部は、前記ロボットの可動部分に設けられている、ロボットシステム。
【請求項13】
請求項１乃至１２に記載のロボットシステムにおいて、
前記搬送条件設定部は、前記搬送条件を初期設定する、ロボットシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数のワークが収容された容器等から前記ワークを取り出して搬送するロボットを備えるロボットシステムに関するものである。
【背景技術】
【0002】
複数のワークがバラ積みされた状態で収容された容器からワークを取り出すシステムとして、例えば特許文献１に開示されるように、ハンド部を備えたロボットによってワークを取り出すロボットシステムが知られている。このロボットシステムは、三次元測定装置で測定された、バラ積みされたワークの表面位置に基づいて最上位にあるワークを特定し、このワークを取り出し可能なハンド部の目標位置およびハンド部の目標姿勢を設定するとともに、当該目標位置および目標姿勢に基づきハンド部を制御するものでる。
【0003】
特許文献１に開示されるような従来のロボットシステムでは、容器からのワークの取り出しが成功した場合でも、ワークの運搬中に、ハンド部の把持部分が傷つき、或いは変形するおそれがある。そのため、ワークの品質を含めた意味で適切なワークの取り出しや運搬が行われているとは言えず、この点に改善の余地がある。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第５６４２７３８号公報
【発明の概要】
【0005】
本発明は、上記のような事情に鑑みてなされたものであり、その目的とするところは、複数のワークが収容された容器からより良好に品質を保ちつつワークを取り出して所定位置まで運搬することができるロボットシステムを提供することにある。
【0006】
そして、本発明の一の局面に係るロボットシステムは、複数のワークが収容された収容部から前記ワークを把持して取り出し、所定位置に運搬するハンド部を備えたロボットと、前記収容部から前記ワークを取り出して前記所定位置に運搬する、前記ロボットの搬送動作を制御するロボット制御部と、前記搬送動作に関する条件であって、前記ワークのうち、前記ハンド部により把持することを禁止する把持禁止領域を少なくとも含む搬送条件を設定する搬送条件設定部と、を備え、前記ロボット制御部は、前記搬送条件設定部により設定された搬送条件に基づき前記ロボットを制御するものである。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下、本発明の実施形態に係るロボットシステムについて図面に基づいて説明する。
【0009】
［ロボットシステムの全体構成］
図１は、本発明の一実施形態に係るロボットシステム１の構成を示すブロック図である。ロボットシステム１は、ロボット２と、第１カメラ３Ａ（第１、第３撮像部）と、第２カメラ３Ｂ（第２撮像部）と、ロボット２および各カメラ３Ａ、３Ｂを制御する制御部４とを備える。このロボットシステム１は、複数のワークがバラ積みされた状態で収容された容器からワークを取り出し、所望の目的位置（所定位置）まで搬送するためのシステムである。
図１は、本発明の一実施形態に係るロボットシステム１の構成を示すブロック図である。ロボットシステム１は、ロボット２と、第１カメラ３Ａ（第１、第３撮像部）と、第２カメラ３Ｂ（第２撮像部）と、ロボット２および各カメラ３Ａ、３Ｂを制御する制御部４とを備える。このロボットシステム１は、複数のワークがバラ積みされた状態で収容された容器からワークを取り出し、所望の目的位置（所定位置）まで搬送するためのシステムである。
【0010】
図２は、ロボットシステム１に備えられるロボット２の一例を示す側面図である。ロボット２は、複数のワークＷがバラ積みされた状態で収容された第１容器３０（収容部）から当該ワークＷを取り出して（ピッキング）、別の第２容器３２に運搬するロボットである。各容器３０、３２は、上方側が開口した平面視矩形の有底容器である。第２容器３２は内部が複数の収納エリア３３に区画された皿形容器である。ロボット２は、第１容器３０の開口を介してワークＷを取り出し、第２容器３２の開口を介して、何れかの収納エリア３３内にワークＷを載置する。このように第１容器３０からワークＷを取り出して第２容器３２の各収納エリア３３に運搬する場面としては、例えば機械製造の現場で、複数の部品がバラ積みされた容器から部品を取り出してキッティングトレイに配膳する場面が想定される。
【0011】
ロボット２は、ベース部２１と、胴部２２と、第１アーム２３と、第２アーム２４と、手首部２５と、ハンド部２６とを備えた６軸垂直多関節ロボットである。ベース部２１は、床や台等に固定設置されている。胴部２２は、ベース部２１の上面において、鉛直方向（上下方向）に延びる第１軸２Ａ回りに、正逆両方向に回転可能に配置される。第１アーム２３は、所定の長さを有するアーム部材であり、その長手方向の一端部が水平方向に延びる第２軸２Ｂを介して胴部２２に取り付けられている。第１アーム２３は、第２軸２Ｂ回りに、正逆両方向に回転可能である。
【0012】
第２アーム２４は、アームベース２４ａとアーム部２４ｂとを含む。アームベース２４ａは、第２アーム２４のベース部分であり、第２軸２Ｂに対して平行且つ水平方向に延びる第３軸２Ｃを介して、第１アーム２３の長手方向他端部に取り付けられている。アームベース２４ａは、第３軸２Ｃ回りに、正逆両方向に回転可能である。アーム部２４ｂは、所定の長さを有するアーム部材であり、その長手方向の一端部が第３軸２Ｃに対して垂直な第４軸２Ｄを介してアームベース２４ａに取り付けられている。アーム部２４ｂは、第４軸２Ｄ回りに、正逆両方向に回転可能である。
【0013】
手首部２５は、第２軸２Ｂ及び第３軸２Ｃに対して平行且つ水平方向に延びる第５軸２Ｅを介して、アーム部２４ｂの長手方向他端部に取り付けられている。手首部２５は、第５軸２Ｅ回りに、正逆両方向に回転可能である。
【0014】
ハンド部２６は、ロボット２において第１容器３０からワークＷを取り出す部分であり、第５軸２Ｅに対して垂直な第６軸２Ｆを介して手首部２５に取り付けられている。ハンド部２６は、第６軸２Ｆ回りに、正逆両方向に回転可能である。ハンド部２６は、第１容器３０内のワークＷを保持可能な構造であれば特に限定されるものではなく、例えば、ワークＷを把持して保持する複数の爪部を備えた構造であってもよいし、ワークＷに対して吸引力を発生する電磁石又は負圧発生装置を備えた構造であってもよい。本実施形態では、ハンド部２６は、接離可能な一対の爪部を備えた構造を有し、第１容器３０内のワークＷを一対の爪部で把持（挟持）することによって当該ワークＷを取り出す。
【0015】
ロボット２の胴部２２、第１アーム２３、第２アーム２４（アームベース２４ａ、アーム部２４ｂ）、手首部２５及びハンド部２６は、各々図外の駆動モータにより駆動されて作動する。
【0016】
なお、ロボット２の軸の数は６軸に限定されるものでなく、それ以外の軸数であってもよい。また、ロボット２は、第１容器３０からワークＷを取り出し可能なハンド部を備えたロボットであれば特に限定されるものではなく、例えば、垂直多関節ロボットや水平多関節ロボット、或いは双腕型の多関節ロボットを採用することができる。
【0017】
第１カメラ３Ａは、第１容器３０に収容されたワークＷを含む画像を撮像するものであり、第１容器３０の上方に配置されている。また、第１カメラ３Ａは、第１容器３０からのワークＷの取り出しの成否を確認するために、ワークＷの取り出し動作後のハンド部２６を含む画像を撮像するものでもある。第２カメラ３Ｂは、第２容器３２に収容されたワークＷを含む画像を撮像するものであり、第２容器３２の上方に配置されている。これら第１、第２のカメラ３Ａ、３Ｂは、後記カメラ制御部４１と共に三次元計測器を構成する。
【0018】
制御部４は、上記の通り、ロボット２及び各カメラ３Ａ、３Ｂを統括的に制御するものである。制御部４は、カメラ制御部４１、ロボット制御部４２、搬送条件設定部４３、記憶部４４、及び学習部４５を備えている。
【0019】
カメラ制御部４１は、第１カメラ３Ａおよび第２カメラ３Ｂによる撮像動作を実行させるもので、撮像制御部４１ａと画像処理部４１ｂとを備えている。撮像制御部４１ａは、ハンド部２６によるワークＷの取り出しの際に、第１カメラ３Ａに、第１容器３０内を撮像する動作を実行させるとともに、ワークＷの取り出し動作後のハンド部２６を含む画像を撮像する動作を実行させる。また、撮像制御部４１ａは、第２容器３２へ搬送されたワークＷを確認する際に、第２カメラ３Ｂに第２容器３２内を撮像する動作を実行させる。
【0020】
画像処理部４１ｂは、各カメラ３Ａ、３Ｂが撮像した画像を画像処理することによって、ワークＷの三次元位置情報を含む画像データを生成する。ワークＷの三次元位置情報は、例えばＸＹＺ直交座標系を用いた座標値（Ｘ，Ｙ，Ｚ）で表される。
【0021】
ロボット制御部４２は、搬送条件設定部４３が設定する搬送条件に基づいて、ロボット２（ハンド部２６）にワークＷの搬送動作を実行させるものである。ロボット制御部４２は、前記搬送条件に従ってワークＷの搬送動作を実行するように、すなわち、ワークＷの取り出し（ピッキング）動作と、当該ワークＷの運搬及び載置動作（運搬動作と載置動作をまとめてプレイス動作と称する場合がある）とを実行するよう、ロボット２の前記駆動モータを制御する。また、学習部４５において、ワークＷの搬送動作に関する機械学習が実行される場合には、ロボット制御部４２がどのようにロボット２を作動させたかに関する情報が学習部４５に出力される。
【0022】
搬送条件設定部４３は、ワークＷに応じて、ワークＷを搬送する際のロボット２の動作や、禁止すべき事項などの搬送条件を設定するものである。例えばワークＷにおいてハンド部２６が把持することを禁止すべき領域などについての取り決めである。この点については後に詳述する。この搬送条件は、図外の入力部を介してオペレータにより教示されたものであってもよいし、後述する機械学習の結果として取得されるものであってもよい。
【0023】
記憶部４４は、搬送条件設定部４３が設定した搬送条件を更新的に記憶するものである。記憶部４４には、複数（種類）のワークＷについて、後記基本情報と搬送条件とを対応づけたテーブルデータが記憶されている。
【0024】
学習部４５は、ロボット２の動作を学習する学習処理を実行するものである。機械学習によって前記搬送条件を設定する場合、学習部４５は、ロボット制御部４２によるロボット２の制御情報と、カメラ制御部４１から入力される画像データとを、学習サイクル毎に取得する。そして、学習部４５は、これらの情報から、ワークＷを搬送する場合における最適なロボット２の行動パターンや搬送条件を学習させる。前記行動パターンは、例えば、ワークＷのピッキング動作の際にハンド部２６によりワークＷのどの位置をどの程度の力で把持するか（把持力）、また、ワークＷのピッキング、運搬及びプレイス動作の際にハンド部２６をどの程度の速度で移動させるか（運搬速度）、などに関するロボット２の行動である。なお、後述する通り、搬送条件にはこれらの行動要素も含まれている。学習部４５は、品質観測部４６、報酬設定部４７及び価値関数更新部４８を含む。これらについては、後に詳細に説明する。
【0025】
［ワークＷの搬送動作］
図３は、ロボットシステム１の基本動作を説明するためのフローチャートである。先ず、制御部４が、ワークＷの形状等の基本情報を取得する（ステップＳ１）。この基本情報は、ワークＷの種別、形状、サイズ、表面状態等の情報であり、制御部４は、図外の入力部を介したオペレータによる入力操作、若しくは、第１カメラ３Ａによる撮像結果に基づきこの基本情報を取得する。前記表面状態とは、ワークＷに施された表面処理などである。
図３は、ロボットシステム１の基本動作を説明するためのフローチャートである。先ず、制御部４が、ワークＷの形状等の基本情報を取得する（ステップＳ１）。この基本情報は、ワークＷの種別、形状、サイズ、表面状態等の情報であり、制御部４は、図外の入力部を介したオペレータによる入力操作、若しくは、第１カメラ３Ａによる撮像結果に基づきこの基本情報を取得する。前記表面状態とは、ワークＷに施された表面処理などである。
【0026】
次に、搬送条件設定部４３が、前記基本情報に基づいて、ワークＷの搬送条件を設定する（ステップＳ３）。この搬送条件は、上述の通り、図外の入力部を介してオペレータにより教示されたもの、或いは機械学習の結果として取得されたものであってもよい。
【0027】
続いて、カメラ制御部４１が、第１カメラ３Ａに第１容器３０内を撮像させることにより、その画像データに基づきロボット制御部４２が取り出し対象となるワークＷ（適宜、対象ワークＷと称す）を特定する（ステップＳ５）。
【0028】
そして、ロボット制御部４２がロボット２を駆動し、対象ワークＷを第１容器３０から取り出して第２容器３２に搬送する搬送動作を実行させる（ステップＳ７）。ロボット制御部４２は、ステップＳ５、Ｓ７において、搬送条件設定部４３が設定した搬送条件に基づき、取り出し対象となるワークＷを特定するとともに前記搬送動作を実行する。
【0029】
搬送動作が完了すると、カメラ制御部４１が、第２カメラ３Ｂに第２容器３２内を撮像させることにより、その画像データに基づきワークＷの状態が認識される（ステップＳ９）。この際、ワークＷが収納エリア３３に収容されていない場合等、搬送動作が不適切と認められる場合には、ロボット制御部４２は、図外の報知部を制御し、オペレータに対して異常を報知させる動作を実行させる。
【0030】
次に、ロボット制御部４２が、所定数ＮのワークＷを第１容器３０から第２容器３２に搬送したかを判断し（ステップＳ１１）、搬送していない場合には、処理をステップＳ５に移行し、次のワークＷについて搬送動作をロボット２に実行させる。一方、所定数ＮのワークＷが第１容器３０から第２容器３２に搬送された場合には、ロボット制御部４２は、本フローチャートを終了する。
【0031】
［搬送条件の具体例］
図４Ａ、４Ｂに基づいて、搬送条件設定部４３が設定する搬送条件の具体例を説明する。図４Ａ、４Ｂは、搬送条件の一例を説明するための図であり、図４ＡはワークＷの平面図であり、図４ＢはワークＷの断面図（図４ＡのＩＶ－ＩＶ線断面図）である。
図４Ａ、４Ｂに基づいて、搬送条件設定部４３が設定する搬送条件の具体例を説明する。図４Ａ、４Ｂは、搬送条件の一例を説明するための図であり、図４ＡはワークＷの平面図であり、図４ＢはワークＷの断面図（図４ＡのＩＶ－ＩＶ線断面図）である。
【0032】
図４Ａに示すワークＷは、例えば６角穴付きボルト（キャップボルト）である。このワークＷ（適宜ボルトＷと称す）は、レンチ挿入用の孔部を備えた頭部５０と、軸部５２とを備える。軸部５２は、先端側のネジ部５２ａと、頭部側の非ねじ部（円筒部５２ｂと称する）とを含む。搬送条件設定部４３は、ボルトＷの品質を確保しつつボルトＷをハンド部２６で把持して搬送させるための搬送条件を設定する。
【0033】
具体的には、ボルトＷのうち、ネジ部５２ａを、ハンド部２６により把持することを禁止する把持禁止領域Ａａに設定し、それ以外の部分を、ハンド部２６により把持することを許容する把持可能領域Ａｂに設定する。すなわち、ワークＷの搬送の際にはハンド部２６により把持可能領域Ａｂを把持させるのである。これにより、ネジ部５２ａをハンド部２６で把持することによってそのねじ山が潰れるといった不都合が防止される。
【0034】
搬送条件設定部４３は、さらに把持可能領域Ａｂのうち、円筒部５２ｂに対応する部分を、条件付きで把持することを許容する条件付き領域Ａｂ１に設定する。すなわち、頭部５０を優先的に把持させ、所定条件が満たされた場合にのみ円筒部５２ｂをハンド部２６により把持させるのである。所定条件とは、例えば第１容器３０の角部に頭部５０が位置するためにハンド部２６により把持できない場合などであり、この場合には、円筒部５２ｂをハンド部２６により把持させるようにする。これは、円筒部５２ｂはネジ部５２ａに隣接するため、頭部５０と同等に把持することを許容すると、ロボット２の作動誤差等に起因してネジ部５２ａの一部がハンド部２６により把持されてねじ山が傷付けられることが考えらえられることによる。また、軸部５２に特殊な表面処理が施されているような場合、ハンド部２６により円筒部５２ｂの表面処理が傷つけられるといった不都合を出来るだけ抑制するためでもある。
【0035】
なお、ネジ部５２ａは、把持禁止領域Ａａであると同時に接触禁止領域Ｂａでもある。また、頭部５０及び円筒部５２ｂは、把持可能領域Ａｂであると同時に接触可能領域Ｂｂでもある。すなわち、一のボルトＷが搬送対象物である場合、当該一のボルトＷのネジ部５２ａは把持禁止領域Ａａであり、それ以外の部分は把持可能領域Ａｂである。一方、搬送対象物である当該一のボルトＷ以外のボルトＷについては、ネジ部５２ａは、ハンド部２６が接触することを禁止する接触禁止領域Ｂａであり、それ以外の部分は、ハンド部２６が接触することを許容する接触可能領域Ｂｂである。つまり、ハンド部２６によるボルトＷの取り出しの際には、当該ボルトＷの把持可能領域Ａｂのうち、周辺に位置するボルトＷのネジ部５２ａ（接触禁止領域Ｂａ）に接触しない位置をハンド部２６に把持させるのである。これにより、ボルトＷの取り出しの際に、取り出し対象のボルトＷの周辺にあるボルトＷのネジ部５２ａがハンド部２６により傷つけられることが抑制される。従って、搬送条件設定部４３は、把持禁止領域Ａａ及び把持可能領域Ａｂを設定するとともに、接触禁止領域Ｂａ及び接触可能領域Ｂｂを設定すると言える。
【0036】
搬送条件設定部４３は、さらに、円筒部５２ｂの先端部分からネジ部５２ａの先端を含むボルトＷ周辺の一定の空間（円筒状の空間）を侵入禁止領域Ｂｃと設定する（図４Ａ、４Ｂ参照）。この領域Ｂｃは、ハンド部２６が侵入することを禁止する領域である。つまり、取り出し対象となるボルトＷの周辺にあるボルトＷのネジ部５２ａにハンド部２６が接近することを禁止するのである。これによりネジ部５２ａがハンド部２６によって傷つけられることがより高度に抑制される。
【0037】
上述した搬送条件に加えて、搬送条件設定部４３は、複数のボルトＷが重なり合っている場合には、最上位に位置するボルトＷから優先的に取り出させるという搬送条件を設定する。また、搬送条件設定部４３は、搬送条件として、ボルトＷを確実に把持して搬送することが可能となる把持位置、把持力及び運搬速度を、当該ボルトＷの形状や表面処理の状態に応じて設定する。この際、特に円筒部５２ｂ（条件付き領域Ａｂ１）を把持する場合の把持力及び運搬速度は、それ以外の部分（頭部５０）を把持する場合の把持力及び運搬速度よりも低くなるように搬送条件を設定する。
【0038】
【0039】
図５の例では、複数のボルトＷ１～Ｗ３は、互いに離間して配置されている。詳しくは、各ボルトＷ１～Ｗ３は、何れも、ハンド部２６により頭部５０を把持されることが可能で、かつボルトＷ１～Ｗ３の何れのボルトＷの頭部５０が把持される場合も、当該ハンド部２６が他のボルトＷの侵入禁止領域Ｂｃに浸入することがないような距離を隔てて互いに離間している。従って、このような場合には、ロボット２は、ボルトＷ１～Ｗ３のうちの何れか一つを、その頭部５０をハンド部２６で把持して第１容器３０から取り出す。
【0040】
図６の例では、ボルトＷ１、Ｗ２は互いに重なった状態で配置されている。具体的には、一方のボルトＷ２のネジ部５２ａの上に、他方のボルトＷ１の頭部５０が重なっている。この場合、上位のボルトＷ１の頭部５０をハンド部２６で把持しようとすると、下位のボルトＷ２の侵入禁止領域Ｂｃにハンド部２６が浸入してそのネジ部５２ａ（接触禁止領域Ｂａ）に接触するおそれがある。従って、このような場合には、ロボット２は、ボルトＷ１の円筒部５２ｂ（把持可能領域Ａｂ１）をハンド部２６で把持して第１容器３０から取り出す。この際、ロボット２は、搬送条件において設定された把持力であって、頭部５０を把持する場合の把持力よりも低い把持力で円筒部５２ｂを把持する。
【0041】
図７の例では、ボルトＷ１、Ｗ２は重なってはいないが、一方のボルトＷ１の頭部５０及び円筒部５２ｂが、他方のボルトＷ２の円筒部５２ｂ及びネジ部５２ａに接触している。この場合、一方のボルトＷ１の頭部５０や円筒部５２ｂ（条件付き領域Ａｂ１）をハンド部２６で把持しようとすると、当該ハンド部２６が他方のボルトＷ２の侵入禁止領域Ｂｃに侵入するおそれがある。その一方で、他方のボルトＷ２の頭部５０は、その周囲が広く開放されている。従って、このような場合には、ロボット２は、ボルトＷ２の頭部５０をハンド部２６で把持して第１容器３０を取り出す。
【0042】
なお、図４Ａ～図７は、ワークＷが六角穴付きボルトである場合の把持禁止領域Ａａ（接触禁止領域Ｂａ）、把持可能領域Ａｂ、Ａｂ１（接触可能領域Ｂｂ）及び侵入禁止領域Ｂｃの例示である。従って、ワークＷの種類やサイズが異なれば、これらの領域の位置や広さが異なることは言うまでもない。また、例えば鏡面処理等の表面処理が施されているワークＷについては、搬送条件設定部４３は、当該表面処理の種類や位置等に応じて把持禁止領域Ａａ（接触禁止領域Ｂａ）や侵入禁止領域Ｂｃを設定する。
【0043】
［機械学習について］
次に、前記学習部４５の構成について説明するとともに、搬送条件設定部４３が、学習部４５による機械学習によって搬送条件を設定する例について説明する。
次に、前記学習部４５の構成について説明するとともに、搬送条件設定部４３が、学習部４５による機械学習によって搬送条件を設定する例について説明する。
【0044】
＜学習部の構成＞
学習部４５は、ある搬送動作が実行されたときのロボット２の制御情報と、その搬送動作が実行されたワークＷの品質情報とから、ワークＷを搬送する場合の最適なロボット２の行動パターン及び搬送条件を学習する。ここで、「品質情報」とは、主に搬送後のワークＷの表面（外観）の状態を表す情報である。学習部４５により取得された学習結果は、搬送条件設定部４３が設定する搬送条件に反映される。
学習部４５は、ある搬送動作が実行されたときのロボット２の制御情報と、その搬送動作が実行されたワークＷの品質情報とから、ワークＷを搬送する場合の最適なロボット２の行動パターン及び搬送条件を学習する。ここで、「品質情報」とは、主に搬送後のワークＷの表面（外観）の状態を表す情報である。学習部４５により取得された学習結果は、搬送条件設定部４３が設定する搬送条件に反映される。
【0045】
なお、学習の手法としては、特に限定されるものではなく、例えば、「教師あり学習」、「教師なし学習」及び「強化学習」等を採用することができる。本実施形態では、学習部４５における学習の手法として、強化学習としてのＱ学習の手法が採用されている。Ｑ学習は、ロボット２の連続的な動作を複数の状態に区分し、状態が順次移行されるときのロボット２の行動について、報酬が得られるような価値の高い行動を学習する手法である。また、学習部４５が実行する強化学習としてのＱ学習は、例えば、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を使用して実現することが可能である。ニューラルネットワークは、人間の脳の構造を模した構成となっており、人間の脳におけるニューロン（神経細胞）の機能を模した論理回路を多層に積層して構成されたものである。
【0046】
学習部４５は、上述した通り（図１）、品質観測部４６、報酬設定部４７及び価値関数更新部４８を含む。
【0047】
品質観測部４６は、搬送前のワークＷの画像データ（以下、搬送前画像データという）と、搬送後のワークＷの画像データ（以下、搬送後画像データという）とを比較し、ワークＷの品質を評価する（以下、ワーク品質評価という）。搬送前画像データは、対象となるワークＷの三次元位置情報（Ｘ、Ｙ、Ｚ座標値）を含む画像データであり、このロボットシステム１とは別に事前にワークＷを撮像して取得されたもの、或いは第１カメラ３Ａにより第１容器３０内を撮像させることにより取得されたものが用いられる。
【0048】
品質観測部４６は、具体的には、搬送前後の画像データを対比し、搬送中に形成された把持痕や傷（以下、単に傷という）の有無、傷の位置、傷の大きさ等を特定し、傷の状態に基づき３段階の評価（Ａ～Ｃ評価）を行う（図８参照）。例えば、搬送中に傷が形成されていない場合には、ワーク品質評価を「Ａ」とし、大きい傷が形成されている場合には、ワーク品質評価を「Ｃ」とする。また、小さい傷であってもその位置がワークＷのネジ部５２ａ（把持禁止領域Ａａ）であるような場合には、ワーク品質評価を「Ｃ」とする。
【0049】
また、品質観測部４６は、第１容器３０からのワーク取り出し直後のハンド部２６を含む画像データ（以下、取り出し後画像データという）に基づき、ハンド部２６によるピッキング動作の良否を評価するとともに（以下、ピッキング評価という）、前記搬送後画像データに基づき、ワークＷのプレイス動作の良否を評価する（以下、プレイス評価という）。取り出し後画像データとしては、ハンド部２６によるワークＷの取り出し動作後、第１カメラ３Ａによりハンド部２６を含む領域を撮像させることにより取得されたものが用いられる。
【0050】
品質観測部４６は、具体的には、取り出し後画像データに基づき、ハンド部２６によるワークＷの把持位置や把持姿勢を特定し、ピッキング評価として３段階の評価（Ａ～Ｃ評価）を行う（図８参照）。例えば、ハンド部２６が把持可能領域ＡｂのみでワークＷを適切に把持している場合には、ピンキング評価を「Ａ」とし、ハンド部２６が把持禁止領域Ａａに侵入した状態でワークＷを把持しているような場合には、その侵入度合に応じてピッキング評価を「Ｂ」又は「Ｃ」とする。
【0051】
また、品質観測部４６は、搬送後画像データに基づき、搬送後のワークＷの位置や姿勢を特定し、プレイス評価として３段階の評価（Ａ～Ｃ評価）を行う（図８参照）。例えば、品質観測部４６は、第２容器３２の収納エリア３３内に定められた姿勢で載置されている場合には、プレイス評価を「Ａ」とし、ワークＷが定められた姿勢とは異なる姿勢で配置され、或いは収納エリア３３からはみ出している場合等には、プレイス評価を「Ｂ」又は「Ｃ」とする。
【0052】
なお、当実施形態では、品質観測部４６は、ピッキング評価、プレイス評価、ワーク品質評価として各々３段階の評価を行うが、各評価は３段階に限定されるものではない。
【0053】
報酬設定部４７は、ロボット２が実行した搬送動作（行動パターン）と、その行動パターンによって搬送されたワークＷの品質とを関連付けて、当該行動パターンに対して報酬Ｒを与える処理を実行する。具体的には報酬設定部４７は、ロボット制御部４２から、あるワークＷの搬送の際にロボット２に実行させた行動パターンの制御データを取得する。また、報酬設定部４７は、当該行動パターンによって搬送されたワークＷについて品質観測部４６が導出した評価結果のデータを取得する。前記行動パターンの制御データと、前記評価結果のデータとに基づいて、当該行動パターンに対して報酬Ｒが与えられる。詳しくは、当該行動パターンを構成する行動要素毎に報酬Ｒが与えられる。行動要素には「把持位置」、「把持力」及び「運搬速度」が含まれる。「把持位置」は、ハンド部２６がワークＷを把持する際の当該ワークＷに対するハンド部２６の位置であり、「把持力」は、ハンド部２６がワークＷを把持する際の力の大きさであり、「運搬速度」は、取り出されたワークＷを運搬する際のハンド部２６の移動速度である。これらの行動要素は、上述した通り搬送条件でもある。
【0054】
報酬Ｒは、ピッキング評価、プレイス評価、及びワーク品質評価が高いほど、大きい値が付与されるように設定されている。当例では、報酬Ｒは、例えば図８に示す報酬表に基づいて与えられる。ピッキング評価、プレイス評価、及びワーク品質評価は、上述の通り各々３段階の評価（Ａ評価～Ｃ評価）とされ、報酬表は、ピッキング評価及びプレイス評価を縦項目、ワーク品質評価を横項目としたマトリクス表で規定されている。つまり、ピッキング評価及びプレイス評価と、ワーク品質評価との組合せで報酬Ｒが決定される。
【0055】
より詳しくは、図８に示すように、ピッキング評価と、ワーク品質評価との組み合わせにより、ハンド部２６によるピッキング動作におけるロボット２の行動パターンに対する報酬（Ｒａ１１～Ｒａ３３）が決定され、プレイス評価と、ワークＷの品質の評価との組み合わせにより、プレイス動作におけるロボット２の行動パターンに対する報酬（Ｒｂ１１～Ｒｂ３３）が決定される。
【0056】
ピッキング動作の行動パターンに対する報酬（Ｒａ１１～Ｒａ３３）は、例えば図９Ａ、９Ｂに示すように、当該行動パターンを構成する行動要素毎、すなわち「把持力」及び「把持位置」の各々について設定されている。図９Ａは、ピッキング評価及びワーク品質評価が共にＡ評価の場合の各行動要素の報酬Ｒの例示であり、図９Ｂは、ピッキング評価がＡ評価で、ワーク品質評価がＣ評価の場合の各行動要素の報酬Ｒの例示である。
【0057】
プレイス動作の行動パターンに対する報酬（Ｒｂ１１～Ｒｂ３３）は、例えば図１０Ａ、１０Ｂに示すように、当該行動パターンを構成する行動要素毎、すなわち「把持力」、「把持位置」及び「搬送速度」の各々について設定されている。図１０Ａは、プレイス評価及びワーク品質評価が共にＡ評価の場合の各行動要素の報酬Ｒの例示であり、図１０Ｂは、プレイス評価がＡ評価で、ワーク品質評価がＣ評価の場合の各行動要素の報酬Ｒの例示である。
【0058】
各行動要素の報酬Ｒは、上記の通り、ピッキング評価、プレイス評価、及びワーク品質評価が高いほど、大きい値が付与されるように設定されているが、さらに、ワークＷの運搬速度が速いほど、大きい値が付与されるように設定されている。これにより、学習部４５は、可及的に運搬速度が速くなるような、ロボット２の搬送動作の行動パターンを学習するようになっている。
【0059】
価値関数更新部４８は、ロボット２の行動パターンの価値Ｑ（ｓ，ａ）を規定する価値関数を、報酬設定部４７により設定された報酬Ｒに応じて更新する。価値関数更新部４８は、下記式（１）で示される価値Ｑ（ｓ，ａ）の更新式を用いて価値関数を更新する。
【0060】
【数1】
【0061】
上記式（１）において、「ｓ」は、ロボット２の状態を表し、「ａ」は、行動パターンに従ったロボット２の行動を表す。行動「ａ」によってロボット２の状態が、状態「ｓ」から状態「ｓ’」へ移行する。Ｒ（ｓ，ａ）は、その状態の移行により得られた報酬Ｒを表している。「ｍａｘ」が付された項は、状態「ｓ’」において最も価値の高い行動「ａ’」を選択した場合の価値Ｑ（ｓ’，ａ’）に「γ」を乗算したものになる。「γ」は、減衰率と呼ばれるパラメータであり、０＜γ≦１の範囲（例えば０．９）とされる。また、「α」は、学習率と呼ばれるパラメータであり、０＜α≦１の範囲（例えば０．１）とされる。
【0062】
上記式（１）は、行動「ａ」に対して報酬設定部４７により設定された報酬Ｒ（ｓ，ａ）に基づいて、状態「ｓ」における行動「ａ」の価値Ｑ（ｓ，ａ）を更新する更新式を表している。すなわち、上記式（１）は、状態「ｓ」における行動「ａ」の価値Ｑ（ｓ，ａ）よりも、状態「ｓ’」における行動「ａ’」の価値Ｑ（ｓ’，ａ’）と報酬Ｒ（ｓ，ａ）との合計値の方が大きければ、価値Ｑ（ｓ，ａ）を大きくし、反対に小さければ、価値Ｑ（ｓ，ａ）を小さくすることを示している。つまり、価値関数更新部４８は、上記式（１）で示される更新式を用いて価値関数を更新することによって、或る状態「ｓ」における或る行動「ａ」の価値Ｑ（ｓ，ａ）を、その行動「ａ」に対して設定される報酬Ｒと、その行動「ａ」による次の状態「ｓ’」における最良の行動「ａ’」の価値Ｑ（ｓ’，ａ’）に近付けるようにしている。
【0063】
＜機械学習処理＞
図１１及び図１２は、搬送条件の学習動作の一例を示すフローチャートである。先ず、制御部４の搬送条件設定部４３が、対象ワークＷに関する搬送条件のデータが既に記憶部４４に格納されているか否かを判定する（ステップＳ２１）。格納されている場合、搬送条件設定部４３は、格納されている既存のデータを搬送条件として初期設定する（ステップＳ４９）。このようなケースとしては、以前の学習により得られた対象ワークＷの既存の搬送条件を学習し直す場合や、元々記憶部４４に記憶されている搬送条件のデフォルトデータを利用して初期設定し学習を行う場合等が想定される。
図１１及び図１２は、搬送条件の学習動作の一例を示すフローチャートである。先ず、制御部４の搬送条件設定部４３が、対象ワークＷに関する搬送条件のデータが既に記憶部４４に格納されているか否かを判定する（ステップＳ２１）。格納されている場合、搬送条件設定部４３は、格納されている既存のデータを搬送条件として初期設定する（ステップＳ４９）。このようなケースとしては、以前の学習により得られた対象ワークＷの既存の搬送条件を学習し直す場合や、元々記憶部４４に記憶されている搬送条件のデフォルトデータを利用して初期設定し学習を行う場合等が想定される。
【0064】
既存のデータが記憶部４４に格納されていない場合（ステップＳ２１でＮｏ）、搬送条件設定部４３は、類似ワークに関する搬送条件のデータが記憶部４４に格納されているか否かを判定する（ステップＳ２３）。格納されている場合、搬送条件設定部４３は、類似ワークＷに関する搬送条件のデータに基づき、対象ワークＷの搬送条件を初期設定する。類似ワークＷとは、対象ワークＷと形状が共通するワークＷである。搬送条件設定部４３は、対象ワークの上記基本情報と、記憶部４４に格納されているワークＷの基本情報とを対比し、双方の形状について予め設定された共通点を満たすワークＷを類似ワークＷと特定し、当該類似ワークの搬送条件に基づき、対象ワークＷの搬送条件を推定する。例えば対象ワークＷが、上述した六角穴付きボルトである場合には、当該ボルトと長さが異なるボルト、或いは径が異なるボルトなどが類似ワークとされる。このロボットシステム１では、このように類似ワークＷの既存の搬送条件を利用して、対象ワークＷの搬送条件が初期設定されるので、一から搬送条件をプログラミングするといった手間が省けるのである。
【0065】
類似ワークに関する搬送条件のデータが記憶部４４に格納されていない場合（ステップＳ２３でＮｏ）、搬送条件設定部４３は、対象ワークＷの画像データを取得し（ステップＳ５１）、その画像データに基づき、対象ワークＷの搬送条件を初期設定する（ステップＳ５５）。例えば搬送条件設定部４３は、画像データ（三次元位置情報を含む画像データ）の点群密度等からワークＷの形状を特定し、その形状に基づき把持禁止領域Ａａ、接触可能領域Ｂｂ及び侵入禁止領域Ｂｃを推測するとともに、ハンド部２６による当該ワークＷの「把持位置」、「把持力」、「運搬速度」を推測する。これにより搬送条件を初期設定する。なお、画像データは、図外の入力部を介してオペレータにより事前に与えられている場合には当該画像データが用いられ、与えられていない場合には、カメラ制御部４１を介して第１容器３０内部を第１カメラ３Ａに撮像させることにより取得される。
【0066】
このようにステップＳ２５、Ｓ４９、Ｓ５５の何れかの処理により対象ワークＷの搬送条件が初期設定される。すなわち、対象ワークＷの把持禁止領域Ａａ（接触禁止領域Ｂａ）、把持可能領域Ａｂ（接触可能領域Ｂｂ）及び侵入禁止領域Ｂｃが決定されるとともに、ハンド部２６による当該ワークＷの「把持位置」、「把持力」、「運搬速度」が決定される。以上のステップＳ２１～Ｓ２５、Ｓ４９～Ｓ５５の処理が、学習処理に際しての事前準備であり、ステップＳ２５、Ｓ４９、Ｓ５５で初期設定された搬送条件が、ステップＳ２７以降の学習処理による学習結果に応じて修正されるのである。
【0067】
学習処理では、先ず、第１カメラ３Ａにより第１容器３０内の画像データが取得され、画像処理部４１ｂの物体認識処理によりワークＷの三次元位置情報が取得される（ステップＳ２７）。これにより、これから取り出されるワークＷの、前記第１容器３０内における位置情報（座標値）が取得され、この位置情報がロボット制御部４２に与えられる。なお、学習部４５の品質観測部４６は、このようなワークＷの三次元位置情報を含む画像データを、カメラ制御部４１から上述の搬送前画像データとして取得する。
【0068】
ロボット制御部４２は、搬送条件設定部４３が設定した搬送条件及び前記物体認識により取得されたワークＷの位置情報に基づきロボット２を動作させ、また、各禁止領域Ａａ、Ｂａ、Ｂｃ等の搬送条件を加味して第１容器３０からワークＷを取り出させる（ステップＳ２９）。ワそして、カメラ制御部４１が、ロボット２のハンド部２６に把持されたワークＷを第１カメラ３Ａにより撮像させ、その画像データに基づき、制御部４がハンド部２６にワークＷが把持されているか否かを判定する（ステップＳ３１、Ｓ３３）。なお、学習部４５の品質観測部４６は、このようにワークＷが把持された画像データを、カメラ制御部４１から上述の取り出し後画像データとして取得する。
【0069】
ワークＷが把持されている場合（ステップＳ３３でＹｅｓ）、ロボット制御部４２は、ロボット２を駆動させて、取り出したワークＷを第２容器３２まで運搬させると共に、所定のＸＹＺ位置でワークＷをリリース（把持解除）させる（ステップＳ３５）。これにより、第１容器３０から第２容器３２へのワークＷの搬送が完了する。
【0070】
ワークＷの搬送が完了すると、第２カメラ３Ｂにより第２容器３２内の画像データが取得され、画像処理部４１ｂの物体認識処理によりワークＷの三次元位置情報を含む画像データが取得される（ステップＳ３７）。学習部４５の品質観測部４６は、このようなワークＷの三次元位置情報を含む画像データを、カメラ制御部４１から上述の搬送後画像データとして取得する。なお、ワークＷが把持されていない場合には（ステップＳ３３でＮｏ）、後記ステップＳ４１に移行される。
【0071】
次に、品質観測部４６は、ステップＳ３１で取得した取り出し後画像データに基づき、上述のピッキング評価を行うとともに、ステップＳ３７で取得した搬送後画像データに基づき、上述のプレイス評価を行い、さらに、ステップＳ３７で取得した搬送後画像データと、ステップＳ２７で取得した搬送前画像データとを比較することにより、上述のワーク品質評価を行う（ステップＳ３９）。
【0072】
続いて、報酬設定部４７が、ピッキング動作の成否及び品質観測部４６の評価結果に基づき、今回のロボット２の行動パターンに基づき報酬Ｒを与える。報酬Ｒは、上述の図８の報酬表に基づき決定される。その場合、ピッキング動作の行動パターンに対する報酬（Ｒａ１１～Ｒａ３３）は、当該行動パターンを構成する行動要素毎に与えられる。具体的には、図９Ａ、９Ｂを参照して、ピッキング評価及びワーク品質評価が共にＡ評価の場合には、報酬設定部４７は、当該行動パターンの「把持力」及び「把持位置」に対して報酬「１００」を与える。また、ピッキング評価がＡ評価で、ワーク品質評価がＣ評価の場合には、報酬設定部４７は、当該行動パターンの「把持力」に対して報酬「０；ゼロ」を与え、「把持位置」に対して報酬「６０」を与える。
【0073】
同様に、プレイス動作の行動パターンに対する報酬（Ｒｂ１１～Ｒｂ３３）は、当該行動パターンを構成する行動要素毎に与えられる。具体的には、図１０Ａ、図１０Ｂを参照して、プレイス評価及びワーク品質評価が共にＡ評価の場合には、報酬設定部４７は、当該行動パターンの「把持力」、「運搬速度」及び「把持位置」に対してそれぞれ報酬「１００」を与える。また、プレイス評価がＡ評価で、ワーク品質評価がＣ評価の場合には、報酬設定部４７は、当該行動パターンの「把持力」及び「運搬速度」に対してそれぞれ報酬「０」を与え、「把持位置」に対して報酬「６０」を与える。
【0074】
なお、ステップＳ３３において、ワークＷが把持されていない場合には、図８の報酬表に拘わらず、報酬設定部４７は、ピッキング動作の行動パターンの「把持力」及び「把持位置」に対して各々報酬「０」を与え、プレイス動作の行動パターン「把持力」、「運搬速度」及び「把持位置」に対して各々報酬「０」の報酬を与える。
【0075】
その後、価値関数更新部４８が、ロボット２の行動パターンの価値Ｑ（ｓ，ａ）を規定する価値関数を、上記式（１）の更新式を用いて更新する（ステップＳ４３）。詳しくは、ピッキング動作の行動パターンの各行動要素の価値Ｑ（ｓ，ａ）を規定する価値関数を、ピッキング動作の行動パターンの各行動要素に対する報酬（Ｒａ１１～Ｒａ３３）に基づき更新するとともに、プレイス動作の行動パターンの各行動要素の価値Ｑ（ｓ，ａ）を規定する価値関数を、プレイス動作の行動パターンの各行動要素に対する報酬（Ｒｂ１１～Ｒｂ３３）に基づき更新する。
【0076】
上記のステップＳ２７～Ｓ４３で示される各処理が、学習部４５による学習処理の１サイクルにおいて実行される処理である。学習部４５は、学習回数が所定回数Ｎに達したか否かを判定する（ステップＳ４５）。所定回数Ｎに達していない場合は（ステップＳ４５でＮｏ）、学習部４５は、ステップＳ２７に処理を移行し、第１容器３０からの次のワークＷの取り出しを実行させ、学習処理を繰り返す。一方、所定回数Ｎに達した場合は（ステップＳ４５でＹｅｓ）、学習部４５が学習処理を終了し、搬送条件設定部４３が学習結果、すなわち最終的に得られた搬送条件のデータを記憶部４４に格納し（ステップＳ４７）、本フローチャートを終了する。この場合、対象ワークＷの搬送条件のデータが記憶部４４に格納されていない場合には、搬送条件設定部４３は、初期設定された搬送条件を学習結果に基づき修正した上で、当該搬送条件を対象ワークＷの上記基本情報と共に記憶部４４に新規に格納し、対象ワークＷの搬送条件のデータが記憶部４４に既に格納されている場合には、既存のデータを、修正後の搬送条件のデータによって上書きする。
【0077】
＜学習による作用効果＞
以上のように、学習部４５による学習処理が実行されることにより、より理想的なワークの搬送動作が実行されるような搬送条件が探知されて、ステップＳ４９、Ｓ２５、Ｓ５５で初期設定された搬送条件が、搬送条件設定部４３により修正されることとなる。例えば、初期設定された「把持位置」では、ハンド部２６がワークＷの取り出しに繰り返し失敗し、高いピキング評価やプレイス評価が得られないような場合には、学習処理によって、より高いピキング評価が得られる「把持位置」が探知されることとなる。この場合、搬送条件設定部４３は、初期設定された「把持位置」が把持禁止領域Ａａに含まれるように、例えば、初期設定された「把持禁止領域Ａａ」を拡大修正する。これにより、ワークＷの取り出しに失敗し難い、より理想的な搬送条件が設定されることとなる。
以上のように、学習部４５による学習処理が実行されることにより、より理想的なワークの搬送動作が実行されるような搬送条件が探知されて、ステップＳ４９、Ｓ２５、Ｓ５５で初期設定された搬送条件が、搬送条件設定部４３により修正されることとなる。例えば、初期設定された「把持位置」では、ハンド部２６がワークＷの取り出しに繰り返し失敗し、高いピキング評価やプレイス評価が得られないような場合には、学習処理によって、より高いピキング評価が得られる「把持位置」が探知されることとなる。この場合、搬送条件設定部４３は、初期設定された「把持位置」が把持禁止領域Ａａに含まれるように、例えば、初期設定された「把持禁止領域Ａａ」を拡大修正する。これにより、ワークＷの取り出しに失敗し難い、より理想的な搬送条件が設定されることとなる。
【0078】
また、上述の通り、価値関数更新部４８は、ワークＷの運搬速度が速いほど大きい値の報酬Ｒを付与する。つまり、学習部４５は、可及的に運搬速度が速くなるような把持力や把持位置を把持可能領域Ａｂ内において学習することとなる。従って、第１容器３０から第２容器３２へ、より速やかにワークＷを搬送し得るような搬送条件が設定されることとなる。例えば、ある学習サイクルにおいて、プレイス動作の行動パターンの行動要素である「把持力」及び「運搬速度」が各々最大値に設定されていたが、ワークＷに強い把持痕が見られワーク品質評価が低かった場合には、学習部４５は、次の学習サイクルでは、前回よりも「把持力」を低く設定する。その結果、ワークＷの把持痕は見られなくなったが、例えば第２容器３２内でワークＷの位置ずれが発生しているような場合、つまり「把持力」との関係で「運搬速度」が速すぎた場合には、学習部４５は、さらに次の学習サイクルでは「運搬速度」を前回よりも低く設定する。ここでは、「把持力」と「運搬速度」との関係について述べたが、学習部４５は、「把持位置」についても同様に学習する。その結果、学習部４５は、ワークＷを適切に搬送できる範囲内で、可及的に運搬速度が速くなるような把持力及び把持位置を把持可能領域Ａｂ内において学習することとなる。
【0079】
［変形例等］
上述したロボットシステム１は、本発明に係るロボットシステムの好ましい実施形態の例示であり、その具体的な構成は、本発明の要旨を逸脱しない範囲で変更が可能である。例えば、以下のような態様を採ることもできる。
上述したロボットシステム１は、本発明に係るロボットシステムの好ましい実施形態の例示であり、その具体的な構成は、本発明の要旨を逸脱しない範囲で変更が可能である。例えば、以下のような態様を採ることもできる。
【0080】
（１）ロボット２は、ワークＷを把持するためのハンド部２６のツール（実施形態では一対の爪部）を複数のツールの中から選択的に自動交換できるものであってもよい。この場合には、搬送条件設定部４３が、搬送条件として何れのツールを使用するかを設定し、学習部４５による機械学習に基づき最適なツールを学習するようにすることができる。このような構成によれば、最適なツールによりワークＷの搬送動作が実行されることにより、当該ワークＷの品質をより高度に確保しつつ当該ワークＷを搬送することが可能となる。
【0081】
（２）上記実施形態では、搬送条件設定部４３は、ワークＷの既存データ、類似ワークＷの既存データ、および第１カメラ３Ａを介して取得したワークＷの画像データの何れかに基づき搬送条件の初期設定を行う（図１１のステップＳ４９、Ｓ２５、Ｓ５５）。しかし、それ以外の情報に基づき搬送条件を設定するようにしてもよい。例えば図外の入力部を介してワークＷの上記基本情報がオペレータによって教示されて制御部４に記憶されている場合など、搬送条件設定部４３が当該基本情報を取得可能な場合には、当該基本情報に基づき搬送条件を設定するようにしてもよい。特に、前記基本情報のうち、ワークＷに施された表面処理等の表面状態に関する情報は、画像データから認識し難い。そのため、当該表面状態に関する情報は事前に制御部４に記憶され、搬送条件設定部４３が当該表面状態に関する情報に基づき把持禁止領域Ａａ（接触禁止領域Ｂａ）や侵入禁止領域Ｂｃを設定する。
【0082】
（３）上記実施形態では、ピッキング動作およびプレイス動作の各行動パターンに対する報酬（Ｒａ１１～Ｒａ３３）は、当該行動パターンを構成する行動要素毎に与えられる。しかし、各行動パターンに対する報酬（Ｒａ１１～Ｒａ３３）は、当該行動パターンを構成する行動要素毎の報酬を合計したものとしてもよい。具体的には、図９Ａ、９Ｂを参照して、ピッキング評価及びワーク品質評価が共にＡ評価の場合には、報酬設定部４７は当該行動パターンに対して報酬「２００」を与え、ピッキング評価がＡ評価で、ワーク品質評価がＣ評価の場合には、報酬設定部４７は当該行動パターンに対して報酬「６０」を与えるようにしてもよい。同様に、プレイス動作の行動パターンに対する報酬（Ｒｂ１１～Ｒｂ３３）は、当該行動パターンを構成する行動要素毎の報酬を合計したものとしてもよい。具体的には、図１０Ａ、図１０Ｂを参照して、プレイス評価及びワーク品質評価が共にＡ評価の場合には、報酬設定部４７は報酬「３００」を与え、プレイス評価がＡ評価で、ワーク品質評価がＣ評価の場合には、報酬設定部４７は報酬「６０」を与えるようにしてもよい。
【0083】
（４）上記実施形態では、搬送条件の初期設定のためにワークＷの画像データを取得する撮像部として、すなわち本発明の第１撮像部として、第１容器３０の上方に配置（固定）された第１カメラ３Ａが適用されている。しかし、図１４に示すように、第１撮像部として、ハンド部２６などロボット２の可動部分にカメラ３Ｃを設け、当該カメラ３Ｃで搬送動作が実行される前の第１容器３０内のワークＷを撮像するようにしてもよい。また、図１４に示すように、第１撮像部として、第１容器３０と第２容器３２との間の位置に上向きにカメラ３Ｄを配置（固定）し、第１容器３０から取り出されて、ハンド部２６により把持された状態のワークＷをこのカメラ３Ｄで撮像するようにしてもよい。
【0084】
また、上記実施形態では、第２容器３２への搬送後のワークＷを撮像する撮像部、すなわち本発明の第２撮像部として、第２容器３２の上方に配置（固定）された第２カメラ３Ｂが適用されている。しかし、第２撮像部として、図１４に示したようなカメラ３Ｃで、搬送動作が実行された後の第２容器３２内のワークＷを撮像するようにしてもよい。
【0085】
（５）ハンド部２６によるワーク取り出し後の第１容器３０内を第１カメラ３Ａ（第３撮像部）で撮像し、上記取り出し後画像データに加え（又は取り出し後画像データとは別に）、当該画像データ（他ワーク画像データという）に基づき、ハンド部２６によるピッキング動作の良否を評価するようにしてもよい。つまり、対象となるワークＷをハンド部２６が取り出す際に、当該対象ワークＷの周辺にある他のワークに与える影響を加味するようにしてもよい。この場合には、第１カメラ３Ａにより第１容器３０内を撮像させることにより取得された上記搬送前画像データと、他ワーク画像データとに基づき、品質観測部４６が、ハンド部２６による他のワークＷへの影響、具体的には、他のワークＷの変位や、当該他のワークＷに形成された傷等を特定してピッキング評価を行うようにする。このような構成によれば、取り出し対象となるワークＷの品質のみならず、当該取り出しの際の他のワークＷの品質をも保ち得るような搬送条件を探知させることが可能となる。
【0086】
この構成では、ハンド部２６によるワーク取り出し後の第１容器３０内を撮像する撮像部、すなわち本発明の第３撮像部として、第１容器３０の上方に配置（固定）された第１カメラ３Ａが適用されている。第１カメラ３Ａが本発明の第１撮像部と第３撮像部との機能を兼ねている。しかし、第３撮像部として、図１４に示すようなカメラ３Ｃで第１容器３０内のワークＷを撮像するようにしてもよい。この場合、カメラ３Ｃは、本発明の第１撮像部と第３撮像部との機能を兼ねるものであってもよい。
【0087】
この変形例（５）においては、さらに、搬送条件設定部４３が、搬送条件として、第１容器３０からワークＷを取り出す際の当該ワークＷに対するハンド部２６の接近・離間等のアプローチ方法を設定するようにし、記憶部４４が、他ワーク画像データとピッキング動作の成否及びピッキング評価と（以下、ピッキング動作結果という）を記憶し、学習部４５が、第１カメラ３Ａが撮像する第１容器３０内の画像（取り出し対象となる対象ワークＷを含む画像）と、過去のピッキング動作結果とに基づき最適なアプローチ方法を学習させるようにしてもよい。アプローチ方法とは、取り出し対象である対象ワークＷに対してハンド部２６を接近・離間等させる際の移動速度や、ＸＹＺ直交座標系で特定される移動方向などである。つまり、第１カメラ３Ａが撮像した画像データが、記憶部４４に格納された過去のピッキング動作結果の画像データであってかつ搬送動作に失敗したと認定される画像データと類似する場合に、前記アプローチ方法を変更するようにしてもよい。搬送動作に失敗したとは、例えばピッキング動作に失敗した場合（ワークＷを把持できなかった場合や取り出し中にワークＷを脱落させた場合等、図１１のステップＳ３３の処理でＮｏと判定されるような場合）や、ピッキング評価について低評価（Ｃ評価）とされるような場合が考えられる。このような構成によれば、ワークＷの取り出しの際に、他のワークＷの品質をより高度に保ち得るようなアプローチ方法を探知させることが可能となる。なお、この構成では、記憶部４４が本発明の第１、第２記憶部として機能し、第１カメラ３Ａが本発明の第１、第３撮像部として機能する。第１、第３撮像部は、第１カメラ３Ａに限らず、図１４に示すようなカメラ３Ｃであってもよい。また、当例では、本発明に係る「ワーク配置情報」として画像データが用いられているが、ワーク配置情報は、画像データに限定されるものではなく、第１容器３０内の各ワークＷの配置を特定できる情報であれば画像データ以外の情報であってもよい。例えば、ワーク配置情報は、第１容器３０内の各ワークＷの三次元位置情報であってもよい。つまり、第１カメラ３Ａが撮像した画像データから取得される各ワークＷの三次元位置情報が、記憶部４４に格納された過去の各ワークＷの三次元位置情報であってかつ搬送動作に失敗したと認定される各ワークＷの三次元位置情報と類似する場合に、前記アプローチ方法を変更するようにしてもよい。勿論、三次元位置情報の代わりに、二次元位置情報をワーク配置情報として用いてもよい。
【0088】
（６）上記実施形態のロボットシステム１では、前記搬送後画像データを取得するための撮像部として専用の撮像部（第２カメラ３Ｂ）が備えられている。しかし、例えば図１３に示すように、ロボットシステム１が、ワーク収納後の第２容器３２を撮像する三次元測定装置５ａを具備する検査装置５を含む場合には、前記搬送後画像データを取得するための撮像部として当該検査装置５（三次元測定装置５ａ）を兼用し、当該検査装置から前記搬送後画像データを取得するようにしてもよい。
【0089】
［上記実施形態に包含される発明］
上述した実施形態には、以下の構成を有する発明が主に含まれる。
上述した実施形態には、以下の構成を有する発明が主に含まれる。
【0090】
本発明の一の局面に係るロボットシステムは、複数のワークが収容された収容部から前記ワークを把持して取り出し、所定位置に運搬するハンド部を備えたロボットと、前記収容部から前記ワークを取り出して前記所定位置に運搬する、前記ロボットの搬送動作を制御するロボット制御部と、前記搬送動作に関する条件であって、前記ワークのうち、前記ハンド部により把持することを禁止する把持禁止領域を少なくとも含む搬送条件を設定する搬送条件設定部と、を備え、前記ロボット制御部は、前記搬送条件設定部により設定された搬送条件に基づき前記ロボットを制御するものである。
【0091】
このロボットシステムによれば、ワークに応じて、ハンド部により把持することを禁止する把持禁止領域が設定される。つまり、ハンド部によるワークの搬送動作に際しては、把持禁止領域以外の部分がハンド部により把持されることとなる。従って、ワークのうち形状的に変形し易い部分や傷つき易い部分が予め把持禁止領域として設定されることで、ワークの搬送の際に、当該ワークの品質が損なわれることが抑制される。
【0092】
このロボットシステムにおいて、前記搬送条件設定部は、前記把持禁止領域に加えて、前記ワーク周辺の空間であって前記ワークに対して前記ハンド部が接近することを禁止する侵入禁止領域を少なくとも含む前記搬送条件を設定するのが好適である。
【0093】
このロボットシステムによれば、ハンド部によるワークの取り出しの際に、取り出し対象となる対象ワークの周辺にある他のワークの侵入禁止領域にハンド部が侵入することが禁止される。換言すれば、他のワークの侵入禁止領域にハンド部が侵入しないように、ハンド部による対象ワークの取り出しが行われることとなる。従って、ワークのうち形状的に変形し易い部分や傷つき易い部分を含む一定の領域が予め侵入禁止領域として設定されることで、収容部からのワークの取り出しの際に、対象となるワークの周辺にある他のワークの品質が損なわれることが抑制される。
【0094】
前記ロボットシステムにおいては、ワークの前記搬送条件を記憶する記憶部をさらに備え、前記搬送条件設定部は、新たに搬送条件を設定すべき対象ワークと形状が類似する類似ワークについてその搬送条件が前記記憶部に既に記憶されている場合に、当該類似ワークの搬送条件に基づき前記対象ワークの搬送条件を設定するものであるのが好適である。
【0095】
このロボットシステムによれば、類似ワークの既存の搬送条件を利用して、対象ワークの搬送条件が設定されるので、ワーク毎に一から搬送条件をプログラミングするといった手間が省ける。
【0096】
前記一の局面に係るロボットシステムにおいて、前記搬送条件設定部は、前記ワークの画像に基づき前記搬送条件を設定するのが好適である。
【0097】
このロボットシステムによれば、ワークの画像データから前記搬送条件が設定されるので、ワークの形状を特定する個々の数値等のデータを入力しながら搬送条件をプログラミングするといった手間が省ける。
【0098】
この場合、前記ロボットシステムは、前記搬送動作が実行される前の前記収容部内のワーク、又は前記収容部から取り出された、前記ハンド部により把持された状態のワークを撮像可能な第１撮像部をさらに備え、前記搬送条件設定部は、前記第１撮像部が撮像した前記ワークの画像に基づき前記搬送条件を設定するのが好適である。
【0099】
このロボットシステムによれば、当該システムにおいてワークの画像データを取得し、その画像データを用いて搬送条件を設定することができる。そのため、別途、ワークの画像データを準備すること無く、搬送条件を設定することが可能となる。
【0100】
なお、上記各ロボットシステムにおいては、前記搬送動作が実行された後の前記所定位置のワークを撮像可能な第２撮像部と、前記搬送動作が実行されたときの前記ロボット制御部による制御情報と、前記第２撮像部が撮像した画像に基づく前記ワークの外観的な品質情報とを取得して、これらの情報に基づき前記搬送条件を学習する学習部と、をさらに備え、前記搬送条件設定部は、前記搬送条件を初期設定するとともに、前記学習部の学習結果に基づき前記搬送条件を修正するのが好適である。
【0101】
このロボットシステムによれば、搬送条件設定部により搬送条件が初期設定され、当該搬送条件が、学習部による機械学習に基づき修正される。従って、理想的なワークの搬送動作が実行される搬送条件を初期設定せずとも、機械学習によって、理想的なワークの搬送動作が実行される搬送条件を探知させることが可能となる。
【0102】
このロボットシステムにおいては、前記搬送動作が実行された後の前記収容部内のワークを撮像可能な撮像する第３撮像部をさらに備え、前記学習部は、前記制御情報及び前記所定位置におけるワークの品質情報に加え、前記第３撮像部が撮像した画像に基づく前記収容部内のワークの外観的な品質情報をさらに取得し、これらの情報に基づき前記搬送条件を学習するのが好適である。
【0103】
このロボットシステムによれば、搬送条件の機械学習において、ワーク取り出し後の収容部内のワークの品質情報が加味される。つまり、ハンド部が取り出し対象となるワークの周辺にあるワークに与える影響を加味することが可能となる。そのため、取り出し対象となるワークの品質のみならず、当該取り出しの際の他のワークの品質をも保ち得るような搬送条件を探知させることが可能となる。
【0104】
上記ロボットシステムにおいて、前記搬送条件は、前記ハンド部によるワークの把持力、ワークの運搬速度及び前記ハンド部によるワークの把持位置の少なくとも一つをさらに含むのが好適である。
【0105】
このロボットシステムによれば、機械学習によって、ワークの品質を保ちつつ、当該ワークの取り出しの際、或いは運搬途中に当該ワークを脱落させるような事がない、理想的なワークの搬送動作が実行される搬送条件を探知させることが可能となる。
【0106】
このロボットシステムにおいては、前記搬送条件は、ワークの運搬速度及び前記ハンド部によるワークの把持位置を含み、前記学習部は、前記ワークにおける前記把持禁止領域以外の領域内において可及的に運搬速度が速くなる前記把持位置を学習するのが好適である。
【0107】
このロボットシステムによれば、機械学習により、ワークの品質を保ちつつ、より高速でワークを運搬できるような搬送条件を探知させることが可能となる。
【0108】
上記ロボットシステムにおいて、前記記憶部を第１記憶部と定義したときに、過去の前記収容部内のワーク配置情報及び過去の前記収納部内のワークの品質情報とを記憶する第２記憶部をさらに含み、前記第１撮像部は、前記搬送動作が実行される前の前記収容部内のワークを撮像可能なものであり、前記搬送条件は、前記収容部から前記ワークを取り出す際の当該ワークに対する前記ハンド部のアプローチ方法を含み、前記学習部は、前記第１撮像部が撮像した画像データから取得されるワーク配置情報が、前記過去のワーク配置情報であってかつ前記収容部内のワークの品質情報に基づき搬送動作に失敗したと認定されたワーク配置情報と類似する場合に、前記搬送条件とは異なるアプローチ方法をとるように学習するのが好適である。
【0109】
このロボットシステムによれば、機械学習により、特にワーク取り出しの際に、より高度にワークの品質を保ち得るような搬送条件（アプローチ方法）を探知させることが可能となる。
【0110】
上記ロボットシステムにおいて、前記搬送条件設定部は、ワークの表面状態に関する情報を取得し、当該表面状態に関する情報に基づき前記禁止領域を設定するのが好適である。
【0111】
このロボットシステムによれば、ワークの表面処理などの表面状態を加味した、より最適な搬送条件を探知させることが可能となる。
【0112】
なお、上記のロボットシステムにおいては、複数の前記撮像部の機能を兼用する少なくとも１つの撮像部を備えているのが好適である。
【0113】
このロボットシステムによれば、複数の撮像部の一部を兼用してワークを撮像する合理的な構成が達成される。
【0114】
この場合、前記１つの撮像部は、前記ロボットの可動部分に設けられているのが好適である。
【0115】
このロボットシステムによれば、搬送動作が実行される前の収容部内、搬送動作が実行された後の収容部内、および搬送動作が実行された後の所定位置に有るワークを共通の撮像部で良好に撮像することが可能となる。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】