(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-15
(45)【発行日】2023-08-23
(54)【発明の名称】ロボットの動作を決定する装置、方法およびプログラム
(51)【国際特許分類】
B25J 13/08 20060101AFI20230816BHJP
【ＦＩ】
B25J13/08 A
【請求項の数】
14
(21)【出願番号】P 2019137588
(22)【出願日】2019-07-26
(65)【公開番号】P2021020266
(43)【公開日】2021-02-18
【審査請求日】2022-05-13
(73)【特許権者】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】飯田 豊男
【審査官】杉山 悟史
(56)【参考文献】
【文献】特開２０１８－１８７６８７（ＪＰ，Ａ）
【文献】国際公開第２０１７／１３０２８６（ＷＯ，Ａ１）
【文献】特開２０１３－１３２７４２（ＪＰ，Ａ）
【文献】特開２０１７－０４２８５９（ＪＰ，Ａ）
【文献】特開２０１２－１０６３３５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ １／００ ～ ２１／０２
(57)【特許請求の範囲】
【請求項1】
容器に収容された対象物をピッキングするロボットの動作を決定する装置であって、
前記容器内の空間において、互いに排他的な関係にある複数の領域を設定するための領域設定部と、
前記複数の領域の各々と対応付けて、前記ロボットが有するエンドエフェクタの並進動作を定義する定義情報を設定するための情報設定部と、
前記容器を撮像することにより得られた画像に基づいて、前記対象物の位置を検出するための検出部と、
前記対象物を保持してから前記対象物を前記容器外に搬送するまでの前記エンドエフェクタのピッキング動作を決定するための決定部とを備え、
前記決定部は、前記複数の領域のうち前記検出部によって検出された位置を含む領域に対応付けられた前記定義情報によって定義される並進動作を前記ピッキング動作の並進成分として決定し、
前記複数の領域は、前記容器内における第１対象壁面に隣接する第１領域と、前記第１領域よりも前記第１対象壁面から離れた位置の第２領域とを含み、
前記第１領域に対応付けられた第１定義情報は、前記対象物が通過すべき指定位置を指定するための情報であり、
前記第１定義情報によって定義される並進動作は、前記検出された位置と前記指定位置とを通る直線または曲線に沿った動作であり、
前記第１領域は、前記第１対象壁面から第１距離以内であり、
前記指定位置は、前記第１対象壁面の上端から前記第１対象壁面の法線方向に沿って第２距離だけ離れた位置であり、
前記第２距離は前記第１距離以上である、装置。
【請求項2】
容器に収容された対象物をピッキングするロボットの動作を決定する装置であって、
前記容器内の空間において、互いに排他的な関係にある複数の領域を設定するための領域設定部と、
前記複数の領域の各々と対応付けて、前記ロボットが有するエンドエフェクタの並進動作を定義する定義情報を設定するための情報設定部と、
前記容器を撮像することにより得られた画像に基づいて、前記対象物の位置を検出するための検出部と、
前記対象物を保持してから前記対象物を前記容器外に搬送するまでの前記エンドエフェクタのピッキング動作を決定するための決定部とを備え、
前記決定部は、前記複数の領域のうち前記検出部によって検出された位置を含む領域に対応付けられた前記定義情報によって定義される並進動作を前記ピッキング動作の並進成分として決定し、
前記複数の領域は、前記容器内における第１対象壁面に隣接する第１領域と、前記第１領域よりも前記第１対象壁面から離れた位置の第２領域とを含み、
前記第２領域に対応付けられた第２定義情報は、前記第１対象壁面および前記容器の底面に直交する平面上において前記第１対象壁面に平行な上向きの方向、前記底面の法線方向、鉛直方向上向き、および、これらの方向のいずれかに対して前記第１対象壁面から離れるように傾斜した方向、のいずれかである第２方向を示し、
前記第２定義情報によって定義される並進動作は、前記第２方向に沿った動作である、装置。
【請求項3】
容器に収容された対象物をピッキングするロボットの動作を決定する装置であって、
前記容器内の空間において、互いに排他的な関係にある複数の領域を設定するための領域設定部と、
前記複数の領域の各々と対応付けて、前記ロボットが有するエンドエフェクタの並進動作を定義する定義情報を設定するための情報設定部と、
前記容器を撮像することにより得られた画像に基づいて、前記対象物の位置を検出するための検出部と、
前記対象物を保持してから前記対象物を前記容器外に搬送するまでの前記エンドエフェクタのピッキング動作を決定するための決定部とを備え、
前記決定部は、前記複数の領域のうち前記検出部によって検出された位置を含む領域に対応付けられた前記定義情報によって定義される並進動作を前記ピッキング動作の並進成分として決定し、
前記容器は、水平面に対して傾斜しており、
前記領域設定部は、前記容器の水平面に対する傾斜方向および傾斜角度に応じて前記複数の領域の少なくとも１つのサイズを調整する、装置。
【請求項4】
容器に収容された対象物をピッキングするロボットの動作を決定する装置であって、
前記容器内の空間において、互いに排他的な関係にある複数の領域を設定するための領域設定部と、
前記複数の領域の各々と対応付けて、前記ロボットが有するエンドエフェクタの並進動作を定義する定義情報を設定するための情報設定部と、
前記容器を撮像することにより得られた画像に基づいて、前記対象物の位置を検出するための検出部と、
前記対象物を保持してから前記対象物を前記容器外に搬送するまでの前記エンドエフェクタのピッキング動作を決定するための決定部とを備え、
前記決定部は、前記複数の領域のうち前記検出部によって検出された位置を含む領域に対応付けられた前記定義情報によって定義される並進動作を前記ピッキング動作の並進成分として決定し、
前記複数の領域は、前記容器内における第１対象壁面に隣接する第１領域と、前記第１領域よりも前記第１対象壁面から離れた位置の第２領域とを含み、
前記領域設定部は、
前記第１対象壁面からの距離情報を用いて前記第１領域および前記第２領域を設定し、
前記エンドエフェクタによる前記対象物の保持位置と前記対象物の表面上の点との最大距離以上の第１距離を設定し、
前記第１対象壁面から前記第１距離以内の領域を前記第１領域として設定する、装置。
【請求項5】
容器に収容された対象物をピッキングするロボットの動作を決定する装置であって、
前記容器内の空間において、互いに排他的な関係にある複数の領域を設定するための領域設定部と、
前記複数の領域の各々と対応付けて、前記ロボットが有するエンドエフェクタの並進動作を定義する定義情報を設定するための情報設定部と、
前記容器を撮像することにより得られた画像に基づいて、前記対象物の位置を検出するための検出部と、
前記対象物を保持してから前記対象物を前記容器外に搬送するまでの前記エンドエフェクタのピッキング動作を決定するための決定部とを備え、
前記決定部は、前記複数の領域のうち前記検出部によって検出された位置を含む領域に対応付けられた前記定義情報によって定義される並進動作を前記ピッキング動作の並進成分として決定し、
前記複数の領域は、前記容器内における第１対象壁面に隣接する第１領域と、前記第１領域よりも前記第１対象壁面から離れた位置の第２領域とを含み、
前記エンドエフェクタは、複数の爪を有し、
前記領域設定部は、
前記第１対象壁面からの距離情報を用いて前記第１領域および前記第２領域を設定し、
前記複数の爪による前記対象物の保持位置の中心点と、前記対象物に外接する直方体、または前記対象物および前記対象物を保持する前記複数の爪に外接する直方体の表面上の点との最大距離以上の第１距離を設定し、
前記第１対象壁面から前記第１距離以内の領域を前記第１領域として設定する、装置。
【請求項6】
容器に収容された対象物をピッキングするロボットの動作を決定する装置であって、
前記容器内の空間において、互いに排他的な関係にある複数の領域を設定するための領域設定部と、
前記複数の領域の各々と対応付けて、前記ロボットが有するエンドエフェクタの並進動作を定義する定義情報を設定するための情報設定部と、
前記容器を撮像することにより得られた画像に基づいて、前記対象物の位置を検出するための検出部と、
前記対象物を保持してから前記対象物を前記容器外に搬送するまでの前記エンドエフェクタのピッキング動作を決定するための決定部とを備え、
前記決定部は、前記複数の領域のうち前記検出部によって検出された位置を含む領域に対応付けられた前記定義情報によって定義される並進動作を前記ピッキング動作の並進成分として決定し、
前記検出部は、前記対象物の姿勢をさらに検出し、
前記決定部は、前記検出部によって検出された姿勢に基づいて、前記対象物と前記容器内における第２対象壁面との最短距離が長くなるように前記ピッキング動作の回転成分をさらに決定する、装置。
【請求項7】
前記複数の領域は、前記容器内における第１対象壁面に隣接する第１領域と、前記第１領域よりも前記第１対象壁面から離れた位置の第２領域とを含む、請求項３または６に記載の装置。
【請求項8】
前記領域設定部は、前記第１対象壁面からの距離情報を用いて前記第１領域および前記第２領域を設定する、請求項７に記載の装置。
【請求項9】
前記第１領域に対応付けられた第１定義情報は、前記第１対象壁面から遠ざかる第１方向を示し、前記第１定義情報によって定義される並進動作は、起点に対する終点の方向が前記第１方向に一致する動作である、請求項２，４，５，７および８のいずれか１項に記載の装置。
【請求項10】
前記第１領域に対応付けられた第１定義情報は、前記対象物が通過すべき指定位置を指定するための情報であり、前記第１定義情報によって定義される並進動作は、前記検出された位置と前記指定位置とを通る直線または曲線に沿った動作である、請求項２，４，５，７および８のいずれか１項に記載の装置。
【請求項11】
前記指定位置は、前記検出された位置に応じて指定される、請求項１０に記載の装置。
【請求項12】
前記複数の領域の各々の優先度を設定するための優先度設定部をさらに備え、前記容器には複数の物体が収容されており、
前記検出部は、
前記複数の物体の各々の位置を検出し、
前記複数の物体のうち、前記優先度の最も高い領域に属する物体を前記対象物として決定する、請求項１から１１のいずれか１項に記載の装置。
【請求項13】
容器に収容された対象物をピッキングするロボットの動作を決定する方法であって、前記容器内の空間において、互いに排他的な関係にある複数の領域を設定するステップと、
前記複数の領域の各々と対応付けて、前記ロボットが有するエンドエフェクタの並進動作を定義する定義情報を設定するステップと、
前記容器を撮像することにより得られた画像に基づいて、前記対象物の位置を検出するステップと、
前記対象物を保持してから前記対象物を前記容器外に搬送するまでの前記エンドエフェクタのピッキング動作を決定するステップとを備え、
前記ピッキング動作を決定するステップは、
前記複数の領域のうち検出された位置を含む領域に対応付けられた前記定義情報によって定義される並進動作を前記ピッキング動作の並進成分として決定するステップを含み、
前記複数の領域は、前記容器内における第１対象壁面に隣接する第１領域と、前記第１領域よりも前記第１対象壁面から離れた位置の第２領域とを含み、
前記第２領域に対応付けられた第２定義情報は、前記第１対象壁面および前記容器の底面に直交する平面上において前記第１対象壁面に平行な上向きの方向、前記底面の法線方向、鉛直方向上向き、および、これらの方向のいずれかに対して前記第１対象壁面から離れるように傾斜した方向、のいずれかである第２方向を示し、
前記第２定義情報によって定義される並進動作は、前記第２方向に沿った動作である、、方法。
【請求項14】
容器に収容された対象物をピッキングするロボットの動作を決定する方法をコンピュータに実行させるプログラムであって、前記方法は、
前記容器内の空間において、互いに排他的な関係にある複数の領域を設定するステップと、
前記複数の領域の各々と対応付けて、前記ロボットが有するエンドエフェクタの並進動作を定義する定義情報を設定するステップと、
前記容器を撮像することにより得られた画像に基づいて、前記対象物の位置を検出するステップと、
前記対象物を保持してから前記対象物を前記容器外に搬送するまでの前記エンドエフェクタのピッキング動作を決定するステップとを備え、
前記ピッキング動作を決定するステップは、
前記複数の領域のうち検出された位置を含む領域に対応付けられた前記定義情報によって定義される並進動作を前記ピッキング動作の並進成分として決定するステップとを含み、
前記複数の領域は、前記容器内における第１対象壁面に隣接する第１領域と、前記第１領域よりも前記第１対象壁面から離れた位置の第２領域とを含み、
前記第２領域に対応付けられた第２定義情報は、前記第１対象壁面および前記容器の底面に直交する平面上において前記第１対象壁面に平行な上向きの方向、前記底面の法線方向、鉛直方向上向き、および、これらの方向のいずれかに対して前記第１対象壁面から離れるように傾斜した方向、のいずれかである第２方向を示し、
前記第２定義情報によって定義される並進動作は、前記第２方向に沿った動作である、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、ロボットの動作を決定する装置、方法およびプログラムに関する。
【背景技術】
【0002】
従来、視覚センサを用いて、容器の中に収容された対象物を把持して取り出すピッキング動作を行なうロボットが知られている。容器の壁面近傍に位置する対象物に対するピッキング動作の際に、対象物が容器に接触し、対象物がロボットから落下する可能性がある。
【0003】
特開２０１２－１０６３３５（特許文献１）には、ロボットアームと、ロボットアームの移動の障害となる障害物との間の干渉チェックを行ない、干渉を免れた有効な移動経路のみを抽出した有効移動経路網を作成する技術が開示されている。当該技術を用いることにより、対象物と容器との接触を防止できる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１２－１０６３３５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に記載の技術では、ロボットアームと障害物との干渉チェックのために複雑な演算が実行される。そのため、移動経路を生成するための計算コストが増加する。
【0006】
本発明は、上記の問題に鑑みてなされたものであり、その目的は、計算コストの増加を抑制しながら、容器に収容された対象物をピッキングするロボットの動作を決定できる装置、方法およびプログラムを提供することである。
【課題を解決するための手段】
【0007】
本開示の一例によれば、容器に収容された対象物をピッキングするロボットの動作を決定する装置は、領域設定部と、情報設定部と、検出部と、決定部とを備える。領域設定部は、容器内の空間において、互いに排他的な関係にある複数の領域を設定する。情報設定部は、複数の領域の各々と対応付けて、ロボットが有するエンドエフェクタの並進動作を定義する定義情報を設定する。検出部は、容器を撮像することにより得られた画像に基づいて、対象物の位置を検出する。決定部は、対象物を保持してから対象物を容器外に搬送するまでのエンドエフェクタのピッキング動作を決定する。決定部は、複数の領域のうち検出部によって検出された位置を含む領域に対応付けられた定義情報によって定義される並進動作をピッキング動作の並進成分として決定する。
【0008】
この開示によれば、装置は、複雑な計算を行なうことなく、予め設定した定義情報を用いて、対象物に対するピッキング動作の並進成分を容易に決定できる。その結果、計算コストの増大を抑制しながら、容器に収容された対象物をピッキングするロボットの動作を決定できる。
【0009】
上述の開示において、複数の領域は、容器内における第１対象壁面に隣接する第１領域と、第１領域よりも第１対象壁面から離れた位置の第２領域とを含む。
【0010】
この開示によれば、第１領域と第２領域とのそれぞれについて、ピッキング動作の並進成分を決定するための定義情報を別個に設定できる。すなわち、第１領域および第２領域の各々について、当該領域に適した並進動作を定義する定義情報を設定することができる。
【0011】
上述の開示において、領域設定部は、第１対象壁面からの距離情報を用いて第１領域および第２領域を設定する。この開示によれば、第１領域および第２領域を容易に設定できる。
【0012】
例えば、第１領域に対応付けられた第１定義情報は、第１対象壁面から遠ざかる第１方向を示す。第１定義情報によって定義される並進動作は、起点に対する終点の方向が第１方向に一致する動作である。
【0013】
あるいは、第１領域に対応付けられた第１定義情報は、対象物が通過すべき指定位置を指定するための情報であってもよい。第１定義情報によって定義される並進動作は、検出された位置と指定位置とを通る直線または曲線に沿った動作である。
【0014】
これらの開示によれば、第１定義情報で示される方向または指定位置に従って、ピッキング動作の並進成分が決定される。
【0015】
上述の開示において、指定位置は、検出された位置に応じて指定される。この開示によれば、検出された位置に適した指定位置を指定することができる。
【0016】
上述の開示において、第１領域は、第１対象壁面から第１距離以内である。指定位置は、第１対象壁面の上端から第１対象壁面の法線方向に沿って第２距離だけ離れた位置であってもよい。第２距離は第１距離以上である。
【0017】
上述の開示において、第２領域に対応付けられた第２定義情報は、例えば、第１対象壁面および容器の底面に直交する平面上において第１対象壁面に平行な上向きの方向、底面の法線方向、鉛直方向上向き、および、これらの方向のいずれかに対して第１対象壁面から離れるように傾斜した方向、のいずれかである第２方向を示す。第２定義情報によって定義される並進動作は、第２方向に沿った動作である。
【0018】
第２領域は、第１対象壁面から離れた位置にある。そのため、上記の第２方向に沿ったピッキング動作を行なっても、第１対象壁面と対象物との接触リスクが低い。
【0019】
上述の開示において、容器は、水平面に対して傾斜している。領域設定部は、容器の水平面に対する傾斜方向および傾斜角度に応じて複数の領域の少なくとも１つのサイズを調整する。この開示によれば、傾斜に応じて領域のサイズが適宜自動的に調整される。これにより、ユーザの手間を削減できる。
【0020】
上述の開示において、領域設定部は、エンドエフェクタによる対象物の保持位置と対象物の表面上の点との最大距離以上の第１距離を設定し、第１対象壁面から第１距離以内の領域を第１領域として設定する。
【0021】
あるいは、エンドエフェクタは、複数の爪を有する。なお、「爪」は、対象物を保持（把持）する際に、対象物に接触する部位であり、「指」とも称される。領域設定部は、複数の爪による対象物の保持位置の中心点と、対象物に外接する直方体または対象物および対象物を保持する複数の爪に外接する直方体の表面上の点との最大距離以上の第１距離を設定し、第１対象壁面から第１距離以内の領域を第１領域として設定してもよい。
【0022】
これらの開示によれば、第１領域の範囲が自動的に設定される。その結果、ユーザの手間を削減できる。
【0023】
上述の開示において、検出部は、対象物の姿勢をさらに検出する。決定部は、検出部によって検出された姿勢に基づいて、対象物と容器内における第２対象壁面との最短距離が長くなるようにピッキング動作の回転成分をさらに決定する。
【0024】
この開示によれば、ピッキング動作における回転動作によって、第２対象壁面と対象物との接触リスクを低減できる。
【0025】
上述の開示において、複数の領域の各々の優先度を設定するための優先度設定部をさらに備える。容器には複数の物体が収容されている。検出部は、複数の物体の各々の位置を検出し、複数の物体のうち、優先度の最も高い領域に属する物体を対象物として決定する。
【0026】
この開示によれば、優先度設定部は、例えば、壁面との接触リスクの低い領域の優先度を高く設定できる。その結果、ロボットは、壁面との接触リスクの低い対象物から順にピッキングできる。
【0027】
本開示の一例によれば、容器に収容された対象物をピッキングするロボットの動作を決定する方法は、第１～第４のステップを備える。第１のステップは、容器内の空間において、互いに排他的な関係にある複数の領域を設定するステップである。第２のステップは、複数の領域の各々と対応付けて、ロボットが有するエンドエフェクタの並進動作を定義する定義情報を設定するステップである。第３のステップは、容器を撮像することにより得られた画像に基づいて、対象物の位置を検出するステップである。第４のステップは、対象物を保持してから対象物を容器外に搬送するまでのエンドエフェクのピッキング動作を決定するステップとを備える。第４のステップは、複数の領域のうち検出された位置を含む領域に対応付けられた定義情報によって定義される並進動作をピッキング動作の並進成分として決定するステップを含む。
【0028】
本開示の一例によれば、プログラムは、上記の方法をコンピュータに実行させる。これらの開示によっても、計算コストの増大を抑制しながら、容器に収容された対象物をピッキングするロボットの動作を決定できる。
【発明の効果】
【0029】
本開示によれば、計算コストの増大を抑制しながら、容器に収容された対象物をピッキングするロボットの動作を決定できる。
【図面の簡単な説明】
【0030】
【図1】実施の形態に係る制御システムの全体構成を示す概略図である。
【図2】実施の形態に係る画像処理装置におけるピッキング動作を決定する方法を説明する図である。
【図5】コンテナの形状を登録するための画面例を示す図である。
【図6】ワークの形状を登録するための画面例を示す図である。
【図7】マージン幅の設定方法の一例を示す図である。
【図8】複数の領域を設定するための画面の一例を示す図である。
【図9】定義情報を設定するための画面例を示す図である。
【図10】領域４ａに対応付けられた第１定義情報によって定義される並進動作を示す図である。
【図11】水平面に対して傾斜角度θだけ傾斜して設置されたコンテナを示す断面図である。
【図12】コンテナが水平面に対して傾斜して設置され、かつ、鉛直方向上向きを示す第２定義情報が設定されたときの領域の設定方法の一例を示す図である。
【図13】コンテナが水平面に対して傾斜して設置されているときの、領域４ａに対応付けられた第１定義情報によって定義される並進動作を示す図である。
【図14】コンテナの位置姿勢を検出する方法の一例を説明する図である。
【図15】コンテナの位置姿勢を検出する方法の別の例を説明する図である。
【図16】コンテナの位置姿勢を検出する方法のさらに別の例を説明する図である。
【図17】画像処理装置における設定処理の流れの一例を示すフローチャートである。
【図18】画像処理装置におけるロボット動作の制御処理の流れの一例を示すフローチャートである。
【図19】ワークが収容される容器の別の例を示す平面図である。
【図22】変形例２に係る設定部の内部構成を示す図である。
【図23】変形例２において生成された領域情報の一例を示す図である。
【図24】ワークを収容するコンテナのさらに別の例を示す平面図である。
【発明を実施するための形態】
【0031】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【0032】
§１ 適用例
まず、図１を参照して、本発明が適用される場面の一例について説明する。図１は、実施の形態に係る制御システムの全体構成を示す概略図である。図１に例示される制御システムＳＹＳは、生産ラインなどに組み込まれ、容器であるコンテナ２に収容されたワーク１に対するピックアンドプレースの制御を行なう。図１に例示されるコンテナ２は、内底面が平坦であり、内壁面が内底面に対して垂直である直方体状の箱である。ワーク１は、コンテナ２内にばら積みされる。そのため、コンテナ２内でのワーク１の位置姿勢はランダムである。
まず、図１を参照して、本発明が適用される場面の一例について説明する。図１は、実施の形態に係る制御システムの全体構成を示す概略図である。図１に例示される制御システムＳＹＳは、生産ラインなどに組み込まれ、容器であるコンテナ２に収容されたワーク１に対するピックアンドプレースの制御を行なう。図１に例示されるコンテナ２は、内底面が平坦であり、内壁面が内底面に対して垂直である直方体状の箱である。ワーク１は、コンテナ２内にばら積みされる。そのため、コンテナ２内でのワーク１の位置姿勢はランダムである。
【0033】
図１に例示される制御システムＳＹＳは、画像処理装置１００と、ロボットコントローラ２００と、ロボット３００と、計測ヘッド４００とを備える。画像処理装置１００には、ディスプレイ１５０および入力装置１６０が接続されている。入力装置１６０は、例えばキーボードおよびマウスを含む。
【0034】
ロボット３００は、ワーク１に対するピックアンドプレースを行なう。ロボット３００は、ワーク１を保持するエンドエフェクタ３０と、エンドエフェクタの位置姿勢を変更するための多関節アーム３１と、多関節アーム３１を支持するベース３２とを含む。ロボット３００の動作は、ロボットコントローラ２００によって制御される。
【0035】
図１に例示されるエンドエフェクタ３０は、２つの爪３３を有し、２つの爪３３を用いてワーク１を把持する。なお、爪３３は、ワーク１を保持（把持）する際に、ワーク１に接触する部位であり、「指」とも称される。なお、ワーク１の保持方法は、２つの爪を用いた把持に限定されない。例えば、エンドエフェクタ３０は、３つの爪を用いてワークを把持してもよいし、吸着パッドを用いてワーク１を吸着してもよい。
【0036】
ロボットコントローラ２００は、画像処理装置１００からの動作指令を受けて、ロボット３００の多関節アーム３１を制御する。具体的には、ロボットコントローラ２００は、エンドエフェクタ３０がアプローチ動作、ピッキング動作およびプレース動作を行なうように多関節アーム３１を制御する。「アプローチ動作」は、コンテナ２の外側の待機位置からワーク１の把持位置までのエンドエフェクタ３０の動作である。「ピッキング動作」は、ワーク１を把持してからワーク１をコンテナ２の外側の退避位置に搬送するまでのエンドエフェクタ３０の動作である。「プレース動作」は、ワーク１を退避位置から目標位置に搬送するまでのエンドエフェクタ３０の動作である。
【0037】
計測ヘッド４００は、コンテナ２およびコンテナ２に収容されたワーク１が被写体となるように設置され、当該被写体を撮像する。計測ヘッド４００は、投影部４０１と撮像部４０２とを備える。投影部４０１は、画像処理装置１００からの指示に従って任意の投影パターン光を被写体に投影する。投影パターンは、例えば照射面内の所定方向に沿って明るさが周期的に変化するパターンである。撮像部４０２は、投影パターン光が投影された状態の被写体を撮像する。
【0038】
投影部４０１は、主要なコンポーネントとして、例えば、ＬＥＤ（Light Emitting Diode）やハロゲンランプなどの光源と、投影部４０１の照射面の側に配置されたフィルタとを含む。フィルタは、後述するような三次元形状の計測に必要な投影パターン光を発生させるものであり、画像処理装置１００からの指令に従って、面内の透光率を任意に変化させることができる。投影部４０１は、液晶またはＤＭＤ（Digital Mirror Device）と光源（ＬＥＤまたはレーザ光源など）とを用いた構成であってもよい。
【0039】
撮像部４０２は、主要なコンポーネントとして、例えば、レンズなどの光学系と、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサといった撮像素子とを含む。
【0040】
画像処理装置１００は、計測ヘッド４００から受けた画像に基づいて、コンテナ２に収容されたワーク１の位置姿勢を検出する。画像処理装置１００は、検出したワーク１の位置姿勢に基づいて、エンドエフェクタ３０のアプローチ動作、ピッキング動作およびプレース動作を決定する。画像処理装置１００は、決定した動作に対応する動作指令を生成し、生成した動作指令をロボットコントローラ２００に出力する。ロボットコントローラ２００は、動作指令に従って、画像処理装置１００によって決定されたアプローチ動作、ピッキング動作およびプレース動作をロボット３００に実行させる。
【0041】
ワーク１を把持した後のピッキング動作は、ワーク１とコンテナ２との干渉を考慮して決定される必要がある。特許文献１に開示の技術を用いて、ワーク１とコンテナ２との干渉チェックを行なうことによりピッキング動作を決定することが考えられる。しかしながら、上述したように、干渉チェックのための計算コストが増加するという問題が生じる。そのため、本実施の形態に係る画像処理装置１００は、以下のような処理に従ってピッキング動作を決定する。
【0042】
【0043】
図２に示されるように、画像処理装置１００は、コンテナ２内の空間において、互いに排他的な関係にある複数の領域４ａ～４ｈ，５を設定する。図２に示す例では、画像処理装置１００は、コンテナ２の壁面３ａ～３ｄにそれぞれ隣接する領域４ａ～４ｄと、壁面３ａ，３ｂの両方に隣接する領域４ｅと、壁面３ｂ，３ｃの両方に隣接する領域４ｆと、壁面３ｃ，３ｄの両方に隣接する領域４ｇと、壁面３ｄ，３ａの両方に隣接する領域４ｈと、中央に位置する領域５とを設定している。領域５は、領域４ａ～４ｄよりも壁面３ａ～３ｄからそれぞれ離れている。
【0044】
画像処理装置１００は、複数の領域４ａ～４ｈ，５の各々と対応付けて、エンドエフェクタ３０の並進動作を定義する定義情報をさらに設定する。コンテナ２のいずれかの壁面に隣接する領域４ａ～４ｈについては、隣接する壁面から遠ざかる並進動作を定義する定義情報が設定される。例えば、画像処理装置１００は、領域４ｂに対応付けて、壁面３ｂから遠ざかる並進動作４０ｂを定義する定義情報を設定する。同様に、画像処理装置１００は、領域４ｄに対応付けて、壁面３ｄから遠ざかる並進動作４０ｄを定義する定義情報を設定する。さらに、画像処理装置１００は、壁面３ａ～３ｄから離れた位置の領域５に対応付けて、コンテナ２の底面３ｚの法線方向（鉛直方向上向き）に沿った並進動作５０を定義する定義情報を設定する。
【0045】
画像処理装置１００は、複数の領域４ａ～４ｈ，５のうち、ピッキング対象のワーク１について検出された位置を含む領域に対応付けられた定義情報によって定義される並進動作を、ピッキング動作の並進成分として決定する。例えば、ワーク１の位置が領域４ｂに含まれる場合、画像処理装置１００は、領域４ｂに対応付けられた定義情報によって定義される並進動作４０ｂをピッキング動作の並進成分として決定する。
【0046】
上記の処理によれば、画像処理装置１００は、複雑な計算を行なうことなく、予め設定した定義情報を用いて、ワーク１に対するピッキング動作の並進成分を容易に決定できる。その結果、計算コストの増大を抑制しながら、コンテナ２に収容されたワーク１をピッキングするロボットの動作を決定できる。
【0047】
§２ 具体例
次に、本実施の形態に係る制御システムの具体例について説明する。
次に、本実施の形態に係る制御システムの具体例について説明する。
【0048】
＜Ａ．画像処理装置のハードウェア構成例＞
画像処理装置１００は、典型的には、汎用的なアーキテクチャを有しているコンピュータであり、予めインストールされたプログラム（命令コード）を実行することで、本実施の形態に係る画像処理を実行する。このようなプログラムは、典型的には、各種記録媒体などに格納された状態で流通し、あるいは、ネットワークなどを介して画像処理装置１００にインストールされる。
画像処理装置１００は、典型的には、汎用的なアーキテクチャを有しているコンピュータであり、予めインストールされたプログラム（命令コード）を実行することで、本実施の形態に係る画像処理を実行する。このようなプログラムは、典型的には、各種記録媒体などに格納された状態で流通し、あるいは、ネットワークなどを介して画像処理装置１００にインストールされる。
【0049】
このような汎用的なコンピュータを利用する場合には、本実施の形態に係る画像処理を実行するためのアプリケーションに加えて、コンピュータの基本的な処理を実行するためのＯＳ（Operating System）がインストールされていてもよい。この場合には、本実施の形態に係るプログラムは、ＯＳの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、ＯＳと協働して処理が実行されてもよい。本実施の形態に係るプログラムとしては、このような一部のモジュールを含まない形態であってもよい。
【0050】
さらに、本実施の形態に係るプログラムは、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係るプログラムとしては、このような他のプログラムに組込まれた形態であってもよい。なお、プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
【0051】
図３は、図１に示す画像処理装置のハードウェア構成の一例を示す概略図である。図３に示されるように、画像処理装置１００は、演算処理部であるＣＰＵ（Central Processing Unit）１１０と、記憶部としてのメインメモリ１１２およびハードディスク１１４と、計測ヘッドインターフェース１１６と、入力インターフェース１１８と、表示コントローラ１２０と、通信インターフェース１２４と、データリーダ／ライタ１２６とを含む。これらの各部は、バス１２８を介して、互いにデータ通信可能に接続される。
【0052】
ＣＰＵ１１０は、ハードディスク１１４にインストールされたプログラム（コード）をメインメモリ１１２に展開して、これらを所定順序で実行することで、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置であり、ハードディスク１１４から読み出されたプログラムに加えて、計測ヘッド４００によって取得された画像などを保持する。さらに、ハードディスク１１４には、後述するような各種データなどが格納される。なお、ハードディスク１１４に加えて、あるいは、ハードディスク１１４に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。
【0053】
計測ヘッドインターフェース１１６は、ＣＰＵ１１０と計測ヘッド４００との間のデータ伝送を仲介する。すなわち、計測ヘッドインターフェース１１６は、計測ヘッド４００と接続される。計測ヘッドインターフェース１１６は、ＣＰＵ１１０が発生した内部コマンドに従って、計測ヘッド４００に対して投影コマンドおよび撮像コマンドを与える。計測ヘッドインターフェース１１６は、計測ヘッド４００からの画像を一時的に蓄積するための画像バッファ１１６ａを含む。計測ヘッドインターフェース１１６は、画像バッファ１１６ａに所定コマ数の画像が蓄積されると、その蓄積された画像をメインメモリ１１２へ転送する。
【0054】
入力インターフェース１１８は、ＣＰＵ１１０と入力装置１６０との間のデータ伝送を仲介する。すなわち、入力インターフェース１１８は、ユーザが入力装置１６０に入力した入力情報を受付ける。
【0055】
表示コントローラ１２０は、ディスプレイ１５０と接続され、ＣＰＵ１１０における処理結果などをユーザに通知するようにディスプレイ１５０の表示を制御する。
【0056】
通信インターフェース１２４は、ＣＰＵ１１０とロボットコントローラ２００などの外部装置との間のデータ伝送を仲介する。通信インターフェース１２４は、典型的には、イーサネット（登録商標）やＵＳＢ（Universal Serial Bus）などからなる。
【0057】
データリーダ／ライタ１２６は、ＣＰＵ１１０と記録媒体であるメモリカード１０６との間のデータ伝送を仲介する。すなわち、メモリカード１０６には、画像処理装置１００で実行されるプログラムなどが格納された状態で流通し、データリーダ／ライタ１２６は、このメモリカード１０６からプログラムを読出す。また、データリーダ／ライタ１２６は、ＣＰＵ１１０の内部指令に応答して、計測ヘッド４００によって撮像された画像および／または画像処理装置１００における処理結果などをメモリカード１０６へ書込む。なお、メモリカード１０６は、ＳＤ（Secure Digital）などの汎用的な半導体記憶デバイスや、フレキシブルディスク（Flexible Disk）などの磁気記憶媒体や、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体等からなる。
【0058】
＜Ｂ．画像処理装置の機能構成例＞
図４は、図１に示す画像処理装置の機能構成の一例を示すブロック図である。図４に示されるように、画像処理装置１００は、記憶部１０と、ヘッド制御部１１と、設定部１２と、画像処理部１３とを備える。記憶部１０は、図３に示すメインメモリ１１２およびハードディスク１１４によって実現される。ヘッド制御部１１は、図３に示すＣＰＵ１１０および計測ヘッドインターフェース１１６によって実現される。設定部１２は、図３に示すＣＰＵ１１０、入力インターフェース１１８および表示コントローラ１２０によって実現される。画像処理部１３は、図３に示すＣＰＵ１１０および通信インターフェース１２４によって実現される。
図４は、図１に示す画像処理装置の機能構成の一例を示すブロック図である。図４に示されるように、画像処理装置１００は、記憶部１０と、ヘッド制御部１１と、設定部１２と、画像処理部１３とを備える。記憶部１０は、図３に示すメインメモリ１１２およびハードディスク１１４によって実現される。ヘッド制御部１１は、図３に示すＣＰＵ１１０および計測ヘッドインターフェース１１６によって実現される。設定部１２は、図３に示すＣＰＵ１１０、入力インターフェース１１８および表示コントローラ１２０によって実現される。画像処理部１３は、図３に示すＣＰＵ１１０および通信インターフェース１２４によって実現される。
【0059】
記憶部１０には、ワーク１の三次元形状を示すＣＡＤ（Computer Aided Design）データ１０１ａと、コンテナ２の三次元形状を示すＣＡＤデータ１０１ｂとが予め格納される。記憶部１０には、ワーク１を様々な視点から見たときの姿勢ごとの画像を示す複数のテンプレートデータ１０２が格納される。テンプレートデータ１０２は、例えばＣＡＤデータ１０１ａに基づいて予め生成される。記憶部１０には、計測ヘッド４００の撮像により得られた画像データ１０３が格納される。さらに、記憶部１０には、設定部１２によって設定された領域情報１０４および定義情報１０５が格納される。領域情報１０４および定義情報１０５の詳細については後述する。
【0060】
ヘッド制御部１１は、計測ヘッド４００の動作を制御する。ヘッド制御部１１は、予め定められた投影パターン光の投影を指示する投影コマンドを計測ヘッド４００に出力する。ヘッド制御部１１は、投影パターン光が投影されている状態で撮像コマンドを計測ヘッド４００に出力する。ヘッド制御部１１は、計測ヘッド４００から取得した画像データ１０３を記憶部１０に格納する。
【0061】
設定部１２は、領域設定部１２ａと情報設定部１２ｂとを有する。領域設定部１２ａは、コンテナ２内の空間において、互いに排他的な関係にある複数の領域を設定する。領域設定部１２ａは、複数の領域を設定するための設定画面をディスプレイ１５０に表示し、入力装置１６０への入力に従って複数の領域を設定する。領域設定部１２ａは、設定した複数の領域それぞれを示す領域情報１０４を生成し、生成した領域情報１０４を記憶部１０に格納する。領域情報１０４は、例えば、コンテナ２の特徴点（例えば左上角）を原点とする座標系における、複数の領域それぞれのｘ座標、ｙ座標およびｚ座標の範囲を示す。
【0062】
情報設定部１２ｂは、複数の領域の各々と対応付けて、エンドエフェクタ３０の並進動作を定義する定義情報１０５を設定する。情報設定部１２ｂは、定義情報１０５を設定するための設定画面をディスプレイ１５０に表示し、入力装置１６０への入力に従って定義情報１０５を設定する。情報設定部１２ｂは、複数の領域の各々について設定した定義情報１０５を記憶部１０に格納する。
【0063】
画像処理部１３は、計測ヘッド４００の撮像により得られた画像データ１０３に対する処理を行なう。図４に示されるように、画像処理部１３は、３Ｄ画像生成部１４と、検出部１５と、動作指令決定部１６と、通信部１７とを含む。
【0064】
３Ｄ画像生成部１４は、画像データ１０３に基づいて、計測ヘッド４００の視野領域における三次元計測を行ない、三次元点群データを生成する。三次元点群データは、計測ヘッド４００の視野領域に存在する物体表面上の各点の三次元座標を示す。
【0065】
三次元計測処理として、例えば三角測距方式、同軸方式が採用され得る。三角測距方式は、撮像と投光との光軸を基線長分だけ離間させ、視差を距離に変換する方式である。三角測距方式には、アクティブ法とパッシブ法とが含まれる。アクティブ法には、構造化照明法、位相シフト法、空間コード法が含まれる。同軸方式は、撮像と測距手段との光軸を同一に設定する方式である。測距手段として、ＴＯＦ（Time of Flight）方式、焦点方式が含まれる。３Ｄ画像生成部１４は、これらの方式のいずれかを用いて三次元計測処理を実行すればよい。例えば位相シフト法を用いて三次元計測処理が行なわれる。
【0066】
位相シフト法は、正弦波状に濃淡を変化させた投影パターン光を被写体に投影した状態で撮像された画像（正弦波投影画像）を用いる方法である。濃淡の変化周期や位相を異ならせた投影パターンが複数用意され、計測ヘッド４００の投影部４０１は、撮像部４０２の視野領域に対して、複数の投影パターン光を順次照射する。３Ｄ画像生成部１４は、複数の投影パターンが投影されたときにそれぞれ撮像される画像データ１０３の群（正弦波投影画像群）を記憶部１０から読み出す。そして、３Ｄ画像生成部１４は、これらの画像データ１０３間における対応する部分の明るさ（輝度や明度）の変化に基づいて、三次元座標を算出する。
【0067】
検出部１５は、記憶部１０に格納された各テンプレートデータ１０２と三次元点群データとを照合し、三次元点群データの中からテンプレートと類似するデータを抽出する。検出部１５は、抽出したデータに基づいて、ワーク１の位置姿勢を検出する。検出部１５によって検出されるワーク１の位置姿勢は、計測ヘッド４００の撮像部４０２の座標系（カメラ座標系）で示される。
【0068】
さらに、コンテナ２の位置が一定ではない場合、検出部１５は、画像データ１０３または三次元点群データに基づいて、コンテナ２の位置姿勢を検出してもよい。コンテナ２の位置姿勢の検出方法の詳細については後述する。
【0069】
なお、検出部１５は、複数のワーク１の位置姿勢を検出した場合、予め定められた選択基準に従って、当該複数のワーク１のうちの１つをピッキング対象として選択する。
【0070】
動作指令決定部１６は、ピッキング対象のワーク１の位置姿勢に応じて、エンドエフェクタ３０の動作を決定する。動作指令決定部１６は、決定した動作に対応する動作指令を生成する。
【0071】
まず、動作指令決定部１６はアプローチ動作を決定する。動作指令決定部１６は、エンドエフェクタ３０の待機位置がコンテナ２の開口部の上方である場合、例えば、待機位置からピッキング対象となるワーク１の把持位置まで移動する並進動作をアプローチ動作の並進成分として決定すればよい。さらに、動作指令決定部１６は、ワーク１の姿勢に応じた回転動作をアプローチ動作の回転成分として決定すればよい。エンドエフェクタ３０がワーク１を把持するときのワーク１に対するエンドエフェクタ３０の相対位置姿勢は、把持点登録情報として予め登録されている。動作指令決定部１６は、検出されたワーク１の位置姿勢と把持点登録情報とに基づいて、当該ワーク１を把持するときのエンドエフェクタ３０の位置姿勢を計算すればよい。
【0072】
次に、動作指令決定部１６はピッキング動作を決定する。動作指令決定部１６は、ピッキング対象のワーク１の位置姿勢とコンテナ２の位置姿勢とに基づいて、コンテナ２に対するワーク１の相対位置を計算する。コンテナ２に対するワーク１の相対位置は、例えばコンテナ２の特徴点（例えば左上角）を原点とする座標系で示される。動作指令決定部１６は、コンテナ２に対するワーク１の相対位置と領域情報１０４とに基づいて、ワーク１の位置を含む領域を特定する。動作指令決定部１６は、特定した領域に定義付けられた定義情報１０５によって定義される並進動作をピッキング動作の並進成分として決定する。
【0073】
なお、動作指令決定部１６は、ピッキング動作の回転成分について、０に決定してもよいし、後のプレース動作にスムーズに移行するような値に決定してもよい。
【0074】
次に、動作指令決定部１６はプレース動作を決定する。動作指令決定部１６は、ピッキング動作後のワーク１の退避位置と目標位置とを結ぶ線に沿った並進動作をプレース動作の並進成分として決定すればよい。
【0075】
通信部１７は、ロボットコントローラ２００と通信可能であり、動作指令決定部１６によって生成された動作指令をロボットコントローラ２００に送信する。
【0076】
ロボットコントローラ２００は、動作指令に従ってロボット３００を制御する。これにより、ロボット３００のエンドエフェクタ３０は、動作指令決定部１６によって決定されたアプローチ動作、ピッキング動作およびプレース動作を順に行なう。ただし、ロボット３００の機構（並進機構および回転機構）における動作精度には誤差がある。そのため、ロボット３００のエンドエフェクタ３０の実際の動作と動作指令決定部１６によって決定された動作との間に誤差が生じ得る。
【0077】
＜Ｃ．領域の設定＞
図５～図８を参照して、領域設定部１２ａによる領域の設定方法の一例について説明する。図５は、コンテナの形状を登録するための画面例を示す図である。図５に例示される画面６０は、自動登録ボタン６１と手動登録ボタン６２とを有する。自動登録ボタン６１が操作されると、領域設定部１２ａは、入力欄６３に入力されたファイル名で示されるコンテナ２のＣＡＤデータに基づいて、コンテナ２の形状を登録する。手動登録ボタン６２が操作されると、領域設定部１２ａは、入力欄６４に入力された値に従って、コンテナ２の形状を登録する。
図５～図８を参照して、領域設定部１２ａによる領域の設定方法の一例について説明する。図５は、コンテナの形状を登録するための画面例を示す図である。図５に例示される画面６０は、自動登録ボタン６１と手動登録ボタン６２とを有する。自動登録ボタン６１が操作されると、領域設定部１２ａは、入力欄６３に入力されたファイル名で示されるコンテナ２のＣＡＤデータに基づいて、コンテナ２の形状を登録する。手動登録ボタン６２が操作されると、領域設定部１２ａは、入力欄６４に入力された値に従って、コンテナ２の形状を登録する。
【0078】
コンテナ２の形状は、コンテナ２の幅（外寸）Ｗ、奥行き（外寸）Ｄ、外寸高さＨ１、内寸高さＨ２、コンテナ２の側壁の幅方向の最大厚みＢ１、コンテナ２の側壁の奥行き方向の最大厚みＢ２、傾斜方向および傾斜角度で示される。傾斜方向および傾斜角度は、コンテナ２が設置される台の傾斜に応じて登録される。
【0079】
画像処理装置１００の記憶部１０には、生産ラインで使用され得る複数種類のコンテナ２にそれぞれ対応する複数のＣＡＤデータ１０１ｂが格納されていてもよい。ユーザは、使用するコンテナ２の種類変更のタイミングにおいて、変更後の種類のコンテナ２に対応するＣＡＤデータ１０１ｂを入力欄６３に入力すればよい。もしくは、生産ラインで使用され得る複数種類のコンテナ２ごとのＷ、Ｄ、Ｈ１、Ｈ２、Ｂ１およびＢ２を示す形状データが記憶部１０に予め格納されていてもよい。ユーザは、使用するコンテナ２の種類変更のタイミングにおいて、変更後の種類のコンテナ２に対応する形状データを入力欄６４に入力すればよい。
【0080】
画像処理装置１００は、使用するコンテナ２の種類変更のタイミングにおいて、変更後のコンテナ２の種類を示す情報を図示しない上位制御装置から取得してもよい。上位制御装置は、生産ラインの運用を管理する装置である。画像処理装置１００は、上位制御装置からコンテナ２の種類を示す情報を取得すると、変更後の種類のコンテナ２に対応するＣＡＤデータ１０１ｂを入力欄６３に自動的に入力してもよい。もしくは、画像処理装置１００は、上位制御装置からコンテナ２の種類を示す情報を取得すると、変更後の種類のコンテナ２に対応する形状データを入力欄６４に自動的に入力してもよい。
【0081】
図６は、ワークの形状を登録するための画面例を示す図である。図６に例示される画面６５は、自動登録ボタン６６と手動登録ボタン６７とを有する。自動登録ボタン６６が操作されると、領域設定部１２ａは、入力欄６８に入力されたファイル名で示されるワーク１のＣＡＤデータに基づいて、ワーク１の形状を登録する。手動登録ボタン６７が操作されると、領域設定部１２ａは、入力欄６９に入力された値に従って、ワーク１の形状を登録する。ワーク１の形状は、例えばワーク１の外接直方体の幅Ｗ、奥行きＤ、高さＨで示される。
【0082】
画面６５は、エンドエフェクタ３０の２つの爪３３による概略把持位置を入力するための入力欄７０を含む。２つの爪３３でワーク１を把持する場合、２つの爪３３は、通常、ワーク１の外接直方体の幅方向または奥行き方向に沿って配置される。そのため、概略把持位置は、ワーク１の外接直方体の幅方向に直交する側面からの距離Ｃ１、および、奥行き方向に直交する側面からの距離Ｃ２のいずれかによって示される。すなわち、ワーク１を把持するときに２つの爪３３が外接直方体の幅方向に沿って配置される場合には、距離Ｃ１が入力される。ワーク１を把持するときに２つの爪３３が外接直方体の奥行き方向に沿って配置される場合には、距離Ｃ２が入力される。距離Ｃ１または距離Ｃ２は、予め登録されている把持点登録情報に基づいて自動的に入力されてもよい。
【0083】
領域設定部１２ａは、２つの爪３３による概略把持位置の中心点と、ワーク１の外接直方体の表面上の点との最大距離をマージン幅Ｍとして計算する。計算されたマージン幅Ｍは、画面６５の表示欄７１に表示される。
【0084】
図７は、マージン幅の設定方法の一例を示す図である。領域設定部１２ａは、距離Ｃ１が入力された場合、ワーク１の外接直方体ＲＰの対角線ＤＬと、外接直方体ＲＰの奥行き方向に直交する側面に平行であり、かつ、当該側面から距離Ｃ１だけ内側の平面との交点を概略把持位置の中心点Ｐとして決定する。領域設定部１２ａは、距離Ｃ２が入力された場合、ワーク１の外接直方体ＲＰの対角線ＤＬと、外接直方体ＲＰの幅方向に直交する側面に平行であり、かつ、当該側面から距離Ｃ２だけ内側の平面との交点を概略把持位置の中心点Ｐとして決定する。領域設定部１２ａは、対角線ＤＬを中心点Ｐで分割したときの一方の長さＭ１と他方の長さＭ２とのうちの長い方をマージン幅Ｍ（＝ｍａｘ（Ｍ１，Ｍ２））として計算する。
【0085】
【0086】
領域設定部１２ａは、コンテナ２の壁面３ａから距離ＤＭ１以内の領域（ただし、領域４ｅ，４ｈを除く）を領域４ａとして設定する。領域設定部１２ａは、コンテナ２の壁面３ｂから距離ＷＭ１以内の領域（ただし、領域４ｅ，４ｆを除く）を領域４ｂとして設定する。領域設定部１２ａは、コンテナ２の壁面３ｃから距離ＤＭ２以内の領域（ただし、領域４ｆ，４ｇを除く）を領域４ｃとして設定する。領域設定部１２ａは、コンテナ２の壁面３ｄから距離ＷＭ２以内の領域（ただし、領域４ｇ，４ｈを除く）を領域４ｄとして設定する。領域設定部１２ａは、壁面３ａから距離ＤＭ１以内であり、かつ、壁面３ｂから距離ＷＭ１以内の領域を領域４ｅとして設定する。領域設定部１２ａは、壁面３ｂから距離ＷＭ１以内であり、かつ、壁面３ｃから距離ＤＭ２以内の領域を領域４ｆとして設定する。領域設定部１２ａは、壁面３ｃから距離ＤＭ２以内であり、かつ、壁面３ｄから距離ＷＭ２以内の領域を領域４ｇとして設定する。領域設定部１２ａは、壁面３ｄから距離ＷＭ２以内であり、かつ、壁面３ａから距離ＤＭ１以内の領域を領域４ｈとして設定する。
【0087】
図８に例示される画面７２は、自動設定ボタン７３と手動設定ボタン７４とを有する。自動設定ボタン７３が操作されると、領域設定部１２ａは、距離ＤＭ１，ＤＭ２，ＷＭ１．ＷＭ２の全てをマージン幅Ｍに設定する。
【0088】
手動設定ボタン７４が操作されると、領域設定部１２ａは、距離ＤＭ１，ＤＭ２，ＷＭ１．ＷＭ２を設定するための入力欄７５への入力を受け付ける。領域設定部１２ａは、入力欄７５に入力された値に従って、距離ＤＭ１，ＤＭ２，ＷＭ１，ＷＭ２を設定する。
【0089】
また、画面７２は、コンテナ２を模式的に示す画像７６を含む。手動設定ボタン７４が操作されると、領域設定部１２ａは、画像７６において、距離ＤＭ１，ＤＭ２，ＷＭ１，ＷＭ２を定義付ける矩形状の枠線７７を表示する。さらに、領域設定部１２ａは、枠線７７の位置およびサイズを変更するためのカーソル７８を表示し、カーソル７８に対する操作に従って枠線７７の位置およびサイズを変更する。領域設定部１２ａは、変更後の枠線７７の位置およびサイズに従って、距離ＤＭ１，ＤＭ２，ＷＭ１，ＷＭ２を設定してもよい。
【0090】
【0091】
図９は、定義情報を設定するための画面例を示す図である。図９に例示される画面７９は、ボタン群８０と入力欄８１とを含む。入力欄８１は、壁面に隣接する領域４ａ～４ｈにそれぞれ対応付けられた定義情報１０５（以下、「第１定義情報」とも称する。）を設定するために使用される。ボタン群８０は、壁面から離れた位置の領域５に対応付けられる定義情報１０５（以下、「第２定義情報」とも称する。）を設定するために使用される。
【0092】
ボタン群８０は、鉛直方向上向きを選択するラジオボタン８０ａと、壁面平行を選択するラジオボタン８０ｂとを含む。ラジオボタン８０ａが操作された場合、情報設定部１２ｂは、領域５に対応付けて、鉛直方向上向きを示す第２定義情報を設定する。ラジオボタン８０ｂが操作された場合、情報設定部１２ｂは、領域５に対応付けて、壁面およびコンテナ２の底面に直交する平面上において壁面に平行な上向きの方向を示す第２定義情報を設定する。第２定義情報によって定義される並進動作は、第２定義情報で示される方向に沿った動作である。
【0093】
なお、コンテナ２が水平に設置され、かつ、コンテナ２の壁面が底面に垂直である場合、ラジオボタン８０ａ，８０ｂのいずれを操作しても、同一の第２定義情報が設定される。
【0094】
コンテナ２の壁面３ａ～３ｄが底面３ｚに対して傾斜している場合には、壁面およびコンテナの底面に直交する平面上において壁面に平行な上向きの方向と、底面の法線方向とは一致しない。さらに、コンテナ２が水平面に対して傾斜している場合、鉛直方向上向きと、底面の法線方向とも一致しない。そのため、ボタン群８０は、ラジオボタン８０ａ，８０ｂの他に、底面の法線方向を選択するラジオボタンを含んでもよい。当該ラジオボタンが操作された場合、情報設定部１２ｂは、領域５に対応付けて、底面の法線方向を示す第２定義情報を設定する。
【0095】
入力欄８１には、ワーク１が通過すべき指定位置を指定するための逃げ幅が入力される。情報設定部１２ｂは、入力欄８１に入力された逃げ幅を第１定義情報として設定する。第１定義情報によって定義される並進動作は、検出部１５によって検出されたワーク１の位置と第１定義情報によって指定される指定位置とを通る直線に沿った動作である。
【0096】
図１０は、領域４ａに対応付けられた第１定義情報によって定義される並進動作を示す図である。図１０において、エンドエフェクタ３０の待機位置Ｐａとワーク１の検出位置Ｐｂとを結ぶ線は、アプローチ動作の軌跡を示す。検出位置Ｐｂと退避位置Ｐｃとを結ぶ線は、ピッキング動作の軌跡を示す。退避位置Ｐｃと目標位置Ｐｄとを結ぶ線は、プレース動作の軌跡を示す。
【0097】
検出位置Ｐｂと検出位置Ｐｂの鉛直方向上向きの退避位置Ｐｃ１とを結ぶ線に沿ってピッキング動作をさせた場合、ワーク１と壁面３ａとが接触する可能性がある。そのため、ワーク１を壁面３ａから遠ざかるように、退避位置を修正することが好ましい。従って、壁面３ａから遠ざかるような並進動作が第１定義情報によって定義されるように、指定位置Ｐｃ２が指定される。図１０に示す例では、コンテナ２の上端を通る平面７において、検出位置Ｐｂから下した垂線の足である点Ｑから逃げ幅Ｆ１だけ壁面３ａから離れた位置が指定位置Ｐｃ２として指定される。検出位置Ｐｂと指定位置Ｐｃ２とを通る直線上に修正後の退避位置Ｐｃが設定される。第１定義情報で定義される並進動作は、検出位置Ｐｂと退避位置Ｐｃとを結ぶ直線に沿った動作である。
【0098】
なお、第１定義情報で定義される並進動作は、わずかにカーブする動作であってもよい。すなわち、第１定義情報によって定義される並進動作は、検出位置Ｐｂと指定位置Ｐｃ２とを通る曲線に沿った動作であってもよい。この場合、当該曲線上に退避位置Ｐｃが設定される。
【0099】
＜Ｅ．コンテナが傾斜して設置されているときの処理例＞
次に、コンテナ２が水平面に対して傾斜して設置されているときの処理例について説明する。ロボット３００の多関節アーム３１の可動範囲に応じて、コンテナ２が水平面に対して傾斜して設置され得る。
次に、コンテナ２が水平面に対して傾斜して設置されているときの処理例について説明する。ロボット３００の多関節アーム３１の可動範囲に応じて、コンテナ２が水平面に対して傾斜して設置され得る。
【0100】
図１１は、水平面に対して傾斜角度θだけ傾斜して設置されたコンテナを示す断面図である。図１１に示す例では、壁面３ａが上側に位置し、壁面３ｃが下側に位置するように、コンテナ２が水平面に対して傾斜して設置されている。
【0101】
コンテナ２が傾斜して設置されている場合、上側に位置する壁面３ａとピッキング動作中のエンドエフェクタ３０に把持されたワーク１との接触リスクが高まる。一方、下側に位置する壁面３ｃとピッキング動作中のエンドエフェクタ３０に把持されたワーク１との接触リスクは低くなる。そのため、領域設定部１２ａは、壁面３ａに隣接する領域４ａ，４ｅ、４ｈのサイズを定める距離ＤＭ１（図８参照）と、壁面３ｃに隣接する領域４ｃ，４ｆ、４ｇのサイズを定める距離ＤＭ２（図８参照）とを傾斜角度θに応じて調整してもよい。
【0102】
図１１に示す例では、領域設定部１２ａは、マージン幅Ｍ／cosθを距離ＤＭ１に設定し、マージン幅Ｍ×cosθを距離ＤＭ２に設定している。なお、領域設定部１２ａは、コンテナ２の内寸高さＨ２×tanθを距離ＤＭ２に設定してもよい。
【0103】
図１２は、コンテナが水平面に対して傾斜して設置され、かつ、鉛直方向上向きを示す第２定義情報が設定されたときの領域の設定方法の一例を示す図である。第２定義情報が鉛直方向上向きを示す場合、領域５の範囲を図１１に示す領域４ｃの範囲まで広げたとしても、下側に位置する壁面３ｃとピッキング動作中のエンドエフェクタ３０に把持されたワーク１との接触リスクは低い。そのため、図１２に示されるように、領域設定部１２ａは、壁面３ｃに隣接するように領域５を設定してもよい。
【0104】
コンテナ２が水平面に対して傾斜している場合であっても、情報設定部１２ｂは、＜Ｄ．定義情報の設定＞で説明した方法と同じ方法に従って定義情報を設定すればよい。
【0105】
図１３は、コンテナが水平面に対して傾斜して設置されているときの、領域４ａに対応付けられた第１定義情報によって定義される並進動作を示す図である。図１３に示されるように、ピッキング動作時のワーク１と壁面３ａとの接触を回避するために、壁面３ａから遠ざかるような並進動作が第１定義情報によって定義されるように、指定位置Ｐｃ２が指定される。図１３に示す例では、コンテナ２の上端を通る平面７において、検出位置Ｐｂから下した垂線の足である点Ｑから逃げ幅Ｆ１だけ壁面３ａから離れた位置が指定位置Ｐｃ２として指定される。そして、検出位置Ｐｂと指定位置Ｐｃ２とを通る直線上に修正後の退避位置Ｐｃが設定される。第１定義情報によって定義される並進動作は、検出位置Ｐｂと退避位置Ｐｃとを結ぶ直線に沿った動作である。
【0106】
なお、第１定義情報で定義される並進動作は、わずかにカーブする動作であってもよい。すなわち、第１定義情報によって定義される並進動作は、検出位置Ｐｂと指定位置Ｐｃ２とを通る曲線に沿った動作であってもよい。この場合、当該曲線上に退避位置Ｐｃが設定される。
【0107】
ロボット３００の並進機構における動作精度には誤差がある。そのため、領域５に対応付けられた第２定義情報が鉛直方向上向き（Ｚ軸正方向）に沿った並進動作を定義する場合、領域５に位置するワーク１に対するピッキング動作において、ワーク１と上側に位置する壁面３ａとの接触リスクが高まる。そこで、図９において例えばラジオボタン８０ａが操作された場合に、鉛直方向上向き（Ｚ軸正方向）よりも壁面３ａから離れるように傾斜した方向に沿った並進動作を定義する第２定義情報が領域５に対応付けて設定されてもよい。このとき、並進動作の方向と鉛直方向上向き（Ｚ軸正方向）とのなす角度は、ロボット３００の並進機構における動作精度の誤差以上に設定される。
【0108】
＜Ｆ．コンテナの位置姿勢の検出方法＞
コンテナ２が固定位置に設置されない場合、検出部１５は、コンテナ２に対するワーク１の相対位置姿勢を特定するために、コンテナ２の位置姿勢を検出する。
コンテナ２が固定位置に設置されない場合、検出部１５は、コンテナ２に対するワーク１の相対位置姿勢を特定するために、コンテナ２の位置姿勢を検出する。
【0109】
図１４は、コンテナの位置姿勢を検出する方法の一例を説明する図である。コンテナ２内にはワーク１が収容されるため、計測ヘッド４００の撮像部４０２によって撮像される画像には、コンテナ２の上端面８が含まれる。コンテナ２が設置される台の高さが固定である場合、上端面８の高さ（Ｚ座標）は一定である。ただし、コンテナ２の設置位置に応じて、上端面８のＸ座標およびＹ座標は変化しうる。そこで、検出部１５は、二次元サーチの手法を用いてコンテナ２の位置姿勢を検出できる。すなわち、検出部１５は、撮像部４０２から見たときのコンテナ２の上端面８の二次元形状を示すテンプレートデータを予め記憶しておき、当該テンプレートデータと画像データ１０３とを照合することにより、コンテナ２の位置姿勢を検出する。
【0110】
図１５は、コンテナの位置姿勢を検出する方法の別の例を説明する図である。図１５に示す例では、コンテナ２の上端面８上に４つの検出マーク８ａ～８ｄが描かれている。検出部１５は、画像データ１０３の中から検出マーク８ａ～８ｄの位置を特定することにより、コンテナ２の位置姿勢を検出してもよい。
【0111】
図１６は、コンテナの位置姿勢を検出する方法のさらに別の例を説明する図である。図１６に示す例では、コンテナ２は、水平面に対して傾斜した台に設置される。コンテナ２が水平面に対して傾斜して設置される場合、上端面８上に描かれた４つの検出マーク８ａ～８ｄを頂点とする四角形が歪む。検出部１５は、４つの検出マーク８ａ～８ｄを頂点とする四角形の歪み度合いに基づいて、コンテナ２の水平面に対する傾斜角度θを検出できる。例えば、検出部１５は、傾斜角度θと４つの検出マーク８ａ～８ｄ間の距離との関係式を予め記憶しておき、当該関係式を用いて傾斜角度θを計算すればよい。
【0112】
検出部１５は、ワーク１と同様に三次元サーチの手法を用いてコンテナ２の位置姿勢を検出してもよい。すなわち、コンテナ２を様々な方向から見たときの三次元形状を示すテンプレートデータが予め記憶部１０に格納される。検出部１５は、３Ｄ画像生成部１４によって生成された三次元点群データとテンプレートデータとを照合することにより、コンテナ２の位置姿勢を検出する。
【0113】
＜Ｇ．設定処理の流れ＞
図１７は、画像処理装置における設定処理の流れの一例を示すフローチャートである。まず、画像処理装置１００のＣＰＵ１１０は、コンテナ２内の空間において、互いに排他的な関係にある複数の領域（例えば図２に示す領域４ａ～４ｈ，５）を設定する（ステップＳ１）。ＣＰＵ１１０は、例えば図８に示す画面７２をディスプレイ１５０に表示し、入力装置１６０への入力に従って複数の領域を設定する。ＣＰＵ１１０は、設定した複数の領域のそれぞれの範囲を示す領域情報１０４を生成する。
図１７は、画像処理装置における設定処理の流れの一例を示すフローチャートである。まず、画像処理装置１００のＣＰＵ１１０は、コンテナ２内の空間において、互いに排他的な関係にある複数の領域（例えば図２に示す領域４ａ～４ｈ，５）を設定する（ステップＳ１）。ＣＰＵ１１０は、例えば図８に示す画面７２をディスプレイ１５０に表示し、入力装置１６０への入力に従って複数の領域を設定する。ＣＰＵ１１０は、設定した複数の領域のそれぞれの範囲を示す領域情報１０４を生成する。
【0114】
次に、ＣＰＵ１１０は、ステップＳ１で設定した複数の領域の各々に対応付けて、エンドエフェクタの並進動作を定義する定義情報１０５を設定する。ＣＰＵ１１０は、例えば図９に示す画面７９をディスプレイ１５０に表示し、入力装置１６０への入力に従って定義情報１０５を設定する。
【0115】
＜Ｈ．ロボット動作の制御処理の流れ＞
図１８は、画像処理装置におけるロボット動作の制御処理の流れの一例を示すフローチャートである。まず、ＣＰＵ１１０は、計測ヘッド４００によって撮像された複数の画像データ１０３に基づいて、計測ヘッド４００の視野領域の三次元計測を行なう（ステップＳ１１）。ステップＳ１１において、ＣＰＵ１１０は、三次元点群データを生成する。
図１８は、画像処理装置におけるロボット動作の制御処理の流れの一例を示すフローチャートである。まず、ＣＰＵ１１０は、計測ヘッド４００によって撮像された複数の画像データ１０３に基づいて、計測ヘッド４００の視野領域の三次元計測を行なう（ステップＳ１１）。ステップＳ１１において、ＣＰＵ１１０は、三次元点群データを生成する。
【0116】
次に、ＣＰＵ１１０は、ワーク１を様々に方向から見たときの三次元形状を示す複数のテンプレートデータ１０２と三次元点群データとを照合することにより、ワーク１の位置姿勢を検出する（ステップＳ１２）。コンテナ２の位置姿勢が固定されていない場合、ステップＳ１２において、検出部１５は、コンテナ２の位置姿勢を検出してもよい。
【0117】
次に、ＣＰＵ１１０は、ピッキング対象のワーク１の位置姿勢に応じてロボット３００の動作を決定する（ステップＳ１３）。ロボット３００の動作には、上述したように、アプローチ動作とピッキング動作とプレース動作とが含まれる。具体的には、ＣＰＵ１１０は、ステップＳ１において生成された領域情報１０４に基づいて、複数の領域のうちワーク１の位置を含む領域を特定する。ＣＰＵ１１０は、特定した領域に対応付けられた定義情報１０５によって定義される並進動作をピッキング動作の並進成分として決定する。
【0118】
次に、ＣＰＵ１１０は、決定した動作を実行させるための動作指令を生成し、生成した動作指令をロボットコントローラ２００に出力する（ステップＳ１４）。
【0119】
＜Ｉ．作用・効果＞
以上のように、本実施の形態に係る画像処理装置１００は、コンテナ２に収容されたワークをピッキングするロボット３００の動作を決定する。画像処理装置１００は、領域設定部１２ａと、情報設定部１２ｂと、検出部１５と、動作指令決定部１６とを備える。領域設定部１２ａは、コンテナ２内の空間において、互いに排他的な関係にある複数の領域を設定する。情報設定部１２ｂは、複数の領域の各々と対応付けて、エンドエフェクタ３０の並進動作を定義する定義情報１０５を設定する。検出部１５は、コンテナ２を撮像することにより得られた画像に基づいて、ワーク１の位置を検出する。動作指令決定部１６は、ワーク１を把持してからワーク１をコンテナ２外に搬送するまでのエンドエフェクタ３０のピッキング動作を決定する。動作指令決定部１６は、複数の領域のうち検出部１５によって検出されたワーク１の位置を含む領域に対応付けられた定義情報１０５によって定義される並進動作を、ピッキング動作の並進成分として決定する。
以上のように、本実施の形態に係る画像処理装置１００は、コンテナ２に収容されたワークをピッキングするロボット３００の動作を決定する。画像処理装置１００は、領域設定部１２ａと、情報設定部１２ｂと、検出部１５と、動作指令決定部１６とを備える。領域設定部１２ａは、コンテナ２内の空間において、互いに排他的な関係にある複数の領域を設定する。情報設定部１２ｂは、複数の領域の各々と対応付けて、エンドエフェクタ３０の並進動作を定義する定義情報１０５を設定する。検出部１５は、コンテナ２を撮像することにより得られた画像に基づいて、ワーク１の位置を検出する。動作指令決定部１６は、ワーク１を把持してからワーク１をコンテナ２外に搬送するまでのエンドエフェクタ３０のピッキング動作を決定する。動作指令決定部１６は、複数の領域のうち検出部１５によって検出されたワーク１の位置を含む領域に対応付けられた定義情報１０５によって定義される並進動作を、ピッキング動作の並進成分として決定する。
【0120】
これにより、画像処理装置１００は、複雑な計算を行なうことなく、予め設定した定義情報１０５を用いて、ワーク１に対するピッキング動作の並進成分を容易に決定できる。その結果、計算コストの増大を抑制しながら、コンテナ２に収容されたワーク１をピッキングするロボットの動作を決定できる。
【0121】
複数の領域は、コンテナ２内における壁面３ａ～３ｄにそれぞれ隣接する領域４ａ～４ｄと、領域４ａ～４ｄよりも壁面３ａ～３ｄからそれぞれ離れた位置の領域５とを含む。これにより、コンテナ２の壁面３ａ～３ｄにそれぞれ隣接する領域４ａ～４ｄと、壁面３ａ～３ｄから離れた領域５とのそれぞれについて、ピッキング動作の並進成分を決定するための定義情報１０５を別個に設定できる。すなわち、複数の領域の各々について、当該領域に適した並進動作を定義する定義情報を設定することができる。
【0122】
領域設定部１２ａは、壁面３ａ～３ｄからの距離情報を用いて領域４ａ～４ｄ，５を設定すればよい。これにより、領域４ａ～４ｄ，５を容易に設定できる。
【0123】
例えば、壁面３ａに隣接する領域４ａに対応付けられた定義情報１０５は、ワーク１が通過すべき指定位置を指定するための情報である。そして、当該定義情報１０５によって定義される並進動作は、ワーク１の検出位置と指定位置とを通る直線または曲線に沿った動作である。これにより、領域ごとに指定位置を設定することにより、ピッキング動作の並進成分が決定される。
【0124】
指定位置は、検出位置に応じて指定されてもよい。例えば、図１０に示す例では、コンテナ２の上端を通る平面７において、検出位置Ｐｂから下した垂線の足である点Ｑから逃げ幅Ｆ１だけ壁面３ａから離れた位置が指定位置Ｐｃ２として指定される。これにより、検出位置Ｐｂに適した指定位置が指定される。
【0125】
領域５に対応付けられた定義情報１０５は、例えば、壁面３ａおよび容器の底面３ｚに直交する平面上において壁面３ａに平行な上向きの方向、底面３ｚの法線方向、鉛直方向上向き、およびこれらの方向よりも壁面３ａから離れるように傾斜した方向、のいずれかを示す。領域５に対応付けられた定義情報１０５によって定義される並進動作は、これらの方向に沿った動作である。領域５は、壁面から離れた位置にある。そのため、これらの方向に沿ったピッキング動作を行なっても、壁面とワーク１との接触リスクが低い。
【0126】
領域設定部１２ａは、コンテナ２が水平面に対して傾斜して設置される場合、コンテナ２の水平面に対する傾斜方向および傾斜角度に応じて、複数の領域の少なくとも１つ（図１１に示す例では領域４ａ、４ｃ）のサイズを調整する。これにより、傾斜に応じて領域のサイズが適宜自動的に調整される。これにより、ユーザの手間を削減できる。
【0127】
領域設定部１２ａは、２つの爪３３によるワーク１の把持位置の中心点（図７の点Ｐ）と、ワーク１の外接直方体ＲＰの表面上の点との最大距離をマージン幅Ｍとして設定する。そして、領域設定部１２ａは、壁面３ａ～３ｄからそれぞれマージン幅Ｍ以内の領域を領域４ａ～４ｄとして自動的に設定してもよい。これにより、領域の設定に要するユーザの手間を削減できる。なお、２つの爪３３によるワーク１の把持位置の中心点（図７の点Ｐ）と、ワーク１の外接直方体ＲＰの表面上の点との最大距離以上の距離がマージン幅Ｍとして設定されてもよい。
【0128】
＜Ｊ．変形例＞
（Ｊ－１．変形例１）
上記の実施の形態では、内底面が平坦であり、内壁面が内側面に対して垂直である直方体状の箱であるコンテナ２を、ワーク１が収容される容器の一例として説明した。しかしながら、ワーク１が収容される容器は、コンテナ２の形状に限定されず、複雑な形状を有していてもよい。
（Ｊ－１．変形例１）
上記の実施の形態では、内底面が平坦であり、内壁面が内側面に対して垂直である直方体状の箱であるコンテナ２を、ワーク１が収容される容器の一例として説明した。しかしながら、ワーク１が収容される容器は、コンテナ２の形状に限定されず、複雑な形状を有していてもよい。
【0129】
図１９は、ワークが収容される容器の別の例を示す平面図である。図２０は、図１９のＶ－Ｖ線に沿った矢視断面図である。図１９および図２０に例示されるコンテナ２ａは、４つの凹部９ａ～９ｄを有する。ワークは、凹部９ａ～９ｄ内に収容されるか、もしくは、凹部９ａ～９ｄ内に収容されたワークの上に載せられる。図１９および図２０に示す例では、ワーク１ｂは凹部９ａ内に収容されており、ワーク１ｃは凹部９ｄ内に収容されている。ワーク１ａは、凹部９ａ内に収容されているワーク１ｂの上に載せられ、凹部９ａの上方に位置している。
【0130】
図２１は、図１９に示す凹部９ａ付近を示す拡大平面図である。図２１に示されるように、凹部９ａは、４つの壁面３ｅ～３ｈによって囲まれている。壁面３ｅ，３ｆは、凹部９ａの底面に垂直である。壁面３ｇ，３ｈは、凹部９ａが上方に向かって広がるように、底面の法線方向に対して傾斜している。
【0131】
領域設定部１２ａは、凹部９ａ～９ｄの各々について、互いに排他的な関係にある複数の領域を設定すればよい。図２１に示す例では、領域設定部１２ａは、凹部９ａ内の空間について領域４ｉ～４ｐ，５ａを設定している。領域４ｉは壁面３ｅ，３ｆに隣接する。領域４ｊは壁面３ｅに隣接する。領域４ｋは壁面３ｅ，３ｈに隣接する。領域４ｌは壁面３ｆに隣接する。領域４ｍは壁面３ｈに隣接する。領域４ｎは壁面３ｆ，３ｇに隣接する。領域４ｏは壁面３ｇに隣接する。領域４ｐは壁面３ｇ，３ｈに隣接する。領域５ａは、領域４ｅ，４ｌ，４ｏ，４ｍよりも壁面３ｅ～３ｈからそれぞれ離れている。
【0132】
情報設定部１２ｂは、各領域に対応付けて、エンドエフェクタ３０の並進動作を定義する定義情報１０５を設定する。図２１に示す例では、情報設定部１２ｂは、領域４ｉ～４ｐ，５ａに対応付けて、並進動作４０ｉ～４０ｐ，５０ａを定義する定義情報１０５をそれぞれ設定する。
【0133】
並進動作４０ｉは、領域４ｉに隣接する壁面３ｅ，３ｆから離れる方向に移動する動作である。並進動作４０ｊは、領域４ｊに隣接する壁面３ｅから離れる方向に移動する動作である。並進動作４０ｌは、領域４ｌに隣接する壁面３ｆから離れる方向に移動する動作である。並進動作４０ｍは、領域４ｍに隣接する壁面３ｈから離れる方向に移動する動作である。並進動作４０ｏは、領域４ｏに隣接する壁面３ｇから離れる方向に移動する動作である。並進動作４０ｐは、領域４ｐに隣接する壁面３ｇ，３ｈから離れる方向に移動する動作である。
【0134】
なお、凹部９ａの底面とのなす角度が鈍角となるように傾斜している壁面３ｇ，３ｈへのワークの接触リスクは低い。そのため、領域４ｍ，４ｏ，４ｐにそれぞれ対応する並進動作４０ｍ，４０ｏ，４０ｐは、鉛直方向上向き（Ｚ軸正方向）に沿った直線移動であってもよい。
【0135】
領域４ｋでは、凹部９ａの底面とのなす角度が鈍角となるように傾斜している壁面３ｈよりも底面に垂直な壁面３ｅへのワークの接触リスクが高い。そのため、領域４ｋに対応する並進動作４０ｋは、壁面３ｅから離れる方向に移動する動作である。同様に、領域４ｎでは、凹部９ａの底面に対して傾斜している壁面３ｇよりも底面に垂直な壁面３ｆへのワークの接触リスクが高い。そのため、領域４ｎに対応する並進動作４０ｎは、壁面３ｆから離れる方向に移動する動作である。
【0136】
図２１に例示される並進動作５０ａは、鉛直方向上向き（Ｚ軸正方向）に沿った直線移動である。ただし、ロボット３００の並進機構における動作精度には誤差がある。そのため、ある方向に直線移動させようとしても、当該方向から誤差分だけ傾斜した方向に移動する可能性がある。凹部９ａは、底面に垂直な壁面３ｅ，３ｆと、底面とのなす角度が鈍角となるように傾斜している壁面３ｇ，３ｈとに囲まれている。そのため、壁面３ｇ，３ｈよりも壁面３ｅ，３ｆへのワークの接触リスクが高い。そこで、図９において例えばラジオボタン８０ａが操作された場合に、鉛直方向上向き（Ｚ軸正方向）よりも壁面３ｅ，３ｆから離れるように傾斜した方向に沿った直進動作が並進動作５０ａとして設定されてもよい。このとき、並進動作５０ａの方向と鉛直方向上向き（Ｚ軸正方向）とのなす角度は、ロボット３００の並進機構における動作精度の誤差以上に設定される。
【0137】
（Ｊ－２．変形例２）
コンテナ２，２ａに収容された複数のワークを１つずつ順にピッキングする場合、壁面との接触リスクの低いワークからピッキングすることが好ましい。そこで、設定部１２は、ピッキング対象となるワークを選択する基準となる優先度を領域ごとに設定してもよい。
コンテナ２，２ａに収容された複数のワークを１つずつ順にピッキングする場合、壁面との接触リスクの低いワークからピッキングすることが好ましい。そこで、設定部１２は、ピッキング対象となるワークを選択する基準となる優先度を領域ごとに設定してもよい。
【0138】
【0139】
優先度設定部１２ｃは、入力装置１６０への入力に従って、領域設定部１２ａによって設定された複数の領域の各々について優先度を設定する。優先度設定部１２ｃは、領域ごとに設定した優先度を領域情報１０４に含める。
【0140】
例えば、図２に示すコンテナ２の場合、領域５に位置するワーク１は、領域４ａ～４ｈに位置するワーク１よりも壁面３ａ～３ｄのいずれかへ接触するリスクが低い。そのため、ユーザは、領域５について、領域４ａ～４ｈの優先度よりも高い優先度を入力装置１６０に入力すればよい。これにより、優先度設定部１２ｃは、領域５の優先度を領域４ａ～４ｈの優先度よりも高く設定する。
【0141】
図２１に示すコンテナ２ａの場合、底面に垂直な壁面３ｅ，３ｆ近傍のワークは、底面とのなす角度が鈍角となるように傾斜している壁面３ｇ，３ｈ近傍のワークよりも、壁面へ接触するリスクが低い。そのため、ユーザは、壁面３ｅ，３ｆに隣接する領域について、相対的に低い優先度を入力装置１６０に入力すればよい。
【0142】
図２３は、変形例２において生成された領域情報の一例を示す図である。図２３には、図２１に示すコンテナ２ａに対して生成された領域情報１０４が示される。図２３に示されるように、壁面から最も離れた領域５ａの優先度が最も高い「１」に設定されている。底面とのなす角度が鈍角となるように傾斜している壁面３ｇ，３ｈの一方にのみ隣接している領域４ｍ，４ｏの優先度が次に高い「２」に設定されている。壁面３ｇ，３ｈの両方に隣接している領域４ｐの優先度が次に高い「３」に設定されている。底面に垂直な壁面３ｅ，３ｆの一方にのみ隣接している領域４ｊ，４ｌの優先度が次に高い「４」に設定されている。壁面３ｅ，３ｆの一方と壁面３ｇ，３ｈの一方とに隣接している領域４ｋ，４ｎの優先度が次に高い「５」に設定されている。壁面３ｅ，３ｆの両方に隣接している領域４ｉの優先度が最も低い「６」に設定されている。
【0143】
検出部１５は、複数のワークを検出した場合、領域情報１０４を参照して、当該複数のワークの中から優先度の最も高い領域に位置するワークをピッキング対象として選択すればよい。これにより、ロボット３００は、壁面との接触リスクの低いワークから順にピッキングすることができる。
【0144】
例えば、図１９に示す例では、まず、凹部９ａの上方に位置しているワーク１ａがピッキングされる。次に、底面とのなす角度が鈍角となるように傾斜している壁面近傍に位置するワーク１ｃがピッキングされる。最後に、底面に垂直な壁面近傍に位置するワーク１ｂがピッキングされる。
【0145】
（Ｊ－３．変形例３）
図６に示す例では、ワーク１の形状として、ワーク１の外接直方体の幅Ｗ、奥行きＤ、高さＨが登録され、当該外接直方体に基づいてマージン幅Ｍが計算される。しかしながら、ピッキング動作では、ワーク１とエンドエフェクタ３０とが一体となって移動する。そのため、ワーク１とワーク１を把持するエンドエフェクタ３０の爪３３との外接直方体の幅、奥行き、高さが登録され、当該外接直方体に基づいてマージン幅Ｍが計算されてもよい。これにより、エンドエフェクタ３０の爪３３と壁面との接触リスクを低減できる。
図６に示す例では、ワーク１の形状として、ワーク１の外接直方体の幅Ｗ、奥行きＤ、高さＨが登録され、当該外接直方体に基づいてマージン幅Ｍが計算される。しかしながら、ピッキング動作では、ワーク１とエンドエフェクタ３０とが一体となって移動する。そのため、ワーク１とワーク１を把持するエンドエフェクタ３０の爪３３との外接直方体の幅、奥行き、高さが登録され、当該外接直方体に基づいてマージン幅Ｍが計算されてもよい。これにより、エンドエフェクタ３０の爪３３と壁面との接触リスクを低減できる。
【0146】
（Ｊ－４．変形例４）
上記の説明では、２つの爪３３によるワーク１の把持位置の中心点（図７の点Ｐ）と対象物の表面上の点との最大距離がマージン幅Ｍとして設定されるものとした。しかしながら、例えば、エンドエフェクタ３０が１つの吸着パッドを用いてワーク１を吸着する場合、ワーク１に対する当該吸着パッドの吸着位置（保持位置）とワーク１の表面上の点との最大距離以上がマージン幅Ｍとして設定される。
上記の説明では、２つの爪３３によるワーク１の把持位置の中心点（図７の点Ｐ）と対象物の表面上の点との最大距離がマージン幅Ｍとして設定されるものとした。しかしながら、例えば、エンドエフェクタ３０が１つの吸着パッドを用いてワーク１を吸着する場合、ワーク１に対する当該吸着パッドの吸着位置（保持位置）とワーク１の表面上の点との最大距離以上がマージン幅Ｍとして設定される。
【0147】
（Ｊ－５．変形例５）
上記の説明では、領域４ａ～４ｈに対応付けられた定義情報１０５は、コンテナ２の上端を通る平面７において、検出位置Ｐｂから下した垂線の足である点Ｑと指定位置Ｐｃ２とから逃げ幅Ｆ１を示す（図１０参照）。これにより、定義情報１０５によって指定位置Ｐｃ２が指定され、当該指定位置Ｐｃ２を通るように並進動作が定義される。
上記の説明では、領域４ａ～４ｈに対応付けられた定義情報１０５は、コンテナ２の上端を通る平面７において、検出位置Ｐｂから下した垂線の足である点Ｑと指定位置Ｐｃ２とから逃げ幅Ｆ１を示す（図１０参照）。これにより、定義情報１０５によって指定位置Ｐｃ２が指定され、当該指定位置Ｐｃ２を通るように並進動作が定義される。
【0148】
しかしながら、領域４ａ～４ｈに対応付けられた定義情報１０５は、壁面の上端から壁面の法線方向に沿った距離である逃げ幅Ｆ２（図１０および図１３参照）を示してもよい。この場合、平面７において、壁面の上端から壁面の法線方向に逃げ幅Ｆ２だけ離れた位置が指定位置Ｐｃ３として指定される。そして、定義情報１０５によって定義される並進動作は、検出位置Ｐｂと指定位置Ｐｃ３とを通る直線または曲線に沿った動作となる。なお、逃げ幅Ｆ２は、距離ＤＭ１，Ｄｍ２，ＷＭ１，ＷＭ２（図８参照）以上に設定される。
【0149】
（Ｊ－６．変形例６）
上記の説明では、領域４ａ～４ｈに対応付けられた定義情報１０５は、ワーク１が通過すべき指定位置を示すものとした。しかしながら、領域４ａ～４ｈの各々に対応付けられた定義情報１０５は、当該領域に隣接する壁面から遠ざかる方向を示してもよい。例えば、壁面３ａに隣接する領域４ａに対応付けられた定義情報１０５は、壁面３ａおよび底面３ｚに直交する平面上において、壁面３ａから遠ざかる上向きの方向を示してもよい。この場合、当該定義情報１０５によって定義される並進動作は、起点に対する終点の方向が定義情報１０５で示される方向に一致する動作である。なお、定義情報１０５によって定義される並進動作は、定義情報１０５で示される方向に沿った直線動作であってもよいし、ピッキング動作の起点から終点に向かってわずかにカーブする動作であってもよい。
上記の説明では、領域４ａ～４ｈに対応付けられた定義情報１０５は、ワーク１が通過すべき指定位置を示すものとした。しかしながら、領域４ａ～４ｈの各々に対応付けられた定義情報１０５は、当該領域に隣接する壁面から遠ざかる方向を示してもよい。例えば、壁面３ａに隣接する領域４ａに対応付けられた定義情報１０５は、壁面３ａおよび底面３ｚに直交する平面上において、壁面３ａから遠ざかる上向きの方向を示してもよい。この場合、当該定義情報１０５によって定義される並進動作は、起点に対する終点の方向が定義情報１０５で示される方向に一致する動作である。なお、定義情報１０５によって定義される並進動作は、定義情報１０５で示される方向に沿った直線動作であってもよいし、ピッキング動作の起点から終点に向かってわずかにカーブする動作であってもよい。
【0150】
（Ｊ－７．変形例７）
上記の実施の形態では、対象となる壁面に隣接する領域に対して、当該壁面から離れる方向に移動する並進動作を定義する定義情報１０５が設定される。これにより、ピッキング動作において、対象となる壁面へのワークの接触リスクを低減できる。ただし、ワークを収容する容器の形状によっては、対象となる壁面へのワークの接触リスクを低減できたとしても、当該壁面とは異なる壁面へのワークの接触リスクが依然として高い場合がある。このような場合、当該異なる壁面への接触リスクを低減するために、ピッキング動作の回転成分が決定されてもよい。
上記の実施の形態では、対象となる壁面に隣接する領域に対して、当該壁面から離れる方向に移動する並進動作を定義する定義情報１０５が設定される。これにより、ピッキング動作において、対象となる壁面へのワークの接触リスクを低減できる。ただし、ワークを収容する容器の形状によっては、対象となる壁面へのワークの接触リスクを低減できたとしても、当該壁面とは異なる壁面へのワークの接触リスクが依然として高い場合がある。このような場合、当該異なる壁面への接触リスクを低減するために、ピッキング動作の回転成分が決定されてもよい。
【0151】
【0152】
図２４に例示されるコンテナ２ｂは、壁面３ｉ，３ｊ，３ｋを有する。コンテナ２ｂ内の空間において壁面３ｉの法線方向に沿った長さは、直方体状のワーク１の対角線の長さよりも十分に長い。そのため、壁面３ｉに隣接する領域に対して、壁面３ｉから離れる方向の並進動作４０を定義する定義情報１０５を設定することにより、ピッキング動作において壁面３ｉへのワークの接触リスクを低減できる。
【0153】
壁面３ｊ，３ｋは壁面３ｉに隣り合う。壁面３ｊ，３ｋは互いに対向している。壁面３ｊと壁面３ｋとの距離は、直方体状のワーク１の対角線の長さと同程度である。そのため、壁面３ｊから離れる方向にワーク１を並進動作させた場合、壁面３ｋにワーク１が接触する可能性が高まる。そこで、動作指令決定部１６は、検出部１５によって検出されたワーク１の姿勢に基づいて、ワーク１と壁面３ｊ，３ｋとの最短距離が長くなるようにピッキング動作の回転成分を決定する。
【0154】
例えば、動作指令決定部１６は、検出部１５によって検出された位置姿勢のワーク１をコンテナ２ｂの底面に平行な平面に投影し、投影部分の外接矩形を特定する。次に、動作指令決定部１６は、特定した外接矩形の４つの頂点に内接する円９０の中心Ｏを通り、かつ、コンテナ２ｂの底面の法線方向に平行な軸を回転軸として決定する。
【0155】
なお、動作指令決定部１６は、ワーク１を把持するときの爪３３が外接矩形の４つの頂点に内接する円の内部に位置するか否かを判定してもよい。動作指令決定部１６は、判定結果が否を示す場合、ワーク１を把持するときの爪３３が内部に含まれるように円９０の位置およびサイズを補正し、補正後の円９０の中心Ｏを通り、かつ、コンテナ２ｂの底面の法線方向に平行な軸を回転軸として決定してもよい。
【0156】
次に、動作指令決定部１６は、特定した外接矩形の長辺と壁面３ｊ，３ｋとのなす角度を回転角度として計算するとともに、外接矩形の長辺を壁面３ｊ，３ｋと平行にするための回転方向（図２４に示す例では時計回りの方向）を決定する。動作指令決定部１６は、決定した回転方向に回転角度だけ回転させる回転動作４５をピッキング動作の回転成分として決定する。これにより、並進動作４０により壁面３ｉとワーク１との接触リスクを低減するとともに、回転動作４５により壁面３ｊ，３ｋとワーク１との接触リスクを低減できる。
【0157】
＜Ｋ．付記＞
以上のように、本実施の形態および変形例は以下のような開示を含む。
以上のように、本実施の形態および変形例は以下のような開示を含む。
【0158】
（構成１）
容器（２，２ａ，２ｂ）に収容された対象物（１）をピッキングするロボット（３００）の動作を決定する装置（１００）であって、
前記容器（２，２ａ，２ｂ）内の空間において、互いに排他的な関係にある複数の領域（４ａ～４ｐ，５，５ａ）を設定するための領域設定部（１２ａ）と、
前記複数の領域（４ａ～４ｐ，５，５ａ）の各々と対応付けて、前記ロボット（３００）が有するエンドエフェクタ（３０）の並進動作を定義する定義情報（１０５）を設定するための情報設定部（１２ｂ）と、
前記容器（２，２ａ，２ｂ）を撮像することにより得られた画像に基づいて、前記対象物（１）の位置を検出するための検出部（１５）と、
前記対象物（１）を保持してから前記対象物（１）を前記容器（２，２ａ，２ｂ）外に搬送するまでの前記エンドエフェクタ（３０）のピッキング動作を決定するための決定部（１６）とを備え、
前記決定部（１６）は、前記複数の領域（４ａ～４ｐ，５，５ａ）のうち前記検出部（１５）によって検出された位置を含む領域に対応付けられた前記定義情報（１０５）によって定義される並進動作を前記ピッキング動作の並進成分として決定する、装置（１００）。
容器（２，２ａ，２ｂ）に収容された対象物（１）をピッキングするロボット（３００）の動作を決定する装置（１００）であって、
前記容器（２，２ａ，２ｂ）内の空間において、互いに排他的な関係にある複数の領域（４ａ～４ｐ，５，５ａ）を設定するための領域設定部（１２ａ）と、
前記複数の領域（４ａ～４ｐ，５，５ａ）の各々と対応付けて、前記ロボット（３００）が有するエンドエフェクタ（３０）の並進動作を定義する定義情報（１０５）を設定するための情報設定部（１２ｂ）と、
前記容器（２，２ａ，２ｂ）を撮像することにより得られた画像に基づいて、前記対象物（１）の位置を検出するための検出部（１５）と、
前記対象物（１）を保持してから前記対象物（１）を前記容器（２，２ａ，２ｂ）外に搬送するまでの前記エンドエフェクタ（３０）のピッキング動作を決定するための決定部（１６）とを備え、
前記決定部（１６）は、前記複数の領域（４ａ～４ｐ，５，５ａ）のうち前記検出部（１５）によって検出された位置を含む領域に対応付けられた前記定義情報（１０５）によって定義される並進動作を前記ピッキング動作の並進成分として決定する、装置（１００）。
【0159】
（構成２）
前記複数の領域（４ａ～４ｐ，５，５ａ）は、前記容器（２，２ａ，２ｂ）内における第１対象壁面（３ａ～３ｉ）に隣接する第１領域（４ａ～４ｐ）と、前記第１領域よりも前記第１対象壁面（３ａ～３ｉ）から離れた位置の第２領域（５，５ａ）とを含む、構成１に記載の装置（１００）。
前記複数の領域（４ａ～４ｐ，５，５ａ）は、前記容器（２，２ａ，２ｂ）内における第１対象壁面（３ａ～３ｉ）に隣接する第１領域（４ａ～４ｐ）と、前記第１領域よりも前記第１対象壁面（３ａ～３ｉ）から離れた位置の第２領域（５，５ａ）とを含む、構成１に記載の装置（１００）。
【0160】
（構成３）
前記領域設定部（１２ａ）は、前記第１対象壁面（３ａ～３ｉ）からの距離情報を用いて前記第１領域（４ａ～４ｐ）および前記第２領域（５，５ａ）を設定する、構成２に記載の装置（１００）。
前記領域設定部（１２ａ）は、前記第１対象壁面（３ａ～３ｉ）からの距離情報を用いて前記第１領域（４ａ～４ｐ）および前記第２領域（５，５ａ）を設定する、構成２に記載の装置（１００）。
【0161】
（構成４）
前記第１領域（４ａ～４ｐ）に対応付けられた第１定義情報は、前記第１対象壁面（３０ａ～３０ｉ）から遠ざかる第１方向を示し、
前記第１定義情報によって定義される並進動作は、起点に対する終点の方向が前記第１方向に一致する動作である、構成２または３に記載の装置（１００）。
前記第１領域（４ａ～４ｐ）に対応付けられた第１定義情報は、前記第１対象壁面（３０ａ～３０ｉ）から遠ざかる第１方向を示し、
前記第１定義情報によって定義される並進動作は、起点に対する終点の方向が前記第１方向に一致する動作である、構成２または３に記載の装置（１００）。
【0162】
（構成５）
前記第１領域（４ａ～４ｐ）に対応付けられた第１定義情報は、前記対象物（１）が通過すべき指定位置を指定するための情報であり、
前記第１定義情報によって定義される並進動作は、前記検出された位置と前記指定位置とを通る直線または曲線に沿った動作である、構成２または３に記載の装置（１００）。
前記第１領域（４ａ～４ｐ）に対応付けられた第１定義情報は、前記対象物（１）が通過すべき指定位置を指定するための情報であり、
前記第１定義情報によって定義される並進動作は、前記検出された位置と前記指定位置とを通る直線または曲線に沿った動作である、構成２または３に記載の装置（１００）。
【0163】
（構成６）
前記指定位置は、前記検出された位置に応じて指定される、構成５に記載の装置（１００）。
前記指定位置は、前記検出された位置に応じて指定される、構成５に記載の装置（１００）。
【0164】
（構成７）
前記第１領域（４ａ～４ｐ）は、前記第１対象壁面（３ａ～３ｉ）から第１距離以内であり、
前記指定位置は、前記第１対象壁面（３ａ～３ｉ）の上端から前記第１対象壁面の法線方向に沿って第２距離だけ離れた位置であり、
前記第２距離は前記第１距離以上である、構成５に記載の装置（１００）。
前記第１領域（４ａ～４ｐ）は、前記第１対象壁面（３ａ～３ｉ）から第１距離以内であり、
前記指定位置は、前記第１対象壁面（３ａ～３ｉ）の上端から前記第１対象壁面の法線方向に沿って第２距離だけ離れた位置であり、
前記第２距離は前記第１距離以上である、構成５に記載の装置（１００）。
【0165】
（構成８）
前記第２領域（５，５ａ）に対応付けられた第２定義情報は、前記第１対象壁面（３ａ～３ｉ）および前記容器（２，２ａ，２ｂ）の底面（３ｚ）に直交する平面上において前記第１対象壁面（３ａ～３ｉ）に平行な上向きの方向、前記底面（３ｚ）の法線方向、鉛直方向上向き、および、これらの方向のいずれかに対して前記第１対象壁面（３ａ～３ｉ）から離れるように傾斜した方向、のいずれかである第２方向を示し、
前記第２定義情報によって定義される並進動作は、前記第２方向に沿った動作である、構成２から７のいずれかに記載の装置（１００）。
前記第２領域（５，５ａ）に対応付けられた第２定義情報は、前記第１対象壁面（３ａ～３ｉ）および前記容器（２，２ａ，２ｂ）の底面（３ｚ）に直交する平面上において前記第１対象壁面（３ａ～３ｉ）に平行な上向きの方向、前記底面（３ｚ）の法線方向、鉛直方向上向き、および、これらの方向のいずれかに対して前記第１対象壁面（３ａ～３ｉ）から離れるように傾斜した方向、のいずれかである第２方向を示し、
前記第２定義情報によって定義される並進動作は、前記第２方向に沿った動作である、構成２から７のいずれかに記載の装置（１００）。
【0166】
（構成９）
前記容器（２，２ａ，２ｂ）は、水平面に対して傾斜しており、
前記領域設定部（１２ａ）は、前記容器（２，２ａ，２ｂ）の水平面に対する傾斜方向および傾斜角度に応じて前記複数の領域の少なくとも１つのサイズを調整する、構成１から８のいずれかに記載の装置（１００）。
前記容器（２，２ａ，２ｂ）は、水平面に対して傾斜しており、
前記領域設定部（１２ａ）は、前記容器（２，２ａ，２ｂ）の水平面に対する傾斜方向および傾斜角度に応じて前記複数の領域の少なくとも１つのサイズを調整する、構成１から８のいずれかに記載の装置（１００）。
【0167】
（構成１０）
前記領域設定部（１２ａ）は、
前記エンドエフェクタ（３０）による前記対象物（１）の保持位置と前記対象物（１）の表面上の点との最大距離以上の第１距離を設定し、
前記第１対象壁面（３ａ～３ｉ）から前記第１距離以内の領域を前記第１領域（４ａ～４ｐ）として設定する、構成３に記載の装置（１００）。
前記領域設定部（１２ａ）は、
前記エンドエフェクタ（３０）による前記対象物（１）の保持位置と前記対象物（１）の表面上の点との最大距離以上の第１距離を設定し、
前記第１対象壁面（３ａ～３ｉ）から前記第１距離以内の領域を前記第１領域（４ａ～４ｐ）として設定する、構成３に記載の装置（１００）。
【0168】
（構成１１）
前記エンドエフェクタ（３０）は、複数の爪（３３）を有し、
前記領域設定部（１２ａ）は、
前記複数の爪（３３）による前記対象物（１）の保持位置の中心点と、前記対象物（１）に外接する直方体、または前記対象物（１）および前記対象物を保持する前記複数の爪に外接する直方体の表面上の点との最大距離以上の第１距離を設定し、
前記第１対象壁面（３ａ～３ｉ）から前記第１距離以内の領域を前記第１領域として設定する、構成３に記載の装置（１００）。
前記エンドエフェクタ（３０）は、複数の爪（３３）を有し、
前記領域設定部（１２ａ）は、
前記複数の爪（３３）による前記対象物（１）の保持位置の中心点と、前記対象物（１）に外接する直方体、または前記対象物（１）および前記対象物を保持する前記複数の爪に外接する直方体の表面上の点との最大距離以上の第１距離を設定し、
前記第１対象壁面（３ａ～３ｉ）から前記第１距離以内の領域を前記第１領域として設定する、構成３に記載の装置（１００）。
【0169】
（構成１２）
前記検出部（１５）は、前記対象物（１）の姿勢をさらに検出し、
前記決定部（１６）は、前記検出部（１５）によって検出された姿勢に基づいて、前記対象物（１）と前記容器（２ｂ）内における第２対象壁面（３ｊ，３ｋ）との最短距離が長くなるように前記ピッキング動作の回転成分をさらに決定する、構成１から１１のいずれかに記載の装置（１００）。
前記検出部（１５）は、前記対象物（１）の姿勢をさらに検出し、
前記決定部（１６）は、前記検出部（１５）によって検出された姿勢に基づいて、前記対象物（１）と前記容器（２ｂ）内における第２対象壁面（３ｊ，３ｋ）との最短距離が長くなるように前記ピッキング動作の回転成分をさらに決定する、構成１から１１のいずれかに記載の装置（１００）。
【0170】
（構成１３）
前記複数の領域（４ａ～４ｐ，５，５ａ）の各々の優先度を設定するための優先度設定部（１２ｃ）をさらに備え、
前記容器（２，２ａ，２ｂ）には複数の物体（１）が収容されており、
前記検出部（１５）は、
前記複数の物体（１）の各々の位置を検出し、
前記複数の物体（１）のうち、前記優先度の最も高い領域に属する物体を前記対象物（１）として決定する、構成１から１２のいずれかに記載の装置（１００）。
前記複数の領域（４ａ～４ｐ，５，５ａ）の各々の優先度を設定するための優先度設定部（１２ｃ）をさらに備え、
前記容器（２，２ａ，２ｂ）には複数の物体（１）が収容されており、
前記検出部（１５）は、
前記複数の物体（１）の各々の位置を検出し、
前記複数の物体（１）のうち、前記優先度の最も高い領域に属する物体を前記対象物（１）として決定する、構成１から１２のいずれかに記載の装置（１００）。
【0171】
（構成１４）
容器（２，２ａ，２ｂ）に収容された対象物（１）をピッキングするロボット（３００）の動作を決定する方法であって、
前記容器（２，２ａ，２ｂ）内の空間において、互いに排他的な関係にある複数の領域（４ａ～４ｐ，５，５ａ）を設定するステップと、
前記複数の領域（４ａ～４ｐ，５，５ａ）の各々と対応付けて、前記ロボット（３００）が有するエンドエフェクタ（３０）の並進動作を定義する定義情報（１０５）を設定するステップと、
前記容器（２，２ａ，２ｂ）を撮像することにより得られた画像に基づいて、前記対象物（１）の位置を検出するステップと、
前記対象物（１）を保持してから前記対象物（１）を前記容器（２，２ａ，２ｂ）外に搬送するまでの前記エンドエフェクタ（３０）のピッキング動作を決定するステップとを備え、
前記ピッキング動作を決定するステップは、
前記複数の領域（４ａ～４ｐ，５，５ａ）のうち前記検出部（１５）によって検出された位置を含む領域に対応付けられた前記定義情報（１０５）によって定義される並進動作を前記ピッキング動作の並進成分として決定するステップを含む、方法。
容器（２，２ａ，２ｂ）に収容された対象物（１）をピッキングするロボット（３００）の動作を決定する方法であって、
前記容器（２，２ａ，２ｂ）内の空間において、互いに排他的な関係にある複数の領域（４ａ～４ｐ，５，５ａ）を設定するステップと、
前記複数の領域（４ａ～４ｐ，５，５ａ）の各々と対応付けて、前記ロボット（３００）が有するエンドエフェクタ（３０）の並進動作を定義する定義情報（１０５）を設定するステップと、
前記容器（２，２ａ，２ｂ）を撮像することにより得られた画像に基づいて、前記対象物（１）の位置を検出するステップと、
前記対象物（１）を保持してから前記対象物（１）を前記容器（２，２ａ，２ｂ）外に搬送するまでの前記エンドエフェクタ（３０）のピッキング動作を決定するステップとを備え、
前記ピッキング動作を決定するステップは、
前記複数の領域（４ａ～４ｐ，５，５ａ）のうち前記検出部（１５）によって検出された位置を含む領域に対応付けられた前記定義情報（１０５）によって定義される並進動作を前記ピッキング動作の並進成分として決定するステップを含む、方法。
【0172】
（構成１５）
容器に収容された対象物をピッキングするロボットの動作を決定する方法をコンピュータに実行させるプログラムであって、
前記方法は、
前記容器（２，２ａ，２ｂ）内の空間において、互いに排他的な関係にある複数の領域（４ａ～４ｐ，５，５ａ）を設定するステップと、
前記複数の領域（４ａ～４ｐ，５，５ａ）の各々と対応付けて、前記ロボット（３００）が有するエンドエフェクタ（３０）の並進動作を定義する定義情報（１０５）を設定するステップと、
前記容器（２，２ａ，２ｂ）を撮像することにより得られた画像に基づいて、前記対象物（１）の位置を検出するステップと、
前記対象物（１）を保持してから前記対象物（１）を前記容器（２，２ａ，２ｂ）外に搬送するまでの前記エンドエフェクタ（３０）のピッキング動作を決定するステップとを備え、
前記ピッキング動作を決定するステップは、
前記複数の領域（４ａ～４ｐ，５，５ａ）のうち前記検出部（１５）によって検出された位置を含む領域に対応付けられた前記定義情報（１０５）を前記ピッキング動作の並進成分として決定するステップとを含む、プログラム。
容器に収容された対象物をピッキングするロボットの動作を決定する方法をコンピュータに実行させるプログラムであって、
前記方法は、
前記容器（２，２ａ，２ｂ）内の空間において、互いに排他的な関係にある複数の領域（４ａ～４ｐ，５，５ａ）を設定するステップと、
前記複数の領域（４ａ～４ｐ，５，５ａ）の各々と対応付けて、前記ロボット（３００）が有するエンドエフェクタ（３０）の並進動作を定義する定義情報（１０５）を設定するステップと、
前記容器（２，２ａ，２ｂ）を撮像することにより得られた画像に基づいて、前記対象物（１）の位置を検出するステップと、
前記対象物（１）を保持してから前記対象物（１）を前記容器（２，２ａ，２ｂ）外に搬送するまでの前記エンドエフェクタ（３０）のピッキング動作を決定するステップとを備え、
前記ピッキング動作を決定するステップは、
前記複数の領域（４ａ～４ｐ，５，５ａ）のうち前記検出部（１５）によって検出された位置を含む領域に対応付けられた前記定義情報（１０５）を前記ピッキング動作の並進成分として決定するステップとを含む、プログラム。
【0173】
本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0174】
１，１ａ～１ｃ ワーク、２，２ａ，２ｂ コンテナ、３ａ～３ｋ 壁面、３ｚ 底面、４ａ～４ｐ，５，５ａ 領域、７ 平面、８ 上端面、８ａ～８ｄ 検出マーク、９ａ～９ｄ 凹部、１０ 記憶部、１１ ヘッド制御部、１２ 設定部、１２ａ 領域設定部、１２ｂ 情報設定部、１２ｃ 優先度設定部、１３ 画像処理部、１４ ３Ｄ画像生成部、１５ 検出部、１６ 動作指令決定部、１７ 通信部、３０ エンドエフェクタ、３１ 多関節アーム、３２ ベース、３３ 爪、６０，６５，６９，７２，７９ 画面、６１，６６ 自動登録ボタン、６２，６７ 手動登録ボタン、６３，６４，６８～７０，７５，８１ 入力欄、７１ 表示欄、７３ 自動設定ボタン、７４ 手動設定ボタン、７６ 画像、７７ 枠線、７８ カーソル、８０ ボタン群、８０ａ，８０ｂ ラジオボタン、１００ 画像処理装置、１０１ａ，１０１ｂ ＣＡＤデータ、１０２ テンプレートデータ、１０３ 画像データ、１０４ 領域情報、１０５ 定義情報、１０６ メモリカード、１１０ ＣＰＵ、１１２ メインメモリ、１１４ ハードディスク、１１６ 計測ヘッドインターフェース、１１６ａ 画像バッファ、１１８ 入力インターフェース、１２０ 表示コントローラ、１２４ 通信インターフェース、１２６ データリーダ／ライタ、１２８ バス、１５０ ディスプレイ、１６０ 入力装置、２００ ロボットコントローラ、３００ ロボット、４００ 計測ヘッド、４０１ 投影部、４０２ 撮像部、ＲＰ 外接直方体、ＳＹＳ 制御システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】