特許 7166206 ハンドリング装置、制御装置、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-27

(45)【発行日】2022-11-07

(54)【発明の名称】ハンドリング装置、制御装置、およびプログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20221028BHJP

   B25J 15/06 20060101ALI20221028BHJP

【ＦＩ】

B25J13/08 A

B25J15/06 M

【請求項の数】 10

(21)【出願番号】P 2019047137

(22)【出願日】2019-03-14

(65)【公開番号】P2020032523

(43)【公開日】2020-03-05

【審査請求日】2021-09-03

(31)【優先権主張番号】P 2018159653

(32)【優先日】2018-08-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】古茂田 和馬

(72)【発明者】

【氏名】小川 昭人

(72)【発明者】

【氏名】十倉 征司

(72)【発明者】

【氏名】衛藤 春菜

(72)【発明者】

【氏名】姜 平

(72)【発明者】

【氏名】菅原 淳

【審査官】松浦 陽

(56)【参考文献】

【文献】特開２０１７－０１９０６０（ＪＰ，Ａ）

【文献】特開２００４－１８８５３３（ＪＰ，Ａ）

【文献】特開２００６－１３０５８０（ＪＰ，Ａ）

【文献】特開２０１１－０１７６１１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２２１１８７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

(57)【特許請求の範囲】

【請求項1】

物体を吸着保持可能な複数の吸着部を有して前記物体を保持可能な保持部と、
前記物体の表面が第１方向に第１曲率を有するとともに前記第１方向とは異なる第２方向に前記第１曲率よりも大きな第２曲率を有する場合、前記複数の吸着部に含まれる少なくとも２つの吸着部を前記第１方向に並べるように前記保持部の保持姿勢を決定する制御部と、
を備え、
前記制御部は、前記物体の表面の平均曲率およびガウス曲率に基づき、前記少なくとも２つの吸着部を並べる前記第１方向を決定する、
ハンドリング装置。

【請求項2】

前記第１方向は、前記物体の表面において曲率が最も小さい方向である、
請求項１に記載のハンドリング装置。

【請求項3】

前記制御部は、前記物体の曲率の正負を示す情報に基づき前記物体の表面の形状を分類し、分類された形状に基づき前記物体に対する前記保持部の保持方法を変更する、
請求項１または請求項２に記載のハンドリング装置。

【請求項4】

前記制御部は、前記物体の曲率の正負を示す情報に基づき、前記物体の表面の形状を、平面、円柱、球、鞍形状を含む複数の形状のいずれかに分類する、
請求項３に記載のハンドリング装置。

【請求項5】

物体を吸着保持可能な複数の吸着部を有して前記物体を保持可能な保持部と、
前記物体の表面が第１方向に第１曲率を有するとともに前記第１方向とは異なる第２方向に前記第１曲率よりも大きな第２曲率を有する場合、前記複数の吸着部に含まれる少なくとも２つの吸着部を前記第１方向に並べるように前記保持部の保持姿勢を決定する制御部と、
を備え、
前記制御部は、前記物体の表面に複数の評価対象領域が存在する場合、前記複数の評価対象領域のなかで、曲率がゼロまたは正の値である評価対象領域を優先して前記保持部に保持させる、
ハンドリング装置。

【請求項6】

物体を吸着保持可能な複数の吸着部を有して前記物体を保持可能な保持部と、
前記物体の表面が第１方向に第１曲率を有するとともに前記第１方向とは異なる第２方向に前記第１曲率よりも大きな第２曲率を有する場合、前記複数の吸着部に含まれる少なくとも２つの吸着部を前記第１方向に並べるように前記保持部の保持姿勢を決定する制御部と、
を備え、
前記制御部は、複数の物体が存在する場合、前記複数の物体のなかで、曲率がゼロまたは正の値である評価対象領域を有する物体を優先して前記保持部に保持させる、
ハンドリング装置。

【請求項7】

物体を吸着保持可能な複数の吸着部を有して前記物体を保持可能な保持部と、
前記物体の表面が第１方向に第１曲率を有するとともに前記第１方向とは異なる第２方向に前記第１曲率よりも大きな第２曲率を有する場合、前記複数の吸着部に含まれる少なくとも２つの吸着部を前記第１方向に並べるように前記保持部の保持姿勢を決定する制御部と、
を備え、
前記複数の吸着部の各々は、伸縮可能な構造を有し、
前記制御部は、前記複数の吸着部の各々の伸縮可能距離と、前記物体の表面の曲率とに基づき、前記物体の表面のなかで前記保持部により保持可能な保持可能領域を決定する、
ハンドリング装置。

【請求項8】

物体を吸着保持可能な複数の吸着部を有して前記物体を保持可能な保持部と、
前記物体の表面が第１方向に第１曲率を有するとともに前記第１方向とは異なる第２方向に前記第１曲率よりも大きな第２曲率を有する場合、前記複数の吸着部に含まれる少なくとも２つの吸着部を前記第１方向に並べるように前記保持部の保持姿勢を決定する制御部と、
を備え、
前記制御部は、前記物体の表面に曲率が不連続に変化する不連続位置が存在する場合、前記複数の吸着部が前記不連続位置を跨がないように前記保持部の保持位置を決定する、
ハンドリング装置。

【請求項9】

物体を吸着保持可能な複数の吸着部を有して前記物体を保持可能な保持部を備えたハンドリング装置に用いられる制御装置であって、
前記物体の表面が第１方向に第１曲率を有するとともに前記第１方向とは異なる第２方向に前記第１曲率よりも大きな第２曲率を有する場合、前記複数の吸着部に含まれる少なくとも２つの吸着部を前記第１方向に並べるように前記保持部の保持姿勢を決定する決定部、
を備え、
前記決定部は、前記物体の表面の平均曲率およびガウス曲率に基づき、前記少なくとも２つの吸着部を並べる前記第１方向を決定する、
制御装置。

【請求項10】

物体を吸着保持可能な複数の吸着部を有して前記物体を保持可能な保持部を備えたハンドリング装置の制御に関して、
コンピュータに
前記物体の表面が第１方向に第１曲率を有するとともに前記第１方向とは異なる第２方向に前記第１曲率よりも大きな第２曲率を有する場合、前記複数の吸着部に含まれる少なくとも２つの吸着部を前記第１方向に並べるように前記保持部の保持姿勢を決定する決定部を実現させ、
前記決定部は、前記物体の表面の平均曲率およびガウス曲率に基づき、前記少なくとも２つの吸着部を並べる前記第１方向を決定する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、ハンドリング装置、制御装置、およびプログラムに関する。

【背景技術】

【0002】

物流現場における移載動作の自動化には、多種多様な形状や大きさ、重さを有した物体を保持して搬送できることが求められる。このような多種多様な物体に対して各物体に応じた専用ハンドを用意することはコスト的に難しい。このため、１つのハンドリング装置により多種多様な物体を保持することが期待されている。しかしながら、例えば非平面を有する物体を保持する場合、物体を安定して保持することが難しい場合があった。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１１２６６４号公報

【文献】特開２０１７－１９１００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、物体保持の安定性の向上を図ることができるハンドリング装置、制御装置、およびプログラムを提供することである。

【課題を解決するための手段】

【0005】

実施形態のハンドリング装置は、保持部と、制御部とを持つ。前記保持部は、物体を吸着保持可能な複数の吸着部を有して前記物体を保持可能である。前記制御部は、前記物体の表面が第１方向に第１曲率を有するとともに前記第１方向とは異なる第２方向に前記第１曲率よりも大きな第２曲率を有する場合、前記複数の吸着部に含まれる少なくとも２つの吸着部を前記第１方向に並べるように前記保持部の保持姿勢を決定する。前記制御部は、前記物体の表面の平均曲率およびガウス曲率に基づき、前記少なくとも２つの吸着部を並べる前記第１方向を決定する。

【図面の簡単な説明】

【0006】

【図1】第１の実施形態のハンドリング装置を含む搬送システムを示す図。

【図2】第１の実施形態の保持部を示す斜視図。

【図3】第１の実施形態の複数の吸着部の配置レイアウトを示す下面図。

【図4】第１の実施形態の物体に対する保持部の保持方法の一例を示す図。

【図5】第１の実施形態の物体に対する保持部の保持方法の別の一例を示す図。

【図6】第１の実施形態の物体に対する保持部の保持方法のいくつかの例を示す図。

【図7】第１の実施形態の搬送システムのシステム構成を示すブロック図。

【図8】第１の実施形態の入力マスク画像および深度画像の一例を示す図。

【図9】第１の実施形態の深度画像を説明するための図。

【図10】第１の実施形態の深度画像の平滑化処理の流れを示す図。

【図11】第１の実施形態の深度画像の欠損箇所の穴埋め処理の流れを示す図。

【図12】第１の実施形態の深度画像の欠損箇所の穴埋め処理の一例を示す図。

【図13】第１の実施形態の物体の表面の２次曲面を求めるためのモデルを示す図。

【図14】第１の実施形態の各種曲率と形状モデルとの関係を示す図。

【図15】第１の実施形態の形状モデルに設定される優先度を示す図。

【図16】第１の実施形態の保持可能領域のいくつかの例を示す図。

【図17】第１の実施形態の出力マスク画像の一例を示す図。

【図18】第１の実施形態の保持計画生成部の処理の流れを示すフローチャート。

【図19】第２の実施形態の保持部を示す正面図。

【図20】第２の実施形態の形状モデルに設定される優先度を示す図。

【発明を実施するための形態】

【0007】

以下、実施形態のハンドリング装置、制御装置、およびプログラムを、図面を参照して説明する。なお以下の説明では、同一または類似の機能を有する構成に同一の符号を付す。そして、それら構成の重複する説明は省略する場合がある。本願でいう「ＸＸに基づく」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づく」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。

【0008】

（第１の実施形態）
図１から図１８を参照して、第１の実施形態について説明する。図１は、本実施形態のハンドリング装置１０を含む搬送システム１を示す図である。搬送システム１は、例えば、物流用のハンドリングシステム（ピッキングシステム）である。搬送システム１は、移動元Ｓ１に位置する物体（保持対象物、搬送対象物、ワーク）Ｏを、移動先Ｓ２に移動させる。

【0009】

移動元Ｓ１および移動先Ｓ２は、例えば、トートやオリコン、ビンのようなコンテナ、各種のコンベア、または各種のパレットであるが、これらに限定されない。移動元Ｓ１では、多種多様な形状や大きさ、重さを有した物体Ｏがランダムに積載されている。本実施形態では、保持対象の物体Ｏは、５ｃｍ角のような小さなものから、３０ｃｍ角のような大きなものまで様々である。また、物体Ｏは、数十ｇのような軽いものから数ｋｇのような重いものまで様々である。ただし、物体Ｏの大きさや重さは、上記例に限定されない。

【0010】

なお、ハンドリング装置１０および搬送システム１は、物流用のハンドリングシステムに限定されず、産業用ロボットシステムやその他のシステムなどにも広く適用可能である。本明細書でいう「ハンドリング装置」および「搬送システム」は、物体の搬送を主目的とした装置やシステムに限定されず、製品組立や別の目的の一部として物体の搬送（移動）を伴う装置やシステムでもよい。

【0011】

まず、搬送システム１の全体構成について説明する。
図１に示すように、搬送システム１は、例えば、ハンドリング装置１０、第１検出器１１、第２検出器（深度センサ）１２、および管理装置１３を含む。

【0012】

ハンドリング装置（保持装置、搬送装置）１０は、例えばロボット装置であり、移動元Ｓ１に位置する物体Ｏを保持し、保持した物体Ｏを移動先Ｓ２に移動させる。ハンドリング装置１０は、有線または無線で管理装置１３と通信可能である。ハンドリング装置１０については詳しく後述する。

【0013】

第１検出器１１および第２検出器１２は、移動元Ｓ１の近くに配置されたカメラまたは各種センサである。第１検出器１１は、物体Ｏの画像データを取得する。「画像データ」は、移動元Ｓ１に位置する物体Ｏの外形形状を示す情報の一例である。一方で、第２検出器１２は、物体Ｏの距離画像データを取得する。「距離画像データ」は、移動元Ｓ１の上方に設定された任意の基準面から物体Ｏの表面までの距離（深さ）を示す情報の一例である。

【0014】

第１検出器１１および第２検出器１２より検出された情報は、管理装置１３に出力される。第１検出器１１および第２検出器１２の少なくとも一方は、ハンドリング装置１０の一部として設けられてもよい。この場合、第１検出器１１および第２検出器１２により検出された情報は、ハンドリング装置１０の制御部３００（後述）に直接出力されてもよい。

【0015】

管理装置（上位制御部）１３は、搬送システム１の全体の管理および制御を行う。例えば、管理装置１３は、第１検出器１１および第２検出器１２により検出された情報を取得し、取得した情報をハンドリング装置１０に出力する。

【0016】

次に、ハンドリング装置１０について説明する。
図１に示すように、ハンドリング装置１０は、例えば、移動機構１００、保持部２００、および制御部（制御装置）３００を含む。

【0017】

移動機構１００は、保持部２００を所望の位置に移動させる機構である。移動機構１００は、保持部２００の姿勢を変更可能である。例えば、移動機構１００は、６軸の垂直多関節ロボットアームであり、複数のアーム部材１０１と、複数のアーム部材１０１を回動可能に連結した複数の回動部１０２とを含む。ただし、移動機構１００は、３軸の直交ロボットアームでもよいし、その他の構成により保持部２００を所望の位置に移動させる機構でもよい。例えば、移動機構１００は、回転翼により保持部２００を持ち上げて移動させる飛行体（例えばドローン）でもよい。

【0018】

保持部２００は、移動元Ｓ１に位置する物体Ｏを保持する保持機構である。保持部２００は、後述する回動部２０２を介して移動機構１００に連結されている。例えば、保持部２００は、吸引装置２０３と、吸引装置２０３に連通した複数の吸着部２０５とを有し、吸着により物体Ｏを保持する。ただし、保持部２００は、挟持により物体Ｏを保持する保持部でもよいし、その他の機構により物体Ｏを保持する保持部でもよい。本実施形態では、保持部２００が複数の吸着部２０５を有する例について説明する。吸着部２０５は、物体Ｏに付着して物体Ｏを保持する「付着部」の一例である。保持部２００が挟持により物体Ｏを保持する例については、第２の実施形態として後述する。

【0019】

図２は、本実施形態の保持部２００を示す斜視図である。保持部２００は、例えば、ベース２０１、回動部２０２、吸引装置２０３、複数の切換弁２０４、および複数の吸着部２０５（例えば吸着パッド）を有する。

【0020】

ベース２０１は、例えば立方体状の外形を有し、保持部２００の外郭を形成している。ベース２０１は、回動部２０２を介して移動機構１００に連結されている。ベース２０１は、箱状に形成されてもよく、フレームのみで構成されてもよい。

【0021】

回動部２０２は、ベース２０１と移動機構１００との間に設けられ、移動機構１００に対してベース２０１を回動可能に連結している。回動部２０２は、移動機構１００に対して保持部２００のベース２０１を、図中のＡ方向およびその反対方向に回動させることができる。なお、回動部２０２は、保持部２００の一部としてではなく、移動機構１００の一部として設けられてもよい。

【0022】

吸引装置２０３は、ベース２０１の内側に設けられている。吸引装置２０３は、例えば真空ポンプである。吸引装置２０３は、ホースなどを介して複数の吸着部２０５の各々と連通している。吸引装置２０３が駆動されることで、各吸着部２０５内の圧力が大気圧よりも低くなり、吸着部２０５により物体Ｏが吸着保持される。

【0023】

複数の切換弁２０４は、複数の吸着部２０５に対して１対１で設けられている。各切換弁２０４は、対応する吸着部２０５と吸引装置２０３と連通させる第１状態と、吸着部２０５と吸引装置２０３との間の連通を遮断するとともに吸着部２０５をハンドリング装置１０の外部（大気圧空間）に連通させる第２状態との間で切り替え可能である。ハンドリング装置１０は、物体Ｏが比較的小さい場合、複数の吸着部２０５のなかから選択された１つまたは少数の吸着部２０５のみを、保持に用いる吸着部２０５（以下、「有効吸着部２０５Ｅ」と称する）として機能させる。なお、以下に説明するいくつかの図では、有効吸着部２０５Ｅにハッチングを施すことで、有効吸着部２０５Ｅと、それ以外の吸着部２０５とを区別して図示している。

【0024】

複数の吸着部２０５の各々は、例えばベローズ（伸縮部）２０５ａを含み、伸縮可能な構造を有する。複数の吸着部２０５は、ベース２０１の一端部において、互いに並べて配置されている。吸着部２０５は、移動元Ｓ１に位置する最小の物体よりも小さい外形を持つ。ハンドリング装置１０は、物体Ｏが比較的小さくて軽い場合、複数の吸着部２０５のなかから選択された１つ以上の有効吸着部２０５Ｅのみを用いて物体Ｏを吸着保持する。本実施形態は、移動元Ｓ１に５ｃｍ角の物体Ｏが置かれ得る例であり、吸着部２０５は、例えば直径が４ｃｍの円形状である。

【0025】

一方で、個々の吸着部２０５が単体で吸着保持できる物体Ｏの重量には上限がある。ハンドリング装置１０は、物体Ｏが比較的大きくて重い場合、複数の吸着部２０５のなかで２つ以上の有効吸着部２０５を併せて使用することで、重い物体Ｏを吸着保持する。本実施形態では、１つの吸着部２０５で吸着保持できる重量は、例えば約２ｋｇである。本実施形態では、保持部２００は、５つの吸着部２０５を備えることで、最大約１０ｋｇの物体Ｏまで保持することができる。

【0026】

図３は、本実施形態の複数の吸着部２０５の配置レイアウトを示す下面図である。上述したように、本実施形態の保持部２００は、５つの吸着部２０５を有する。５つの吸着部２０５は、保持部２００の略中心に配置された１つの吸着部２０５と、保持部２００の４つの角部に対応するように、上記吸着部２０５の周囲に分かれて配置された４つの吸着部２０５とを含む。これら４つの吸着部２０５は、上述した回動部２０２が回動することで、回動部２０２の中心軸の周りをＡ方向およびその反対方向に回動可能である。

【0027】

次に、制御部３００について説明する。制御部３００は、ハンドリング装置１０の全体動作を制御する。ここではまず、制御部３００が有するいくつかの機能の概要について説明する。

【0028】

制御部３００は、第１の機能として、物体Ｏの表面の形状を、物体Ｏの表面の曲率によって複数の種別（平面、曲面、球面、波状、段差、凹凸、突起、…）に分類する。そして、制御部３００は、分類された物体Ｏの表面の形状に基づき、物体Ｏに対する保持部２００の保持方法（例えば、物体Ｏに対する吸着部２０５の当て方）を変更する。

【0029】

図４および図５は、物体Ｏに対する保持部２００の保持方法の例を示す図である。例えば、図４は、物体Ｏの表面が円柱形状である場合を示す。図５は、物体Ｏの表面が球形状である場合を示す。制御部３３０は、物体Ｏの表面が円柱形状である場合と、物体Ｏの表面が球形状である場合とで、物体Ｏに対する保持部２００の保持方法を異ならせる。例えば、物体Ｏの表面が円柱状である場合、制御部３００は、物体Ｏに対して複数（例えば２つ）の吸着部２０５を当接させて物体Ｏを保持させる。一方で、物体Ｏの表面が球体状である場合、制御部３００は、物体Ｏの頂点部分に吸着部２０５を１つだけ当接させて物体Ｏを保持させる。

【0030】

制御部３００、第２の機能として、物体Ｏの表面の曲率が複数の方向で互いに異なる場合、曲率が相対的に小さい方向に複数の吸着部２０５を並べるように保持部２００の保持姿勢を決定する。例えば、図４に示す例では、制御部３００は、物体Ｏの円柱形状の表面に対して、円柱形状の稜線部分Ｒに沿って複数の吸着部２０５を並べるように、保持部２００の保持姿勢を決定する。

【0031】

次に、上述した第１の機能についてもう少し詳しく説明する。
図６は、物体Ｏに対する保持部２００の保持方法のいくつかの例を示す図である。制御部３００は、非平面を有した物体Ｏに対して、物体Ｏの表面の曲率に基づいて分類された物体Ｏの表面の形状に応じて、次のような保持方法を決定する。例えば、制御部３００は、物体Ｏの表面が円柱形状である場合（図６中の（ａ））、物体Ｏの稜線方向に複数の吸着部２０５を並べる。制御部３００は、物体Ｏの表面が球体状である場合（図６中の（ｂ））、物体Ｏの頂点部分を１つの吸着部２０５により吸着保持する。制御部３００は、物体Ｏの表面が波状形状である場合（図６中の（ｃ））、吸着部２０５を当接させることが難しい凹となる領域を避け、上側に凸となる領域を複数の吸着部２０５で吸着保持する。

【0032】

また、制御部３００は、物体Ｏの表面が平面と曲面の組み合わせである場合（図６中の（ｄ））、平面と曲面との境界を避け、平面または曲面を複数の吸着部２０５により吸着保持する。保持計画生成部３３０ａは、物体Ｏの表面において複数の平面の間に段差（高さが離散的な場所）がある場合（図６中の（ｅ））、上記段差を避け、複数の平面のいずれかを複数の吸着部２０５により吸着保持する。制御部３００は、物体Ｏが多孔質体である場合（図６中の（ｆ））、閾値を超える大きな穴が開いた領域は避け、閾値以下の小さな穴しか無い領域を複数の吸着部２０５により吸着保持する。

【0033】

図７は、搬送システム１のシステム構成を示すブロック図である。制御部３００は、例えば、情報取得部３１０、画像解析部３２０、計画部３３０、動作制御部３４０、および記憶部３５０を含む。

【0034】

制御部３００の各機能部（例えば、情報取得部３１０、画像解析部３２０、計画部３３０、および動作制御部３４０）の全部または一部は、例えばＣＰＵ（Central Processing Unit）またはＧＰＵ（Graphics Processing Unit）のような１つ以上のプロセッサが記憶部３５０に記憶されたプログラムを実行することにより実現される。ただし、これら機能部の全部または一部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）などのハードウェア（例えば回路部；circuity）により実現されてもよい。また、上記機能部の全部または一部は、ソフトウェア機能部とハードウェアとの組み合わせで実現されてもよい。記憶部３５０は、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（read-only memory）、またはＲＡＭ（random access memory）などにより実現される。

【0035】

情報取得部３１０は、第１検出器１１および第２検出器１２により検出された情報を、管理装置１３から取得する。本明細書で言う「取得」とは、送信リクエストを発信することで情報を取得する場合に限定されず、受け身で受信することで情報を取得する場合も含む。情報取得部３１０は、第１検出器１１および第２検出器１２から取得した情報を画像解析部３２０に出力する。

【0036】

画像解析部３２０は、第１検出器１１および第２検出器１２により検出された情報に基づき、計画部３３０の情報処理に用いられる各種情報を生成する。例えば、画像解析部３２０は、画像データおよび距離画像データに基づき、計画部３３０に対する入力情報である入力マスク画像４０１および深度画像４０２（図８参照）を生成する。入力マスク画像４０１および深度画像４０２の内容については後述する。なお、第１検出器１１および第２検出器１２から入力マスク画像４０１および深度画像４０２に相当する情報が直接得られる場合は、画像解析部３２０は省略されてもよい。

【0037】

計画部３３０は、例えば、保持計画生成部３３０ａと、移動計画生成部３３０ｂとを有する。保持計画生成部３３０ａは、移動元Ｓ１に位置する物体Ｏを保持部２００により保持するための保持計画を生成する。移動計画生成部３３０ｂは、保持部２００により保持された物体Ｏを移動機構１００により移動元Ｓ１から移動先Ｓ２に移動させるための移動計画を生成する。

【0038】

まず、保持計画生成部３３０ａについて説明する。保持計画生成部３３０ａは、前処理部３３１、曲率・傾斜量算出部３３２（以下、「曲率算出部３３２」と称する）、評価領域設定部３３３、表面形状判別部３３４、スコア付与部３３５、保持可能領域決定部３３６、および保持姿勢決定部３３７を有する。

【0039】

前処理部３３１について説明する。前処理部３３１には、画像解析部３２０により生成された入力マスク画像４０１および深度画像４０２が入力される。深度画像４０２は、高周波ノイズが乗っている場合や、撮影不良による飛び値やデータ欠損が含まれている。このため、前処理部３３１は、深度画像４０２の欠損部分の穴埋めを行い、さらに深度画像４０２の平滑化処理を行うこと高周波ノイズおよび飛び値を除去する。

【0040】

図８は、前処理部３３１に入力される入力マスク画像４０１および深度画像（深さマップ）４０２の一例を示す図である。入力マスク画像４０１は、物体Ｏの表面の情報を「０」と「１」で示したマスク画像である。すなわち、「１」が入力されたマスは、物体Ｏの表面が存在することを示す。「０」が入力されたマスは、物体Ｏの表面が存在しないことを示す。一方で、深度画像４０２は、１から２５５諧調で物体Ｏの表面の高さ位置を表現した画像である。入力マスク画像４０１のマスと深度画像４０２のマスは、１対１の関係で対応している。

【0041】

図９は、深度画像４０２を説明するための図である。図９中の（ａ）は、物体Ｏの表面に対して設定された座標基準面４１１（例えば水平面に沿う面）を示す。図９中の（ｂ）は、座標基準面４１１に対する物体Ｏの表面の深度または高度（以下、これらを纏めて「深度」と称する）を示す。深度画像４０２は、物体Ｏの表面の高さ位置を示す情報であり、座標基準面４１１に対する各マスの高さ位置が数値化された情報である。深度画像４０２は、座標基準面４１１に対する各マスの高さ位置が２５５諧調で分けられている。深度画像４０２は、例えば第２検出器１２により検出された距離画像データに基づき得られる。なお、第２検出器１２によって情報が取得できなかった箇所は、データの欠損とみなされ、データの欠損の該当箇所には「０」が情報として与えられている。

【0042】

図１０は、前処理部３３１による深度画像４０２の平滑化処理の流れを示す図である。前処理部３３１は、入力された深度画像４０２に対して、深度画像４０２のデータの欠損箇所を穴埋めする穴埋め処理を行う。この穴埋め処理については、図１１および図１２を参照して後述する。次に、前処理部３３１は、穴埋め処理されたデータに対して、メディアンフィルタを用いた平滑化を行い、さらにガウシアンフィルタを用いた平滑化を行う。これにより、深度画像４０２に含まれる高周波ノイズおよび飛び値が除去される。

【0043】

図１１は、深度画像４０２のデータ欠損箇所の穴埋め処理の流れを示す図である。穴埋め処理は、穴埋め往路の処理（Ｓ１１）、穴埋め復路の処理（Ｓ１２）、および入力マスク画像４０１と深度画像４０２との重畳処理（Ｓ１３）を含む。

【0044】

図１２は、深度画像４０２のデータ欠損箇所の穴埋め処理の一例を示す図である。データ欠損の穴埋めは、例えば、データ欠損箇所の近傍の値の平均値を、データ欠損箇所のマスに代入することで行われる。本実施形態に関する一例では、３×３行列の９マスを１つの単位とする。あるデータ欠損箇所の穴埋めには、そのデータ欠損箇所が左上の隅に位置する３×３行列の残り８マスうち、０以外の値が入ったマスの平均値が用いられる。図示する例では、３×３行列において左上の隅以外にもデータ欠損箇所がある場合には、そのデータ欠損箇所も上記平均値により穴埋めされる。

【0045】

図１２中の（ａ）に示す穴埋め往路の処理では、深度画像４０２の左上のマスを起点として始め、起点から１マスずつ右横にずれながら、深度画像４０２で「０」が入力されている箇所に対して上記データ欠損の穴埋め処理を行う。そして、１行の処理が完了すると１つ下の行に移動して同じ処理を繰り返す。

【0046】

上記穴埋め往路の処理が完了すると、次に、図１２中の（ｂ）に示す穴埋め復路の処理が行われる。穴埋め復路の処理は、深度画像４０２の右下のマスを起点として始め、起点から１マスずつ左横にずれながら、深度画像４０２で「０」が入力されている箇所に対して上記データ欠損の穴埋め処理を行う。そして、１行の処理が完了すると１つ上の行に移動して同じ処理を繰り返す。このような穴埋め復路の処理を行うことで、穴埋め往路の処理でデータ欠損の穴埋めができないマス（例えば、左上の隅のマス）に対しても穴埋め処理を行うことができる。

【0047】

次に、前処理部３３１は、穴埋め往路の処理と穴埋め復路の処理が完了すると、図１２中の（ｃ）に示す入力マスク画像４０１と深度画像４０２との重畳処理を行う。この重畳処理では、入力マスク画像４０１と、穴埋めが行われた深度画像４０２とが比較され、深度画像４０２のマスのなかで、入力マスク画像４０１で「１」が入力されているマスに対応するマスの値はそのまま残され、入力マスク画像４０１で「０」が入力されているマスに対応するマスの値は削除される。これにより、深度画像４０２において実際の物体Ｏの表面に対応しない不要な値が削除される。前処理部３３１により前処理が行われた画像は、曲率算出部３３２に出力される。

【0048】

次に、曲率算出部３３２について説明する。曲率算出部３３２は、前処理が行われた深度画像４０２に基づき物体Ｏの表面の局所の２次曲面を求め、物体Ｏの表面の局所の各種曲率（平均曲率、ガウス曲率、最大曲率、最小曲率）および傾斜量を算出する。

【0049】

図１３は、物体Ｏの表面の局所の２次曲面を求めるためのモデルを示す図である。図１３中の（ａ）は、上記モデルを３次元的に示す。図１３中の（ｂ）は、上記モデルに対応するＸＹ平面上のグリッドを示す。図中のＮは、物体Ｏの表面の局所の法線ベクトルである。図中のθは、鉛直方向に対する上記法線ベクトルの傾き角度である。図中のφは、Ｙ方向に対する最小曲率（Ｋ_ｍｉｎ）が存在する方向の傾き角度である。図中のグリッドは、吸着部２０５のスケールを考慮したステップ幅（Ｄ_ｘ，Ｄ_ｙ）で離散化されている。例えば、吸着部２０５の直径が４ｃｍである場合、点Ｐ１と点Ｐ３との間の距離は４ｃｍであり、点Ｐ１と点Ｐ７との間の距離は４ｃｍである。

【0050】

図１３において、注目点である点Ｐ５を中心とする周囲８点を覆う２次曲面は、点Ｐ１から点Ｐ９の深度（点Ｐ１から点Ｐ９に対応する深度画像４０２上の値）Ｚ_１～Ｚ_９に基づき求まる。点Ｐ５の各種曲率（平均曲率、ガウス曲率、最大曲率、最小曲率）および傾斜量は、次の式により計算される。

【0051】

【数1】

【0052】

ここで、式（１）の係数ａ～ｆは、下記の式により計算される。

【0053】

【数2】

【数3】

【数4】

【数5】

【数6】

【数7】

【0054】

ここで、Ｚ_１～Ｚ_９は、点Ｐ１～点Ｐ９の深度を示す。

【0055】

式（２）～（７）の係数が決定されると、平均曲率（Ｋ_ｍ）およびガウス曲率（Ｋ_ｇ）は、次式により求まる。

【0056】

【数8】

【数9】

【0057】

さらに、平均曲率およびガウス曲率に基づき、最大曲率（Ｋ_ｍａｘ）および最小曲率（Ｋ_ｍｉｎ）は、次式により求まる。

【0058】

【数10】

【数11】

【0059】

２次曲面の最大傾斜量Ｓ（Ｓ_ｘ，Ｓ_ｙ）は、Ｚ_１～Ｚ_９を用いて次式により求まる。

【0060】

【数12】

【数13】

【0061】

物体Ｏの表面の局所の最小傾斜量は、上記式で得られた最大傾斜量Ｓを９０度回転させることにより得られる。最小傾斜量は、物体Ｏの表面において曲率が最も小さい方向である。この方向に複数の吸着部２０５を並べることで、複数の吸着部２０５が物体Ｏの表面から離れることを抑制しつつ複数の吸着部２０５で物体Ｏを吸着保持可能になる。曲率算出部３３２により算出された各種曲率および傾斜量を示す情報は、評価領域設定部３３３、表面形状判別部３３４、および保持可能領域決定部３３６に出力される。

【0062】

次に、評価領域設定部３３３について説明する。評価領域設定部３３３は、物体Ｏの表面に対して１つ以上の評価対象領域５０１を設定する。評価対象領域５０１は、後述する表面形状判別部３３４により物品Ｏの表面の形状が分類される１単位の領域である。評価領域設定部３３３は、物体Ｏの表面が円柱形状や球形状の場合（図６中の（ａ），（ｂ）の場合）、物体Ｏの表面に対して１つの評価対象領域５０１を設定する。

【0063】

一方で、評価領域設定部３３３は、物体Ｏの表面が波状形状や、平面と曲面の組み合わせ形状、複数の平面の間に段差がある形状、大きな穴が開いた領域と小さな穴が開いた領域とを含む形状などの場合（図６中の（ｃ），（ｄ），（ｅ），（ｆ）の場合）、１つの物体Ｏの表面に２つ以上の評価対象領域５０１を設定する。例えば、評価領域設定部３３３は、物体Ｏの表面が波状形状の場合、凸の領域と、凹の領域とにそれぞれ別の評価対象領域５０１を設定する。評価領域設定部３３３は、物体Ｏの表面が平面と曲面の組み合わせである場合、平面と曲面とにそれぞれ別の評価対象領域５０１を設定する。評価領域設定部３３３は、物体Ｏの表面が複数の平面の間に段差を有する場合、複数の平面にそれぞれ別の評価対象領域５０１を設定する。評価領域設定部３３３は、大きな穴が開いた領域と小さな穴が開いた領域とを含む場合、大きな穴が開いた領域と小さな穴が開いた領域とにそれぞれ別の評価対象領域５０１を設定する。

【0064】

評価領域設定部３３３は、例えば、曲率算出部３３２により算出された各種曲率および傾斜量、深度画像４０２（深度情報）のうち少なくとも１つに基づき、１つの物体Ｏの表面を２つ以上の評価対象領域５０１に切り分け、１つの物体Ｏの表面に対して２つ以上の評価対象領域５０１を設定する。

【0065】

例えば、物体Ｏが凹凸を含んだ波状の表面を有する場合、凸形状の頂点や凹形状の底でのガウス曲率と平均曲率はゼロ（臍点）になる。評価領域設定部３３３は、ガウス曲率または平均曲率がゼロになる点（臍点）からの等高線に基づき、前記ゼロになる点（臍点）からの高さが、第１閾値高さ未満の領域を領域Ａ、第１閾値高さ以上で第２閾値高さ未満の領域を領域Ｂ、…という形で区切ることで、２つ以上の領域を分離する。

【0066】

また、評価領域設定部３３３は、ある点における接ベクトルがその点の主方向と一致する線である曲率線を算出し、算出した曲率線で囲われた閉曲線または開曲線によって２つ以上の領域を分離してもよい。なお、領域を分離する際には、曲面と平面の各領域を跨がないように、例えば領域の高さに閾値が設けられる、または、曲率線による領域と臍点の正負との関係などを用いて形状が分離される。

【0067】

これにより、評価領域設定部３３３は、物体Ｏの表面が平面と曲面の組み合わせ形状である場合（図６中の（ｄ））、平面と曲面との境界を跨ぐ評価対象領域５０１は設定せず、平面と曲面とにそれぞれ評価対象領域５０１を設定する。また、評価領域設定部３３３は、物体Ｏの表面において複数の平面の間に段差がある形状である場合（図６中の（ｅ））、複数の平面の間の段差を跨ぐ評価対象領域５０１は設定せず、複数の平面にそれぞれ評価対象領域５０１を設定する。また、評価領域設定部３３３は、物体Ｏが多孔質体である場合（図６中の（ｆ））、閾値を超える大きな穴が開いた領域と閾値以下の小さな穴しか無い領域とを跨ぐ評価対象領域５０１は設定せず、閾値を超える大きな穴が開いた領域と、閾値以下の小さな穴しか無い領域とにそれぞれ評価対象領域５０１を設定する。そして、これら評価対象領域５０１は、後述するスコア付与部３３５により付与されたスコアに基づいて優先度が決定され、保持部２００により保持される領域が決定される。

【0068】

次に、表面形状判別部３３４について説明する。表面形状判別部３３４は、例えば、曲率算出部３３２により算出された物体Ｏの曲率の正負を示す情報に基づき、評価対象領域５０１における表面の形状を分類する。表面形状判別部３３４は、物体Ｏの表面に２つ以上の評価対象領域５０１が設定される場合、評価対象領域５０１ごとに表面の形状を分類する。

【0069】

本実施形態では、表面形状判別部３３４は、曲率算出部３３２により算出された物体Ｏの表面の局所の各種曲率、最大傾斜量、および最小傾斜量を、評価対象領域５０１の全域で統計処理することで、各種曲率、最大傾斜量、および最小傾斜量の評価対象領域５０１での中央値をそれぞれ算出する。中央値は、統計処理により得られる、各種曲率、最大傾斜量、および最小傾斜量の評価対象領域５０１での代表値の一例である。

【0070】

表面形状判別部３３４は、評価対象領域５０１で求められた各種曲率の中央値の正負または０といった情報に基づいて、物体Ｏの表面を平面または曲面などに分類する。本実施形態では、表面形状判別部３３４は、評価対象領域５０１で求められた曲率の変曲点および極値それぞれの中央値に基づき、物体Ｏの表面の形状が複数の形状モデルのなかでどの形状モデルに該当するかを判別する。なお以下の説明にでは、「曲率」というと、評価対象領域５０１で求められた曲率の中央値を意味する。

【0071】

図１４は、各種曲率と形状モデルとの関係を示す図である。本実施形態では、表面形状判別部３３４は、評価対象領域５０１の表面のガウス曲率（Ｋ_ｇ）、平均曲率（Ｋ_ｍ）、最大曲率（Ｋ_ｍａｘ）、および最小曲率（Ｋ_ｍｉｎ）に基づき、物体Ｏの表面の形状（評価対象領域５０１の形状）を、（ａ）鞍形状、（ｂ）平面、（ｃ）上側に凸の円柱形状、（ｄ）下側に凸の円柱形状、（ｅ）上側に凸の球形状、（ｆ）下側に凸の球形状に分類する。例えば、平面は、平均曲率およびガウス曲率がいずれも０、または最大曲率および最小曲率がいずれも０の形状である。曲面は、平均曲率とガウス曲率、または最大曲率と最小曲率との正負によって、円柱形状やドーム状、鞍状やお椀状に分類される。実際の計算結果は、理想的な値にはならないため、閾値を設けて表面形状が判別される。表面形状判別部３３４により分類された形状モデルを示す情報、および評価対象領域５０１で求められた各種曲率および傾斜量の中央値などを示す情報は、スコア付与部３３５、保持可能領域決定部３３６、および保持姿勢決定部３３７に出力される。

【0072】

次に、スコア付与部３３５について説明する。スコア付与部３３５は、物体Ｏの表面のどの部分を優先して保持するかという優先度を示すスコアを物体Ｏの表面（評価対象領域５０１）に対して付与する。スコア付与部３３５は、例えば、表面形状判別部３３４により分類された形状モデルに基づき、物体Ｏの表面に対してスコアを付与する。スコア付与部３３５は、物体Ｏの表面に複数の評価対象領域５０１が設定される場合、評価対象領域５０１ごとにスコアを付与する。

【0073】

図１５は、各形状モデルに設定される優先度（スコアの高低）を示す図である。図１５に示すように、平面に対して最も高いスコアが付与され、次いで、上側に凸となる形状モデルに対して高いスコアが付与され、一方で、下側に凸となる形状モデルに対して低いスコアが付与される。これにより、物体Ｏに対して吸着部２０５を上方から当てる際には、物体Ｏのなかで表面の高い場所や平面が存在する領域に吸着部２０５を優先して当てることができる。

【0074】

なお、スコア付与部３３５は、表面形状判別部３３４により分類された形状モデルに代えて、物体Ｏの表面（評価対象領域５０１の表面）の各種曲率または傾斜量に基づいて、スコアを付与してもよい。すなわち、平均曲率とガウス曲率、または最大曲率と最小曲率を用いることで、物体Ｏの表面がどの程度の曲率を有しているか、またどのような向きに曲がっているかが分かる。これを利用して、スコア付与部３３５は、例えば、曲率が０または０以上の領域に、高いスコアを付与してもよい。これにより、物体Ｏの表面のなかで稜線のある領域や峰のある高い領域に吸着部２０５を優先して当てることができる。

【0075】

上述した処理に加えて、スコア付与部３３５は、例えば物体Ｏの表面の曲率が小さいほど、物体Ｏの表面に対して高いスコアを付与してもよい。これにより、曲面のなかでも緩やかな曲面に吸着部２０５を優先して当てることができる。

【0076】

スコア付与部３３５は、複数の評価対象領域５０１のなかで、最も高いスコア（または閾値以上のスコア）が付与された評価対象領域５０１を示す情報を保持可能領域決定部３３６に出力する。これにより、制御部３００は、複数の評価対象領域５０１がある場合、そのなかで最も高いスコア（または閾値以上のスコア）が付与された評価対象領域５０１内に、保持部２００により物体Ｏを保持させる保持可能領域６０１を設定することができる。

【0077】

次に、保持可能領域決定部３３６について説明する。保持可能領域決定部３３６は、物体Ｏの表面の形状に応じて、評価対象領域５０１内の一部または全部の領域を保持可能領域６０１として設定する。保持可能領域６０１は、物体Ｏの表面のなかで少なくとも１つ（可能であれば２つ以上）の吸着部２０５が物体Ｏを吸着保持可能な領域である。保持可能領域決定部３３６は、吸着部２０５の伸縮可能距離（例えばベローズ２０５ａの伸縮可能距離）と、物体Ｏの表面の曲率とに基づき、保持可能領域６０１を決定する。

【0078】

例えば、保持可能領域決定部３３６は、最も高い点（例えば稜線）からの吸着部２０５のベローズ２０５ａが押し込める量と、２つ以上の吸着部２０５が並ぶ方向における物体Ｏの曲率とに基づき、物体Ｏの表面に対して２つ以上の吸着部２０５が当接可能であるか、１つの吸着部２０５のみが当接可能であるかを判定し、その判定結果に基づき保持可能領域６０１を設定する。

【0079】

図１６は、保持可能領域６０１のいくつかの例を示す図である。図１６中の（ａ）は、物体Ｏの表面が平面を有する場合である。この場合、保持可能領域決定部３３６は、全ての吸着部２０５が物体Ｏを吸着保持可能な広い保持可能領域６０１を設定する。図１６中の（ｂ）は、物体Ｏの表面が所定値以下の小さな曲率を有する場合である。この場合、保持可能領域決定部３３６は、全ての吸着部２０５が物体Ｏを吸着保持可能な狭い保持可能領域６０１を設定する。図１６中の（ｃ）は、物体Ｏの表面が所定値を超える大きな曲率を有する場合である。この場合、保持可能領域決定部３３６は、保持部２００が有する一部の吸着部２０５が物体Ｏを吸着保持可能なより保持可能領域６０１を設定する。この場合、保持可能領域６０１は、物体Ｏの表面のなかで曲率が小さい方向（稜線部分Ｒ）に沿って細長く設定される。

【0080】

本実施形態では、保持可能領域決定部３３６は、物体Ｏの表面に複数の評価対象領域５０１が存在する場合、複数の評価対象領域５０１のなかで、曲率がゼロまたは正の値である評価対象領域５０１（すなわち、平面または上側に凸となる領域）内に優先して保持可能領域６０１を設定することで、その領域を保持部２００に保持させる。

【0081】

本実施形態では、保持可能領域決定部３３６は、物体Ｏの表面に曲率が不連続に変化する不連続位置が存在する場合、複数の吸着部２０５が前記不連続位置を跨がないように保持部２００の保持位置を決定する。この場合、曲率とは、曲率算出部３３２により算出された物体Ｏの表面の局所の曲率を意味する。不連続位置とは、例えば、物体Ｏの表面が平面と曲面の組み合わせである場合（図６中の（ｄ））における平面と曲面との境界や、物体Ｏの表面において複数の平面の間に段差（高さが離散的な場所）がある場合（図６中の（ｅ））における段差である。

【0082】

図１７は、保持可能領域決定部３３６により出力される出力情報である出力マスク画像７０１の一例を示す。出力マスク画像７０１は、保持可能領域６０１に対応するマスに「１」が入力されており、保持可能領域６０１を外れたマスに「０」が入力されている。保持可能領域決定部３３６は、生成した出力マスク画像７０１を、保持姿勢決定部３３７および動作制御部３４０に出力する。

【0083】

次に、保持姿勢決定部３３７について説明する。保持姿勢決定部３３７は、物体Ｏに対する保持部２００の保持姿勢を決定する。保持姿勢決定部３３７は、物体Ｏの表面が第１方向に第１曲率を有するとともに第１方向とは異なる第２方向に第１曲率よりも大きな第２曲率を有する場合、保持部２００が有する少なくとも２つの吸着部２０５（例えば、なるべく多くの吸着部２０５）を、第１方向に並べるように保持部２００の保持姿勢を決定する。上記第１方向は、例えば、物体Ｏの表面において曲率が最も小さい方向（最小曲率が存在する方向）である。

【0084】

例えば、保持姿勢決定部３３７は、保持可能領域６０１の最小傾斜量に基づき、保持部２００の保持姿勢を決定する。「保持可能領域６０１の最小傾斜量」とは、例えば、曲率算出部３３２により算出された物体Ｏの表面の局所の最小傾斜量が保持可能領域６０１（または評価対象領域５０１）で統計処理されることで求められた最小傾斜量の中央値である。保持姿勢決定部３３７は、保持可能領域６０１において最小傾斜量が存在する方向に、保持部２００が有する少なくとも２つの吸着部２０５（例えば、なるべく多くの吸着部２０５）を並べるように保持部２００の保持姿勢を決定する。保持姿勢決定部３３７は、決定した保持部２００の保持姿勢を示す情報を、動作制御部３４０に出力する。

【0085】

本実施形態では、保持姿勢決定部３３７は、物体Ｏの表面の曲率の変曲点および極値に基づき分類される形状モデル（平面、円柱、球、鞍形状、…）に基づき、保持部２００に含まれる少なくとも２つの吸着部２０５を並べる前記第１方向を決定する。すなわち、保持姿勢決定部３３７は、物体Ｏの表面形状が円柱形状である場合、円柱形状の稜線に沿う方向に、保持部２００に含まれる少なくとも２つの吸着部２０５を並べる。

【0086】

本実施形態では、保持姿勢決定部３３７は、物体Ｏの表面の曲率の正負を示す情報に基づき、物体Ｏに対する保持部２００の保持方法を変更する。例えば、物体Ｏの表面が円柱形状である場合、保持姿勢決定部３３７は、円柱形状の稜線に沿って複数の吸着部２０５を並べ、物体Ｏに対して複数の吸着部２０５を当接させて物体Ｏを保持させる。一方で、物体Ｏの表面が球体状である場合、保持姿勢決定部３３７は、物体Ｏの頂点部分に１つの吸着部２０５を当接させて物体Ｏを保持させる。

【0087】

次に、移動計画生成部３３０ｂについて説明する。移動計画生成部３３０ｂは、物体Ｏの移動元Ｓ１および移動先Ｓ２に関する情報に基づき、保持部２００で保持した物体Ｏを移動元Ｓ１から移動先Ｓ２に移動させる移動計画を生成する。本実施形態では、移動計画生成部３３０ｂは、保持計画生成部３３０ａにより決定された保持可能領域６０１および保持部２００の保持姿勢などにも基づき、上記移動計画を生成する。

【0088】

次に、動作制御部３４０について説明する。動作制御部３４０は、計画部３３０により計画された保持計画および移動計画に基づき、保持部２００および移動機構１００を制御する。例えば、動作制御部３４０は、保持計画生成部３３０ａにより生成された保持計画に基づき移動機構１００および保持部２００を制御し、保持計画生成部３３０ａにより決定された保持部２００の保持姿勢で物体Ｏを保持する。動作制御部３４０は、移動計画生成部３３０ｂにより生成された移動計画に基づき移動機構１００および保持部２００を制御し、物体Ｏを移動先Ｓ２に移動させる。

【0089】

次に、保持計画生成部３３０ａの処理の流れについて説明する。図１８は、保持計画生成部３３０ａの処理の流れを示すフローチャートである。まず、前処理部３３１は、入力された深度画像４０２に対して、データ欠損の穴埋め処理および平滑化処理を行う（Ｓ１０１）。次に、曲率算出部３３２は、物体Ｏの局所的な曲率および傾斜量を算出する（Ｓ１０２）。次に、評価領域設定部３３３は、物体Ｏに対して２つ以上の評価対象領域５０１が設定されるべきか判定する（Ｓ１０３）。

【0090】

物体Ｏに対して設定される評価対象領域５０１が１つである場合（Ｓ１０３：ＮＯ）、表面形状判別部３３４は、局所的な各種曲率、最大傾斜量、および最小傾斜量を、評価対象領域５０１で統計処理することで、評価対象領域５０１における各種曲率、最大傾斜量、および最小傾斜量それぞれの中央値を求める（Ｓ１０４）。そして、表面形状判別部３３４は、評価対象領域５０１における各種曲率、最大傾斜量、および最小傾斜量の中央値に基づき、物体Ｏの表面の形状を判別する（Ｓ１０５）。次に、保持可能領域決定部３３６は、評価対象領域５０１で求められた各種曲率、最大傾斜量、および最小傾斜量それぞれの中央値と、吸着部２０５の伸縮可能距離とに基づき、評価対象領域５０１内に保持可能領域６０１を設定する。また、保持姿勢決定部３３７は、評価対象領域５０１で求められた各種曲率、最大傾斜量、および最小傾斜量それぞれの中央値に基づき、保持部２００の保持姿勢を決定する（Ｓ１０６）。

【0091】

一方で、１つの物体Ｏに対して設定される評価対象領域５０１が２つ以上ある場合（Ｓ１０３：ＹＥＳ）、表面形状判別部３３４は、局所的な各種曲率、最大傾斜量、および最小傾斜量を、評価対象領域５０１ごとに統計処理することで、評価対象領域５０１ごとの各種曲率、最大傾斜量、および最小傾斜量それぞれの中央値を求める（Ｓ１１１）。そして、表面形状判別部３３４は、評価対象領域５０１ごとに求められた各種曲率、最大傾斜量、および最小傾斜量それぞれの中央値に基づき、物体Ｏの表面の形状を判別する（例えば形状モデルに分類する）（Ｓ１１２）。次に、スコア付与部３３５は、複数の評価対象領域５０１に対してスコアを付与し、最も高いスコア（または閾値以上のスコア）が付与された評価対象領域５０１を示す情報を保持可能領域決定部３３６に出力する（Ｓ１１３）。保持可能領域決定部３３６は、最も高いスコア（または閾値以上のスコア）が付与された評価対象領域５０１における各種曲率、最大傾斜量、および最小傾斜量の中央値と、吸着部２０５の伸縮可能距離とに基づき、評価対象領域５０１内に保持可能領域６０１を設定する。また、保持姿勢決定部３３７は、評価対象領域５０１における各種曲率、最大傾斜量、および最小傾斜量の中央値に基づき、保持部２００の保持姿勢を決定する（Ｓ１０６）。

【0092】

以上のような構成によれば、物体保持の安定性の向上を図ることができる。すなわち、本実施形態では、制御部３００は、物体Ｏの表面の曲率が小さい方向に、保持部２００が有する少なくとも２つの吸着部２０５を並べるように保持部２００の保持姿勢を決定する。このような構成によれば、曲率が小さい方向に並べられた複数の吸着部２０５により、物体Ｏを安定して保持することができる。これにより、物体保持の安定性の向上を図ることができる。

【0093】

本実施形態では、制御部３００は、物体Ｏの表面の曲率の変曲点および極値に基づき分類される形状モデルに基づき、保持部２００の少なくとも２つの吸着部２０５を並べる方向を決定する。このような構成によれば、物体Ｏの表面の曲率が特定の方向において変化しない形状（例えば円柱形状）では、分類された形状モデルに基づき、曲率が変化しない方向に保持部２００の少なくとも２つの吸着部２０５を並べることができる。これにより、物体保持の安定性のさらなる向上を図ることができる。

【0094】

本実施形態では、制御部３００は、物体Ｏの表面に複数の評価対象領域５０１が存在する場合、複数の評価対象領域５０１のなかで、曲率がゼロまたは正の値である評価対象領域５０１を優先して保持部に保持させる。このような構成によれば、平面または上側に凸となる曲面に吸着部２０５を当てることができる。これにより、物体保持の安定性のさらなる向上を図ることができる。

【0095】

（変形例）
本変形例は、移動元Ｓ１に置かれた複数の物体Ｏのなかで、物体Ｏの表面の曲率に基づき優先して取り出すべき物体Ｏが選択される点で、上記実施形態とは異なる。なお以下に説明する構成以外は、第１の実施形態と同様である。

【0096】

本変形例では、評価領域設定部３３３は、複数の物体Ｏのそれぞれに評価対象領域５０１を設定する。表面形状判別部３３４は、曲率算出部３３２により算出された各種曲率および傾斜量などを、複数の物体Ｏの評価対象領域５０１ごとに統計化処理し、各種曲率および傾斜量それぞれの中央値を求める。保持可能領域決定部３３６は、複数の物体Ｏのなかで、評価対象領域５０１ごとに求められた曲率の中央値がゼロまたは正の値である評価対象領域５０１を有する物体Ｏを優先して前記保持部に保持させるように、保持可能領域６０１を設定する。このような構成によれば、平面または上側に凸となる曲面に吸着部２０５を当てることができる。これにより、物体保持の安定性のさらなる向上を図ることができる。なお、評価対象領域５０１には、第１の実施形態で説明したようなスコアが付与されてもよい。

【0097】

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、物体Ｏを吸着保持する複数の吸着部２０５に代えて、物体Ｏを挟持する一対の挟持部８０１を有する点で第１の実施形態とは異なる。なお以下に説明する構成以外は、第１の実施形態と同様である。

【0098】

図１９は、第２の実施形態の保持部２００を示す正面図である。本実施形態では、保持部２００は、一対の挟持部８０１と、一対の挟持部８０１を駆動する駆動機構８０２とを有する。一対の挟持部８０１は、物体Ｏを挟持することで物体Ｏを保持する。挟持部８０１は、物体Ｏに付着して物体Ｏを保持する「付着部」の一例である。駆動機構８０２は、不図示のモータまたはシリンダなどのアクチュエータを含み、一対の挟持部８０１を、互いに離れる方向と、互いに近付ける方向とに駆動する。

【0099】

図２０は、第２の実施形態において、各形状モデルに設定される優先度（スコアの高低）を示す図である。本実施形態では、最大曲率が負、または最大曲率と最小曲率とが負の場合、すなわち物体Ｏの表面の形状が谷形状またはお椀形状の場合に、高いスコアが付与される。すなわち、下側に凸となる形状モデルにより高いスコアが付与され、次いで、上側に凸となる形状モデルに高いスコアが付与され、一方で、平面に低いスコアが付与される。これにより、物体Ｏを一対の挟持部８０１で挟持する際には、物体Ｏをより確実に保持することができる。

【0100】

本実施形態では、保持姿勢決定部３３７は、物体Ｏの表面が第１方向に第１曲率を有するとともに第１方向とは異なる第２方向に第１曲率よりも大きな第２曲率を有する場合、保持部２００が持つ一対の挟持部８０１を、第２方向に並べるように保持部２００の保持姿勢を決定する。本実施形態では、前記第２方向は、物体Ｏの表面において曲率が最も大きい方向（最大曲率が存在する方向）である。

【0101】

このような構成によれば、第１の実施形態と同様に、物体保持の安定性を向上させることができる。

【0102】

以上、いくつかの実施形態について説明したが、実施形態は上記例に限定されない。例えば、第１の実施形態の変形例は、第２の実施形態と組み合わされて実施されてもよい。また、制御部３００の機能の一部または全部は、例えば、ネットワーク上のサーバ装置である管理装置１３に設けられてもよい。上記実施形態では、各種曲率や傾斜量が評価対象領域５０１ごとに統計処理され、各種曲率や傾斜量の中央値が求められる例について説明した。ただし、形状の分類に用いられる代表値は、中央値に限定されず、統計処理の結果求められる他の代表値でもよい。

【0103】

以上説明した少なくともひとつの実施形態によれば、ハンドリング装置の制御部は、物体の表面が第１方向に第１曲率を有するとともに第１方向とは異なる第２方向に第１曲率よりも大きな第２曲率を有する場合、第１方向と第２方向とのうちいずれかである所定方向に、複数の付着部に含まれる少なくとも２つの付着部を並べるように保持部の保持姿勢を決定する。これにより、物体保持の安定性を向上させることができる。

【0104】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0105】

１…搬送システム、１０…ハンドリング装置、１００…移動機構、２００…保持部、３００…制御部（制御装置）、２０５…吸着部（付着部）、５０１…評価対象領域、６０１…保持可能領域、８０１…挟持部（付着部）、Ｏ…物体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】