特許 7651691 保持位置決定装置、及び保持位置決定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-17

(45)【発行日】2025-03-26

(54)【発明の名称】保持位置決定装置、及び保持位置決定方法

(51)【国際特許分類】

   B25J 13/00 20060101AFI20250318BHJP

   B25J 13/08 20060101ALI20250318BHJP

【ＦＩ】

B25J13/00 Z

B25J13/08 A

【請求項の数】 17

(21)【出願番号】P 2023524256

(86)(22)【出願日】2022-05-27

(86)【国際出願番号】 JP2022021812

(87)【国際公開番号】W WO2022250152

(87)【国際公開日】2022-12-01

【審査請求日】2023-11-24

(31)【優先権主張番号】P 2021090521

(32)【優先日】2021-05-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(74)【代理人】

【識別番号】100195534

【弁理士】

【氏名又は名称】内海 一成

(72)【発明者】

【氏名】土井 龍太

【審査官】臼井 卓巳

(56)【参考文献】

【文献】特開２０２１－０４１５１３（ＪＰ，Ａ）

【文献】特開２０２０－０１５１４１（ＪＰ，Ａ）

【文献】特開２０２０－１７９４４１（ＪＰ，Ａ）

【文献】特開２０２１－０２４０５２（ＪＰ，Ａ）

【文献】特開２０２１－０３７５９４（ＪＰ，Ａ）

【文献】国際公開第２０１７／１１９０８８（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／０２６２０６４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ ９／１６－１３／０８

(57)【特許請求の範囲】

【請求項1】

保持対象物を保持する２つ以上の指を有するエンドエフェクタが、前記保持対象物と接触する位置を保持位置として決定する制御部を備え、
前記制御部は、
前記指が開閉動作する範囲を示すストロークモデルを含むエンドエフェクタモデルを取得し、
前記保持対象物を撮影した保持対象画像に基づいて、前記エンドエフェクタが保持すべき前記保持対象物の位置を規定するマップを含むルールマップを取得し、
前記エンドエフェクタモデルと前記ルールマップとに基づいて前記保持位置を決定する、
保持位置決定装置。

【請求項2】

前記制御部は、前記保持対象物の形状データと、前記保持対象画像に対応づけられるデプスデータと、の少なくとも１つに基づく前記ルールマップを取得する、請求項１に記載の保持位置決定装置。

【請求項3】

前記ルールマップは、前記保持対象物を保持する前記保持対象物の高さ方向の位置に基づいて生成されるマップを含む、請求項１に記載の保持位置決定装置。

【請求項4】

前記制御部は、
前記エンドエフェクタモデルと前記ルールマップとに基づいて、前記保持位置の適正さを表す適正値を複数の前記保持位置について算出し、
前記適正値に基づいて前記保持位置を決定する、請求項１から３までのいずれか一項に記載の保持位置決定装置。

【請求項5】

前記エンドエフェクタモデル及び前記ルールマップは、各位置に割り当てた前記保持対象物を保持する位置としての適正さを示す値で表され、
前記制御部は、前記エンドエフェクタモデルを前記ルールマップに重ねた場合に各位置に割り当てた値を演算することによって、前記適正値を算出する、請求項４に記載の保持位置決定装置。

【請求項6】

前記制御部は、前記ルールマップに含まれる複数の前記マップに基づく前記適正値と、各々の前記マップについて定めたマップ係数とに基づいて、前記ルールマップに基づく前記適正値を算出する、請求項４に記載の保持位置決定装置。

【請求項7】

前記制御部は、
複数の前記保持位置に対するアノテーションの情報を取得し、
前記アノテーションの情報に基づいて前記適正値を補正する、請求項４に記載の保持位置決定装置。

【請求項8】

前記ルールマップは、前記エンドエフェクタが前記保持対象物を保持する際に、前記エンドエフェクタが移動できる範囲を規定する前記マップである周辺環境マップを含み、
前記制御部は、前記周辺環境マップに適合する前記エンドエフェクタの複数の位置から、前記保持位置を決定する、請求項１から３までのいずれか一項に記載の保持位置決定装置。

【請求項9】

前記周辺環境マップにおいて、前記エンドエフェクタが存在できる第１領域と前記エンドエフェクタが存在できない第２領域が規定され、
前記第２領域は、少なくとも前記保持対象物及び前記保持対象物の周辺の領域に規定され、前記周辺の領域においては、前記保持対象物から離れるにつれて前記第１領域における第２領域の割合が低下するように前記第２領域が割り当てられている、請求項８に記載の保持位置決定装置。

【請求項10】

前記ルールマップは、前記保持対象物を保持する位置としての適正さを表す前記マップである物体マップを含み、
前記制御部は、前記物体マップに適合する前記エンドエフェクタの複数の位置から、前記保持位置を決定する、請求項１から３までのいずれか一項に記載の保持位置決定装置。

【請求項11】

前記物体マップは、前記保持対象物の有する特性に基づき規定される、請求項１０に記載の保持位置決定装置。

【請求項12】

前記物体マップは、前記保持対象物の形状、材質、テクスチャ、重量、摩擦係数のいずれかに基づき規定される、請求項１１記載の保持位置決定装置。

【請求項13】

前記ルールマップは、前記エンドエフェクタの前記保持対象物との接触部分の、前記保持対象物と接触する位置としての適正さを表す前記マップである接触マップを含み、
前記制御部は、前記接触マップに対する前記エンドエフェクタの複数の位置から、前記保持位置を決定する、請求項１から３までのいずれか一項に記載の保持位置決定装置。

【請求項14】

前記接触マップは、前記エンドエフェクタの前記保持対象物との接触部分の形状と、前記保持対象物の形状とに基づき規定される、請求項１３に記載の保持位置決定装置。

【請求項15】

前記エンドエフェクタは、前記保持対象物を少なくとも２つの指で挟んで把持するグリッパーであり、
前記エンドエフェクタモデルは、前記指の動作範囲を規定し、
前記制御部は、前記グリッパーが前記保持対象物を把持する際に前記指が前記保持対象物に接触する位置の組み合わせを前記保持位置として決定する、請求項１から３までのいずれか一項に記載の保持位置決定装置。

【請求項16】

前記エンドエフェクタは、前記保持対象物を吸着によって保持する吸着部を有し、
前記エンドエフェクタモデルは、前記吸着部が前記保持対象物を吸着する際に他の物体と干渉する範囲を規定し、
前記制御部は、前記エンドエフェクタが前記保持対象物を吸着する際に前記吸着部が前記保持対象物に接触する位置を保持位置として決定する、請求項１から３までのいずれか一項に記載の保持位置決定装置。

【請求項17】

保持対象物を保持する２つ以上の指を有するエンドエフェクタが前記保持対象物と接触する位置を保持位置として決定する保持位置決定装置が、前記指が開閉動作する範囲を示すストロークモデルを含むエンドエフェクタモデルを取得することと、
前記保持位置決定装置が、前記保持対象物を撮影した保持対象画像に基づいて、前記エンドエフェクタが保持すべき前記保持対象物の位置を規定するマップを含むルールマップを取得することと、
前記保持位置決定装置が、前記エンドエフェクタモデルと前記ルールマップとに基づいて前記保持位置を決定することと
を含む保持位置決定方法。

【発明の詳細な説明】

【関連出願へのクロスリファレンス】

【0001】

本出願は、日本国特許出願２０２１－９０５２１号（２０２１年５月２８日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。

【技術分野】

【0002】

本開示は、保持位置決定装置及び保持位置決定方法に関する。

【背景技術】

【0003】

従来、コンピュータ上の画像から物体を把持する位置及び姿勢を適切に決定するための学習を行う学習装置が知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－２０５９２９号公報

【発明の概要】

【0005】

本開示の一実施形態に係る保持位置決定装置は、保持対象物を保持するエンドエフェクタが前記保持対象物と接触する位置を保持位置として決定する制御部を備える。前記制御部は、前記エンドエフェクタの保持部が存在しうる領域を特定するエンドエフェクタモデルを取得する。前記制御部は、前記保持対象物を撮影した保持対象画像に基づいて、前記エンドエフェクタが保持すべき前記保持対象物の位置を規定するマップを含むルールマップを取得する。前記制御部は、前記エンドエフェクタモデルと前記ルールマップとに基づいて前記保持位置を決定する。

【0006】

本開示の一実施形態に係る保持位置決定方法は、保持対象物を保持するエンドエフェクタが前記保持対象物と接触する位置を保持位置として決定する保持位置決定装置によって実行される。前記保持位置決定方法は、前記保持位置決定装置が、前記エンドエフェクタの保持部が存在しうる領域を特定するエンドエフェクタモデルを取得することを含む。前記保持位置決定方法は、前記保持位置決定装置が、前記保持対象物を撮影した保持対象画像に基づいて、前記エンドエフェクタが保持すべき前記保持対象物の位置を規定するマップを含むルールマップを取得することを含む。前記保持位置決定方法は、前記保持位置決定装置が、前記エンドエフェクタモデルと前記ルールマップとに基づいて前記保持位置を決定することを含む。

【図面の簡単な説明】

【0007】

【図1】一実施形態に係るロボット制御システムの構成例を示す模式図である。

【図2】保持対象物をエンドエフェクタで保持する例を示す側面図である。

【図3】一実施形態に係るロボット制御システムの構成例を示すブロック図である。

【図4】保持対象物を保持する平面における保持対象物の外形を表すマスク画像の一例を示す図である。

【図5A】エンドエフェクタモデルのうちフィンガーの開口幅を表すモデルの一例を示す図である。

【図5B】エンドエフェクタモデルのうちフィンガーのストロークを表すモデルの一例を示す図である。

【図5C】エンドエフェクタモデルのうちフィンガーの開口幅とストロークとを合わせた全体モデルの一例を示す図である。

【図6】周辺環境マップの一例を示す図である。

【図7】周辺環境マップのアプローチ範囲を生成する手法を表す図である。

【図8A】保持対象物の中心を表す物体マップの一例を示す図である。

【図8B】ユーザが指定した保持位置の優先度を表す物体マップの一例を示す図である。

【図9】接触マップの一例を示す図である。

【図10】周辺環境マップに対してエンドエフェクタモデルを投影する位置の例を示す図である。

【図11】周辺環境マップに対してエンドエフェクタモデルを投影できる位置と投影できない位置とを示す図である。

【図12A】物体マップにエンドエフェクタモデルを投影する位置の例を示す図である。

【図12B】接触マップにエンドエフェクタモデルを投影する位置の例を示す図である。

【図13】保持位置決定方法の手順例を示すフローチャートである。

【図14】図１３の保持位置決定方法で決定した保持位置を修正して学習させる手順例を示すフローチャートである。

【発明を実施するための形態】

【0008】

物体の保持位置を学習させる場合において、物体の保持位置が人間の意図に沿った位置になるように大量の教師データが必要となる。大量の教師データを準備するための作業負荷又はコストが増大する。本開示の一実施形態に係る保持位置決定装置及び保持位置決定方法によれば、物体の保持位置が簡易に人間の意図に沿った位置になり得る。

【0009】

（ロボット制御システム１００の構成例）
図１、図２及び図３に示されるように、本開示の一実施形態に係るロボット制御システム１００は、ロボット２と、カメラ４と、ロボット制御装置１１０と、保持位置決定装置１０とを備える。ロボット２は、保持対象物８０をエンドエフェクタ２Ｂによって保持して作業を実行する。ロボット制御装置１１０は、ロボット２を制御する。保持位置決定装置１０は、ロボット２が保持対象物８０を保持するときに接触する位置を保持位置として決定し、ロボット制御装置１１０に出力する。

【0010】

本実施形態において、ロボット２は、保持対象物８０を作業開始台６で保持する。つまり、ロボット制御装置１１０は、保持対象物８０を作業開始台６で保持するようにロボット２を制御する。ロボット２は、保持対象物８０を作業開始台６から作業目標台７へ移動させてよい。保持対象物８０は、作業対象とも称される。ロボット２は、動作範囲５の内側で動作する。

【0011】

＜ロボット２＞
ロボット２は、アーム２Ａと、エンドエフェクタ２Ｂとを備える。アーム２Ａは、例えば、６軸又は７軸の垂直多関節ロボットとして構成されてよい。アーム２Ａは、３軸又は４軸の水平多関節ロボット又はスカラロボットとして構成されてもよい。アーム２Ａは、２軸又は３軸の直交ロボットとして構成されてもよい。アーム２Ａは、パラレルリンクロボット等として構成されてもよい。アーム２Ａを構成する軸の数は、例示したものに限られない。言い換えれば、ロボット２は、複数の関節で接続されるアーム２Ａを有し、関節の駆動によって動作する。

【0012】

エンドエフェクタ２Ｂは、例えば、保持対象物８０を保持できるように構成されるグリッパーを含んでよい。グリッパーは、少なくとも１本の指を有してよい。グリッパーの指は、１つ以上の関節を有してよい。グリッパーの指は、保持対象物８０を吸着によって保持する吸着部を有してもよい。エンドエフェクタ２Ｂは、吸着部を有する１本の指として構成されてもよい。エンドエフェクタ２Ｂは、保持対象物８０を挟み込んで保持する２つ以上の指として構成されてよい。エンドエフェクタ２Ｂは、保持対象物８０を掬うことができるように構成される掬いハンドを含んでもよい。エンドエフェクタ２Ｂは、これらの例に限られず、他の種々の動作ができるように構成されてよい。図１に例示される構成において、エンドエフェクタ２Ｂは、グリッパーを含むとする。エンドエフェクタ２Ｂが保持対象物８０を保持する部分は、保持部とも称される。エンドエフェクタ２Ｂの保持部は、保持対象物８０に接触する部分を含んでよい。

【0013】

ロボット２は、アーム２Ａを動作させることによって、エンドエフェクタ２Ｂの位置を制御できる。エンドエフェクタ２Ｂは、保持対象物８０に対して作用する方向の基準となる軸を有してもよい。エンドエフェクタ２Ｂが軸を有する場合、ロボット２は、アーム２Ａを動作させることによって、エンドエフェクタ２Ｂの軸の方向を制御できる。ロボット２は、エンドエフェクタ２Ｂが保持対象物８０に作用する動作の開始及び終了を制御する。ロボット２は、エンドエフェクタ２Ｂの位置、又は、エンドエフェクタ２Ｂの軸の方向を制御しつつ、エンドエフェクタ２Ｂの動作を制御することによって、保持対象物８０を動かしたり加工したりすることができる。図１に例示される構成において、ロボット２は、作業開始台６でエンドエフェクタ２Ｂに保持対象物８０を保持させ、エンドエフェクタ２Ｂを作業目標台７へ移動させる。ロボット２は、作業目標台７でエンドエフェクタ２Ｂに保持対象物８０を解放させる。このようにすることで、ロボット２は、保持対象物８０を作業開始台６から作業目標台７へ移動させることができる。

【0014】

＜カメラ４＞
図１に示される構成例において、ロボット制御システム１００は、ロボット２のエンドエフェクタ２Ｂに取り付けられたカメラ４を備えるとする。カメラ４は、エンドエフェクタ２Ｂから保持対象物８０に向かって保持対象物８０を撮影する。つまり、カメラ４は、エンドエフェクタ２Ｂが保持対象物８０を保持する方向から保持対象物８０を撮影する。カメラ４は、他の方向から保持対象物８０を撮影するように構成されてもよい。他の方向から保持対象物８０を撮影した画像は、エンドエフェクタ２Ｂが保持対象物８０を保持する方向から撮影した場合の画像に変換されてよい。保持対象物８０を撮影した画像は、保持対象画像とも称される。また、カメラ４は、デプスセンサを備え、保持対象物８０のデプスデータを取得可能に構成される。カメラ４が撮影する画像は、モノクロの輝度情報を含んでもよいし、ＲＧＢ（Red, Green and Blue）等で表される各色の輝度情報を含んでもよい。カメラ４の数は、１つに限られず、２つ以上であってもよい。カメラ４は、保持対象物８０から所定範囲内に位置する他の物体も障害物として撮影し、障害物のデプスデータも取得してよい。

【0015】

＜保持位置決定装置１０＞
図３に示されるように、保持位置決定装置１０は、制御部１２と、インタフェース１４とを備える。インタフェース１４は、外部装置から保持対象物８０等に関する情報又はデータを取得したり外部装置に情報又はデータを出力したりする。また、インタフェース１４は、カメラ４から保持対象物８０を撮影した画像を取得する。インタフェース１４は、ユーザからの入力を受け付けてもよい。インタフェース１４は、ユーザに情報又はデータを認識させるように出力してもよい。制御部１２は、インタフェース１４で取得した情報又はデータに基づいてロボット２に保持対象物８０を保持させる位置を決定し、インタフェース１４に出力する。ロボット２に保持対象物８０を保持させる位置は、単に保持位置とも称される。

【0016】

制御部１２は、種々の機能を実行するための制御及び処理能力を提供するために、少なくとも１つのプロセッサを含んで構成されてよい。プロセッサは、制御部１２の種々の機能を実現するプログラムを実行してよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）とも称される。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。

【0017】

制御部１２は、記憶部を備えてよい。記憶部は、磁気ディスク等の電磁記憶媒体を含んでよいし、半導体メモリ又は磁気メモリ等のメモリを含んでもよい。記憶部は、各種情報を格納する。記憶部は、制御部１２で実行されるプログラム等を格納する。記憶部は、非一時的な読み取り可能媒体として構成されてもよい。記憶部は、制御部１２のワークメモリとして機能してよい。記憶部の少なくとも一部は、制御部１２とは別体として構成されてもよい。

【0018】

インタフェース１４は、有線又は無線で通信可能に構成される通信デバイスを含んで構成されてよい。通信デバイスは、種々の通信規格に基づく通信方式で通信可能に構成されてよい。通信デバイスは、既知の通信技術により構成することができる。

【0019】

インタフェース１４は、ユーザから情報又はデータ等の入力を受け付ける入力デバイスを含んで構成されてもよい。入力デバイスは、例えば、タッチパネル若しくはタッチセンサ、又はマウス等のポインティングデバイスを含んで構成されてよい。入力デバイスは、物理キーを含んで構成されてもよい。入力デバイスは、マイク等の音声入力デバイスを含んで構成されてもよい。

【0020】

インタフェース１４は、ユーザに対して情報又はデータ等を出力する出力デバイスを含んで構成される。出力デバイスは、例えば、画像又は文字若しくは図形等の視覚情報を出力する表示デバイスを含んでよい。表示デバイスは、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro-Luminescence）ディスプレイ若しくは無機ＥＬディスプレイ、又は、ＰＤＰ（Plasma Display Panel）等を含んで構成されてよい。表示デバイスは、これらのディスプレイに限られず、他の種々の方式のディスプレイを含んで構成されてよい。表示デバイスは、ＬＥＤ（Light Emission Diode）又はＬＤ（Laser Diode）等の発光デバイスを含んで構成されてよい。表示デバイスは、他の種々のデバイスを含んで構成されてよい。出力デバイスは、例えば、音声等の聴覚情報を出力するスピーカ等の音声出力デバイスを含んでよい。出力デバイスは、これらの例に限られず、他の種々のデバイスを含んでよい。

【0021】

＜ロボット制御装置１１０＞
ロボット制御装置１１０は、保持位置決定装置１０から保持位置を特定する情報を取得し、保持位置決定装置１０で決定した保持位置でロボット２が保持対象物８０を保持するようにロボット２を制御する。

【0022】

ロボット制御装置１１０は、種々の機能を実行するための制御及び処理能力を提供するために、少なくとも１つのプロセッサを含んで構成されてよい。ロボット制御装置１１０の各構成部は、少なくとも１つのプロセッサを含んで構成されてもよい。ロボット制御装置１１０の各構成部のうち複数の構成部が１つのプロセッサで実現されてもよい。ロボット制御装置１１０の全体が１つのプロセッサで実現されてもよい。プロセッサは、ロボット制御装置１１０の種々の機能を実現するプログラムを実行しうる。プロセッサは、保持位置決定装置１０で用いられるプロセッサと同一又は類似に構成されてよい。

【0023】

ロボット制御装置１１０は、記憶部を備えてよい。記憶部は、保持位置決定装置１０で用いられる記憶部と同一又は類似に構成されてよい。

【0024】

ロボット制御装置１１０は、保持位置決定装置１０を含んでもよい。ロボット制御装置１１０と保持位置決定装置１０とは、別体として構成されてもよい。

【0025】

（ロボット制御システム１００の動作例）
ロボット制御システム１００は、ロボット制御装置１１０によってロボット２を制御してロボット２に作業を実行させる。本実施形態において、ロボット２に実行させる作業は、保持対象物８０を保持する動作を含む。ロボット制御システム１００において、保持位置決定装置１０は、ロボット２による保持対象物８０の保持位置を決定する。ロボット制御装置１１０は、決定した保持位置でロボット２が保持対象物８０を保持するようにロボット２を制御する。

【0026】

制御部１２は、エンドエフェクタ２Ｂがグリッパーである場合、グリッパーが保持対象物８０を把持する際に指が保持対象物８０に接触する位置の組み合わせを保持位置として決定する。制御部１２は、エンドエフェクタ２Ｂが吸着部を有する場合、エンドエフェクタ２Ｂが保持対象物８０を吸着する際に吸着部が保持対象物８０に接触する位置を保持位置として決定する。

【0027】

保持位置決定装置１０の制御部１２は、カメラ４から、保持対象物８０を撮影した画像と保持対象物８０のデプスデータとを取得する。制御部１２は、保持対象物８０を撮影した画像とデプスデータとに基づいて保持対象物８０の外形及び位置を認識する。制御部１２は、図４に例示されるように、保持対象物８０をエンドエフェクタ２Ｂに取り付けられているカメラ４から見たときの、保持対象物８０の認識結果を表すマスク画像２０を生成する。マスク画像２０は、カメラ４から見て保持対象物８０が存在する領域を表す窓２２と、それ以外の領域を表すマスク２４とを含む。窓２２は、白塗りの領域として表されている。マスク２４は、右上がり斜線のハッチングが付された領域として表されている。なお、マスク画像２０においてマスク２４の部分は、図面記載の便宜上、ハッチングが付された領域として表されているが、現実の実施態様において黒塗りの領域として表されてよい。

【0028】

制御部１２は、エンドエフェクタ２Ｂに関する情報を取得する。エンドエフェクタ２Ｂに関する情報は、例えばエンドエフェクタ２Ｂがグリッパーである場合、把持する指の間隔の最大値、指の太さ、及び指の幅等を特定する情報を含む。制御部１２は、エンドエフェクタ２Ｂに関する情報に基づいてエンドエフェクタモデル３０を生成してもよい。制御部１２は、エンドエフェクタ２Ｂの保持部が存在しうる領域を特定するエンドエフェクタモデル３０を取得してもよい。

【0029】

エンドエフェクタモデル３０は、図５Ａに示されるように、グリッパーの指が所定の間隔を空けて位置している範囲を表す指位置３２と、指位置３２以外の範囲を表す動作外範囲３８とを特定する指モデルを含む。つまり、指モデルは、グリッパーの指の開口幅を表す。指位置３２は、グリッパーの指が最大の間隔を空けて位置している範囲を表してもよい。この場合、指モデルは、グリッパーの指の最大開口幅を表す。図５Ａに示される指モデルは、グリッパーの指の最大開口幅を表しているとする。指位置３２は、白塗りの領域として表されている。動作外範囲３８は、右上がり斜線のハッチングが付された領域として表されている。なお、動作外範囲３８は、図面記載の便宜上、ハッチングが付された領域として表されているが、現実の実施態様において黒塗りの領域として表されてよい。

【0030】

エンドエフェクタモデル３０は、図５Ｂに示されるように、グリッパーの指が動作する範囲を表すストローク範囲３４を特定するストロークモデルを含む。ストローク範囲３４は、白塗りの領域として表されている。

【0031】

エンドエフェクタモデル３０は、図５Ｃに示されるように、図５Ａの指モデルと図５Ｂのストロークモデルとを合わせた全体モデルを含む。全体モデルは、指の動作範囲３６を特定している。指の動作範囲３６は、指位置３２を含む。なお、図５Ｃにおいて、グリッパーの指の動作範囲３６のうち指部分が破線によって区別して示されているが、現実の実施態様においては区別されなくてもよい。また、本実施形態では、エンドエフェクタモデル３０は、グリッパーの指が最大の間隔（最大の開口幅）を開けて位置している範囲を表すとしているが、これに限られない。エンドエフェクタモデル３０は、グリッパーの指が任意の間隔（所定の間隔）を開けて位置している範囲を表すものであってよい。例えば、エンドエフェクタモデル３０は、エンドエフェクタ２Ｂが把持しようとする物体の大きさに応じたグリッパーの指の間隔を表すものとされてもよい。

【0032】

制御部１２は、エンドエフェクタモデル３０として全体モデルだけ生成してもよい。この場合、指位置３２を特定する情報を全体モデルに関連づけることによって指位置３２が特定されてもよい。指位置３２を特定する情報は、指の特徴点を表す数値を含んでよい。

【0033】

エンドエフェクタ２Ｂが吸着部を有する場合、エンドエフェクタモデル３０は、吸着部が保持対象物８０を吸着する際に他の物体と干渉する範囲を規定するモデルとして構成される。

【0034】

制御部１２は、保持対象物８０のデプスデータに基づいて、保持対象物８０を保持する位置の高さを設定する。具体的に、制御部１２は、図２に例示されるように、作業開始台６の上に配置されている保持対象物８０を保持する位置の高さとして、作業開始台６からの高さを設定する。図２の場合、保持対象物８０をエンドエフェクタ２Ｂの指で挟んで把持する位置が、保持点８２として表されている。作業開始台６からの保持点８２の位置の高さはＨで表されている。この場合、制御部１２は、保持対象物８０を保持する位置の高さとしてＨを設定する。制御部１２は、保持対象物８０のデプスデータに基づいて、保持対象物８０のうち作業開始台６から最も高い点までの距離より小さい値に、保持対象物８０を保持する位置の高さを設定する。制御部１２は、保持対象物８０の高さの半分程度の値に、保持対象物８０を保持する位置の高さを設定してもよい。

【0035】

制御部１２は、保持対象物８０を保持する位置の高さと、保持対象物８０のデプスデータとに基づいてマスク画像２０を生成してもよい。具体的に、制御部１２は、保持対象物８０を保持する位置の高さの平面による保持対象物８０の断面形状を窓２２とするマスク画像２０を生成してもよい。

【0036】

制御部１２は、保持対象物８０の保持位置を決定するためのルールを特定するルールマップを取得する。ルールマップは、エンドエフェクタ２Ｂが保持に使用すべき保持対象物８０の位置を規定するマップを含む。ルールマップは、保持対象物８０を保持する位置の高さに基づいて生成されるマップを含んでもよい。ルールマップは、保持対象画像に基づいて生成されてよい。ルールマップは、エンドエフェクタ２Ｂが保持対象物８０を保持する方向ではない方向から保持対象物８０を撮影した保持対象画像を、エンドエフェクタ２Ｂが保持対象物８０を保持する方向から撮影した場合の画像に変換した画像に基づいて生成されてよい。ルールマップは、例えば、周辺環境マップ４０（図６参照）、物体マップ５０（図８Ａ若しくは図８Ｂ参照）、又は接触マップ６０（図９参照）等に分類されてよい。制御部１２は、ルールマップを生成してもよい。制御部１２は、保持対象物８０の形状データ及び保持対象画像に対応づけられるデプスデータの少なくとも１つに基づくルールマップを取得してよい。ルールマップは、保持対象物８０を保持する位置の高さ毎に取得されてよい。ルールマップは２次元状に表現した画像の表示形態によってルールを特定してよい。

【0037】

周辺環境マップ４０は、図６に示されるように、対象物領域４２と、障害物領域４４と、アプローチ領域４６と、非アプローチ領域４８とを特定する。対象物領域４２は、保持対象物８０を保持する位置の高さにおいて、保持対象物８０が存在する範囲を表す。障害物領域４４は、保持対象物８０を保持する位置の高さにおいて、保持対象物８０以外の物体であってエンドエフェクタ２Ｂの動作を制限する障害物が存在する範囲を表す。アプローチ領域４６は、エンドエフェクタ２Ｂとしてのグリッパー自体の動作とグリッパーの指の動作とを合わせた動作範囲を表す。対象物領域４２、障害物領域４４及び非アプローチ領域４８は、アプローチ領域４６以外の範囲を表す。アプローチ領域４６は、白塗りの領域として表されている。対象物領域４２、障害物領域４４及び非アプローチ領域４８は、右上がり斜線のハッチングが付された領域として表されている。対象物領域４２、障害物領域４４及び非アプローチ領域４８は、図面記載の便宜上、ハッチングが付された領域として表されているが、現実の実施態様において黒塗りの領域として表されてよい。周辺環境マップ４０は、保持対象物８０を保持する位置の高さにおいて、エンドエフェクタ２Ｂが移動できる範囲を規定するマップとして構成される。

【0038】

制御部１２は、アプローチ領域４６と非アプローチ領域４８とを生成し、アプローチ領域４６に対象物領域４２と障害物領域４４とを配置することによって周辺環境マップ４０を生成できる。アプローチ領域４６は、エンドエフェクタ２Ｂが存在できる第１領域とも称される。非アプローチ領域４８は、エンドエフェクタ２Ｂが存在できない第２領域とも称される。第２領域は、少なくとも保持対象物８０が存在する領域及びその周辺の領域に規定される。保持対象物８０の周辺の領域おいて、保持対象物８０から離れるにつれて第１領域における第２領域の割合が低下するように第２領域が割り当てられている。

【0039】

制御部１２は、マスク画像２０に基づいてアプローチ領域４６を生成できる。例えば図７を参照して制御部１２がアプローチ領域４６を生成する方法が説明される。制御部１２は、マスク画像２０に対してエンドエフェクタモデル３０の畳み込みを実行してよい。制御部１２は、マスク画像２０に含まれる窓２２に対して、エンドエフェクタモデル３０で特定される指の動作範囲３６の少なくとも一部が重なるように、指の動作範囲３６を移動させてよい。この場合、指の動作範囲３６を表す矩形は、例えば窓２２の左上の隅の点に矩形の少なくとも一部が重なるように種々の角度に回転して配置され得る。制御部１２は、指の動作範囲３６を移動させたときに指の動作範囲３６が通過する領域をアプローチ領域４６として生成する。図７において、指の動作範囲３６が移動するときに窓２２から最も遠い点が描く軌跡は、アプローチ領域４６の境界４６ａとして表される。境界４６ａは、破線で表されている。

【0040】

制御部１２は、生成したアプローチ領域４６に、保持対象物８０のデプスデータに基づいて対象物領域４２を生成する。制御部１２は、保持対象物８０を保持する位置の高さよりも高い位置において保持対象物８０が存在する範囲を対象物領域４２として生成する。また、制御部１２は、生成したアプローチ領域４６に、障害物のデプスデータに基づいて障害物領域４４を配置する。制御部１２は、保持対象物８０を保持する位置の高さよりも高い位置において障害物が存在する範囲を障害物領域４４として生成する。

【0041】

制御部１２は、生成した周辺環境マップ４０に対して境界を曖昧にするぼかし処理を実行してもよい。上述してきた手順で生成した周辺環境マップ４０に含まれる各領域は、マップ中の各座標における数値として区別され得る。制御部１２は、例えば、アプローチ領域４６に含まれる座標における数値として、その座標で特定される点がエンドエフェクタ２Ｂの動作範囲に含まれることを表す１を設定してよい。一方、制御部１２は、対象物領域４２、障害物領域４４、及び非アプローチ領域４８に含まれる座標における数値として、その座標で特定される点がエンドエフェクタ２Ｂの動作範囲に含まれないことを表す０を設定してよい。制御部１２は、１が設定されている領域と０が設定されている領域との境界から所定範囲内の点を特定する座標における数値を、０より大きくかつ１より小さい、例えば０．５等の値を設定する。制御部１２は、このように領域の境界を曖昧にする処理をぼかし処理として実行する。

【0042】

また、上述してきた手順で生成した周辺環境マップ４０は、マップ中の各座標における色として区別され得る。制御部１２は、例えば、アプローチ領域４６に含まれる点を白で表し、それ以外の領域に含まれる点を黒で表してよい。制御部１２は、白で表される領域と黒で表される領域との境界から所定範囲内の点の色を、グレースケールで表してよい。制御部１２は、このように領域の境界を曖昧にする処理をぼかし処理として実行してもよい。各領域の色を黒、白及びグレーで表すことは、各領域に設定される数値を輝度値として表すことに相当する。

【0043】

制御部１２がぼかし処理を実行することによって、エンドエフェクタ２Ｂの動作範囲の誤差、又は、保持対象物８０若しくは障害物の外形の誤差によってエンドエフェクタ２Ｂが予期せず物体に衝突する可能性が低減され得る。つまり、制御部１２は、ぼかし処理によって、種々のマージンを考慮して保持対象物８０に対するエンドエフェクタ２Ｂの位置を決定できる。ぼかし処理は、生成した周辺環境マップ４０に含まれる各領域の周辺部分に対して実行されてよい。ぼかし処理によって各領域が拡大される。

【0044】

物体マップ５０は、仮に作業者が保持対象物８０を保持する場合に保持対象物８０のどの位置で保持対象物８０を保持するか判断するために参照する情報を表す。物体マップ５０は、例えば、保持対象物８０の形状、材質又は密度分布等の情報を表す。

【0045】

例えば、保持対象物８０の中心に近づくほどルールに対して適正な保持位置となる保持対象物８０の存在が仮定される。このように仮定した保持対象物８０に関する物体マップ５０は、図８Ａに示されるように、保持対象物８０を保持する位置の高さの平面によって切断した場合に得られる断面５２において、保持対象物８０の中心に近いほどルールに対して適正な保持位置であることに対応する白に近い色で表され、中心から離れるほどルールに対して適正でない保持位置であることに対応する黒に近い色で表されるグレースケールで表されてよい。また、物体マップ５０は、図８Ｂに示されるように、保持対象物８０を保持する位置を決定するルールとしてユーザが任意に設定し
たルールを特定するグレースケールで表されてよい。図８Ｂに示す、保持対象物８０の中心に近づいていくことに従って、適正な把持位置となる物体マップ５０を作成する場合、保持対象物８０の断面５２の水平方向に沿って中心に近いほど、適正な保持位置であることに対応する白に近い色で表され、中心から離れるほど、適正でない保持位置であることに対応する黒に近い色で表されている。また、図８Ｂの物体マップ５０は、断面５２の高さ方向に沿って同じ色で表されている。

【0046】

図８Ａ及び図８Ｂにおいて、物体マップ５０の断面５２を囲む黒色の実線は、単に断面５２の輪郭を表す線であり、ルールを示すものではない。黒色の実線が描かれている座標が適正でない保持位置であることを表すものではない。

【0047】

物体マップ５０は、保持対象物８０を保持する位置を仮定して、仮定した位置で保持することの適正さを評価する際に、白に近い色で表される領域の近くを保持することによって適正さの評価を表す適性値が大きくなるように構成されてよい。また、物体マップ５０は、周辺環境マップ４０のように、各座標の色に数値を対応づけることによって表されてもよい。制御部１２は、例えば白で表される座標に１を設定し、黒で表される座標に０を設定してよい。

【0048】

制御部１２は、上述の例に限られず、種々のルールを特定するように、各座標に色又は数値を設定した物体マップ５０を生成してよい。制御部１２は、例えば、保持対象物８０の重心からの距離に応じて各座標に色又は数値を設定した物体マップ５０を生成してよい。制御部１２は、例えば、保持する位置として避けるべき位置又は保持する位置として禁止する位置を特定するように、各座標に色又は数値を設定した物体マップ５０を生成してよい。

【0049】

制御部１２は、１つのルールを特定する物体マップ５０を混合することによって、複数のルールを特定する１つの物体マップ５０を生成してもよい。制御部１２は、複数の物体マップ５０を混合する場合、各物体マップ５０に重みづけ係数を設定して混合してよい。制御部１２は、例えば保持対象物８０の重心位置が重要である場合、重心位置を特定する物体マップ５０の重みづけ係数を大きく設定してよい。

【0050】

物体マップ５０は、保持対象物８０自身の有する特性に基づき規定されてよい。物体マップ５０は、保持対象物８０の形状、材質、テクスチャ、重量、又は摩擦係数のいずれかに基づき規定されてよい。物体マップ５０は、保持対象物８０の保持位置についてユーザが任意に定めた規定に基づくものであってよい。例えば、保持対象物８０の部分のうち、接触することで破損又は変形しやすい部分、グリス等が付着している部分、滑りやすく保持に適さない部分など、様々な理由で保持位置とすべきでない部分がルールとして物体マップ５０に規定され得る。同様に、破損又は変形がしにくい部分、グリス等が付着していない部分、滑りにくい部分、その他、経験則に基づいて保持位置とすべき部分（保持しやすいとされる部分）がルールとして物体マップ５０に規定され得る。物体マップ５０を二次元状の画像として表すことで、保持対象物８０の保持位置として、どのようなルールが規定されているのか把握することが容易となる。物体マップ５０は、保持対象物８０の種類ごとに生成されてよい。

【0051】

接触マップ６０は、エンドエフェクタ２Ｂの指と保持対象物８０の表面の状態との関係に基づいて定まるルールを表す。接触マップ６０は、物体マップ５０のように、仮に作業者が保持対象物８０を保持する場合に保持対象物８０のどの位置で保持対象物８０を保持するか判断するために参照する情報を表す。接触マップ６０は、エンドエフェクタ２Ｂの保持対象物８０との接触部分の形状と、保持対象物８０の形状とに基づき規定される。接触マップ６０は、エンドエフェクタ２Ｂが保持対象物８０と接触する位置としての適正さを表す。例えば、エンドエフェクタ２Ｂの保持対象物８０との接触部分の形状若しくは材質と、保持対象物８０の保持位置の形状若しくは材質との関係で保持位置とすべき部分、又は保持位置とすべきでない部分が接触マップ６０に規定され得る。より具体的には、エンドエフェクタ２Ｂと保持対象物８０との接触面積が小さくなる部分、エンドエフェクタ２Ｂと保持対象物８０との摩擦係数が所定値より小さい部分、又は、その他、経験則に基づいて使用するエンドエフェクタ２Ｂにとって保持しにくいとされる部分が、保持位置とすべきでない部分を表すルールとして接触マップ６０に規定され得る。同様に、エンドエフェクタ２Ｂと保持対象物８０との接触面積が大きくなる部分、エンドエフェクタ２Ｂと保持対象物８０との摩擦係数が所定値より大きい部分、又は、その他、経験則に基づいて使用するエンドエフェクタ２Ｂにとって保持しやすいとすべき部分が、保持位置とすべき部分を表すルールとして接触マップ６０に規定され得る。

【0052】

接触マップ６０は、例えば、保持対象物８０をエンドエフェクタ２Ｂで保持するときの保持対象物８０の表面とエンドエフェクタ２Ｂの指との接触面積、又は、保持対象物８０の表面とエンドエフェクタ２Ｂの指との間に作用する摩擦力等を表す。仮に保持対象物８０の表面が凹凸を有する場合、エンドエフェクタ２Ｂの指の位置が少しずれただけで接触面積が大きく異なり得る。

【0053】

接触マップ６０は、図９に示されるように、保持対象物８０を保持する位置の高さの平面によって切断した場合に得られる断面の外周６２において、各辺の中央に近いほど適正な保持位置であることに対応する白に近い色で表され、中心から離れて隅に近づくほど適正でない保持位置であることに対応する黒に近い色で表されるグレースケールで表されてよい。図９に例示される接触マップ６０は、各辺の中央に近い位置を保持する場合に保持対象物８０の表面とエンドエフェクタ２Ｂの指との接触面積が大きくなり、隅に近い位置を保持する場合に接触面積が小さくなることを表している。

【0054】

図９において、接触マップ６０の外周６２を囲む黒色の実線は、単に外周６２の輪郭を表す線である。黒色の実線が描かれている座標が適正でない保持位置であることを表すものではない。

【0055】

制御部１２は、１つのルールを特定する接触マップ６０を混合することによって、複数のルールを特定する１つの接触マップ６０を生成してもよい。制御部１２は、複数の接触マップ６０を混合する場合、各接触マップ６０に重みづけ係数を設定して混合してよい。制御部１２は、例えば保持対象物８０の表面とエンドエフェクタ２Ｂの指との接触面積が重要である場合、接触面積を特定する接触マップ６０の重みづけ係数を大きく設定してよい。

【0056】

制御部１２は、生成したルールマップに基づいて、保持対象物８０を保持する位置を決定する。具体的に、制御部１２は、ルールマップに対してエンドエフェクタモデル３０を仮の保持位置として投影し、投影した位置における一致度を算出することによって仮の保持位置で実際に保持対象物８０を保持することの適正さを評価する。

【0057】

制御部１２は、マスク画像２０の窓２２の範囲内の任意の点を選択する。窓２２の範囲内で選択した任意の点は、図１０に示されるように、周辺環境マップ４０において、対象物領域４２に含まれるアプローチ位置７０に対応する。つまり、制御部１２は、マスク画像２０の窓２２の範囲内の任意の点をアプローチ位置７０として設定する。制御部１２は、アプローチ位置７０にエンドエフェクタモデル３０の中心を合わせて投影する。投影したエンドエフェクタモデル３０は、図１０において投影モデル７２ａ及び７２ｂとして表される。投影モデル７２ａは、エンドエフェクタモデル３０を、対象物領域４２の短辺方向に沿って回転させたモデルに対応する。投影モデル７２ｂは、エンドエフェクタモデル３０を、対象物領域４２の短辺方向から時計回りに４５度回転させたモデルに対応する。

【0058】

制御部１２は、エンドエフェクタモデル３０に含まれる指位置３２が対象物領域４２に重なる場合にエンドエフェクタモデル３０を投影できないとする。図１１に示されるように、投影モデル７２ａは投影モデル７２ａに含まれる指の投影位置７４ａが対象物領域４２に重ならない。したがって、制御部１２は、投影モデル７２ａを周辺環境マップ４０に投影できる。一方で、投影モデル７２ｃは投影モデル７２ｃに含まれる指の投影位置７４ｃが対象物領域４２に重なる。したがって、制御部１２は、投影モデル７２ｃを周辺環境マップ４０に投影できない。指位置３２が対象物領域４２に重なる場合にエンドエフェクタモデル３０を投影しないことによって、エンドエフェクタ２Ｂが保持対象物８０に接近する間にエンドエフェクタ２Ｂが保持対象物８０に衝突することが避けられる。また、制御部１２は、エンドエフェクタモデル３０の少なくとも一部が障害物領域４４に重なる場合にエンドエフェクタモデル３０を投影できないとする。このようにすることで、エンドエフェクタ２Ｂが保持対象物８０を保持する場合に障害物に衝突することが避けられる。

【0059】

制御部１２は、エンドエフェクタモデル３０において指位置３２が特定されていない場合、エンドエフェクタモデル３０に関連づけられている指の特徴点に基づいて、エンドエフェクタモデル３０を投影できるか判定する。

【0060】

周辺環境マップ４０に投影できるエンドエフェクタモデル３０の位置及び回転角度に対応するエンドエフェクタ２Ｂの位置は、周辺環境マップ４０に適合する位置であるともいえる。制御部１２は、周辺環境マップ４０に適合する位置の中から保持位置を決定するともいえる。

【0061】

制御部１２は、アプローチ位置７０をマスク画像２０の窓２２の範囲内で走査するように移動させるとともに、各位置においてエンドエフェクタモデル３０を回転させて周辺環境マップ４０に投影する。制御部１２は、エンドエフェクタモデル３０を周辺環境マップ４０に投影できる、アプローチ位置７０及びエンドエフェクタモデル３０の回転角度の組み合わせを抽出する。

【0062】

また、制御部１２は、エンドエフェクタモデル３０を投影可能なアプローチ位置７０及びエンドエフェクタモデル３０の回転角度の組み合わせのそれぞれにおいて、周辺環境マップ４０における一致度を算出する。具体的に、制御部１２は、図１０の周辺環境マップ４０において投影モデル７２ａと重なる範囲のうち対象物領域４２の範囲外の各座標に設定されている数値又は色の輝度の平均値を投影モデル７２ａの一致度として算出する。制御部１２は、図１０の周辺環境マップ４０において投影モデル７２ｂと重なる範囲のうち対象物領域４２の範囲外の各座標に設定されている数値又は色の輝度の平均値を投影モデル７２ｂの一致度として算出する。

【0063】

制御部１２は、抽出したアプローチ位置７０及びエンドエフェクタモデル３０の回転角度の組み合わせを、物体マップ５０にも投影する。制御部１２は、例えば図１２Ａに示されるように、物体マップ５０に投影モデル７２ａ又は７２ｂを投影する。制御部１２は、物体マップ５０においてマスク画像２０の窓２２と重なり、かつ、保持対象物８０の断面５２のうち投影モデル７２ａと重なる範囲の各座標に設定されている数値又は色の輝度値の平均値を、投影モデル７２ａの一致度として算出する。制御部１２は、物体マップ５０においてマスク画像２０の窓２２と重なり、かつ、保持対象物８０の断面５２のうち投影モデル７２ｂと重なる範囲の各座標に設定されている数値又は色の輝度値の平均値を、投影モデル７２ｂの一致度として算出する。図１２Ａにおいて、物体マップ５０の断面５２を囲む黒色の実線は、単に断面５２の輪郭を表す線である。黒色の実線が描かれている座標が適正でない保持位置であることを表すものではない。

【0064】

物体マップ５０は、保持対象物８０を保持する位置としての適正さを表す。物体マップ５０に投影するエンドエフェクタモデル３０の位置及び回転角度に対応するエンドエフェクタ２Ｂの位置は、物体マップ５０に適合する位置であるともいえる。制御部１２は、物体マップ５０に適合する位置の中から保持位置を決定するともいえる。

【0065】

制御部１２は、抽出したアプローチ位置７０及びエンドエフェクタモデル３０の回転角度の組み合わせを、接触マップ６０にも投影する。制御部１２は、例えば図１２Ｂに示されるように、接触マップ６０に投影モデル７２ａ又は７２ｂを投影する。制御部１２は、接触マップ６０における保持対象物８０の断面の外周６２のうち投影モデル７２ａと重なる範囲の各座標に設定されている数値又は色の輝度値の平均値を投影モデル７２ａの一致度として算出する。制御部１２は、接触マップ６０における保持対象物８０の断面の外周６２のうち投影モデル７２ｂと重なる範囲の各座標に設定されている数値又は色の輝度値の平均値を投影モデル７２ｂの一致度として算出する。図１２Ｂにおいて、接触マップ６０の外周６２を囲む黒色の実線は、単に外周６２の輪郭を表す線である。黒色の実線が描かれている座標が適正でない保持位置であることを表すものではない。

【0066】

接触マップ６０は、エンドエフェクタ２Ｂの保持対象物８０との接触部分の、保持対象物８０と接触する位置としての適正さを表す。制御部１２は、接触マップ６０に投影する複数のエンドエフェクタモデル３０の位置及び回転角度に対応するエンドエフェクタ２Ｂの複数の位置の中から保持位置を決定するともいえる。

【0067】

制御部１２は、エンドエフェクタモデル３０の２つの指位置３２それぞれがストローク範囲３４の方向に沿って外周６２に対して入射する角度を算出してよい。言い換えれば、制御部１２は、エンドエフェクタモデル３０のストローク範囲３４の方向に沿った線と外周６２との２つの交点それぞれにおける交差の角度を算出してよい。本実施形態において、制御部１２は、指位置３２が外周６２に対して垂直に入射する場合の入射角度を０度として算出する。制御部１２は、算出した角度を接触マップ６０における一致度の値に反映してよい。制御部１２は、角度が０度に近いほど一致度の値を大きい値として算出してよい。制御部１２は、例えば、接触マップ６０の外周６２のうち投影されたエンドエフェクタモデル３０と重なる範囲の各座標に設定されている数値又は色の輝度値の平均値と、算出した角度のコサインの値（余弦値）との積を一致度として算出してもよい。

【0068】

制御部１２は、外周６２が凹凸を有する場合、エンドエフェクタ２Ｂの指の太さ又は幅若しくは長さに基づいて外周６２を平坦化したモデルを生成し、平坦化したモデルに対して指位置３２が入射する角度を算出してもよい。

【0069】

制御部１２は、アプローチ位置７０及びエンドエフェクタモデル３０の回転角度の組み合わせ毎に、各ルールマップにおいて算出した一致度を合算し、総合一致度を算出する。制御部１２は、各ルールマップにおいて算出した一致度に対して重みづけを行って合算してよい。制御部１２は、各ルールマップにおいて算出した一致度に対して行う重みづけを、全ての組み合わせにおいて同一とする。各ルールマップにおいて算出した一致度に対して適用される重みづけの係数は、マップ係数とも称される。マップ係数は、各マップについて定められてよい。

【0070】

以上述べてきたように、制御部１２は、エンドエフェクタモデル３０とルールマップとに基づいて各保持位置について総合一致度を算出する。総合一致度は、各保持位置の適正さを表す適正値に対応する。また、ルールマップは、ルールマップの各位置（各座標）に割り当てた数値又は色の輝度値等によって、保持対象物８０を保持する位置としての適正さを表す。制御部１２は、エンドエフェクタモデル３０をルールマップに重ねた場合に各位置に割り当てた値を演算することによって、適正値を算出できる。

【0071】

制御部１２は、アプローチ位置７０及びエンドエフェクタモデル３０の回転角度の各組み合わせについて算出した総合一致度を比較し、総合一致度が高い組み合わせを選択する。制御部１２は、選択した組み合わせのアプローチ位置７０及びエンドエフェクタモデル３０の回転角度に基づいて定まる、エンドエフェクタ２Ｂの指がストローク方向に沿って動いたときに保持対象物８０に入射する位置を、保持対象物８０を保持する位置として決定する。つまり、制御部１２は、エンドエフェクタモデル３０とルールマップとに基づいて保持位置を決定する。制御部１２は、例えばエンドエフェクタモデル３０とルールマップとを比較して保持位置を推定した後で、別のルールに基づいて推定した保持位置を調整又は補正することによって保持位置を決定してよい。また、制御部１２は、適正値に基づいて保持位置を決定してよい。制御部１２は、決定した保持位置を、インタフェース１４を介してロボット制御装置１１０に出力する。

【0072】

（保持位置決定方法の手順例）
保持位置決定装置１０の制御部１２は、図１３に例示されるフローチャートの手順を含む保持位置決定方法を実行してもよい。保持位置決定方法は、保持位置決定装置１０の制御部１２を構成するプロセッサに実行させる保持位置決定プログラムとして実現されてもよい。保持位置決定プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。

【0073】

制御部１２は、保持対象物８０を撮影した画像と保持対象物８０のデプスデータとを含むデータを取得する（ステップＳ１）。制御部１２は、エンドエフェクタモデル３０を生成する（ステップＳ２）。制御部１２は、保持対象物８０を保持する位置の高さを決定する（ステップＳ３）。制御部１２は、マスク画像２０を生成する（ステップＳ４）。

【0074】

制御部１２は、周辺環境マップ４０、物体マップ５０又は接触マップ６０等のルールマップを生成する（ステップＳ５）。制御部１２は、各ルールマップにエンドエフェクタモデル３０を投影する（ステップＳ６）。制御部１２は、各ルールマップと各ルールマップに投影したエンドエフェクタモデル３０との一致度を算出する（ステップＳ７）。制御部１２は、総合一致度を算出するために、各ルールマップについて算出した一致度に重みづけを行う（ステップＳ８）。制御部１２は、総合一致度が高くなるときのエンドエフェクタモデル３０の投影位置を選出し、選出した位置においてエンドエフェクタ２Ｂの指が保持対象物８０に入射する位置を保持位置として決定する（ステップＳ９）。制御部１２は、ステップＳ９の手順の実行後、図１３のフローチャートの手順の実行を終了する。

【0075】

制御部１２は、マスク画像２０を生成するステップＳ４の手順を、ステップＳ２又はＳ３の前に実行してもよい。

【0076】

（小括）
以上述べてきたように、本実施形態に係る保持位置決定装置１０及び保持位置決定方法によれば、保持対象物８０をロボット２のエンドエフェクタ２Ｂで保持するときの保持位置がルールマップに基づいて決定される。ルールマップに基づいて保持位置を決定することによって、作業者の経験等をルールマップに反映させることができる。例えば、作業者が種々の保持対象物８０を保持する場合に、保持対象物８０それぞれについて、どの位置で保持するか考えて保持する。作業者は、例えば、保持対象物８０の重心、保持対象物８０の周囲に存在する障害物、又は、保持対象物８０を持つ位置が広いこと等を考えて保持位置を決める。つまり、本実施形態に係る保持位置決定装置１０及び保持位置決定方法によれば、作業者の考えをルールマップに反映し、各ルールマップにおける一致度を算出し、一致度に重みづけを行って算出した総合一致度に基づいて、把持位置が決定される。その結果、作業者が考える保持位置で、ロボット２に保持対象物８０を保持させることができる。つまり、物体の保持位置が簡易に人間の意図に沿った位置に決定され得る。

【0077】

また、作業者が保持位置をルール化したルールマップを使用できる。その結果、学習が不要になる。また、新たなルールが発生した場合にルールマップを追加することによって、環境の変化に対応しやすくなる。例えば、保持対象物８０の保持を含む作業は、作業者又は作業現場の環境等に応じた種々の構成要素を含み得る。したがって、各構成要素に基づいて保持対象物８０の保持位置を決定して保持する必要がある。種々の構成要素を反映したルールマップを生成して一致度の算出対象に追加することによって、各作業者又は各現場における特殊なルール等にも対応が容易になる。

【0078】

（他の実施形態）
以下、他の実施形態が説明される。

【0079】

＜他の手法に基づく推定結果の利用＞
保持位置決定装置１０は、他の手法に基づいて推定された保持対象物８０の保持位置を取得してよい。保持位置決定装置１０は、取得した保持位置に対して本実施形態に係る保持位置決定方法を実行することによって、取得した保持位置の中から保持位置を決定してよい。

【0080】

具体的に、保持位置決定装置１０の制御部１２は、インタフェース１４を介して他の手法に基づいて推定された保持対象物８０の保持位置を取得する。制御部１２は、取得した保持位置に対応する、アプローチ位置７０とエンドエフェクタモデル３０の回転角度との組み合わせを算出する。制御部１２は、取得した保持位置に対応する組み合わせでエンドエフェクタモデル３０を各ルールマップに投影し、各ルールマップにおける一致度を算出する。制御部１２は、各ルールマップにおける一致度に重みづけを行って合算し、総合一致度として算出する。制御部１２は、総合一致度の値が大きい組み合わせに対応する保持位置を選択してロボット制御装置１１０に出力する。

【0081】

保持位置決定装置１０は、取得した保持位置における総合一致度を算出して取得した保持位置の適正さを評価してもよい。制御部１２は、算出した総合一致度に基づいて、取得した保持位置が妥当であるか評価する。制御部１２は、例えば、算出した総合一致度が所定値以上となった場合に、取得した保持位置が妥当であると判定してよい。

【0082】

保持位置決定装置１０は、他の手法に基づいて推定された、エンドエフェクタ２Ｂの中心位置及び回転角度を取得してもよい。保持位置決定装置１０は、取得したエンドエフェクタ２Ｂの中心位置をアプローチ位置７０とみなすことによってアプローチ位置７０と回転角度との組み合わせを算出し、本実施形態に係る保持位置決定方法を実行できる。

【0083】

保持位置決定装置１０は、他の手法に基づいて推定された保持対象物８０の保持位置を取得することによって、一致度の算出対象とするアプローチ位置７０と回転角度との組み合わせの数を低減できる。その結果、計算負荷が低減され得る。

【0084】

＜学習による重みづけの調整＞
保持位置決定装置１０は、各ルールマップについて算出した一致度に対して重みづけを行って合算することによって、総合一致度を算出する。保持位置決定装置１０は、決定した保持位置に対するアノテーションの情報に基づいて学習することによって、重みづけの係数を更新してよい。保持位置決定装置１０は、重みづけの係数を更新することによって保持位置の決定精度を向上できる。

【0085】

具体的に、保持位置決定装置１０の制御部１２は、決定した保持位置をインタフェース１４によってユーザに通知してよい。制御部１２は、インタフェース１４によって、決定した保持位置に対するアノテーションとして保持位置を修正する入力をユーザから受け付ける。制御部１２は、ユーザによる修正の情報に基づいて、修正した保持位置をロボット制御装置１１０に出力してよい。制御部１２は、ユーザによる修正の情報に基づいて学習することによって重みづけの係数を更新し、保持位置の決定をやり直してもよい。

【0086】

制御部１２は、複数の保持位置の候補を決定してインタフェース１４によってユーザに通知してよい。制御部１２は、総合一致度が所定値以上となる保持位置を候補として決定してよい。制御部１２は、インタフェース１４によって、決定した保持位置に対するアノテーションとして保持位置の候補から選択する入力をユーザから受け付ける。制御部１２は、ユーザが選択した保持位置をロボット制御装置１１０に出力してよい。制御部１２は、ユーザが選択した情報に基づいて学習することによって重みづけの係数を更新してもよい。

【0087】

制御部１２は、総合一致度が所定値以上となる保持位置を、保持対象物８０を保持可能な候補位置として抽出し、ユーザに通知してよい。制御部１２は、インタフェース１４によって、候補位置に対するアノテーションとして、候補位置を修正する入力、又は、候補位置を選択する入力をユーザから受け付ける。制御部１２は、候補位置に対する修正又は選択の入力に基づいて、各候補位置の適正さを評価する。制御部１２は、ユーザの入力に基づいて保持位置としての適正さが高いと評価した候補位置について総合一致度の値が大きくなるように、重みづけの係数を更新してよい。制御部１２は、選択された候補位置を保持位置としてロボット制御装置１１０に出力してもよい。制御部１２は、修正された候補位置を保持位置としてロボット制御装置１１０に出力してもよい。

【0088】

保持位置決定装置１０の制御部１２は、図１４に示されるフローチャートの手順を実行してもよい。制御部１２は、例えば図１３のフローチャートの手順を実行することによって、保持位置の候補を選出する（ステップＳ１１）。制御部１２は、保持位置の候補をインタフェース１４に出力する（ステップＳ１２）。制御部１２は、ユーザによる修正の入力に基づいて保持位置を修正する（ステップＳ１３）。制御部１２は、修正内容を学習する（ステップＳ１４）。制御部１２は、学習結果に基づいて重みづけを更新する（ステップＳ１５）。制御部１２は、ステップＳ１５の手順の実行後、図１４のフローチャートの手順の実行を終了する。

【0089】

以上述べてきたように、保持位置決定装置１０は、ユーザによるアノテーションの内容に基づいて重みづけを更新できる。その結果、種々の作業環境に対応できるロバスト性が向上し得る。

【0090】

保持位置決定装置１０は、ルールマップを生成するために複数のマップに重みづけを実行して混合する。例えば、保持位置決定装置１０は、複数の物体マップ５０を混合して１つの物体マップ５０を生成する。複数のマップに重みづけを実行して混合する場合において、保持位置決定装置１０は、各マップに対する重みづけ係数をアノテーションに基づく学習によって更新してもよい。

【0091】

保持位置決定装置１０は、複数の保持位置に対するアノテーションの情報を取得し、アノテーションの情報に基づいて適正値を補正してもよい。

【0092】

＜画像に基づくマップの生成＞
保持位置決定装置１０は、カメラ４で撮影した画像に基づいて、ルールマップを生成してもよい。保持位置決定装置１０の制御部１２は、例えば、画像に基づいて保持対象物８０の重心を推定し、重心位置を特定する物体マップ５０を生成してもよい。制御部１２は、例えば、画像に基づいて保持対象物８０の材質を推定し、保持対象物８０の表面とエンドエフェクタ２Ｂの指との間に作用する摩擦力を特定する接触マップ６０を生成してもよい。制御部１２は、保持対象物８０の色若しくは模様、又は、凹凸に関する情報に基づいて、保持対象物８０の材質を推定してもよい。

【0093】

＜保持位置の高さの設定＞
保持位置決定装置１０は、最初に保持対象物８０を保持する位置の高さを設定し、設定した高さにおける保持位置を決定する。保持位置決定装置１０は、保持対象物８０を保持する位置の高さを変化させ、それぞれの高さにおいて保持位置決定方法を実行し、総合一致度の値が最も大きくなるときの保持の高さとエンドエフェクタ２Ｂのアプローチ位置７０及び回転角度の組み合わせとを、保持位置として決定してもよい。このようにすることで、保持の安定性が向上し得る。

【0094】

以上、保持位置決定装置１０の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。

【0095】

また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であっても良い。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。

【0096】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

【0097】

本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。

【0098】

さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。

【0099】

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１領域は、第２領域と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

【符号の説明】

【0100】

１０ 保持位置決定装置（１２：制御部、１４：インタフェース）
２０ マスク画像（２２：窓、２４：マスク）
３０ エンドエフェクタモデル（３２：指位置、３４：ストローク範囲、３６：指の動作範囲、３８：動作外範囲）
４０ 周辺環境マップ（４２：対象物領域、４４：障害物領域、４６：アプローチ領域、４６ａ：境界、４８：非アプローチ領域）
５０ 物体マップ（５２：断面）
６０ 接触マップ（６２：外周）
７０ アプローチ位置
７２ａ、７２ｂ、７２ｃ 投影モデル
７４ａ、７４ｃ 指の投影位置
８０ 保持対象物（８２：保持点）
１００ ロボット制御システム（２：ロボット、２Ａ：アーム、２Ｂ：エンドエフェクタ、４：カメラ、５：ロボットの動作範囲、６：作業開始台、７：作業目標台、１１０：ロボット制御装置）

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図13】

【図14】