特表 2024-512882 対象との相互作用のプロセス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-21

(54)【発明の名称】対象との相互作用のプロセス

(51)【国際特許分類】

   B25J 9/22 20060101AFI20240313BHJP

   B25J 13/08 20060101ALI20240313BHJP

【ＦＩ】

B25J9/22 A

B25J13/08 A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023549010

(86)(22)【出願日】2022-02-07

(85)【翻訳文提出日】2023-09-27

(86)【国際出願番号】 IB2022051027

(87)【国際公開番号】W WO2022175777

(87)【国際公開日】2022-08-25

(31)【優先権主張番号】102021000003821

(32)【優先日】2021-02-19

(33)【優先権主張国・地域又は機関】IT

(81)【指定国・地域】

(71)【出願人】

【識別番号】519437098

【氏名又は名称】ウニベルシタ ディ ピサ

(71)【出願人】

【識別番号】510121547

【氏名又は名称】フォンダツィオーネ・イスティトゥート・イタリアーノ・ディ・テクノロジャ

【氏名又は名称原語表記】ＦＯＮＤＡＺＩＯＮＥ ＩＳＴＩＴＵＴＯ ＩＴＡＬＩＡＮＯ ＤＩ ＴＥＣＮＯＬＯＧＩＡ

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ビッチ、アントニオ

(72)【発明者】

【氏名】レンティニ、ジャンルカ

(72)【発明者】

【氏名】カタラノ、マヌエル ジュゼッペ

(72)【発明者】

【氏名】グリオリ、ジオルジオ

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS06

3C707BS10

3C707CS08

3C707DS01

3C707ES03

3C707HS27

3C707JT10

3C707JU03

3C707JU14

3C707KS01

3C707KS10

3C707KS11

3C707KS38

3C707KT01

3C707KT04

3C707KT15

3C707KV01

3C707LS20

3C707LW12

3C707WA16

3C707WA17

(57)【要約】

対象（１ａ）との相互作用のプロセスが、エンドエフェクタ（２１）、エンドエフェクタ（２１）のドライバ（２２）、及び少なくとも１つの環境又は相互作用パラメータを取得するためのセンサ（２３）を伴うロボット（２）；ロボット（２）を制御するためのコンピュータ（５）；命令ブロックにより定められた命令に従ってロボット（２）にエンドエフェクタ（２１）を動かすよう命令するよう構成された命令ブロック（３）を備えて設けられている。

【特許請求の範囲】

【請求項1】

対象との相互作用のプロセスであって、
少なくとも１つのロボットであって、前記少なくとも１つのロボットが：
前記対象のうちの少なくとも１つと相互作するエンドエフェクタ；
前記エンドエフェクタのドライバ；
少なくとも１つのパラメータを取得するためのセンサ；前記少なくとも１つのパラメータは、周囲環境パラメータ及び前記対象との前記ロボットの相互作用のパラメータのうちの少なくとも１つを含む；を有する；
前記センサとのデータ接続において前記ロボットを制御するためのコンピュータ；
前記ロボットに、前記エンドエフェクタを動かすことを命令するよう構成された命令ブロック；
複数の学習フェーズ；前記複数の学習フェーズの各々において、
前記命令ブロックが、前記ロボットが前記エンドエフェクタの動きを実行する仮想アクションを定め；
前記コンピュータが、前記仮想アクションに従って、前記ロボットに、現実アクションを実行するように命じ；及び
前記センサは前記現実アクションの前記実行の間に前記少なくとも１つのパラメータを取得する；
解析フェーズ、その中で前記コンピュータが、
前記現実アクションの各々を最初のシーン、最後のシーンに細分化し、
前記シーンにおいて取得した前記少なくとも１つのパラメータと対応している少なくとも１つの値を前記シーンの各々と関連付ける；
再処理フェーズ、その中で前記コンピュータが単一の最初のシーン及び複数の最後のシーンを含む合成アクションを定めるように実質的に同じ初期の値を含む前記現実アクションを関連付けているアクションデータベースを作成し；前記アクションデータベースは前記値のうちの少なくとも１つを前記シーンの各々と関連付ける；
実行フェーズ、その中で、
前記センサは、前記少なくとも１つのパラメータを検出することにより少なくとも１つの最初の因子を定め；
前記コンピュータは、前記最初の因子と実質的に等しい前記初期の値を含む前記合成アクションを前記アクションデータベースにおいて選択し、前記ロボットに、前記合成アクションの前記最初のシーンに後続するシーンと実質的に等しい動作を実行するように命じ；及び
前記コンピュータが、前記ロボットに、
前記アクションデータベースにおいて次のシーンより前の前記少なくとも１つのシーンと関連付けられた前記少なくとも１つの値を、
前記後続の動作の前に前記動作の前記少なくとも１つのパラメータを検出することによって取得された前記少なくとも１つの因子と
比較することによって選択された、前記アクションデータベースにおいて前記合成アクションと関連付けられた前記シーン間で実行するため、前記次の動作を命じる、
を備え、
前記実行フェーズは、
前記少なくとも１つのパラメータを検出することによって、前記センサが前記最初の因子を定める取得のサブフェーズ；
前記コンピュータが前記最初の因子と実質的に等しい前記初期の値を含むデータベースアクションにおいて選択し、前記ロボットに、前記最初のシーンに後続的な少なくとも１つのシーンの前記実行を命じる、識別サブフェーズ；
前記識別サブフェーズにおいて選択された前記合成アクションの前記最初のシーンに従って、前記ロボットが動作を実行し、少なくとも１つのパラメータを取得することによって因子を定める、少なくとも１つの展開サブフェーズ、
前記コンピュータが、前記合成アクションの前記シーンの間で実行される前記次のシーンを識別し、前記ロボットに、前記次のシーンに従って動作を実行するように命じ；前記コンピュータが、前記次のシーンの前の前記少なくとも１つのシーンと関連付けられた前記少なくとも１つの値を、前記少なくとも１つの以前の動作において取得された前記因子と比較することで前記次のシーンを識別する、少なくとも１つの選択サブフェーズ
を備える、相互作用プロセス。

【請求項2】

前記センサが、前記ロボットの動きを定めるために必要な命令を定めることによって、前記ロボットの前記動きを取得するよう構成されており、前記再処理フェーズにおいて前記コンピュータが、前記データベースアクションにおいて前記命令を前記シーンのうちの少なくとも１つに関連付ける、請求項１に記載の相互作用プロセス。

【請求項3】

前記最初のシーンが前記命令を欠く、請求項１又は２に記載の相互作用プロセス。

【請求項4】

前記実行フェーズは、前記最後のシーンの１つが前記次のシーンとして選択され、次に前記ロボットが前記最後のシーンに従って最後の動作を実行するよう命じられるときに終了する、請求項１から３のいずれか一項に記載の相互作用プロセス。

【請求項5】

前記複数の学習フェーズの各々において、少なくとも１つのシーン終了コマンドが定められて；前記解析フェーズにおいて、前記コンピュータが実際のアクションの各々を、前記少なくとも１つのシーン終了コマンドに従った前記シーンに細分化する、請求項１から４のいずれか一項に記載の相互作用プロセス。

【請求項6】

前記複数の学習フェーズの各々において、前記少なくとも１つのシーン終了コマンドが自動的に与えられる、請求項５に記載の相互作用プロセス。

【請求項7】

前記コンピュータが、時間の経過を測定するよう構成されたクロックを備え；前記複数の学習フェーズの各々において、前記コンピュータは、シーンの持続時間と実質的に等しい時間が経過した時点で、前記少なくとも１つのシーン終了コマンドを定める、請求項６に記載の相互作用プロセス。

【請求項8】

前記複数の学習フェーズの各々において、前記少なくとも１つのシーン終了コマンドが手動で与えられる、請求項５から７のいずれか一項に記載の相互作用プロセス。

【請求項9】

前記命令ブロックが、前記シーン終了コマンドを送信するよう構成された信号部を備える、請求項８に記載の相互作用プロセス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、請求項１のプリアンブルにおいて指定されている種類の、対象との相互作用のプロセスに関する。

【0002】

特に本発明は、好ましくは自動化生産組立ラインにおいて対象を扱うための、ロボットを使用するよう構成されるプロセスに関する。

【背景技術】

【0003】

周知のように、自動化生産組立ラインは、異なる作業を実行すること、及び形状及び密度の異なる製造物を扱うことができるロボットの利用のおかげで、特に柔軟性がある。

【0004】

そのようなロボットは今、異なるステーション間、例えば倉庫及びワークステーション間で対象を動かすため、及び／又は組立及び溶接などの作業を実行するために使用されている。

【0005】

それらは、反復的な作業を高い精度で忠実に実行するようにプログラムされている。それらのアクションは、一連の調整された動きの方向、加速度、速さ、及び距離を指定するソフトウェアにより決定される。

【0006】

それらの動きは、各動作に対して、コマンド、したがって、所望の動作を実行するのを可能にするためにロボットに与えられる命令を定めなければならない操作者により定められる。

【0007】

記載される既知の技術は、幾つかの重要な欠点を有する。

【0008】

特に、公知の取扱い手順は、特定のプログラミング言語を使用して、新たな各作業の各単一アクションのためにロボットに命令するニーズを要求している。その結果、製造プロセスの管理が複雑になり、実行すべき正しい計画を不正確に識別することに起因して、頻繁にエラーが生じている。

【0009】

この問題を解決するために、命令を定めるための新しいプロセスが考案された。新たな商用ロボットは、短時間で操作者にプログラミングさせることを可能にするグラフィカルユーザーインターフェイス（ＧＵＩ）を備えている。

【0010】

この解決はプログラミングを相当加速させたが、それは十分な改良を引き起こしてはいない。結果として、公知の対象取扱い手順は、現在、特に複雑になっており、使用するのに容易でなく、比較的高いコスト、及び／又は複雑で高額のロボットの使用を課している。

【0011】

別の欠点は、公知の取扱いプロセスの柔軟性の不足であり、そのことで、実行される動き及び／又は取扱われる対象のどのような変化にもロボットが適合することができないので、ほぼ継続する再プログラムが必要になっている。

【発明の概要】

【0012】

この状況で、本発明の基礎にある技術的課題は、前述の欠点の少なくとも一部を実質的に除去することができる、対象との相互作用の手順を考案することである。

【0013】

前記の技術的課題の状況で、容易にプログラム化可能で、したがって極めて柔軟な対象との相互作用手順を得ることが、本発明の重要な目的である。

【0014】

技術的課題及び指定された目的は、添付の請求項１において特許請求されているような対象との相互作用のプロセスにより達成される。好ましい実施形態の例が従属請求項に記載されている。

【図面の簡単な説明】

【0015】

本発明の特徴及び利点は、添付の図面を参照しながら、以下で発明の好適な実施形態の詳細な説明によって明確化される。

【0016】

【図1】本発明に係る、対象と相互作用するプロセスを実施するよう構成されているデバイスを、縮小して示す。

【図2a】図１のデバイスのアセンブリを、縮小して示す。

【図2b】異なる使用での図２ａのアセンブリを縮小して示す。

【図3】本発明に係る、対象と相互作用するプロセスを実施するための周囲環境を、縮小して示す。

【図4】本発明に係る、対象と相互作用するプロセスの概略を示す。

【発明を実施するための形態】

【0017】

本文書において、測定値、値、形状及び幾何学的言及（例えば、垂直性及び平行性）は、「約」のような単語又は「おおよそ」又は「実質的に」などの他の類似の用語と関連付けられる場合、生産及び／又は製造誤差に起因する測定誤差又は不正確さを除くと考えられるべきであり、とりわけ、それが関連付けられる値、測定値、形状、又は幾何学的言及空っぽの僅かな乖離を除くと考えられるべきである。例えば、これらの用語は、値と関連付けられる場合、好ましくは値の１０％以下の乖離を示す。

【0018】

さらに、使用される場合、「第１」、「第２」、「より高い」、「より低い」、「主な」及び「二次的な」などの用語は、順序、関係又は相対位置の優先順位を必ずしも特定せず、それらの異なるコンポーネントを単に明確に区別するために使用することができる。

【0019】

このテキストで報告される測定値及びデータは、別記されない限り、国際標準大気ＩＣＡＯ（ＩＳＯ ２５３３：１９７５）において実行されたものと考えられるべきである。

【0020】

別記されない限り、以下の論述における結果として、「処理」、「計算」、「判定」、「算出」などの用語、又は類似用語は、コンピュータシステムのレジスタ及び／又はメモリの電子量などの物理量として表されるデータを、コンピュータシステム、レジスタ又は他のストレージ、伝送又は情報表示デバイス内の物理量として同様に表される他のデータにおいて操作及び／又は変換するコンピュータ又は類似の電子計算デバイスの動作及び／又はプロセスを指す。図面を参照しながら、本発明に係る対象と相互作用するプロセスは、１という数字が大局的に記載されている。

【0021】

プロセス１は、例えば家又はフラットなどの周囲環境１０内部で対象１ａを認識して相互作用するよう構成されている。好ましくは、倉庫又は生産ラインなどの作業／工業的周囲環境１０の内部で対象１ａを認識、相互作用、したがって動かす／扱うよう構成される。

【0022】

周囲環境１０は、歩行可能エリア１０ａを画定し得る。

【0023】

周囲環境１０は、少なくとも１つの部屋１１を備え得る。詳細には、それは複数の部屋１１、及び部屋の各々の間の少なくとも１つの通過区間１２を備えることができる。

【0024】

相互作用プロセス１は、少なくとも１つのロボット２を備え得る。

【0025】

ロボット２は、少なくとも１つの対象１ａとの相互作用を実行するよう構成され得る。ロボット２は、少なくとも１つの対象１ａを把持する、少なくとも１つのエンドエフェクタ２１を備え得る。

【0026】

エンドエフェクタ２は、特に、重量及び／又は形状において互いに好適に異なる複数の対象１ａのうちの、対象１ａと相互作用するよう構成される。例えば、それは、一度に１つのみの対象１ａと相互作用し、正確にその把持を正確に操作／実行するよう構成される。

【0027】

エンドエフェクタ２は、当該把持を実行するように少なくとも２つの互いに可動の機械の指を備えることができる。好ましくは、それは２本を超える指を備え、特に、それは、例えばＵＳ２０１９２６９５２８及びＵＳ２０１８３１１８２７に記載されているものなどのロボットの手において識別可能である。

【0028】

ロボット２は、各エンドエフェクタ２１について、エンドエフェクタ２１のドライバ２２を備えることができる。

【0029】

ドライバ２２は、対象１ａ及び／又は周囲環境１０に関してエンドエフェクタ２１を動かすよう構成できる。

【0030】

ドライバ２２は、ロボットアームを備えることができる。それは、任意選択で入れ子式のプロファイルで識別可能である１又は複数の剛体２２１、及び好適に独立して剛体２２１を動かすのに好適な１又は複数のジョイント２２２を備えることができる。

【0031】

ジョイント２２２は、２つの隣接した本体２２１間で広がる角度を変えることによって、互いに剛体２２１を回転させるよう構成できる。

【0032】

好ましくは、ジョイント２２２は、逆運動学又は直接運動学に従って剛体２２１を動かす。したがって、明確に述べられなくても、ロボット２の各々の動き、したがって当該動きを定める命令は逆又は直接運動学に従って決定されるということが規定される。

【0033】

逆運動学という表現は、エンドエフェクタ２１の経路の動作空間での軌跡を定義したものである。したがって、個々のジョイント２２２の速度及び加速度は、当該エンドエフェクタの経路２１を有するように定められる。

【0034】

直接運動学という表現は、空間における軌跡の計算を同定したものであり、その中で、エンドエフェクタ２１の経路ではなく、個々のジョイント２２２の位置、速度、及び加速度が判定される。適宜、エンドエフェクタ２１の経路は、各ジョイント２２２の位置、速度、及び加速度の結果となる。

【0035】

各ジョイント２２２はモーター化されてもよく、詳細には、サーボモーターを備え得る。

【0036】

ドライバ２２は、歩行可能プレーン１０ａに沿ってロボット２を動かすよう構成される変位手段２２３を備え得る。

【0037】

変位手段２２３はモーター化され得る。例えば、それらは少なくとも１つのクローラー又は車輪を備え得る。

【0038】

ロボット２は、少なくとも１つの好適な周囲環境パラメータを取得するため、及び／又はロボット２と対象１ａとの相互作用のためのセンサ２３を備え得る。

【0039】

センサ２３は、各々が周囲環境パラメータ及び相互作用パラメータから選択されるパラメータを取得するよう構成された１つ又は複数のセンサを備え得る。好ましくは、それは少なくとも１つの周囲環境パラメータ及び少なくとも１つの相互作用パラメータを取得するよう構成される。

【0040】

「周囲環境パラメータ」という表現は、ロボット２にとって外部であるパラメータと同定され、したがって、その動作に関連するものではない。周囲環境パラメータは、周囲環境１０に特有の物理的状態（例えば、温度、湿度、輝度）、及び／又は対象１ａの特徴（例えば、形状及び／又は重量）であり得る。

【0041】

「相互作用パラメータ」という表現は、対象１ａと相互作用／操作するときのロボット２の動作に関連するパラメータと同定される。それは、例えば、エンドエフェクタ２１の把持位置及び／又は力において、又は、エンドエフェクタ２１の対象１ａの接触温度において同定され得る。

【0042】

少なくとも１つの周囲環境パラメータを取得する場合、感知手段２３は、温度計、光検出器、湿度計から選択される１つ又は複数のセンサ、又はカメラなどの対象１ａを写すための手段を備え得る。

【0043】

相互作用パラメータの場合、センサ２３は、温度計、圧電気、各ジョイント２２２用のエンコーダから選択される１つ又は複数のセンサを備え得る。

【0044】

センサ２３は、ロボット２の動きを定めるのに必要な命令を定めることを可能にするように、ロボットの動きを取得するよう構成できる。

【0045】

ロボット２は、ロボット２、特に少なくともエンドエフェクタ２１及びドライバ２２を制御するためのカード２４を備え得る。

【0046】

カード２４は、センサ２３とデータ接続し得る。

【0047】

相互作用手順１は、エンドエフェクタ２１（好ましくはドライバ２２）を動かし、したがって１又は複数の対象１ａと相互作用するための命令を定めてロボット２に送信するよう構成される命令ブロック３を備え得る。

【0048】

命令ブロック３は、ロボット２、詳細にはコンピュータ２４とデータ接続することができる。

【0049】

ブロック３は、周囲環境１０で対象１ａを位置特定し、対象１ａの相互作用（取扱い、把持、及び／又は移動）を実行するために必要なコマンドを定めてロボット２に送信するよう構成され得る。例えば、ブロック３は、周囲環境１０に存在していれば対象１ａを位置特定し、対象１ａを把持し、当該対象１ａに関する１又は複数の動作を実行し、次に、それを周囲環境１０において位置特定される場所で貯めるように、ロボット２にすることを命令するよう構成され得る。

【0050】

命令ブロック３は、操作者が当該コマンドを入力するのを可能にするよう構成されるコンピュータ又は他のデバイスを備え得る。

【0051】

代替的に、命令ブロック３は、操作者が、動作をシミュレートして、次に操作者の動きに従ってロボット２へ当該コマンドを送信するのを可能にするように、少なくとも部分的にウエアラブルであってよい（図１）。それは、センサ２３によって取得されたパラメータの少なくとも一部を操作者に提示するよう構成されたビジュアライザ３１；及び操作者によって実行された動きを取得し、ロボットが当該動きを反復することを可能にするのに必要なコマンドをロボット２に送信するよう構成された取得手段３２を備え得る。

【0052】

取得手段３２は、操作者の手の動きを検出し、ロボット２に命令を送信し、例えば、当該手の動きがエンドエフェクタ２１によって実行されることを可能にするよう構成されたセンサ化されたグローブを備え得る。

【0053】

代替的に、手段３２は、操作者の動きを検出し、次にロボット２に命令を送信し、当該動きが実行され得るよう構成されたセンサ化されたスーツを備え得る。

【0054】

命令ブロック３は少なくとも１つのカメラ３３を備え得、ビューワ３１は、カメラ映像を見るためのスクリーン（例えば、仮想グラス）を備え得る。

【0055】

カメラ３３は、ロボット２の中に統合され得る（図１）。

【0056】

代替的に、カメラ３３は部屋１０に統合され得る。好ましくは、命令ブロック３は、各部屋１１に対して、部屋の中の対象１ａ及び／又はロボットを取り込むよう構成された少なくとも１つのカメラ３３を備える。

【0057】

相互作用手順１は、特定の点（例えば、２つの部屋１１の間、部屋の中の対象（及び／又は同じ部屋のゾーンの間））で、ロボット２の通過の検出によりロボット２の経路を識別するセンサ２３により検出されるよう構成される少なくとも１つのマーカ４を備え得る。相互作用手順１は、各通過区間１２に関連付けられたマーカ４を備え得、センサ２３が当該通過区間１２を介して通過を検出するようにする。

【0058】

代替的に、又はさらに、それは、センサ２３が当該部屋１１へのロボット２の進入を検出することを可能にするために、各部屋１１に関連付けられた少なくとも１つのマーカ４を備え得る。

【0059】

代替的に、又は１又は複数のマーカ４に加えて、ロボット２は、経路に沿って要素（例えば、家具、ドア、又は対象１ａ）を取得、したがって識別するよう構成されたセンサ２３のおかげで自身の経路を検出できる。ロボットは、次に、当該センサ２３により検出される１つ又は複数の要素に対するその位置に従って、自身の経路を検出する。

【0060】

プロセス１は、ロボット２制御コンピュータ５を備え得る。任意選択で、それはいくつかのロボット２、及び当該ロボット２を制御するコンピュータ５を備える。

【0061】

コンピュータ５は、センサ２３（すなわち、それから取得されるパラメータのうちの１又は複数）及び以下に記載される命令に従って、エンドエフェクタ２１（及び好ましくはドライバ２２）を制御するよう構成され得る。

【0062】

それは、ロボット２、詳細にはボード２５及び／又はセンサ２３とデータ接続され得る。

【0063】

コンピュータ５は、命令ブロック３とデータ接続され得る。

【0064】

コンピュータ５は、アクションを、シーン終了コマンドに従った連続したシーンに分割するよう構成され得る。特に、それは各シーン終了コマンドに対してアクションをシーンに分割できる。

【0065】

シーン終了コマンドは、自動的及び／又は手動で与えることができる。

【0066】

自動のシーン終了コマンド場合、コンピュータ５は、現実／仮想アクション（以下にて記載）を実行している間、経過時間を測定するよう構成されたクロックを備え得、次に、シーンの持続期間と実質的に等しい通過時間でシーン終了コマンドを与える。

【0067】

手動でのシーン終了コマンドの場合、コンピュータ５は、ブロック３を介して、例えば少なくとも閾値の時間にわたってある位置をつかむなどの、操作者により実行されるコマンドアクションを検出すると、シーン終了コマンドを与え得る。代替的に、ブロック３は、操作者がシーン終了コマンドを送信したいと望んだときに、作動されるよう構成されている信号部（ボタンなど）を備え得る。

【0068】

代替的に、又はさらに、自動のシーン終了コマンドは、ロボット２によるマーカ４の検出によって、又はセンサ２３による周囲環境１０の要素の識別によって与えることができる。

【0069】

コンピュータは、以下に記載するアクションデータベースを備え得る。

【0070】

相互作用手順１は、少なくとも１つの学習フェーズ６を備え得、その中で命令ブロック３は、ロボット２はエンドエフェクタ２１を動かす仮想アクションを定め、コンピュータ５はロボット２に、当該仮想アクションに従った現実アクションを実行するよう命じ、センサ２３は、現実アクションを実行する間、１つ又は複数のパラメータを取得する。

【0071】

仮想アクションは、学習フェーズにおいて命令ブロック３から受信した命令に従って、ロボット２により学習される動きを識別する１又は複数の命令を備える。

【0072】

現実アクションは、仮想アクションの命令に従ってロボット２が実行する、１又は複数の動きを含む。現実アクションの動きは、連続する仮想アクションの命令に従って実行される。現実アクションは、したがって、仮想アクションと同様、また任意選択で同じであってよい。

【0073】

現実アクションは、シミュレートのみ（ロボット２の動き及び／又は１又は複数の対象１ａの操作なしで）、及び／又は現実（ロボット２の動き及び／又は１又は複数の対象１ａの操作ありで）であり得る。それが現実であると好ましい。

【0074】

好ましくは、相互作用手順１は複数の学習フェーズ６を備える。したがって、ブロック３は少なくとも部分的に互いと異なることが好ましい複数の仮想アクションを定め得て、したがって、ロボット２は複数の現実アクションを実行する。

【0075】

各学習フェーズ６はシミュレーションサブフェーズ６１を備えることができ、その中で命令ブロック３は、ロボット２がエンドエフェクタ２１を動かす仮想アクションを定める。

【0076】

シミュレーションサブフェーズ６１で、命令ブロック３は仮想アクションを定め、ロボット２に当該仮想アクションに対応する現実アクションを実行するのに必要な命令を送信する。

【0077】

いくつかの場合、仮想アクションは、適切にも少なくとも１つの通過区間１２を介した、２つ又はそれより多くの部屋１１間のロボットの通過に関する命令を備え得る。

【0078】

任意選択で、１又は複数のシーン終了コマンドは、シミュレーションサブフェーズ６１にて与えられ得る。

【0079】

学習フェーズ６は、反復サブフェーズ６２を備え得、その中でコンピュータ５はロボット２に、当該仮想アクションに従って現実アクションを定める１又は複数の動きを実行するよう命じる。

【0080】

反復サブフェーズ６２において、コンピュータ５はロボット２に、仮想アクションの命令に従って、現実アクションを定める１又は複数の動きを実行するよう命じる。

【0081】

好ましくは、サブフェーズ６２において、コンピュータ５はロボット２に、仮想アクションにて実行されるアクションを実質的に反復するよう命じる。したがって、現実アクションは仮想アクションと実質的に同じである。

【0082】

反復サブフェーズ６２において、仮想アクションで設けられると、ロボット２は、少なくとも１つの通過区間１２を介して１つの部屋１１から別の所に動かせる。

【0083】

学習フェーズ６は取得サブフェーズ６３を備え得、その中でセンサ２３は、反復サブフェーズ６２の間に亘り１つ又は複数のパラメータを取得する。

【0084】

サブフェーズ６３において、センサ２３は他の周囲環境パラメータ（例えば周囲環境１０の輝度、圧力、及び／又は温度）及び／又は１又は複数の相互作用パラメータ、例えばエンドエフェクタ２１の把持及び／又はそれに加える力を取得できる。

【0085】

好ましくは、取得サブフェーズ６３にて、センサ２３は、周囲環境１０の対象１ａの存在をロボット２が検出するのを可能にするために、対象１ａの少なくとも周囲環境パラメータ（例えば、形状及び／又は色）を取得できる。

【0086】

任意選択で、センサ２３は、実行される経路をコンピュータが識別するのを可能にするよう少なくとも１つのマーカ４を取得できる。代替的に、又は１又は複数のマーカ４に加えて、センサ２３は周囲環境１０の１つ又は複数の要素を取得でき、ロボット２は、当該センサ２３により検出される１つ又は複数の要素に関する位置に従って自身の経路を定める。

【0087】

取得サブフェーズ６３において、センサ２３は、当該動きを反復するためにロボット２が後続的に実行しなければならない動きを定めるのに必要な命令を定めるのを可能にするロボット２の動きを取得できる。

【0088】

取得サブフェーズ６３は、コンピュータ５に、取得パラメータ、１又は複数のシーン終了コマンド、及びロボット２の動きに関する銘を送信することにより完了する。

【0089】

サブフェーズ６１、６２及び６３はほぼ同時に実行できる。

【0090】

相互作用手順１は、解析フェーズ７を備え得て、その中で学習フェーズ６において実行される実際のアクションの各々が、連続するシーンに分割される。

【0091】

解析フェーズ７において、コンピュータ５は、適切にも少なくとも１つのシーン終了コマンドに従って、現実アクションの各々を、最初のシーン、終わりのシーン、また好ましくは最初及び最後のシーンの間の少なくとも１つのシーンに分割できる。

【0092】

コンピュータ５は、ロボットにより実行される動作を定めるロボット２に対する１又は複数の命令を、各シーンと関連付けることができる。当該命令は、取得サブフェーズ６３において検出されるロボット２の動きに従って定められる。

【0093】

いくつかの場合、最初のシーンは命令に関連付けられなくともよい。

【0094】

コンピュータ５は、学習フェーズ６でのシーンの実行の間、詳細にはシーンの始め、すなわちシーン終了コマンドを受信した直後に取得されるパラメータ（環境的及び／又は相互作用）に対応する少なくとも１つの値に、各シーンを関連付けることができる。

【0095】

本文献では、「値」という用語は、学習フェーズ６でセンサ２３により記録され、適切に以下のアクションデータベースに格納されるパラメータであると同定される。

【0096】

好ましくは、コンピュータ５は、学習フェーズ６で取得されるパラメータの各々に対する値を、各シーンに関連付ける。

【0097】

相互作用プロセス１は、再処理フェーズ８を備え得、その中でコンピュータ５は、単一の最初のシーン及び複数の最後のシーンを備える合成アクションを定めるために最初のシーンと関連付けられる、実質的に同じ少なくとも１つの値を有する実際のアクションを、互いに関連付けることによって、アクションデータベースを作成する。

【0098】

好ましくは、同じ値を有する最初のシーンを有する実際のアクション、及び任意選択で、同じ命令が互いに関連付けられる。

【0099】

最後のシーンの数は、互いにグループ化された現実アクションの数と実質的に等しくなり得る。

【0100】

１又は複数の中間シーンがある場合、２又はそれより多くのこれらは、それらが実質的に同じ命令及び任意選択で同じ値を有する場合のみ統合され得る。

【0101】

まとめると、合成アクションは、いくつかの最後のシーンが分岐する起点である、単一の最初のシーンを有する。存在する場合、間のシーンは、各最後のシーンを最初のシーンに連結させる１又は複数の分岐を識別できる。

【0102】

アクションデータベースにおいて、各々のシーンは、ロボット２に対する１又は複数の命令に関連付けることができる。

【0103】

合成アクションの各シーンは、少なくとも１つの値、すなわち当該合成アクションに統合される現実アクションの各学習フェーズ６におけるシーンの実行の間に、センサ２３により取得される１つ又は複数のパラメータと、関連付けることができる。詳細には、様々な学習フェーズ６のシーンの実行の間に同じセンサによって検出されるパラメータの各々に対して、シーンは、そのようなパラメータが互いにほぼ等しいのであれば、１つの値のみに関連付けられ；一方で、そのようなパラメータが互いに異なるのであれば、シーンは、学習フェーズ６においてセンサにより検出されるパラメータにそれぞれが対応しているいくつかの値に、関連付けられる。

【0104】

シーンの各々の値は、シーンの実行順序を同定するのを可能にするよう、当該シーンに後続する少なくとも１つのシーンにリンクされる。本文献において、「次のシーン」という表現は、所与のシーンに隣接する又は直接続くシーンと同定される。

【0105】

同じセンサにより検出されるパラメータから派生した異なる値の場合、これらの値の各々は、続くシーンの一部のみとリンクされ得る。詳細には、合成アクションの代替的なシーン間の分岐の上流にある少なくとも１つのシーンは、値に関連付けることができ、その各々は、後続の代替的なシーンの一部のみ（詳細には、１つのみ）に連結され、ロボット２が、代替的なシーンのいずれが当該値に基づいて実行されるかを識別できるようにする。

【0106】

相互作用手順１は、実行フェーズ９を備え得、その中で、ロボット２は、好適に自動モードで、アクションデータベースのアクションの１つを実行する。

【0107】

詳細には、実行フェーズ９において、センサ２３は、当該少なくとも１つのパラメータを検出することによって最初の因子を定め、コンピュータ５は、アクションデータベースの中で、最初の因子と実質的に等しい初期の値を有する合成アクションを選択し、ロボット２に、識別された合成アクションの最初のシーンに続くシーンに従って動作を実行するよう命じ；コンピュータ５は、ロボット２に、アクションデータベースにおいて、次のもの（したがって依然実行される）の前のシーンの１つ又は複数に関連付けられた少なくとも１つの値を、次のものの前の動作の１又は複数における少なくとも１つのパラメータを検出することによって取得される少なくとも１つの因子と比較することによって選択される合成アクションに関連付けられる次のシーンの中から実行される次の動作を実行するよう命じる。

【0108】

本文献では、「因子」という用語は、実行フェーズ９においてセンサ２３により記録されるパラメータと同定される。

【0109】

実行フェーズ９は、取得サブフェーズ９１を備え得て、その中でセンサ２３は、当該少なくとも１つのパラメータを検出することによって、少なくとも１つの最初の因子を定める。

【0110】

最初の因子は、ロボット２の開始時、すなわちいずれかのアクションを実行する前に、取得される。

【0111】

好ましくは、取得サブフェーズ９１において、センサ２３は、すべてのパラメータを取得し、次にこれらの各々に対して最初の因子を定める。

【0112】

取得サブフェーズ９１において、ロボット２は、実質的に静止していてもよい。

【0113】

実行フェーズ９は、実行される合成アクションの識別サブフェーズ９２を備え得る。

【0114】

識別サブフェーズ９２において、コンピュータ５は、アクションデータベースにおいて、当該最初の因子と実質的に等しい初期の値を有する合成アクションを選択する。詳細には、コンピュータ５は、アクションデータベースにおいて、サブフェーズ９１に定められているすべての最初の因子と実質的に等しい初期の値を有する合成アクションを選択する。

【0115】

合成アクションを識別すると、展開サブフェーズ９３は、コンピュータ３により完了され、それは初期のものに続くシーンを実行するようロボット２に命じる。実行フェーズ９は、少なくとも１つの展開サブフェーズ９３を備え得、その中でロボット２は、識別されたシーンに従った動作、特にそれと関連付けられた命令を実行する。

【0116】

実行フェーズ９は、したがって、少なくとも１つの選択サブフェーズ９４を備え得て、その中でコンピュータ５は、組成されたアクションのシーンの間で、実行すべき次のシーンを識別し、次にロボット２に当該次のシーンに従って動作を実行するよう命じる。

【0117】

このサブフェーズ９４で、コンピュータ５は、次のシーンの間から、続く展開サブフェーズ９３で適切に実行される次のシーンを識別する。

【0118】

この選択は、当該次のシーンの前の少なくとも１つのシーンの少なくとも１つの値を、それまでに実行されたアクションにおいて定められた因子のうちの１又は複数と比較することによって、実行され得る。実行される次のシーンは、以前の動作において検出されたパラメータに対応する１又は複数の因子と実質的に等しい少なくとも１つの前のシーンの１又は複数の値に連結される1つにし得る。

【0119】

この値－因子の比較は、初期のものまで、すべてのアクション及びシーンに対して実行され得る。

【0120】

次のシーンを識別したら、コンピュータ５は、ロボット２に、当該次のシーンに従って動作を実行し、次に、新たな展開サブフェーズ９３及び新たな選択サブフェーズ９４を実行するよう命じる。

【0121】

実行フェーズ９は、選択サブフェーズ９４で最後のシーンが次のシーンとして選択され、次に、次の展開サブフェーズ９３で最後の動作が当該最後のシーンに従って実行されると終了する。

【0122】

手順の説明を明白にするため、相互作用１の手順の例示的な適用を行う。

【0123】

最初に、手順は、２つの学習フェーズ６の実行、すなわちシミュレーション６１、反復６２、及び取得６３の第１のサブフェーズを含む第１のフェーズ６、及びシミュレーション６１、反復６２、及び取得６３の第２のサブフェーズを含む第２の学習フェーズ６を備える。

【0124】

第１のシミュレーションサブフェーズ６１において、操作者は、命令ブロック３によって、グラスを位置特定すること、空っぽのグラスを第１の部屋１２から拾い上げること、第２の部屋１２に到達すること、ピッチャーでグラスを満たすこと、及びグラスをトレイに配置することを含む第１の仮想アクションをシミュレートする。仮想アクションの各部分の終わりに、操作者はこの例の５つのシーンを定めるシーン終了コマンドを与える。

【0125】

第１のサブフェーズ６１と同時に、ロボット２が、ブロック３から到達する信号に従ってコンピュータ５により誘導されて、前述のアクションを反復する、第１の反復サブフェーズ６２；及び、センサ２３が、好ましくは連続して、グラス識別パラメータ；グラス拾い上げ命令及び空っぽのグラスの重量；部屋変更命令１２（１つ又は複数の要素の識別及び／又は１又は複数のマーカ４）；ジョッキ識別パラメータ及びグラス充填命令；及び最終トレイ識別パラメータ（対象配置場所１ａ）及びトレイへのグラス配置命令を取得する第１の取得サブフェーズ６３が存在する。

【0126】

いったん第１の学習フェーズ６が完了すると、手順は第２の学習フェーズ６を設ける。

【0127】

第２のシミュレーションサブフェーズ６１において、操作者は、命令ブロック３によって、グラスを位置特定すること、満杯のグラスを第１の部屋１２から拾い上げること、第２の部屋１２に到達すること、及びグラスをトレイに配置することからなる第２の仮想アクションをシミュレートする。この第２の仮想アクションの各部分の終わりに、操作者はこの第２の例示的な４つのシーンを定めるシーン終了コマンドを与える。

【0128】

第２のサブフェーズ６１と同時に、ロボット２が、ブロック３から到達する信号に従ってコンピュータ５により誘導されて、前述のアクションを反復する、第２の反復サブフェーズ６２；及びセンサ２３が、好ましくは連続して、グラス識別パラメータ；グラス拾い上げ命令及び満杯のグラスの重量；部屋変更命令１２；及びトレイ識別パラメータ及びトレイへのグラス配置命令を取得する、第２の取得サブフェーズ６３が存在する。

【0129】

すべてのフェーズ６を完了させると、相互作用手順１は、解析フェーズ７を設け、その中で２つのアクションが、関連付けられた命令及び各シーンで取得されたパラメータでシーン終了コマンドに従ったシーンに分けられる。

【0130】

第１の現実アクションは、グラスの位置特定をするという最初のシーン、第１の部屋１２から空っぽのグラスを拾い上げるという第１の中間シーン、第２の部屋１２に到達するという第２の中間シーン、ピッチャーでグラスを満たすという第３の中間シーン、及びグラスをトレイに配置するという最後のシーンに細分化される。

【0131】

第２の現実アクションは、グラスの位置特定をするという最初のシーン、第１の部屋１２から満杯のグラスを拾い上げるという第１の中間シーン、第２の部屋１２に到達するという第２の中間シーン、及びグラスをトレイに配置するという最後のシーンに細分化される。

【0132】

この時点で、シーンの再処理フェーズ８、次にアクションデータベースの作成がある。

【0133】

この例において、最初のシーンが同じであるため、合成アクションは、２つの最後のシーン、詳細には第２の中間シーンの終わりの分岐に関して定められる。

【0134】

正確には、合成アクションは、値「グラスの識別」に関連付けられる最初のシーン；拾い上げ命令及び２つの値（満杯のグラスの重量及び空っぽのグラスの重量）に関連付けられる第１の中間シーン、及び部屋１２変更命令（１又は複数のマーカ４及び／又は周囲環境１０の１つ又は複数の要素の検出）という第２の中間シーンを設ける。したがって、合成アクションは、分岐（すなわち、異なる動作を実行する可能）を設ける。分岐の第１の分岐で、合成アクションは、グラスを満たすことに関連付けられる第３のシーン、及びグラスをトレイに配置する最後のシーンを備え；第２の分岐において、合成アクションは、グラスをトレイに配置するという最後のシーンのみを備える。

【0135】

第１の分岐は、第１の中間シーンの空っぽのグラスの重量の値にリンクされ、また第２の分岐は第１の中間シーンの満杯のグラスの重量の値にリンクされる。

【0136】

この時点で、実行フェーズ９が発生し得る。

【0137】

取得サブフェーズ９１において、センサ２３は グラスを検出／識別し、したがって対応する最初の因子を定める。

【0138】

識別サブフェーズ９２において、コンピュータ５は、当該最初の因子と実質的に等しい初期の値の最初のシーンを有する合成アクションのためのアクションデータベースを探し、最初のシーンに続くシーン、すなわち第１の中間シーンを実行することを命じる。サブフェーズ９１及び９２は、アクションデータベースに存在する初期の値に対応する最初の因子の検出後にのみ終了させることができることに留意されたい。

【0139】

次に、展開サブフェーズ９３があり、その中で、第１の中間シーンに従って、ロボット２は、グラス（例えば、満杯）の拾い上げ動作を実行し、センサ２３は、グラスの重量に相対的な因子を取得する。

【0140】

この時点で、選択サブフェーズ９４が存在し、その中でコンピュータ５は、取得因子に関連する１つに対して第１の中間シーン（すなわち、１又は複数の第２の中間シーン）に後続するシーンの間から探す。この場合、第２の中間シーンのみ存在するので、コンピュータ５は実行を命じる。

【0141】

実行フェーズ９は、次に、実行９３の新たなサブフェーズを設け、その中でロボット２は、第２の中間シーンに従って動作を実行する。次に、それは第１の部屋１２から第２の部屋１２に動き、センサ２３は、マーカ４及び／又は検出された要素に対応する取得因子を取得する。

【0142】

最後のシーンが実行されていないので、新たな選択サブフェーズ９４が生じ、コンピュータ５が第２の中間シーンに続くシーンの中から、取得因子に連結された１つを探す。

【0143】

２つの可能な連続するシーンがあるため、コンピュータ３は、以前の動作で取得された因子の間を探し、以前のシーン（すなわち第２の中間シーン、第１の中間シーン、及び最初のシーン）のものは、対応するサブフェーズ９３で取得された因子に対応する値を有する。詳細には、それは、「満杯のグラス」の因子の検出を第１のサブフェーズで識別することによって、対応する値が第２のケースの最後のシーンに関連付けられることを検出し、次のシーンとして第２のケースの最後のシーンを認識し、その実行を命じる。

【0144】

実行フェーズ９は、最後のシーンに従った動作を実行するという新たなサブフェーズ９３を設ける。詳細には、ロボット２は、部屋１２の中でトレイを探し、それを識別して、グラスをトレイに配置して戻す。

【0145】

この展開サブフェーズ９３の終了で、フェーズ９は、識別された合成アクションの最後のシーンが実行されたと結論付けられる。

【0146】

本発明に係る相互作用手順１は、重要な利点を達成する。

【0147】

事実、手順１は、ロボット２に実際的で速い方法で命令し、何よりも、特定のアクションデータベースを迅速に更新することを可能にする。

【0148】

別の利点は、アクションデータベースの作成と使用に関し、相互作用手順１により、複雑で高価な構造なしで、実行されるべき正しいアクションを識別する際のエラーなしに複数の独自の動作を管理できるという事実にある。

【0149】

この利点はまた、いくつかのロボット２を正確、簡素、及び高速な方法で同時に制御できる可能性に言い換えられる。

【0150】

別の利点は、ロボット２に対する命令の簡素さである。

【0151】

別の利点は、したがって、相互作用手順１の高い柔軟性において識別され、それは事実、センサ２３の特定の使用により、ロボット２が、実行すべき動き及び／又は相互作用する対象１ａにおける変更に適合することが可能になるため、継続的な再プログラミングは必要ないということである。例えば、事実、ロボット２は、周囲環境１０における位置、及び／又は位置特定の場所に関係なく、対象１ａを識別することが可能で、いずれかの作動状態に迅速に適合でき、したがって対象１ａを配置するため最速の動きを実行する。

【0152】

本発明は、特許請求の範囲により定義される発明概念の範囲の中で変形に供される。

【0153】

例えば、少なくとも相互作用プロセス１の場合、カード２４及びコンピュータ５が一致し得る。

【0154】

さらに、選択サブフェーズ６３で次のシーンを選択する場合、コンピュータは次のシーンとして、少なくとも１つの以前の動作にて取得された因子に最も近い値に連結された１つを選択できる。

【0155】

いくつかの場合、命令は、対象１ａ及び／又はロボット２の最終位置を識別するのみであり得る。したがって、ロボット２が、センサ２３によって取得されるパラメータに基づいて、この最終位置に達するために実行される動きを自動的に定める。例えば、命令は、場所の上の対象１ａの位置を識別し得、次にロボット２は当該対象１ａを当該場所に配置するように、どの動きを実行するかを自ら定める。

【0156】

いくつかの場合、センサ２３はカメラを備え得、表示スクリーン３１はカメラ映像を表示できる。

【0157】

そのような実施形態において、すべての詳細は、同等の要素及び材料で置き換えることができ、形状及びサイズは任意であり得る。

【図1】

【図2a】

【図2b】

【図3】

【図4】

【国際調査報告】