特表 2024-540206 デモンストレーションによるロボットのプログラミングのための装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-31

(54)【発明の名称】デモンストレーションによるロボットのプログラミングのための装置および方法

(51)【国際特許分類】

   B25J 9/22 20060101AFI20241024BHJP

   G05B 19/42 20060101ALI20241024BHJP

   G06F 3/0346 20130101ALI20241024BHJP

【ＦＩ】

B25J9/22 A

G05B19/42 H

G06F3/0346 422

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024525803

(86)(22)【出願日】2022-10-25

(85)【翻訳文提出日】2024-05-24

(86)【国際出願番号】 IB2022060252

(87)【国際公開番号】W WO2023073562

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】102021000027485

(32)【優先日】2021-10-26

(33)【優先権主張国・地域又は機関】IT

(81)【指定国・地域】

(71)【出願人】

【識別番号】524159594

【氏名又は名称】グランス ビジョン テクノロジーズ エス．アール．エル．

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100202751

【弁理士】

【氏名又は名称】岩堀 明代

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(74)【代理人】

【識別番号】100191086

【弁理士】

【氏名又は名称】高橋 香元

(72)【発明者】

【氏名】ペッレグリーノ，フェリーチェ アンドレア

(72)【発明者】

【氏名】ヴァンゼラ，ウォルター

【テーマコード（参考）】

3C269

3C707

5B087

【Ｆターム（参考）】

3C269AB33

3C269BB09

3C269QC10

3C269SA04

3C269SA07

3C269SA11

3C269SA14

3C269SA19

3C707BS10

3C707BS15

3C707KS03

3C707KS04

3C707KS06

3C707KT01

3C707KT02

3C707KT05

3C707KT06

3C707LV01

5B087AA07

5B087AB02

5B087BC03

5B087DG02

(57)【要約】

本発明は、コンピュータ実装方法を通じて１つ以上のカメラとの対話を可能にする基準マーカーを含む新規の受動的なポインティングデバイスに基づいてロボットをプログラミングするための装置に関する。ロボットに一体になったカメラを利用することによって、コンピュータ実装方法およびポインティングデバイスは、ロボットプログラミング中に、オンボードカメラとポインティングデバイスとの間の相対的なポーズを実質的に一定に保つために、ロボットの位置をリアルタイムで変更することを可能にする追跡機構を有効にする。このようにして、人間のオペレータは、デモンストレーションによって、すなわち、コンピュータ実装方法の実行中に、ポインタを所望の位置および配向に配置することによって、ロボットツールのポーズを有利に設定することができる。したがって、既知のシステムに比べて、ニーズに応じて調整可能な、より広い作業空間および高い精度が達成される。この装置は、ロボットの手首に取り付けられた受動的ポインタおよびカメラを含み得る。
【選択図】図３

【特許請求の範囲】

【請求項1】

ロボット（５０）をプログラミングするための装置（１）であって、
前記ロボット（５０）が動作する作業空間のポイントに配置可能なポインティングデバイス（１０）と、
突出要素（１１２）を有するターゲット本体（１１１）、および
前記本体（１１１）および前記突出要素（１１２）の表面にパターンに従って配置された複数のマーカー（１１３、１１３’）
を備える前記ポインティングデバイス（１０）と一体になったターゲット（１１）と、
前記ロボット（５０）と一体になった１つ以上のモバイルビデオカメラ（２０）、および任意選択で１つ以上の固定式ビデオカメラ（６０）と、
前記１つ以上のカメラ（２０、６０）または前記ポインティングデバイス（１０）に関連付けられた少なくとも１つの処理ユニット（３０）であって、実行可能なソフトウェアを記憶する処理ユニット（３０）と、
起動手段（１２）であって、オペレータによって起動されると、前記カメラ（２０、６０）が前記ソフトウェアと関連して、前記ターゲット（１１）、したがって前記ロボット（５０）に取り付けられた前記ツール（５２）の前記作業空間における１つ以上の位置および配向をリアルタイムで検出することを可能にする起動手段（１２）と
を備えることを特徴とするロボット（５０）をプログラミングするための装置（１）。

【請求項2】

前記ポインティングデバイス（１０）が、前記オペレータによる把持を容易にするように設計された本体（１０２）を有し、前記ターゲット（１１）が、前記ポインティングデバイス（１０）の前記本体（１０２）の下部（１０３）または上部（１０１）に固定されるか、または前記ターゲット（１１）が、オペレータが前記ターゲット（１１）を前記本体（１０２）上の下部（１０３）と上部（１０１）との間の位置に移動させることができるように前記本体（１０２）にスライド可能に拘束される、請求項１に記載のロボットをプログラミングするための装置。

【請求項3】

前記起動手段（１２）は、オペレータによって起動されると、前記カメラ（２０、６０）が前記ソフトウェアと関連して、作業ボリューム内の前記ターゲット（１１）の単一の位置および配向、または複数の位置および配向をリアルタイムで検出することを可能にするボタンの形であり、
前記ポインティングデバイス（１０）が、実質的に受動的なタイプのもの、すなわち、前記起動手段（１２）を介して前記オペレータによって与えられた前記コマンドの前記処理ユニット（３０）への通信のみを可能にするように構成された電子ユニットを含む
請求項１または２に記載のロボットをプログラミングするための装置。

【請求項4】

前記ボタン（１２）が、前記本体（１０２）に配置されるか、あるいは、別個のポータブルデバイスに配置され、高精度の用途において前記ポインティングデバイス（１０）の最大限の安定性を保証するために、好ましくは、前記ポインティングデバイス（１０）を保持していない手によって起動されるようになっている、請求項３に記載のロボットをプログラミングするための装置。

【請求項5】

前記別個のポータブルデバイスが前記ロボットティーチペンダントである、請求項４に記載のロボットをプログラミングするための装置。

【請求項6】

前記起動手段（１２）が、前記ポインティングデバイス（１０）を保持する前記オペレータのサインまたはジェスチャを解釈するのに適したジェスチャベースの入力モードを実装するための第３のソフトウェアモジュールであり、前記第３のソフトウェアモジュールが、前記作業ボリューム内の前記ターゲット（１１）の単一の位置および配向、またはその複数の位置および配向をリアルタイムで検出するように構成され、前記ジェスチャベースの入力モードが、任意選択で、前記サインまたはジェスチャの視覚的および受動的な検出を容易にするために前記オペレータが装着する補助具によって補助され、前記補助具が、手袋、指輪、またはブレスレットであり、
前記ポインティングデバイス（１０）が完全に受動的なタイプのものであり、すなわち電子ユニットを含まず、
前記少なくとも１つの処理ユニット（３０）が前記１つ以上のカメラ（２０、６０）に関連付けられている
請求項１または２に記載のロボットをプログラミングするための装置。

【請求項7】

前記１つ以上のモバイルビデオカメラ（２０）が、前記ロボット（５０）の手首、または前記ロボット自体の移動軸、または前記ロボットと一体であって前記ロボットに属さない移動軸、またはそれらの組合せに固定されている、請求項１から６の１つ以上に記載のロボットをプログラミングするための装置。

【請求項8】

前記１つ以上の固定カメラ（６０）が、前記オペレータにとって危険な状態を検出するための主固定カメラ（６１１）、前記作業空間内の前記ターゲット（１１）の位置を特定するための追加の固定カメラ（６１２）、またはそれらの組合せである、請求項１から７の１つ以上に記載のロボットをプログラミングするための装置。

【請求項9】

前記１つ以上のビデオカメラ（２０、６０）が、前記ロボット（５０）と一体になった単一のモバイルカメラ（２０）であり、前記モバイルカメラが前記ロボット（５０）の手首に固定されている、請求項１から７の１つ以上に記載のロボットをプログラミングするための装置。

【請求項10】

前記１つ以上のビデオカメラ（２０、６０）が、
前記ロボット（５０）と一体になった単一のモバイルカメラ（２０）であって、前記モバイルカメラが前記ロボット（５０）の手首に固定されている、モバイルカメラ（２０）、および
前記主固定カメラ（６１１）または代替的に前記追加の固定カメラ（６１２）から選択される単一の固定カメラ（６０）
である、請求項１から８の１つ以上に記載のロボットをプログラミングするための装置。

【請求項11】

前記コンピューティングユニット（３０）が、前記１つ以上のビデオカメラ（２０、６０）と一体化されている、請求項１から１０の１つ以上に記載のロボットをプログラミングするための装置。

【請求項12】

オペレータによる把持を容易にするように設計された本体（１０２）を有するポインティングデバイス（１０）と、
前記ポインティングデバイス（１０）と一体になったターゲット（１１）であって、
突出要素（１１２）を有するターゲット本体（１１１）、および
前記本体（１１１）および前記突出要素（１１２）の表面にパターンに従って配置された複数のマーカー（１１３、１１３’）
を備えるターゲット（１１）と、
好ましくは前記ロボットの手首（５１）に取り付けられる、前記ロボットと一体になった単一のモバイルカメラ（２０）と、
前記ポインティングデバイス（１０）または前記単一のモバイルカメラ（２０）に関連付けられた処理ユニット（３０）であって、実行可能なソフトウェアを記憶する処理ユニット（３０）と、
起動手段（１２）であって、オペレータによって起動されると、前記カメラ（２０）が前記ソフトウェアと関連して、前記作業空間における前記ターゲット（１１）の単一の位置および配向、または複数の位置および配向、したがって前記ロボット（５０）に取り付けられた前記ツール（５２）の前記位置および配向をリアルタイムで検出することを可能にする起動手段（１２）と
を備えるロボットまたはコボット。

【請求項13】

前記ロボットまたはコボットが前記作業空間内の軌道に沿って移動できるようにキャリッジに搭載されている、請求項１２に記載のロボットまたはコボット。

【請求項14】

１つの固定ビデオカメラ（６０）をさらに含む、請求項１２または１３に記載のロボットまたはコボット。

【請求項15】

請求項１から１４の１つ以上に記載の装置を用いて、作業空間におけるロボット（５０）のツール（５２）の位置および配向をプログラミングするための方法であって、
ａ）モバイルカメラ（２０）を、好ましくは前記ロボット（５０）の手首（５１）に固定することによって、前記ロボット（５０）と一体にするステップと、
ｂ）マーカーパターン（１１３、１１３’）を有するポインティングデバイス（１０）を前記作業空間に配置するステップと、
ｃ）前記モバイルカメラ（２０）を用いて、前記ポインティングデバイス（１０）上の前記マーカーパターン（１１３、１１３’）をフレーミングするステップと、
ｄ）前記ポインティングデバイス（１０）に関連付けられた処理ユニット（３０）においてソフトウェアを実行するステップであって、前記ソフトウェアが、前記オペレータまたは他の手段が前記ポインティングデバイス（１０）を保持している間、前記パターン（１１３、１１３’）を追跡するなど、すなわち、前記オペレータまたは他の手段が前記ポインティングデバイス（１０）を保持している間、前記パターン（１１３、１１３’）が、所定の距離および傾きを保ったまま、前記モバイルカメラ（２０）によってフレーミングされるなど、前記ロボット（５０）の動きを引き起こす命令を含み、前記所定の距離および傾きが、位置決めおよび配向における全体的な誤差を低減するように選択される、実行するステップと、
ｅ）任意選択で、前記ポインティングデバイス（１０）の前記位置決めおよび配向における全体的な誤差を低減するために、前記ポインティングデバイス（１０）の先端に対する前記パターン（１１３、１１３’）の位置決めを変更するステップと、
ｆ）前記ポインティングデバイス（１０）の前記起動手段（１２）に作用して、前記カメラ（２０、６０）に対する前記パターン（１１３、１１３’）の座標（ｘ，ｙ，ｚ）および前記配向（α，β，γ）を検出し、変換Ｔ_ｏｂｊを用いて前記ポインティングデバイス（１０）のポーズ（（ｘ_０，ｙ_０，ｚ_０），（α_０，β_０，γ_０））を計算するステップと、
ｇ）前記ロボット（５０）の前記ツール（５２）に対する前記カメラ（２０）の相対的ポーズ（（ｘ_１，ｙ_１，ｚ_１），（α_１，β_１，γ_１））と、前記ロボット（５０）のベースに対する前記ツール（５２）の前記ポーズ（（ｘ_２，ｙ_２，ｚ_２），（α_２，β_２，γ_２））とに基づいて、前記ロボットベース（５０）に対する前記ポインティングデバイス（１０）の前記ポーズ（（ｘ_３，ｙ_３，ｚ_３），（α_３，β_３，γ_３））を計算し、検出される前記ポーズを取得するために、変換Ｔ_{ｃａｍ／ｔｏｏｌ}を操作するステップと、
ｈ）ステップｇ）で計算された前記ポーズ（（ｘ_３，ｙ_３，ｚ_３），（α_３，β_３，γ_３））を記憶し、必要に応じて前記オペレータが呼び出して使用できるようにするステップと
を含むことを特徴とする方法。

【請求項16】

前記ポインティングデバイス（１０）を保持する前記手段が、アクチュエータによって動かされるアームであるか、または第２のロボットである、請求項１５に記載のロボット（５０）のツールの空間における位置および配向をプログラムするための方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット、特に協働ロボット、すなわちコボットをプログラミングするためのデバイスおよび方法に関する。

【背景技術】

【0002】

ロボットは、産業や他の分野で、しばしば危険な様々な活動を行うために不可欠な機械となりつつある。現在、人型、ＳＣＡＲＡ型、パラレル型、ヒューマノイド型など、様々なタイプのロボットが利用可能である。それらは、サイズ、負荷容量、速度によって細分化することができる。「ロボット」という用語がいかに広い意味を持つかを示すために、草刈りや掃除機に使用されるよく知られている自律型家庭用機器は、実際にはロボットである。

【0003】

本発明を説明する目的で、ロボットは実質上、伝統的なロボットと、「コボット」とも呼ばれる協働ロボットの２つの大きなファミリに分けることができる。

【0004】

前者は、厳格な安全対策が必要な管理された環境で動作する。特に、作業サイクルの実行中、オペレータは安全な距離を保たなければならない。

【0005】

逆に、コボットは、積極的に協働するオペレータの近くで動作する必要がある。明らかに、人間のオペレータの安全を確保するための措置を採用する必要がある。

【0006】

通常、これらには、力センサーが装備されている。したがって、コボットは衝突を検出することができ、人にぶつかったときに停止することができる。

【0007】

過去も依然として現在も、協働ロボット（および伝統的なロボット）のプログラミングステップは、標準的なモードに従って実行され、要約すると、ロボットに取り付けられたツールを動かし、その位置を検証し、ツールのポーズ、すなわち位置および傾きを記録する必要がある。中程度の複雑さの工業プロセスでさえもモデル化するにはかなりの数のポーズが必要になるため、この手順は一般的に非常に時間がかかる。

【0008】

従来のロボットの場合、あらかじめ定義された一連の動作に従って様々なポーズでツールを位置決めするのは、「ティーチペンダント」という名前の特定のデバイスを用いて行われる。前記デバイスは、一般にロボットに付属しており、オペレータがツールを空間方向に移動させ、シーケンスの各単一のポーズを設定し、特定のポーズを記憶または削除するために使用するインターフェースを有するポータブルコンソールからなる。このロボットの命令方法は、しばしば「ポイントツ－ポイント」プログラミングと呼ばれる。

【0009】

ティーチペンダントには、場合によっては、遠隔支援を容易にする（ＡＢＢ Ｒｅｓｅａｒｃｈ Ｌｔｄ名による文書ＷＯ２０１０１３０２８９Ａ１に特許請求されている）、またはロボットプログラミングを容易にするために拡張現実環境を生成する（それぞれ青島大学およびＦａｎｕｃ Ｃｏｒｐ名の出願ＵＳ２０２１０２３６９４Ａ１およびＵＳ２０２０３８４６４７Ａ１に特許請求されている）カメラが装備されている可能性がある。

【0010】

しかしながら、協働ロボットの場合、あらかじめ定義されたポーズでコボットを位置決めするには、ティーチペンダントが必要であるか、あるいは、オペレータがほとんど労力をかけずにコボットを手動でドラッグして様々なポーズで配置することができる「運動感覚ティーチング」である特別なプログラミングモードが必要である。

【0011】

運動感覚ティーチング（例えば、Ｕｎｉｖｅｒｓａｌ Ｒｏｂｏｔｓ Ａ／Ｓ名の出願ＷＯ２０１７／１７８４６９に記載されている）は、オペレータがプログラムの一連の動作で必要とされるすべてのポーズでコボットを配置する必要があるため、非常に時間がかかる。加えて、微細な位置決め、すなわち非常に正確なツールの位置決めには、通常、ティーチペンダントを介したさらなる調整が必要である。

【0012】

カメラおよび基準マーカーは、ロボット工学で広く使用されている。これらの両方を使用する解決策は、例えばＤＭＧ Ｍｏｒｉ Ｃｏ ＬｔｄおよびＳｋｙｌｌａ Ｔｅｃｈ名の出願ＷＯ２０２１０５０６４６Ａ１に記載されている。この文書は、工作機械の周りを移動できるロボットに取り付けられたデバイスに関するものである。ロボットアームに取り付けられたカメラが、平らなセラミック表面に置かれた「識別図形」を検出する。その目的は、複数のワークステーションでロボットを使用できるようにし、ロボットがあるステーションから別のステーションに移動された後も、ロボットが最初のステーションに配置されたのと同じように配置されることを確実にすることである。しかしながら、ＷＯ２０２１０５０６４６Ａ１に開示されている基準マーカーの使用は、ロボット、特にコボットをプログラミングするためのデバイスおよび方法のセットアップには有用ではない。

【0013】

カメラおよび基準マーカーは、ロボットアームの較正にも広く使用されている（既知の例として、例えばＩｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ名でＵＳ２０２０１９８１４５Ａ１、ＡＢＢ Ｔｅｃｈｎｏｌｏｇｙ ＡＢ名でＵＳ７９４５３４９Ｂ２が提供されている）。この目的は、本発明の目的とはまったく異なり、ロボットをプログラミングするためのデバイスおよび方法を開発しようとする当業者にとっては役に立たない。

【0014】

本発明に関連するロボットプログラミングに対処した顕著な解決策は、ＡＢＢ Ｒｅｓｅａｒｃｈ Ｌｔｄ名で米国特許ＵＳ７３５３０８１Ｂ２（または同等のファミリ出願ＵＳ２００５２５１２９０Ａ１）に開示されている。

【0015】

より詳細には、ＵＳ７３５３０８１Ｂ２が、ポインタおよびカメラを用いてロボットをプログラミングするための方法を開示している。この方法は、処理される対象物のカメラによって検出された画像を取得するステップと、対象物上またはその近傍に置かれたペン形状のポインタの位置に関する情報を取得するステップとを含む。注目すべきことに、ポインタはアクティブなデバイスであり、すなわち、ポインタの位置および配向を取得するための専用の電子ユニットおよび関連キーを含む。加えて、カメラは作業空間の適切な固定点に保持されるか、オペレータの頭部（または身体の他のどこか）に取り付けられる。しかしながら、この特許明細書は、カメラを訓練されるロボット、特にロボットの手首に直接固定することを示唆していない。

【0016】

特に、ＵＳ７３５３０８１Ｂ２の一実施形態は、対象物と固定関係にある、いわゆる「基準マーカー」と、ポインタに取り付けられた「ポインティングマーカー」という２つのマーカーが使用される（図１）画像認識に基づいてロボットをプログラミングするための方法に言及している。実際には、基準マーカーの機能は、基準マーカーによって与えられる基準座標系に対してポインタがどこにあるかを認識することである。これに関して、ＵＳ７３５３０８１Ｂ２を実施する目的では、画像認識アルゴリズムを用いて任意の角度から認識できるように、マーカーは明瞭で非対称でなければならないことに留意する価値がある。

【0017】

カメラおよびポインタに基づいてロボットをプログラミングするためのツールおよび方法に関する技術の改良であるにもかかわらず、ＵＳ７３５３０８１Ｂ２には重大な欠点があることは明らかである。

【0018】

第１の欠点は、ポインタがアクティブデバイスであるため、コストが比較的高いことである。さらに、ポインタの位置特定手順は「世界参照座標系」に基づいているため、ＵＳ７３５３０８１Ｂ２による方法およびシステムの実装には、少なくとも２つのマーカーが必要であり、その両方がカメラの視野内になければならない。カメラがパターンの１つをフレームに収めることができない場合、使用可能な作業空間が減少し、オペレータはロボットのプログラミングを停止し、ロボットを適切な位置に移動させ、プログラミングを続行する必要がある。

【0019】

さらなる欠点は、カメラがロボットの本体に取り付けられていないことによるものである。この構成は、位置決め精度、ならびにカメラ視点の恒常性および最適性の観点で性能の低下を本質的に決定する。

【0020】

最後に、ＵＳ７３５３０８１Ｂ２は、当業者にいかなるパターン追跡機構も教示したり示唆したりしていない。

【0021】

要約すると、現在の技術の限界は、コスト、設置の難しさ（例えば、照明器または他のカメラの位置決めに関する）、使用可能な作業空間、およびポーズ取得の精度の低さに関係している。

【0022】

結論として、上記の理由により、ロボット、特にコボットのプログラミングの問題はまだ完全には対処されておらず、１つ以上のカメラおよびポインタデバイス、特に受動的なポインティングデバイスの使用に基づく改善された解決策を有することが望まれる。

【発明の概要】

【0023】

発明の目的／範囲
上記を考慮して、本発明は、ロボット、特に協働ロボットをプログラミングするための新規かつ革新的な装置および方法を提供することによって、従来技術の既存のデメリットおよび欠点を克服することを意図している。

【0024】

したがって、本発明の第１の主な目的は、ポーズを計算するためのいかなる電子システムも使用しない、またはコンピューティングユニットと通信するためのいかなる電子システムも含まない、使いやすく、ポインティングデバイスに基づいてロボットをプログラミングするための装置を提供することである。

【0025】

本発明の第２の重要な目的は、特定の用途のニーズに応じて調整可能な高精度を有する前記装置を提供することである。

【0026】

本発明の第３の重要な目的は、ロボットの固有の再現性を利用することができる、ロボットをプログラミングするための装置および方法を提供することである。

【0027】

本発明の第４の重要な目的は、外部センサーや外部カメラの位置変更なしに教育作業空間を拡大する方法を提供することである。

【0028】

最後に、本発明の最後の目的は、既知の技術を用いて、簡単かつ経済的な方法で製造または実装できる協働ロボットをプログラミングするための装置およびその方法を提供することである。
技術的解決策および発明的概念

【0029】

これらの、およびさらには他の目的は、以下の明細書でより明確に示されるが、ロボットをプログラミングするための装置、前記装置を含むロボット、およびロボットをプログラミングするための方法によって達成される。

【0030】

本発明は、添付の独立請求項１、１２および１５によって定義され、有利な特徴は添付の従属請求項に記載されている。簡潔にするために参照されるべき前述の特許請求の範囲は、以下に具体的に定義され、本明細書の不可欠な部分として意図される。

【0031】

要約すると、本特許の第１の目的は、パターンに配置された１つ以上のマーカーからなる単一のターゲットを含む、実質的に受動的な、または完全に受動的なポインティングデバイス、ならびに前記ターゲットと対話する１つ以上のカメラに基づいてロボットをプログラミングするための装置である。

【0032】

好ましくは、前記装置は、ロボットと一体になった単一のカメラ、および複数のマーカー、好ましくは６つのマーカーからなるパターンを有する完全に受動的なポインティングデバイスに基づいている。さらに、本明細書において、ポインティングデバイスに言及される「実質的に受動的な」という用語は、電子ユニットを含むポインティングデバイスを意味するものとする。しかしながら、このような電子ユニットは、空間におけるポインタのポーズを計算したり、そのような目的に有用な信号（例えば、電磁信号）を送信したりするためには使用されず、そのような計算が実行される処理ユニットとの通信のみを可能にする。

【0033】

同様に、「完全に受動的な」という用語は、ポーズが計算されるコンピューティングユニットと通信するためのいかなる電子ユニットも電子機器も含まないポインティングデバイスを意味するものとする。

【0034】

明確にするために、本明細書では、「ポーズ」という用語は、空間におけるポインティングデバイスの位置および配向、したがってロボットツールの位置および配向を意味するものとする。

【0035】

明確にするために、本明細書では、「作業空間」という用語は、ロボットが到達できるポーズのセットを意味するものとする。「教育作業空間」という用語は、ポインティングデバイスのポーズを検出できる場所、すなわち本発明の方法に従ってロボットに指示を与える場所を意味するものとする。

【0036】

ロボットは、産業用ロボットやヒューマノイドロボットなど別のタイプのものであってもよいが、好ましくは協働ロボット、すなわちコボットである。

【0037】

好ましい実施形態では、カメラはロボットの手首、または外部軸やキャリッジなどのロボットの他の可動部品に搭載されている。代替実施形態では、オンボードカメラに加えて、ロボットが動作する環境に１つ以上の固定カメラが含まれる。

【0038】

通常、ポインティングデバイスまたはポインタは、ロボット用のプログラムで翻訳されるように、作業サイクルの特定のステップにおいて、ポインタのポーズ、したがってロボットツールのポーズを決定するために、オペレータによって作業空間内で配置されるペン型のデバイスである。

【0039】

ポインティングデバイスのポーズは、１つ以上のカメラと「基準マーカー」に基づく計算視覚アルゴリズムによって推定される。このようなアルゴリズムによって、ポインタの追跡機構が可能になり、プログラミング中のカメラとポインティングデバイスとの間の相対的なポーズが一定に、またはあらかじめ定義された範囲内で可変に維持されるように、ロボットがその位置を変更することが可能になる。

【0040】

このような追跡機構により、プログラミング装置は、高精度、一貫性、および最適性、ならびにより広い教育作業空間を実現する。

【0041】

これらの顕著な特徴は、マーカーとポインタ先端との間の距離、マーカーからカメラの距離、パターン内のマーカー間の距離などの幾何学的パラメータに依存する。前記パラメータは、特定の用途の要件に応じて精度を調整するために、装置の設計段階で考慮される。例えば、作業空間内の操作に利用できる空間が限られていることで、カメラとターゲットとの間の距離を大きくする必要がある場合があるが、これはマーカーの構成を大きくすることによって、またはターゲットをポインタの先端の近くに配置することによって補うことができる。

【0042】

ポインティングデバイス、ロボット、またはポーズ推定および追跡コードが実行される処理デバイスは、オペレータとの対話を可能にする対話手段（例えば、キー、ボタン、ジェスチャまたは音声対話システム）を備えていてもよく、現在のポーズを取得し記憶し、最後に記憶されたポーズを削除し、「ポーズ経路」を形成する一連のポーズの構築と操作を目的とした他の操作を実行することを可能にする。このようなポーズ経路は、ロボットプログラムを構成するか、ロボットプログラムを生成または修正するための開始点を表す。

【0043】

好ましい実施形態では、オペレータとの対話は、有利には、コンピューティングユニットとの通信専用の電子機器の使用を除外する。対話は、人工知能（ＡＩ）アルゴリズムに基づいており、第一に、オペレータの手の動き（または他のジェスチャ）を解釈し、第二に、ポーズに対する操作をトリガするように設計されている。

【0044】

有利なことに、好ましい実施形態では、本発明によるプログラミング方法は、「ティーチペンダント」デバイスもオフラインプログラミングも必要とせず、したがって極めて高速かつ直感的である。

【0045】

代替実施形態では、高精度の用途でポインティングデバイスの最大限の安定性を保証するために、前記方法を「ティーチペンダント」デバイスと関連して使用することもできる。さらに、既知のロボットプログラミングシステム（特にＵＳ７３５３０８１Ｂ２）とは異なり、本明細書で提供される解決策では、ポインタと一体になった単一のターゲットを使用する必要がある。なぜなら、ポーズの決定は、「世界参照座標系」に対するポインタの位置に依存せず、カメラに対する位置に限定されるからである。この機能により、ポーズ計算の精度が大幅に向上する。

【0046】

カメラがロボットの手首に固定されているとき、ターゲット追跡機構を用いて、従来のロボットプログラミングシステムでは複数のターゲットを同時に検出する必要性に関係する教育作業空間の制限の問題を克服することが可能である。さらに、追跡システムは、プログラミングに非常に時間がかかるため、固定カメラ構成が使用されるときに深刻な問題となるマーカーの視覚的な遮蔽を回避する。実際、このイベントが発生すると、インストラクタはロボットを移動させるか、遮蔽を取り除き、ティーチングセッションを再開せざるを得なくなる。

【0047】

最後に、本装置が、ロボットに対して固定位置で作業領域をフレーミングするための１つ以上の追加カメラを含むとき、ユーザの任意の危険な位置や危険な挙動、および本発明による教示方法における異常を警告することも可能である。

【0048】

本発明は、実施形態を説明するためにのみ提供され、限定するものではない以下の図面を参照することによって、より完全に理解されるであろう。

【図面の簡単な説明】

【0049】

【図1】プログラミングのための装置が単一のオンボードカメラを含む、本発明の第１の好ましい実施形態を示す図である。

【図2】（ａ）はマーカーを備えたターゲットを示す、本発明によるポインティングデバイスを示す図であり、（ｂ）は人間工学を改善するためにターゲットを上部に固定したポインティングデバイスを示す図であり、（ｃ）は精度を改善するためにターゲットをデバイスの下部に固定したポインティングデバイスを示す図である。

【図3】プログラミングのための装置が単一のオンボードカメラ以外の１つ以上の固定カメラを含む、本発明の第２の実施形態を示す図である。

【0050】

これらの図は、本発明の様々な特徴および実施形態を示し、実証するものであるが、本発明を限定するものとして解釈されるものではない。

【発明を実施するための形態】

【0051】

本発明を説明するものであり、その限定を意味するものではない、本発明による装置および方法のいくつかの好ましいが排他的ではない実施形態の詳細な説明が以下に提供される。
好ましい実施形態
最良の実施形態
コボットをプログラミングするための装置

【0052】

本発明の第１の目的は、第１の好ましい実施形態を参照して詳細に説明する、ロボットをプログラミングするための装置である。

【0053】

第１の好ましい実施形態では、本発明による装置は、協働ロボット（またはコボット）に搭載された（すなわち、アイ・イン・ハンド」）単一のカメラを含む。コボットは、最適なショットを維持するために、一定の距離においてポインティングデバイスをリアルタイムで追跡する。

【0054】

添付の図１が示すように、本発明を説明するものであり、その限定を意味するものではなく、前記装置は、その全体が参照番号（１）で示されており、オペレータが握りやすいような形状の本体（１０２）を有する、ポインティングデバイス（１０）、すなわちポインタと、前記ポインタ（１０）と一体になったターゲット（１１）と、協働ロボット（５０）の手首（５１）に取り付けられた単一のカメラ（２０）と、コボットのプログラミング動作を制御するソフトウェアが実行される、デバイス（１０）と関連付けられた処理ユニット（３０）とを備える。

【0055】

ポインタ（１０）の本体にはボタン（１２）が装備されており、ＷｉＦｉまたはＢｌｕｅｔｏｏｔｈ（登録商標）（Ｂｌｕｅｔｏｏｔｈ Ｓｐｅｃｉａｌ Ｉｎｔｅｒｅｓｔ Ｇｒｏｕｐ Ｉｎｃの商標）などのワイヤレス技術を介して処理ユニット（３０）との対話を可能にする。しかしながら、伝達されるイベントは、別個のポータブルデバイス、好ましくは同じティーチペンダントに配置されたボタンまたはキーによって起動することができ、例えば、オペレータは、特に高精度の用途においてポインタの位置決めおよび配向の最大限の安定性を確保するために、もう一方の手で保持することができる。

【0056】

添付の図２が示すように、本発明を説明するものであり、その限定を意味するものではなく、ターゲット（１１）は、パターンを形成するように好適に配置された、既知の幾何学的形状の複数のマーカー（１１３）を提示する本体（１１１）を有する。ターゲット（１１）の本体（１１１）は、好ましくはプラスチック製の平行六面体であるが、ポインタに十分な安定性および剛性を与えるものであれば、異なる形状および材料を使用することもできる。

【0057】

マーカー（１１３）は、それが固定されている本体（１１１）の表面の背景と高いコントラストを示すように、パターンに従ってターゲット（１１）上に配置される。

【0058】

好ましくは、マーカーは白地に黒丸、または黒地に白丸である。しかしながら、ニーズに応じて様々な形および色を使用することができる。

【0059】

本発明を説明するものであり、その限定を意味するものではなく、マーカー（１１３）は正方形またはひし形であってもよく、色空間において背景から非常に離れた色を有してもよい。マーカー（１１３）は、背景と対照的である限り、赤外線や紫外線を反射するものであってもよい。

【0060】

いずれにせよ、各マーカー（１１３）には、例えば各円形マーカーの中心を基準として、空間の点が関連付けられる。

【0061】

本発明によるロボットをプログラミングするための装置（１）のターゲット（１１）は、少なくとも１つの突出要素（１１２）、すなわち支柱を有し、その上に少なくとも１つのマーカー（１１３’）が、残りのマーカー（１１３）の平面の外側に位置するように固定される。

【0062】

本発明の実施の目的のために、パターンの幾何学的要素の構成は拘束されず、要素の数、ならびに相対的距離および支柱（１１２）の数は変更することができる。例えば、マーカー（１３、１１３’）の数は６つ、マーカー（１１３、１１３’）間の間隔は、例えば３～４ミリメートルなど数ミリメートルとすることができる。さらに、支柱（１１２）の高さは必要に応じて選ぶことができ、典型的には２～１０ミリメートル、好ましくは５ミリメートルである。

【0063】

本発明によるロボットをプログラミングするためのデバイス（１）において、複数のマーカー（１１３、１１３’）は、ポインティングデバイス（１０）と一体になっており、結合手段（１１４）を用いてポインティングデバイスの本体（１１）に固定されている。

【0064】

好ましくは、ターゲット（１１）はポインティングデバイス（１０）の上部（１０１）に固定される。この構成は、ハンドルの人間工学が主なニーズであるときに適している。しかしながら、ターゲット（１１）をポインティングデバイス（１０）の下部（１０３）に固定することもできる。この構成は、精度が主なニーズであるときに適している。

【0065】

コボットプログラミング中の柔軟性の向上を可能にするために、ターゲット（１１）をポインティングデバイス（１０）の本体（１０２）にスライド可能に係合させることも可能である。この構成では、オペレータは、本体（１０２）の先端近傍の下部（１０３）と、先端とは反対側の端部近傍の上部（１０１）との間の位置でターゲット（１１）を移動させることができる。

【0066】

十分な変位精度を確保できるこのタイプの機構は、既知の技を用いて簡単な方法で低コストで製造することができる。

【0067】

本発明によるロボットをプログラミングするための装置（１）は、協働ロボット（５０）の手首（５１）に取り付けられた単一のカメラ（２０）を備える。

【0068】

本明細書において、本発明の説明のために提供され、その限定を意味するものではない第１の実施形態では、ロボット（５０）はコボットである。しかしながら、例えば人型ロボットやＳＣＡＲＡロボットなど、異なるタイプのものであってもよい。

【0069】

いずれにせよ、ロボット（５０）は、手首（５１）を有するアームを有し、その上に単一のカメラ（２０）が取り付けられている。このカメラ（２０）は、市販されている製品に見られ得る性能を有している。好ましくは、グレイレベルカメラであるが、ターゲット（１１）の特性に基づいてＲＧＢカメラまたは赤外線感応カメラであってもよく、これは、装置（１）が対象とする特定の用途に依存する。

【0070】

本実施形態では、カメラ（２０）は、好ましくはロボットの手首（５１）に取り付けられているが、パターン（１１３）の最適なフレーミングを得るために、ロボット（５０）と一体になった他の位置を都合よく選択することができる。例えば、カメラ（２０）は、ロボットが取り付けられている任意のキャリッジに固定することができ、より一般的には、ロボット、ならびにロボットの一部ではないが一体になった移動軸に固定することができる。最後に、本発明によるデバイス（１）は、ポインティングデバイス（１０）に関連付けられた処理ユニット（３０）を備え、コボットをプログラミングするための装置の動作を制御するソフトウェアがそこで実行される。

【0071】

好ましい実施形態では、前記処理ユニット（３０）は外部にあり、コボット（５０）の外部のコンピュータ内に常駐している。しかしながら、他のオプションも可能であり、処理ユニット（３０）はロボットコントローラの「プラグイン」モジュールであってもよく、ユニット（３０）がカメラ（２０）の電子機器と統合されてもよい。これらの実施形態の組合せも可能である。

【0072】

コンピュータプログラムは処理ユニット（３０）内で実行される。ソフトウェアは、本発明を実施する目的に重要な２つのモジュールを実質的に含み、第１のモジュール（３１）は、パターン（１１３、１１３’）の位置を特定し、カメラ（２０）に対するパターン（１１３、１１３’）、したがってポインタ（１０）のポーズの推定を提供し、第２のモジュール（３２）は、マーカーパターン（１１３）の動的追跡を可能にする。

【0073】

最後に、グラフィックインターフェース（３３）を含む処理ユニット（３０）は、後述する方法で起動手段（１２）と対話する。

【0074】

ポインタ（１０）の先端は、まずオペレータによって所望の位置および配向に置かれ、次いで、第１のソフトウェアモジュール（３１）を実行することによって、マーカーパターン（１１３、１１３’）、したがって先端のポーズ（すなわち位置および配向）を正確に検出することができる。

【0075】

ポインタ本体（１０）のハンドルにあるボタン（１２）を操作することによって、オペレータは選択されたオプションを処理ユニット（３０）に伝える。本発明を説明するものであり、その限定を意味するものではなく、前記オプションには、現在のポーズの記憶、連続モードでの一連のポーズの記憶、最後のポーズ、または記憶された一連のポーズの削除が含まれる。連続取得モードでは、処理ユニット（３０）は、ソフトウェア（３１）と連携して、オペレータがポインタ（１０）を経路に沿って移動させると、所定の時間間隔（ユーザによって設定することができる）ごとにポーズを検出する。

【0076】

このようにして、ポインティングデバイス（１０）が動いている間、複数のポーズを記録することができ、また、軌跡、すなわち個々の位置と、ある位置と別の位置との間の速度とを記録することができる。このモードは、例えば塗装のような作業プロセスにおいて、人間のオペレータによって行なわれる動きを再現する必要があるときに特に有用である。

【0077】

明らかに、ポーズ経路は、ポインティングデバイス（１０）をアクチュエータによって動かされるアームまたはロボットに取り付けることによって取得することができる。このモードは、オペレータが立ち会ってはいけない危険な環境で行われるアプリケーションにおいて有用である。さらに、「指導者」ロボットの指示に従ったポーズの経路を、ポインティングデバイス（１０）が取り付けられた「学習者」ロボットに簡単かつ自動的にコピーすることができる。

【0078】

プログラミングステップの所与の瞬間まで記憶された点の座標を、処理ユニット（３０）のグラフィックインターフェース（３３）に表示することができる。グラフィックインターフェース（３３）は、ソフトウェアモジュール（３１、３２）が必要とする機能パラメータの調整も可能にする。

【0079】

有利なことに、グラフィカルインターフェース（３３）は、リアルタイムでカメラ（２０）によって取得された画像に、すでに記憶され、ロボットの現在位置に基づいて再計算された点を、例えば加工される対象物と一体的に表示されるように重ね合わせることができる。

【0080】

添付の図１が示すように、本発明を説明するものであり、その限定を意味するものではなく、コボット（５０）の手首（５１）に取り付けられたカメラ（２０）は、必要なデータ量および産業環境の外乱に応じて、有線または無線を介して処理ユニット（３０）と通信することができる。

【0081】

カメラ（２０）はマーカーパターン（１１３、１１３’）をフレームに収め、第２のソフトウェアモジュール（３２）のおかげで、ポインタ（１０）を追跡する、すなわち、ポインタ（１０）が所望の距離および角度に維持されながらパターンが常にフレームに収まるようにロボット（５０）を動かす。

【0082】

これにより、オペレータがポインタ（１０）を使用している間、ポインタ（１０）を追跡することができ、位置決めおよび配向の全体的な誤差を減らすために、位置特定に理想的な距離を保つことができる。これについてはすべて以下で詳細に説明するが、例えば、理想的な作業距離を有するカメラ光学系を考慮することによって、フレーミングにさらに好ましい角度が存在することを指摘する。最後に、本発明によるデバイス（１）は、標準カメラ用の第１の較正ツール、および既知の較正ツールと同様にいくつかの機能を実装するポインタ（１０）用の第２の較正ツールを使用することができる。特に、このようなツールは、パターン（１１３、１１３’）の基準系に対する先端（１０１、１０３）の位置、またはカメラ（２０）の基準系に対するロボット（５０）のツール（５２）の位置など、ポインタ（１０）のいくつかの特徴的な距離を、取得された一連の画像に基づいて自動的に推定する。

【0083】

提供された説明から、当業者には、本発明によるロボットをプログラミングするためのデバイス（１）が、いかに非常に低コストの構成要素を利用しているかが明らかであろう。加えて、ソフトウェアモジュール（３１、３２）は、システム内にすでに存在する処理ユニット上で実行することができ、コストをさらに下げることができる。装置（１）は、ソフトウェアモジュール（３１、３２）とコボットの手首に取り付けられたカメラのおかげで、すでに市場に存在する他の解決策よりも非常に高い精度を達成する。

【0084】

本発明によるコボットのプロトタイプにおいて、標準的なセットアップで、本発明者らは約０．４ｍｍの精度を達成した。より正確には、このようなプロトタイプで実施されたテストにより、プログラミングステップで設定されたポインタ先端のプログラム位置と、メモリからの取り出し後にプログラム位置にロボットが位置決めされるとツールによって到達した実際の位置との間の最大距離を０．４ｍｍで定量化することが可能になった。

【0085】

しかしながら、以下に詳しく説明するように、さらなる改良の実際の限界となるロボット（５０）の固有精度（再現性）に適合させながら、さらに高い精度を達成することは可能である。実際、精度は、カメラ（２０）の較正、フレーミング距離、先端部（１０１、１０３）に対するパターン（１１３、１１３’）のサイズおよび位置など、いくつかのパラメータに依存する。すべてのパラメータは、特定の用途の要件に応じて調整することができる。
コボットをプログラミングする方法

【0086】

本発明の第２の目的は、第１の好ましい実施形態を参照して詳細に説明する、ロボットをプログラミングするための方法である。

【0087】

上述の説明から、上述の装置（１）によって、オペレータは、以下のステップ、
ａ）モバイルカメラ（２０）を、好ましくはロボット（５０）の手首（５１）に固定することによって、前記ロボット（５０）と一体にするステップと、
ｂ）マーカーパターン（１１３、１１３’）を有するポインティングデバイス（１０）を前記作業空間に配置するステップと、
ｃ）前記モバイルカメラ（２０）を用いて、前記ポインティングデバイス（１０）上のマーカーパターン（１１３、１１３’）をフレーミングするステップと、
ｄ）ポインティングデバイス（１０）に関連付けられた処理ユニット（３０）においてソフトウェアを実行するステップであって、前記ソフトウェアが、オペレータまたは他の手段が前記ポインティングデバイス（１０）を保持している間、パターン（１１３、１１３’）を追跡するなど、すなわち、オペレータまたは他の手段が前記ポインティングデバイス（１０）を保持している間、前記パターン（１１３、１１３’）が、所定の距離および傾きを保ったまま、前記モバイルカメラ（２０）によってフレーミングされるなど、ロボット（５０）の動きを引き起こす命令を含み、前記所定の距離および傾きが、位置決めおよび配向における全体的な誤差を低減するように選択される、実行するステップと、
ｅ）任意選択で、前記ポインティングデバイス（１０）の位置決めおよび配向における全体的な誤差を低減するために、前記ポインティングデバイス（１０）の先端に対するパターン（１１３、１１３’）の位置決めを変更するステップと、
ｆ）前記ポインティングデバイス（１０）の起動手段（１２）に作用して、前記カメラ（２０、６０）に対するパターン（１１３、１１３’）の座標（ｘ，ｙ，ｚ）および配向（α，β，γ）を検出し、変換Ｔ_ｏｂｊを用いてポインティングデバイス（１０）のポーズ（（ｘ_０，ｙ_０，ｚ_０），（α_０，β_０，γ_０））を計算するステップと、
ｇ）ロボット（５０）のツール（５２）に対する前記カメラ（２０）の相対的ポーズ（（ｘ_１，ｙ_１，ｚ_１），（α_１，β_１，γ_１））と、前記ロボット（５０）のベースに対するツール（５２）のポーズ（（ｘ_２，ｙ_２，ｚ_２），（α_２，β_２，γ_２））とに基づいて、ロボットベース（５０）に対するポインティングデバイス（１０）のポーズ（（ｘ_３，ｙ_３，ｚ_３），（α_３，β_３，γ_３））を計算し、検出されるポーズを取得するために、変換Ｔ_{ｃａｍ／ｔｏｏｌ}を操作するステップと、
ｈ）ステップｇ）で計算されたポーズ（（ｘ_３，ｙ_３，ｚ_３），（α_３，β_３，γ_３））を記憶し、必要に応じてオペレータが呼び出して使用できるようにするステップと
を含む方法を用いて、ロボット（５０）のツールの空間において位置および配向を設定できることが明らかである。

【0088】

有利なことに、この方法を用いて、オペレータがポインタ（１０）を使用している間、ポインタ（１０）を追跡することが可能であり、同時に、ポインタ（１０）を最適な距離、すなわち、ポーズに関する全体的な誤差が低減される距離に保つことによって、座標（ｘ，ｙ，ｚ）および向き（α，β，γ）を検出することが可能である。その理由は以下の通りである。

【0089】

産業用ロボットが一般的に非常に高い再現性を有することはよく知られており、これはロボットツールを同じポーズで位置決めする精度として定義することができる。産業用ロボットの一般的な再現性の値は、０．１ミリメートル未満である。逆に、ロボットのツールを作業空間の所望の点に配置する能力として定義できる精度は、通常はるかに悪く、考慮される作業空間内の点に依存する。

【0090】

固定カメラに基づく既知のロボットプログラミングシステムの場合、以下の剛体変換（または実験による推定）の先験的情報が必要である。
Ｔ_ｏｂ：カメラからあらかじめ定義されたポーズへの変換
Ｔ_ｃａｍ：ワールドＲＳからカメラへの変換
Ｔ_ｒｏｂ：ワールドＲＳからＲＳロボットへの変換（通常、ロボットのベースに配置される）
Ｔ_ｔｏｏｌ：ロボットＲＳからロボットツールへの変換
Ｔ_{ｃａｍ／ｔｏｏｌ}：カメラからロボットツールへの変換。

【0091】

このような変換は、カメラによって検出された対象物、または作業空間内の選択された点に対応してロボットツールを位置決めするために必要である（ＲＳは略して「参照系」を意味する）。これらの各変換は、不確実性の影響を受ける。

【0092】

詳細には、固定カメラに基づくロボットプログラミングシステムで行われるステップは次のとおりである。
１．変換Ｔ_ｏｂｊ、Ｔ_ｃａｍを適用して、ワールドＲＳに関して対象物を位置特定する。
２．変換Ｔ_ｒｏｂ、Ｔ_ｔｏｏｌを適用して、先に見つけた点にロボットを配置する。

【0093】

特に、ステップ２は、ロボットの精度（すなわち、ワールドＲＳに関して指定された空間の点に正確に位置する能力）に依存するため、かなりの誤差の影響を受ける可能性がある。

【0094】

一方、本発明によるオンボードカメラおよび追跡機構を使用することによって、関係する変換は２つだけである。Ｔ_ｏｂｊ（固定カメラの場合と同じ）とＴ_{ｃａｍ／ｔｏｏｌ}であり、ツールに対するカメラのポーズを表す。

【0095】

したがって、オンボードカメラに基づいてロボットプログラミングシステムでポーズを計算するには、以下のステップを行う必要がある。
１． 変換Ｔ_ｏｂｊ、Ｔ_ｃａｍ、およびＴ_ｔｏｏｌを適用してツールに関して対象物を位置特定する。
２． 現在のポーズ（非常に正確に繰り返すことができる）から、ステップ１で計算された新しいポーズへのツールの相対移動を実行する。

【0096】

この動きは相対的なものであり、世界基準フレームに関する変換は関与しないことを指摘しておく価値がある。有利なことに、このような変換に影響を与える不確実性は影響しない。さらに、ロボットの精度は相対運動という小さな動きにしか関与しないため、その効果は限定的である。

【0097】

言い換えれば、ロボットが３ｄ空間の正確な座標（外部参照系と呼ばれる）にツールを配置するよう指示された場合に生じる精度誤差が回避される。このように、最適な距離での追跡は局所的な変換を伴うため、ティーチング動作中に使用した同じロボットによって作業経路が実行される場合、誤差はほぼ反復誤差、すなわちロボットの固有精度にまで低減することができる。

【0098】

したがって、本発明による装置および方法は、ロボットの手首に固定されたオンボードカメラおよびポインタの追跡機構を利用するので、固定カメラに基づく既知の解決策とは対照的に、ロボットの固有の再現性を利用することが可能である。

【0099】

パターンを追跡するためにロボットのアームによって実行される追跡動作は、例えば「位置ベースのビジュアルサーボ」（ＰＢＶＳ）のような既知の技法に従って設計することができる。要約すると、ＰＢＶＳを用いて、処理ユニット（３０）は以下の動作を実行する。ポインタに対するカメラの現在のポーズが現在の画像について計算され、次いで、計算されたポーズが意図されたポーズ（すなわち、最適な距離および角度からポインタ上のパターンをフレーミングすることを保証する好ましいポーズ）と比較され、最後に、意図されたポーズを取得するためにカメラに適用される回転並進変換が計算される。

【0100】

この回転並進変換は、ロボットの制御システムへの割り当てられた基準として使用される。制御システムは、既知のハンドアイ較正アルゴリズムを介して計算される、ロボットのアームとカメラとの間の相対的な固定ポーズの情報を使用することによって、フィードバック制御のよく知られたパラダイムに従って、割り当てられた基準を追跡する（基準追跡）。

【0101】

設計ステップでは、カメラの光学系に基づいて、位置決めおよび配向の全体的な誤差を最小にする最適な距離が計算される。

【0102】

角度は、パターン面に直交するフレームと、角度の大きすぎるフレームの両方を回避する範囲内で計算される。明らかに、直交するフレームは、パターン点の位置特定における誤差に対してポーズの計算が非常に敏感になり、一方、角度のついたフレームでは、パターン点の識別が困難になる。

【0103】

前述の基準に従って選択された合理的な制限内で、非自明な体系的な実験室試験と誤差分析によって最適な角度が確立される。
他の好ましい実施形態

【0104】

本発明のさらなる特徴および利点は、排他的ではないが好ましい３つの実施形態の説明から明らかになるであろう。
実施形態２：単一のオンボードカメラおよび固定カメラ

【0105】

図３を参照すると、本発明の説明のために本明細書に添付されており、その限定を意味するものではなく、第２の好ましい実施形態による装置（１）は、コボット（５０）の手首に取り付けられたカメラ（２０）に加えて、１つ以上の固定カメラ（６１）を含む。

【0106】

前記実施形態では、固定カメラ（６１）は、オペレータの安全のための少なくとも１つの固定監視カメラ（６１１）と、任意選択で固定追跡カメラ（６１２）とを含む。好ましくは、前記固定カメラ（６１１、６１２）はそれぞれ２つと１つである。

【0107】

２つの固定監視カメラ（６１１）は、作業空間全体をフレームに収める適切な位置に配置され、オペレータの異常な挙動を警告し、コボット（５０）とオペレータとの間、またはコボット（５０）と作業空間内の対象物との間の衝突を回避する目的を有する。

【0108】

単一の固定追跡カメラ（６１２）は、何らかの理由でオンボードカメラ（２０）のフレームがターゲット（１１）のマーカーパターン（１１３、１１３’）にもはやロックインされなくなったとき、パターン追跡ソフトウェア（３２）を支援する。

【0109】

この構成の利点は、追跡ステップにおける用途の安全性および柔軟性が向上することである。
実施形態３：キャリッジに取り付けられたロボット上の単一のオンボードカメラ

【0110】

本発明の第３の実施形態による装置（１）は、本発明の説明のために記載したものであり、その限定を意味するものではなく、先の実施形態１または２と同様の構成を有し得る。しかしながら、コボットまたはロボット（５０）は、作業空間内であらかじめ定義された軌道または経路に沿って移動できるキャリッジ（「外部軸」とも呼ばれる）に取り付けられている。

【0111】

このようにして、ポインティングデバイス（１０）は、コボット（５０）またはカメラ（２）が、コボット（５０）がキャリッジ経路に沿って移動する間、最適なショットを維持するために、ある距離（処理ユニットによってリアルタイムで計算される）に移動されるように、好ましくはコボットの手首に取り付けられた、コボットと一体になったカメラ（２０）によってリアルタイムで追跡される。

【0112】

装置（１）のこの構成の主な利点は、作業空間が広がることである。
実施形態４：ジェスチャベースの入力

【0113】

本発明による装置（１）の第４の実施形態は、本発明の説明のために記載したものであり、その限定を意味するものではなく、ポインティングデバイス（１０）の本体（１０２）内のボタン（１２）またはキーを除外する起動手段を含む。

【0114】

この実施形態による起動手段は、前述したいずれの装置にも使用することができる。

【0115】

この実施形態では、「クリックレス」モード、すなわち「ジェスチャベースの入力」または「仮想クリック」によって、ポインタ（１０）と処理ユニット（３０）との対話が同じカメラ（２０）によって可能になる。このモードは、最先端技術で知られているタイプの人工知能アルゴリズムに基づく第３のソフトウェアモジュールに基づいている。アルゴリズムは、ジェスチャまたは手（またはオペレータの別の解剖学的部位）の動き、例えばポインタ（１０）を保持しているオペレータの指の１本の動きを解釈する。したがって、ジェスチャまたは動きは、説明のためであり、その限定を意味するものではなく、現在のポーズの記憶、連続モードでの一連のポーズの記憶、最後のポーズの削除、または記憶された一連のポーズのうちの１つ以上を含む動作と関連付けることができる。

【0116】

上記から明らかなように、起動手段（１２）として「ジェスチャベースの入力」を使用することによって、ペンは製造コストがごくわずかな、完全に受動的なアイテムになる。

【0117】

ジェスチャまたは動きの視覚的かつ受動的な検出を容易にするために、オペレータは、例えば、手にはめる手袋、指輪やブレスレットなど、第３のソフトウェアモジュールと関連するカメラによって容易に認識可能な「ターゲット」要素を有する補助具を有利に利用することができる。明らかに、このようにして、達成可能なジェスチャまたはサインの数を増やすことも可能であり、したがって、この完全な受動的モードを通じて、デモンストレーションプログラミング（すなわちデモンストレーションを通じて）においてより大きな自由度を提供することができる。
実施形態５：カメラでの処理

【0118】

最後に、本発明による装置（１）の第５の実施形態は、本発明の説明のために記載したものであり、その限定を意味するものではなく、ロボット（５０）の手首（５１）に取り付けられたカメラ（２０）と一体化された計算ユニット（３０）を指す。例えば、スマートカメラ（３０、２０）、すなわち必要な処理を実行するオペレーティングシステムおよび計算プロセッサを備えたカメラを使用することができる。

【0119】

この実施形態による計算ユニット（３０）は、前述した任意の装置と組み合わせて使用することができる。

【0120】

ユーザにとっての利点は、この構成の装置（１）が全体的に単純であることである。

【0121】

これは、すなわちポインティングデバイス（１０）とカメラ（２０）の２つの構成要素のみを含む。世界の最も重要なコボットの生産業者は、ティーチペンダントのソフトウェア開発キット（ＳＤＫ）へのアクセスを提供しているため、ポインタパラメータ（１０）を調整するためのインターフェース（３３）は、ロボット（５０）に付属するティーチペンダントに有利に転送することができる。この場合、「ティーチペンダント」は、もっぱらいくつかのパラメータの調整のために使用され、ロボット（５０）のプログラミングには使用されず、プログラミングは、本発明の開示に従ってポインティングデバイス（１０）を介してのみ実行される。
利点と産業への応用

【0122】

ロボットをプログラミングするための装置および方法についての説明から、多くの利点が当業者には明らかであろう。

【0123】

明らかに、本発明による装置および方法は、ロボットプログラミングタスクを簡素化し、軽減する。

【0124】

本発明の第２の注目に値する利点は、装置が非常に低コストの構成要素を含み、２つのソフトウェアモジュールが、訓練されるロボットの一部としてすでに組み込まれているか、オンボードカメラの統合コンポーネントである可能性のある、低コストの処理ユニット上で実行可能であるため、コストが削減されることである。このようにして、非常に小規模な企業にもコボットの普及を促進することができる。

【0125】

さらなる利点は、ほんの数例を挙げると、表面仕上げ、溶接、織物など、本発明によるロボットをプログラミングするための装置および方法が使用できる産業および非産業のセクターが幅広いことである。

【0126】

ただし、主な利点は、ロボットの手首へのカメラの取り付けと、純粋な視覚アルゴリズムの使用の組合せによるものである。このような組合せによって、前述の「基準マーカー」に基づくポインタ追跡機構が可能になる。

【0127】

さらに、追跡機構によって、３つの追加の利点が決まる。

【0128】

第１に、焦点と画角に関して、ポインタの最適なフレームを維持することができる。特に、画角は、ターゲットのポーズを再構成する際の曖昧さを回避するための重要なパラメータとなる。

【0129】

ポインタ追跡機構によって決定される第２の、より重要な利点は、記憶されたポーズにおけるコボットの位置決め誤差が主にコボットの精度に依存し、空間における３Ｄ点上で作業ツールを物理的に動かすことによってポーズを取った場合と同じようにその精度に依存しないことである。

【0130】

第３の利点は、視覚的遮蔽の回避を本質的に保証する追跡によってもたらされる。

【0131】

要約すると、ロボットの手首に取り付けたカメラと純粋な視覚アルゴリズムの使用を組み合わせることによって、コボットの本質的な再現性を十分に活用し、すでに市販されているシステムと比較して装置の精度を大幅に向上させることができる。また、ポインティングデバイスの構成可能な形状を使用することによって、必要な精度に応じてポインティングデバイスを設計することも可能である。実際、前述したように、追跡機構は局所的な変換を伴うので、誤差をほぼ反復誤差（すなわち、ロボットの固有精度）に制限することが可能である。このようにして、代わりにロボットが外部参照系と呼ばれる３Ｄ空間の正確な座標にツールを配置するよう指示された場合に生じる精度誤差が回避される。

【0132】

さらに、デバイスの精度は空間内で均一であり、変化する可能性のある固定センサーやエミッタ間の距離に依存しない。

【0133】

最後に、既知のソリューションとは異なり、精度は、通常産業環境に影響を与えるノイズや他の外乱源の影響を受けない。実際、ポーズの計算には、例えば電磁信号や超音波信号などのエミッタやレシーバは関係ない。さらに、本発明による装置および方法は、慣性システムの既知のドリフト問題の影響さえ受けない。

【0134】

結論として、提供された説明から、既知のシステムに対する位置決め精度の点で本発明の利点は当業者には明らかであろう。
結論

【0135】

本明細書に記載された発明は、意図された目的および目標を完全に達成することが判明した。

【0136】

特に、設置および実装が容易で高精度かつ低コストである、ロボット、好ましくはコボットをプログラミングするための装置および方法が開示されている。当業者には、前記装置および方法が、非自明な発明の努力の結果であるロボット技術における大幅な改良を表すことが明らかであろう。結論として、本発明は、本明細書に示され記載された例示的な実施形態に限定されるものではなく、提供された説明および例には多くの詳細が含まれているが、これらは本発明の範囲を限定するものとして解釈されるべきではなく、単に本発明のいくつかの実施形態の例示として解釈されるべきであることが理解される。

【0137】

したがって、以下の特許請求の範囲に含まれる本発明のいかなる変更も、本発明の一部であるとみなされる。

【0138】

任意の請求項で言及されている特徴および技法の後に参照符号が付されている場合、これらの参照符号は、単に特許請求の範囲の理解度を高める目的でのみ適用されており、その結果、これらの参照符号は、これらの参照符号から例として特定される各要素の解釈に対して制限的な影響を及ぼすものではない。

【図1】

【図2(a)】

【図2(b)】

【図2(c)】

【図3】

【国際調査報告】