特表 2024-507044 物体の３次元姿勢を決定するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-16

(54)【発明の名称】物体の３次元姿勢を決定するための方法

(51)【国際特許分類】

   G01B 11/26 20060101AFI20240208BHJP

   G06V 10/22 20220101ALI20240208BHJP

   G06K 19/06 20060101ALI20240208BHJP

   B25J 15/00 20060101ALN20240208BHJP

【ＦＩ】

G01B11/26 H

G06V10/22

G06K19/06 037

B25J15/00 Z

【審査請求】有

【予備審査請求】有

(21)【出願番号】P 2023539380

(86)(22)【出願日】2021-12-21

(85)【翻訳文提出日】2023-08-10

(86)【国際出願番号】 EP2021087143

(87)【国際公開番号】W WO2022136467

(87)【国際公開日】2022-06-30

(31)【優先権主張番号】102020134898.3

(32)【優先日】2020-12-23

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＱＲコード

(71)【出願人】

【識別番号】523238380

【氏名又は名称】センソパート インドゥストリーゼンソリック ゲーエムベーハー

【氏名又は名称原語表記】ＳＥＮＳＯＰＡＲＴ ＩＮＤＵＳＴＲＩＥＳＥＮＳＯＲＩＫ ＧＭＢＨ

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】パネカンプ、イェンス

(72)【発明者】

【氏名】クルト、ドミニク

【テーマコード（参考）】

2F065

3C707

【Ｆターム（参考）】

2F065AA37

2F065BB05

2F065FF04

3C707KS17

3C707KS20

3C707LU10

3C707LV06

3C707LV07

(57)【要約】

本発明は、物体（４）の３次元姿勢を決定するためのターゲットマーカ（１）を提供し、ターゲットマーカ（１）は、所定の数の符号化モジュール（２）を有する。本発明によると、ターゲットマーカ（１）の符号化モジュール（２）は、少なくともターゲットマーカ（１）のサイズを含む群から選択される、物体（４）の物体パラメータ、並びに／又は少なくともグリッパの把持姿勢、グリッパの幾何学的形状、及びグリッパ力を含む群からの所定の物体（４）を把持するための把持パラメータを定義する特定の情報を含む文字列を符号化する、定義されたモジュールパターン（１０）で存在する。

【特許請求の範囲】

【請求項1】

物体（４）の３次元姿勢を決定するためのターゲットマーカ（１）であって、前記ターゲットマーカ（１）は、所定の数の符号化モジュール（２）を備え、
前記ターゲットマーカ（１）の前記符号化モジュール（２）は、
－少なくとも前記ターゲットマーカ（１）のサイズを含む群から選択される、前記物体（４）の物体パラメータ、
並びに／又は
－グリッパの少なくとも１つの把持姿勢、グリッパの幾何学的形状、及びグリッパ力を含む群からの、前記所定の物体（４）を把持するための把持パラメータを定義する特定の情報を含む文字列を符号化する、定義されたモジュールパターン（１０）で存在することを特徴とする、ターゲットマーカ（１）。

【請求項2】

前記モジュールパターン（１０）は、連続付番で符号化され、前記付番は一意の識別子（ＩＤ）の形態であることを特徴とする、
請求項１に記載のターゲットマーカ（１）。

【請求項3】

－前記ターゲットマーカ（１）の形状は、正方形又は円形である、並びに／又は
－前記モジュールパターン（１０）及び／若しくは前記符号化モジュール（２）の形状は、正方形又は円形であることを特徴とする、
請求項１又は２に記載のターゲットマーカ（１）。

【請求項4】

前記ターゲットマーカ（１）は、前記符号化モジュール（２）が配置される背景（３）を有することを特徴とする、
請求項１～３のうちの少なくとも一項に記載のターゲットマーカ（１）。

【請求項5】

前記ターゲットマーカ（１）の前記符号化モジュール（２）及び／又は前記背景（３）は再帰反射性であることを特徴とする、
請求項４に記載のターゲットマーカ（１）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体の３次元姿勢を決定するためのターゲットマーカに関する。

【0002】

構成要素へのターゲットマーカの取り付けは、従来技術、例えば独国特許出願公開第１０ ２０１６ ０１１ ６５３（Ａ１）号から既知であり、この独国特許は、単純な幾何学的形状で作製されたターゲットマーカを使用してターゲット点の位置を測定することができるロボットシステムについて説明する。このシステムは、ターゲットマーカがロボット座標系における既知の第１のターゲットマーカ位置に位置するときに、撮像画像に含まれるターゲットマーカの画像の特徴サイズを基準データとして記憶し、アーム先端部に対する第１のターゲットマーカ位置をツール中心位置として記憶する。このシステムは、ターゲットマーカが第２のターゲットマーカ位置に配置されたときの撮像画像から得られた特徴サイズを基準データの特徴サイズと比較してアーム先端部を移動させ、移動後のアーム先端部の位置に対応する第２のロボット位置及びツール中心点の位置に基づいて、ロボット座標系における第２のターゲットマーカ位置を算出する。

【0003】

欧州特許出願公開第２ ５２３ ０１７（Ａ１）号は、極座標において測定する走査機能を備えたデバイスのための較正方法を開示しており、この較正方法では、単純な幾何学的形状のマーカの形態の角度ターゲットマーカを使用して、光学センサユニットで角度ターゲットマーカを検出することによって空間における構成要素の位置を決定する。

【0004】

更に、国際公開第２０２０／１０２ ７６１（Ａ１）号は、人体の視覚化方法を開示しており、この視覚化方法では、患者の身体に２次元コードを付けることによって患者の身体を測定することができる。これは、患者に対する医療器具の位置決めに関する。２次元コードとしては、２Ｄバーコード、ＱＲコード、ＡｐｒｉｌＴａｇが既知である。

【0005】

これまで、かかるターゲットマーカは、検出され、作業が行われる物体（構成要素）上のこれらの点を認識し、これらの点から、それぞれの物体の３次元姿勢、すなわち、位置及び傾き（並進自由度及び回転自由度）を導出し、ロボットで利用できるようにする、光学センサユニットなど検出デバイスを備えたロボット用の単なる識別マーカであった。３次元姿勢は、センサユニットの以前に実行された較正を考慮して、ターゲットマーカの事前に既知の幾何学的形状をターゲットマーカの記録画像と比較することによって決定される。把持プロセスを実行するために、ターゲットマーカに対する把持姿勢が教示されなければならない。これらの把持姿勢は物体固有である。つまり、異なる構成要素の数が増加するにつれて、セットアップに要する労力が増加する。

【0006】

この従来技術から進んで、本発明の目的は、ロボットに対する物体の３次元姿勢の改善された決定を可能にする、改善されたターゲットマーカを提供することである。

【0007】

この目的は、請求項１に記載の特徴を有するターゲットマーカによって達成される。

【0008】

ターゲットマーカの更なる発展は、従属請求項に記載されている。

【0009】

物体の３次元姿勢を決定するためのターゲットマーカの第１の実施形態は、所定の数の符号化モジュールを有する。本発明によると、ターゲットマーカの符号化モジュールは、物体の物体パラメータを定義し、少なくともターゲットマーカのサイズを含む群から選択された特定の情報を含む所定の長さの文字列を符号化する、定義されたモジュールパターンで存在する。合わせて又は代替的に、特定の情報は、所定の物体を把持するための把持パラメータを定義し、これらのパラメータは、グリッパの少なくとも１つの把持姿勢、グリッパの幾何学的形状、及びグリッパ力を含む群から選択される。

【0010】

したがって、本発明によるターゲットマーカに関する符号化された特定の情報は、物体パラメータ又は把持パラメータのいずれかを含み得る。あるいは、特定の情報は、物体パラメータと把持パラメータとの組み合わせを含む。

【0011】

本明細書における「３次元姿勢」は、３つの並進自由度の値を指し、また、３つの回転自由度の値も指し、これらは、ロボット又はロボットアームに対する物体の位置及び傾斜、すなわち角度方向である。

【0012】

本明細書で使用される場合、「文字列」は、単に数字若しくは文字、又は両方の組み合わせからなり得る英数字のシーケンスを指す。文字列は連続的に付番され得、文字列の各位置は、割り当てられた特定の情報であり得る。

【0013】

本明細書における「ターゲットマーカのサイズ」は、モジュールパターンのグリッド寸法を意味する。

【0014】

ターゲットマーカにコード化され得る特定の情報は、物体特有の方法で所望に応じて拡張され得る。ターゲットマーカ自体が、物体の認識及び／又は把持に必要な全ての情報をもたらすので、先行技術で必要とされるように把持姿勢を事前に教示する必要はない。したがって、物体は、事前に既知である必要はないが、ターゲットマーカに符号化された情報を使用して認識され、把持され得る。モジュールパターンは、所定の長さの符号化された文字列を示し、所定の位置において特定の情報を符号化することができる。有利なことに、本発明によるターゲットマーカは、ターゲットマーカのサイズを事前に把握することなく、物体の３次元姿勢、すなわち、物体の位置、角度方向、及び幾何学的形状を空間内で絶対的に認識することを可能にする。モジュールパターンのサイズ情報は、ターゲットマーカから直接推定することができる。ターゲットマーカの物理的サイズ、すなわち、モジュールのグリッド寸法が符号化され、これにより、外寸のクエリ又は必要なサイズ情報の事前の教示なしで、様々なサイズのターゲットマーカを用いて物体の位置又はその姿勢を特定することが可能になる。これは、２Ｄコード形態のターゲットマーカが多数の様々なコードサイズで物体に取り付けられ、物体の数又はモジュールサイズが事前に定まっていない場合に特に有用であり、物体認識が著しく容易になる。

【0015】

更に、物体の様々な把持パラメータは、物体の改善された把持のためにターゲットマーカに符号化される。グリッパの把持姿勢はまた、物体を把持するためにグリッパを開くべき程度を示す寸法及び向きを含む。更に、物体上のターゲットマーカの位置に基づいて、物体の把持点に対するオフセットが、相対的な把持姿勢として符号化され得るか、又は閉鎖力が記憶され得る。把持は、任意のグリッパ、好ましくはロボット又はロボットアームの吸引グリッパ又はジョーグリッパなど特殊なグリッパを用いて行われ得る。グリッパに関する更なる情報、例えば、使用されるグリッパのタイプは、グリッパの幾何学的形状に記憶され得、これもまた符号化され得る。したがって、把持される物体は、把持プロセスに必要なパラメータを既に有するので、これらのパラメータが事前に教示される必要はない。したがって、把持プロセスはターゲットマーカによる支援を受ける。

【0016】

本発明によるターゲットマーカは、ＥＣＣ２００、ＱＲコードとして、又はＡｐｒｉｌＴａｇとしても設計され得る。これらの形式は、様々な物体情報の符号化に最適な基盤を提供する。良好な視認性を実現するために、ターゲットマーカは、ダイレクトマーキングとして、又はキャリアに取り付けられ得る。ダイレクトマーキングは、ターゲットマーカを構成要素の上又は中に直接印刷する、フライス加工する、又はレーザ加工することができる、連続生産構成要素にとって特に有利である。例えば、ターゲットマーカを担持するステッカ又はねじ込み式プレートなどキャリア上のコードのバージョンは、とりわけ商品キャリアに適している。

【0017】

本発明によるターゲットマーカの更なる実施形態では、モジュールパターンは、識別番号を用いた連続付番に符号化され、その結果として、一意の識別ＩＤが提供される。このようにして、コードに記憶されていなくても、更なる情報が各ターゲットマーカに明確に割り当てられ得る。例えば、把持パラメータは、ターゲットマーカに直接符号化され得ないが、外部に記憶されたテーブル又はデータベース（例えば、クラウド内）で利用可能であり、識別番号を介してリンクされ得る。このことは、把持プロセスにおいてある程度の柔軟性を必要とする物体にとって特に有利である。ターゲットマーカは、次いで、ＩＤを決定し、次いで、データベースからモジュールサイズ又は他の把持パラメータを読み出すのに十分である。単なる数値コーディングもターゲットマーカに使用可能であり、識別ＩＤにはＸ文字、「モジュールサイズ」情報にはＹ文字、「相対把持姿勢」情報にはＺ文字などが用いられる。より多くの情報、すなわち、より多くの文字がターゲットマーカに記憶される場合、モジュールパターン又は符号化モジュールの数は増加する必要がある。それにより、（符号化モジュールに対して）１２×１２のターゲットマーカは、小数点以下１０桁を符号化することができる。より高い情報密度には、対応してより多数の符号化モジュールが必要である。

【0018】

本発明によるターゲットマーカの更に別の実施形態では、ターゲットマーカの形状は正方形又は円形である。更に、モジュールパターン又は符号化モジュールの形状は、正方形又は円形であり得る。とりわけ円形符号化モジュール又はモジュールパターンでは、コードモジュールの中心の精密決定が容易になり、位置決定に必要な計算時間が短縮される。

【0019】

本発明によるターゲットマーカの好ましい実施形態では、ターゲットマーカは、符号化モジュールが配置される背景を有し得る。この背景は、光学的に中立的な背景であることが好ましい。ここで「中立的」とは、符号化モジュールが高コントラストで目立ち得、したがって光学センサユニットによって容易に検出され得るような背景であることを意味する。例えば、背景は、黒色符号化モジュールが存在する白色表面であり得る。これにより、ターゲットマーカは、所定の長さの文字列に対応する明暗パターンを特定する。対象材料に導入されたターゲットマーカの場合、これは、例えばフライス加工された背景の前の隆起した符号化モジュールによって表され得る。

【0020】

本発明によるターゲットマーカの更に別の実施形態では、符号化モジュールは再帰反射性である。これはまた、背景又はターゲットマーカ全体に適用され得る。キャッツアイ原理に対応する再帰反射構成は、照明が光学センサユニットに組み込まれていると、より大きな作動距離を実現することができるという利点を提供する。これは、照明によって放出された光が入射角に関係なく反射されて光学センサユニットに戻るためである。

【0021】

したがって、本発明によるターゲットマーカを使用し、ターゲットマーカを所定の物体上に配置して行う、物体の３次元姿勢の決定は、データ処理ユニットに動作可能に結合された、物体検出用の光学センサユニットを使用して実行される。光学センサユニットは、較正済みの２Ｄカメラであり得、２Ｄカメラの各画素には、空間内の画像光線が割り当てられ、その結果、画像点と空間内の物理的物体との間で割り当てが行われ得、物体へと移動するロボットの座標系及びカメラが互いに位置合わせされる。以下のステップが実行される。
－光学センサユニットを提供するステップであって、光学センサユニットは、物体が光学センサユニットの検出範囲内にあるように、物体の前に位置決めされる、ステップ、
－物体上のターゲットマーカを検出するために光学センサユニットを使用するステップ、
－データ処理ユニットによってターゲットマーカのモジュールパターンの中心を決定し、ターゲットマーカを読み出し、それによって特定の情報を読み出すステップ、
－データ処理ユニット内の特定の情報に基づいて、物体上のターゲットマーカの仮想３次元姿勢を決定するステップ、
－モジュールパターンの中心が、決定したモジュールパターンの中心と一致するまで、ターゲットマーカの仮想３次元姿勢を連続的に変化させ、それによってターゲットマーカの３次元姿勢を決定するステップ

【0022】

ターゲットマーカの他の実施形態、並びにこれらの実施形態及び他の実施形態に関連する利点のいくつかは、添付の図面を参照して以下の詳細な説明から明らかになり、理解が深まるであろう。図面は、本発明の一実施形態の概略図にすぎない。

【図面の簡単な説明】

【0023】

図面には、以下が示されている。

【図1】本発明によるターゲットマーカ、及び

【図2】空間内の物体上の本発明によるターゲットマーカの概略配置。

【0024】

図１は、光学的に中立的な背景３に複数の符号化モジュール２を備えるターゲットマーカ１を示す。符号化モジュール２は、ある特定の情報を符号化形式で伝達するように配置される。ターゲットマーカ１に符号化され得る特定の情報は、例えばターゲットマーカ１のサイズなど物体パラメータ、又は例えばグリッパの把持姿勢、グリッパの幾何学的形状、及びグリッパ力など把持パラメータのいずれかを含む。あるいは、特定の情報は、物体パラメータと把持パラメータとの組み合わせを含む。
図１では、ターゲットマーカ１のサイズ情報のみが、示されるターゲットマーカ１に符号化され、物体４の把持パラメータは符号化されない。

【0025】

ターゲットマーカ１の符号化モジュール２は、モジュールパターン１０（図１では破線で例示的に輪郭が描かれている）で組み合わされており、それぞれ１０進数の１０個の数字「１～１０」を符号化し、これらの１０個の数字「１～１０」には、例えば以下の意味を割り当てることができる。

【0026】

例えば、数字「１」及び「２」は、ターゲットサブタイプ、例えば、位置特定される物体のタイプを示し得るか、又はターゲットマーカ１内に符号化された情報の内部処理を容易にする追加情報を提供する。

【0027】

数字「３」及び「４」は、モジュール間隔（グリッド寸法）に関する情報を提供するために使用される。モジュール間隔は、例えば、１０進数の２個の数字によって指定され、このように、例えば、（Ｘ＋１）^＊０．５（Ｘはミリメートルを表す）によって、ミリメートルにマッピングされる。したがって、０．５ｍｍ～５０ｍｍの範囲は、Ｘ＝０．．．９９によって符号化され得る。

【0028】

この例における数字「５」～「１０」は、ターゲット識別子（ＩＤ）を符号化するために使用される。これらの小数点以下５桁を用いて、数百万個のターゲットマーカの一意のＩＤを生成することができる。サブタイプが省略される場合、１億個の一意のターゲットマーカが小数点以下８桁で生成され得る。より多くの符号化モジュールを備えたターゲットマーカは、更に多くの一意のターゲットマーカを生成する可能性を提供する。

【0029】

図２では、物体４は空間５内に配置されている。ターゲットマーカ１は物体４に取り付けられており、それによって、光学センサシステム６によって認識され、このシステムに接続されたデータ処理ユニット７によって評価され得る。取り付けられたターゲットマーカ１は単独で、空間５内でのターゲットマーカ１の３次元姿勢及び把持パラメータ４を認識するのに十分である。空間次元又は他の空間固有のパラメータは不要である。グリッパの把持位置は、図２にフラグの形式で示されている把持点８によって与えられ得る。把持点８は、物体４を把持するために良好な把持点を表し、対応する相対姿勢でターゲットマーカ１に符号化される。

【符号の説明】

【0030】

１ ターゲットマーカ
２ 符号化モジュール
３ 背景
４ 物体
５ 空間
６ 光学センサユニット
７ データ処理ユニット
８ 把持点
１０ モジュールパターン

【図1】

【図2】

【手続補正書】

【提出日】2023-01-18

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

物体（４）を捕捉するための光学センサユニット（６）を使用して前記物体（４）の３次元姿勢を決定するための方法であって、前記センサユニット（６）は、データ処理ユニット（７）に接続されており、前記方法は、
－物体（４）の３次元姿勢を決定するためのターゲットマーカ（１）を提供するステップであって、前記ターゲットマーカ（１）は、
－少なくとも前記ターゲットマーカのサイズを含む群から選択される、前記物体（４）の物体パラメータ、
並びに／又は
－グリッパの少なくとも１つの把持姿勢、グリッパの幾何学的形状、及びグリッパ力を含む群から選択される、前記所定の物体（４）を把持するための把持パラメータを定義する特定の情報を含む文字列を符号化する、定義されたモジュールパターン（１０）で存在する符号化モジュール（２）を有する、ステップと、
－前記ターゲットマーカ（１）を前記物体（４）上に配置するステップと、
－前記物体が前記光学センサユニットの検出範囲内にあるように前記光学センサユニットを前記物体の前に位置決めし、前記光学センサユニットによって、前記物体上の前記ターゲットマーカを検出するステップと、
－データ処理ユニットによって前記ターゲットマーカの前記モジュールパターンの中心を決定し、前記特定の情報を読み出すステップと、
－前記データ処理ユニット内の前記特定の情報に基づいて、前記物体（４）上の前記ターゲットマーカの仮想３次元姿勢を決定するステップと、
－前記モジュールパターンの前記中心が、決定した前記モジュールパターンの前記中心と一致するまで、前記ターゲットマーカの前記仮想３次元姿勢を連続的に変化させ、それによって前記ターゲットマーカの実際の前記３次元姿勢を決定するステップと、を含む、方法。

【請求項2】

前記モジュールパターン（１０）は、連続付番で符号化され、前記付番は一意の識別子（ＩＤ）の形態であることを特徴とする、
請求項１に記載の方法。

【請求項3】

－前記ターゲットマーカ（１）の形状は、正方形又は円形である、並びに／又は
－前記モジュールパターン（１０）及び／若しくは前記符号化モジュール（２）の形状は、正方形又は円形であることを特徴とする、
請求項１又は２に記載の方法。

【請求項4】

前記ターゲットマーカ（１）は、前記符号化モジュール（２）が配置される背景（３）を有することを特徴とする、
請求項１～３のうちの少なくとも一項に記載の方法。

【請求項5】

前記ターゲットマーカ（１）の前記符号化モジュール（２）及び／又は前記背景（３）は再帰反射性であることを特徴とする、
請求項４に記載の方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体の３次元姿勢を決定するための方法に関する。

【0002】

構成要素へのターゲットマーカの取り付けは、従来技術、例えば独国特許出願公開第１０ ２０１６ ０１１ ６５３（Ａ１）号から既知であり、この独国特許は、単純な幾何学的形状で作製されたターゲットマーカを使用してターゲット点の位置を測定することができるロボットシステムについて説明する。このシステムは、ターゲットマーカがロボット座標系における既知の第１のターゲットマーカ位置に位置するときに、撮像画像に含まれるターゲットマーカの画像の特徴サイズを基準データとして記憶し、アーム先端部に対する第１のターゲットマーカ位置をツール中心位置として記憶する。このシステムは、ターゲットマーカが第２のターゲットマーカ位置に配置されたときの撮像画像から得られた特徴サイズを基準データの特徴サイズと比較してアーム先端部を移動させ、移動後のアーム先端部の位置に対応する第２のロボット位置及びツール中心点の位置に基づいて、ロボット座標系における第２のターゲットマーカ位置を算出する。識別マーカの形態のターゲットマーカは、米国特許出願公開第２０１５／２２４ ６５０（Ａ１）号及び同第２０２０／１２５ ８７２（Ａ１）号に更に記載されている。

【0003】

欧州特許出願公開第２ ５２３ ０１７（Ａ１）号は、極座標において測定する走査機能を備えたデバイスのための較正方法を開示しており、この較正方法では、単純な幾何学的形状のマーカの形態の角度ターゲットマーカを使用して、光学センサユニットで角度ターゲットマーカを検出することによって空間における構成要素の位置を決定する。

【0004】

更に、国際公開第２０２０／１０２ ７６１（Ａ１）号は、人体の視覚化方法を開示しており、この視覚化方法では、患者の身体に２次元コードを付けることによって患者の身体を測定することができる。これは、患者に対する医療器具の位置決めに関する。２次元コードとしては、２Ｄバーコード、ＱＲコード、ＡｐｒｉｌＴａｇが既知である。

【0005】

これまで、かかるターゲットマーカは、検出され、作業が行われる物体（構成要素）上のこれらの点を認識し、これらの点から、それぞれの物体の３次元姿勢、すなわち、位置及び傾き（並進自由度及び回転自由度）を導出し、ロボットで利用できるようにする、光学センサユニットなど検出デバイスを備えたロボット用の単なる識別マーカであった。３次元姿勢は、センサユニットの以前に実行された較正を考慮して、ターゲットマーカの事前に既知の幾何学的形状をターゲットマーカの記録画像と比較することによって決定される。把持プロセスを実行するために、ターゲットマーカに対する把持姿勢が教示されなければならない。これらの把持姿勢は物体固有である。つまり、異なる構成要素の数が増加するにつれて、セットアップに要する労力が増加する。

【0006】

この従来技術から進んで、本発明の目的は、ロボットに対する物体の３次元姿勢の改善された決定を可能にする、改善された方法を提供することである。

【0007】

この目的は、請求項１に記載の特徴を有する方法によって達成される。

【0008】

本方法の更なる発展は、従属請求項に記載されている。

【0009】

物体の３次元姿勢を決定するための方法の第１の実施形態は、物体を捕捉するための光学センサユニットを使用し、センサユニットは、データ処理ユニットに接続されており、本方法は、
－物体の３次元姿勢を決定するためのターゲットマーカを提供するステップを含み、ターゲットマーカは、物体の物体パラメータを定義し、少なくともターゲットマーカのサイズを含む群から選択された特定の情報を含む所定の長さの文字列を符号化する、定義されたモジュールパターンで存在する、所定の数の符号化モジュールを有する。合わせて又は代替的に、特定の情報は、所定の物体を把持するための把持パラメータを定義し、これらのパラメータは、グリッパの少なくとも１つの把持姿勢、グリッパの幾何学的形状、及びグリッパ力を含む群から選択される。

【0010】

更に以下のステップを含む。
－ターゲットマーカを物体上に配置するステップ、
－物体が光学センサユニットの検出範囲内にあるように光学センサユニットを物体の前に位置決めし、光学センサユニットによって、物体上のターゲットマーカを検出するステップ、
－データ処理ユニットによってターゲットマーカのモジュールパターンの中心を決定し、特定の情報を読み出すステップ、
－データ処理ユニット内の特定の情報に基づいて、物体上のターゲットマーカの仮想３次元姿勢を決定するステップ、
－モジュールパターンの中心が、決定したモジュールパターンの中心と一致するまで、ターゲットマーカの仮想３次元姿勢を連続的に変化させ、それによってターゲットマーカの実際の３次元姿勢を決定するステップ。

【0011】

したがって、本発明によるターゲットマーカに関する符号化された特定の情報は、物体パラメータ又は把持パラメータのいずれかを含み得る。あるいは、特定の情報は、物体パラメータと把持パラメータとの組み合わせを含む。したがって、当該ターゲットマーカを使用し、ターゲットマーカを所定の物体上に配置して行う、物体の３次元姿勢の決定は、データ処理ユニットに動作可能に結合された、物体捕捉用の光学センサユニットを使用して実行される。光学センサユニットは、較正済みの２Ｄカメラであり得、２Ｄカメラの各画素には、空間内の画像光線が割り当てられ、その結果、画像点と空間内の物理的物体との間で割り当てが行われ得、物体へと移動するロボットの座標系及びカメラが互いに位置合わせされる。

【0012】

本明細書における「３次元姿勢」は、３つの並進自由度の値を指し、また、３つの回転自由度の値も指し、これらは、ロボット又はロボットアームに対する物体の位置及び傾斜、すなわち角度方向である。

【0013】

本明細書で使用される場合、「文字列」は、単に数字若しくは文字、又は両方の組み合わせからなり得る英数字のシーケンスを指す。文字列は連続的に付番され得、文字列の各位置は、割り当てられた特定の情報であり得る。

【0014】

本明細書における「ターゲットマーカのサイズ」は、モジュールパターンのグリッド寸法を意味する。

【0015】

ターゲットマーカにコード化され得る特定の情報は、物体特有の方法で所望に応じて拡張され得る。ターゲットマーカ自体が、物体の認識及び／又は把持に必要な全ての情報をもたらすので、先行技術で必要とされるように把持姿勢を事前に教示する必要はない。したがって、物体は、事前に既知である必要はないが、ターゲットマーカに符号化された情報を使用して認識され、把持され得る。モジュールパターンは、所定の長さの符号化された文字列を示し、所定の位置において特定の情報を符号化することができる。有利なことに、本発明によるターゲットマーカは、ターゲットマーカのサイズを事前に把握することなく、物体の３次元姿勢、すなわち、物体の位置、角度方向、及び幾何学的形状を空間内で絶対的に認識することを可能にする。モジュールパターンのサイズ情報は、ターゲットマーカから直接推定することができる。ターゲットマーカの物理的サイズ、すなわち、モジュールのグリッド寸法が符号化され、これにより、外寸のクエリ又は必要なサイズ情報の事前の教示なしで、様々なサイズのターゲットマーカを用いて物体の位置又はその姿勢を特定することが可能になる。これは、２Ｄコード形態のターゲットマーカが多数の様々なコードサイズで物体に取り付けられ、物体の数又はモジュールサイズが事前に定まっていない場合に特に有用であり、物体認識が著しく容易になる。

【0016】

更に、物体の様々な把持パラメータは、物体の改善された把持のためにターゲットマーカに符号化される。グリッパの把持姿勢はまた、物体を把持するためにグリッパを開くべき程度を示す寸法及び向きを含む。更に、物体上のターゲットマーカの位置に基づいて、物体の把持点に対するオフセットが、相対的な把持姿勢として符号化され得るか、又は閉鎖力が記憶され得る。把持は、任意のグリッパ、好ましくはロボット又はロボットアームの吸引グリッパ又はジョーグリッパなど特殊なグリッパを用いて行われ得る。グリッパに関する更なる情報、例えば、使用されるグリッパのタイプは、グリッパの幾何学的形状に記憶され得、これもまた符号化され得る。したがって、把持される物体は、把持プロセスに必要なパラメータを既に有するので、これらのパラメータが事前に教示される必要はない。したがって、把持プロセスはターゲットマーカによる支援を受ける。

【0017】

ターゲットマーカは、ＥＣＣ２００、ＱＲコードとして、又はＡｐｒｉｌＴａｇとしても設計され得る。これらの形式は、様々な物体情報の符号化に最適な基盤を提供する。良好な視認性を実現するために、ターゲットマーカは、ダイレクトマーキングとして、又はキャリアに取り付けられ得る。ダイレクトマーキングは、ターゲットマーカを構成要素の上又は中に直接印刷する、フライス加工する、又はレーザ加工することができる、連続生産構成要素にとって特に有利である。例えば、ターゲットマーカを担持するステッカ又はねじ込み式プレートなどキャリア上のコードのバージョンは、とりわけ商品キャリアに適している。

【0018】

本発明による方法の更なる実施形態では、ターゲットマーカのモジュールパターンは、識別番号を用いた連続付番に符号化され、その結果として、一意の識別ＩＤが提供される。このようにして、コードに記憶されていなくても、更なる情報が各ターゲットマーカに明確に割り当てられ得る。例えば、把持パラメータは、ターゲットマーカに直接符号化され得ないが、外部に記憶されたテーブル又はデータベース（例えば、クラウド内）で利用可能であり、識別番号を介してリンクされ得る。このことは、把持プロセスにおいてある程度の柔軟性を必要とする物体にとって特に有利である。ターゲットマーカは、次いで、ＩＤを決定し、次いで、データベースからモジュールサイズ又は他の把持パラメータを読み出すのに十分である。単なる数値コーディングもターゲットマーカに使用可能であり、識別ＩＤにはＸ文字、「モジュールサイズ」情報にはＹ文字、「相対把持姿勢」情報にはＺ文字などが用いられる。より多くの情報、すなわち、より多くの文字がターゲットマーカに記憶される場合、モジュールパターン又は符号化モジュールの数は増加する必要がある。それにより、（符号化モジュールに対して）１２×１２のターゲットマーカは、小数点以下１０桁を符号化することができる。より高い情報密度には、対応してより多数の符号化モジュールが必要である。

【0019】

本発明による方法の更に別の実施形態では、ターゲットマーカの形状は正方形又は円形である。更に、モジュールパターン又は符号化モジュールの形状は、正方形又は円形であり得る。とりわけ円形符号化モジュール又はモジュールパターンでは、コードモジュールの中心の精密決定が容易になり、位置決定に必要な計算時間が短縮される。

【0020】

本発明による方法の好ましい実施形態では、ターゲットマーカは、符号化モジュールが配置される背景を有し得る。この背景は、光学的に中立的な背景であることが好ましい。ここで「中立的」とは、符号化モジュールが高コントラストで目立ち得、したがって光学センサユニットによって容易に検出され得るような背景であることを意味する。例えば、背景は、黒色符号化モジュールが存在する白色表面であり得る。これにより、ターゲットマーカは、所定の長さの文字列に対応する明暗パターンを特定する。対象材料に導入されたターゲットマーカの場合、これは、例えばフライス加工された背景の前の隆起した符号化モジュールによって表され得る。

【0021】

本発明による方法の更に別の実施形態では、符号化モジュールは再帰反射性である。これはまた、背景又はターゲットマーカ全体に適用され得る。キャッツアイ原理に対応する再帰反射構成は、照明が光学センサユニットに組み込まれていると、より大きな作動距離を実現することができるという利点を提供する。これは、照明によって放出された光が入射角に関係なく反射されて光学センサユニットに戻るためである。

【0022】

ターゲットマーカを用いる方法の他の実施形態、並びにこれらの実施形態及び他の実施形態に関連する利点のいくつかは、添付の図面を参照して以下の詳細な説明から明らかになり、理解が深まるであろう。図面は、本発明の一実施形態の概略図にすぎない。

【図面の簡単な説明】

【0023】

図面には、以下が示されている。

【図1】ターゲットマーカ、及び

【図2】空間内の物体上のターゲットマーカの概略配置。

【0024】

図１は、光学的に中立的な背景３に複数の符号化モジュール２を備えるターゲットマーカ１を示す。符号化モジュール２は、ある特定の情報を符号化形式で伝達するように配置される。ターゲットマーカ１に符号化され得る特定の情報は、例えばターゲットマーカ１のサイズなど物体パラメータ、又は例えばグリッパの把持姿勢、グリッパの幾何学的形状、及びグリッパ力など把持パラメータのいずれかを含む。あるいは、特定の情報は、物体パラメータと把持パラメータとの組み合わせを含む。

【0025】

図１では、ターゲットマーカ１のサイズ情報のみが、示されるターゲットマーカ１に符号化され、物体４の把持パラメータは符号化されない。

【0026】

ターゲットマーカ１の符号化モジュール２は、モジュールパターン１０（図１では破線で例示的に輪郭が描かれている）で組み合わされており、それぞれ１０進数の１０個の数字「１～１０」を符号化し、これらの１０個の数字「１～１０」には、例えば以下の意味を割り当てることができる。

【0027】

例えば、数字「１」及び「２」は、ターゲットサブタイプ、例えば、位置特定される物体のタイプを示し得るか、又はターゲットマーカ１内に符号化された情報の内部処理を容易にする追加情報を提供する。

【0028】

数字「３」及び「４」は、モジュール間隔（グリッド寸法）に関する情報を提供するために使用される。モジュール間隔は、例えば、１０進数の２個の数字によって指定され、このように、例えば、（Ｘ＋１）＊０．５（Ｘはミリメートルを表す）によって、ミリメートルにマッピングされる。したがって、０．５ｍｍ～５０ｍｍの範囲は、Ｘ＝０．．．９９によって符号化され得る。

【0029】

この例における数字「５」～「１０」は、ターゲット識別子（ＩＤ）を符号化するために使用される。これらの小数点以下５桁を用いて、数百万個のターゲットマーカの一意のＩＤを生成することができる。サブタイプが省略される場合、１億個の一意のターゲットマーカが小数点以下８桁で生成され得る。より多くの符号化モジュールを備えたターゲットマーカは、更に多くの一意のターゲットマーカを生成する可能性を提供する。

【0030】

図２では、物体４は空間５内に配置されている。ターゲットマーカ１は物体４に取り付けられており、それによって、光学センサシステム６によって認識され、このシステムに接続されたデータ処理ユニット７によって評価され得る。取り付けられたターゲットマーカ１は単独で、空間５内でのターゲットマーカ１の３次元姿勢及び把持パラメータ４を認識するのに十分である。空間次元又は他の空間固有のパラメータは不要である。グリッパの把持位置は、図２にフラグの形式で示されている把持点８によって与えられ得る。把持点８は、物体４を把持するために良好な把持点を表し、対応する相対姿勢でターゲットマーカ１に符号化される。

【符号の説明】

【0031】

１ ターゲットマーカ
２ 符号化モジュール
３ 背景
４ 物体
５ 空間
６ 光学センサユニット
７ データ処理ユニット
８ 把持点
１０ モジュールパターン

【国際調査報告】