特許 7555726 静止マーカに対する機械の位置を較正する方法、ＡＲアルゴリズムを使用して拡張現実マーカに対するロボットの位置を較正する方法、および静止マーカに対する機械の位置を較正するシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-13

(45)【発行日】2024-09-25

(54)【発明の名称】静止マーカに対する機械の位置を較正する方法、ＡＲアルゴリズムを使用して拡張現実マーカに対するロボットの位置を較正する方法、および静止マーカに対する機械の位置を較正するシステム

(51)【国際特許分類】

   B25J 9/10 20060101AFI20240917BHJP

【ＦＩ】

B25J9/10 A

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2020081434

(22)【出願日】2020-05-01

(65)【公開番号】P2020183032

(43)【公開日】2020-11-12

【審査請求日】2023-04-25

(31)【優先権主張番号】62/843,120

(32)【優先日】2019-05-03

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/862,744

(32)【優先日】2020-04-30

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】514079114

【氏名又は名称】ファナック アメリカ コーポレイション

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(74)【代理人】

【識別番号】100130133

【弁理士】

【氏名又は名称】曽根 太樹

(72)【発明者】

【氏名】レオ ケセルマン

(72)【発明者】

【氏名】ディレク チョン

(72)【発明者】

【氏名】ケネス ダブリュ．クラウス

【審査官】稲垣 浩司

(56)【参考文献】

【文献】米国特許第０９９１９４２７（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０１８／０１４４５０３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

(57)【特許請求の範囲】

【請求項1】

静止マーカに対する機械の位置を較正する方法であって、
前記機械と前記マーカとを含む画像を取得する工程と、
前記画像内の前記機械の可視部の位置を特定する工程と、
前記可視部の位置を使用して前記機械の静止部の位置を計算する工程と、
前記画像内の前記静止マーカの位置を特定する工程と、
前記静止マーカと前記機械の前記静止部との間の関係を確立する工程と、を含む方法。

【請求項2】

前記機械の前記可視部の位置を特定する工程は、前記可視部の３Ｄモデルを使用する工程を含む、請求項１に記載の方法。

【請求項3】

前記機械の静止部の位置を計算する工程は、前記機械の既知の運動学及び前記機械の位置を使用して前記機械の前記静止部の位置を計算する工程を含む、請求項１に記載の方法。

【請求項4】

前記方法を実施するために拡張現実アルゴリズムを使用する、請求項１に記載の方法。

【請求項5】

前記静止マーカと前記機械の前記静止部との間の関係を使用して、前記機械上の点を表示して前記機械のシミュレートされた動作を示す工程をさらに含む、請求項１に記載の方法。

【請求項6】

前記機械はロボットである、請求項１に記載の方法。

【請求項7】

前記マーカは、ロボット作業空間を取り囲む安全柵上に配置される、請求項６に記載の方法。

【請求項8】

前記可視部は前記ロボットの中間リンクであり、前記静止部は前記ロボットの基部であり、前記中間リンクは前記基部に連結されている、請求項６に記載の方法。

【請求項9】

画像を取得する工程は、カメラを使用する工程を含む、請求項１に記載の方法。

【請求項10】

前記カメラは、タブレット、スマートフォン、又は拡張現実（ＡＲ）眼鏡の一部である、請求項９に記載の方法。

【請求項11】

ＡＲアルゴリズムを使用して拡張現実（ＡＲ）マーカに対するロボットの位置を較正する方法であって、
前記ロボットの可視部を３Ｄモデル化する工程と、
カメラを使用して前記ロボットと前記ＡＲマーカとを含む画像を取得する工程と、
前記モデルを使用して、前記画像内に機械の前記可視部を配置する工程と、
前記可視部の位置と前記ロボットの既知の運動学とを使用して、前記機械の静止部の位置を計算する工程と、
前記画像内に静止マーカを配置する工程と、
前記静止マーカと前記ロボットの前記静止部との間の関係を確立する工程と、を含む方法。

【請求項12】

前記静止マーカと前記ロボットの前記静止部との間の関係を使用して、前記ロボット上の点を表示して前記ロボットのシミュレートされた動作を示す工程をさらに含む、請求項１１に記載の方法。

【請求項13】

前記マーカは、ロボット作業空間を取り囲む安全柵上に配置される、請求項１１に記載の方法。

【請求項14】

前記可視部は前記ロボットの中間リンクであり、前記静止部は前記ロボットの基部であり、前記中間リンクは前記基部に連結されている、請求項１１に記載の方法。

【請求項15】

前記カメラは、タブレット、スマートフォン、又は拡張現実（ＡＲ）眼鏡の一部である、請求項１１に記載の方法。

【請求項16】

静止マーカに対する機械の位置を較正するシステムであって、
前記機械と前記マーカとを含む画像を取得する手段と、
前記画像内の前記機械の可視部の位置を特定する手段と、
前記可視部の位置を使用して前記機械の静止部の位置を計算する手段と、
前記画像における前記静止マーカの位置を特定する手段と、
前記静止マーカと前記機械の前記静止部との間の関係を確立する手段と、を備える、システム。

【請求項17】

可視部の位置を特定する前記手段は、前記可視部の３Ｄモデルを使用する、請求項１６に記載のシステム。

【請求項18】

前記機械の前記静止部の位置を計算する前記手段は、前記機械の既知の運動学と前記機械の位置とを使用して前記機械の前記静止部の位置を計算する、請求項１６に記載のシステム。

【請求項19】

前記機械はロボットであり、前記可視部は前記ロボットの中間リンクであり、前記静止部は前記ロボットの基部であり、前記中間リンクは前記基部に連結されている、請求項１６に記載のシステム。

【請求項20】

前記マーカは、ロボット作業空間を取り囲む安全柵上に配置される、請求項１９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１９年５月３日に出願され、「静止マーカに対する機械作動式装置の較正」と題する米国仮特許出願第６２／８４３，１２０号の出願日の利益を主張する。

【0002】

この開示は、機械と固定マーカとの間の関係を確立する方法に概ね関し、さらに具体的には、ロボットのモデル化された可視部と、ロボットの静止部と、マーカとの間の関係を特定することにより、静止拡張現実マーカに対するロボットの位置を較正する方法に関する。

【背景技術】

【0003】

仮想世界にてコンピュータが生成した知覚情報によって現実世界に存在する対象物を強化する現実世界環境の相互作用的体験として、拡張現実（ＡＲ）が説明されている。較正の目的、教示の目的などのために、産業用ロボットの動作をシミュレートするためのＡＲシステムの使用が当技術分野で知られている。例えば、車両の塗装、車体パネルの溶接のような特定の操作を実行する方法をロボットに教示するために、ＡＲシステムを使用することができ、この操作では、熟練した操作者がＡＲシステムを使用して操作を実演し、ロボットは当業者によく理解されている方法で関連する動作を学習する。ＡＲシステムはこのほか、ロボットが侵入してはならない仮想安全ゾーンの確立など、他の教示活動に使用することができる。

【0004】

対象物の３Ｄモデルを用いて、カメラなどの撮像システムと適切なアルゴリズムとを使用して、現実世界においてその対象物を見ることができる。このため、この３Ｄモデルは、較正するため、即ち、固定されたマーカと対象物との間のずれ又は距離を明らかにするために使用されることができる。ロボットシステムなどの移動する機械システムの場合、較正の目的などで、定着マーカからロボットの静止部までのずれを知ることが望ましい場合がある。ただし、これには、カメラから見え、カメラで検出するのに十分な特徴を有するロボットの基部など、システムの静止部が必要である。静止部が見えない場合または静止部に十分な特徴がない場合には、ロボットの移動部分を使用して較正を実施することは困難である。

【発明の概要】

【0005】

以下の考察では、静止部を有する機械の位置を静止マーカに対して較正するためのシステム及び方法を開示し、説明する。プロセスでは、最初に機械及びマーカを撮像し、次に３Ｄモデル化された画像において機械の可視部を特定する。このプロセスでは、次に、可視部のモデル化された位置と機械の既知の運動学及び位置とを使用して、機械の静止部の位置を計算する。このプロセスでは、次に、画像内の静止マーカを特定し、静止マーカと機械の静止部との間の関係を確立し、この関係は、較正の目的で使用することができる。一実施形態では、機械はロボットであり、プロセスはＡＲアプリケーションによって実施される。

【0006】

本開示の追加の特徴が、添付の図面と併せて、以下の説明及び添付の特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0007】

【図1】ロボット及び固定された静止マーカを含む作業場の等角図である。

【図2】ロボットと静止マーカとの間の較正関係を確立するためのプロセスを示すフローチャートの図である。

【発明を実施するための形態】

【0008】

機械と固定マーカとの間の較正関係を確立する方法に関する本開示の実施形態の以下の考察は、本質的に単なる例示に過ぎず、本開示又はその用途又は使用を限定することを意図するものではない。

【0009】

本開示は、固定マーカに対してロボットなどの機械式装置を較正するためのシステム及び方法を提案する。この方法は、機械の現在の位置と、機械の動作の運動学と、機械の全構成要素と機械の静止部との間の関係とに関する知識を有することが必要であり、少なくとも１つの構成要素が３Ｄモデル化され、有意な特徴を有し、十分に視認可能である。ＡＲアプリケーションが、マーカとモデル化された構成要素とを撮像し、運動学を用いてモデル化された構成要素を静止部に関連付け、次に静止部とマーカとの間の関係を確立する。

【0010】

図１は、機械、具体的には、ロボット１２を含む作業場１０の等角図である。ロボット１２は、基部１４と、回転及び枢動継手１８によって基部１４に連結された延長リンク１６と、エルボ枢動継手２２によって延長リンク１６の基部１４の反対側に連結された作業リンク２０と、エンドエフェクタ２４とを有する。ここでは、塗料塗布器などの（図示しない）工具がエンドエフェクタ２４に結合されることになる。以下の考察では、延長リンク１６は、十分な特徴を有し、既知の３Ｄモデルによってモデル化されたロボット１２の可視部として説明される。ロボット１２の他の部品もまた、モデル化されて識別されるのに十分な特徴を有し、較正過程の間静止している限り、この目的のために使用され得る。基部１４は、典型的には十分な特徴を有していなかったり、及び／又は十分に視認可能ではなかったりするため、ほとんどの場合にこれらの構成要素の１つではない。ロボット１２は、材料の切断、溶接、部品の選択／移動／配置、塗装などの製造環境にてさまざまな操作を実行するようにプログラムすることができる６軸ロボットなど、本明細書で考察する目的に適した任意の多軸産業用ロボットとすることができる。ロボット１２は、基部１４と、リンク１６及び２０と、エンドエフェクタ２４と、既知の構成との間の既知の運動学及び幾何学、即ち、その現在の位置とを有する。この非限定的な実施形態ではロボット１２が採用されているが、本明細書で考察される較正技術は、他の機械を静止マーカに対して較正するための適用があるであろう。

【0011】

安全柵２８は、作業場１０に設けられ、安全の目的でロボット１２の周りに位置決めされ、この考察ではロボット１２から分離された非可動構成要素として作用する。いくつかの認識可能な特徴を有する画像、モデル又は他の印などの静止拡張現実マーカ３０は、柵２８上の可視位置にて柵２８に固定される。ここで、マーカは、他の実施形態では、ロボット１２から分離された他の静止構成要素に固定されることができる。ユーザ３２が、作業場１０に立ち、ＡＲアプリケーション、ロボット１２の運動学及びリンク１６の３Ｄモデルがダウンロードされたタブレット３４を保持している状態が示されている。本明細書にて考察する目的に適した多数のＡＲアルゴリズムが当技術分野で知られている。タブレット３４は、ＡＲアプリケーションに提供される作業場１０を撮像するカメラ３６と、作業場１０でのロボット１２の動きのほか、他の事項を表示するディスプレイ３８とを有する。タブレット３４の代わりに、ＡＲメガネ、スマートフォンなどの他のＡＲデバイスを使用することができる。

【0012】

ＡＲアプリケーションは、マーカ３０とロボット１２との間の位置関係を確立してマーカ３０に対するロボット１２の構造体における情報を表示するために使用することができるアルゴリズムを動作させて、ディスプレイ３８上のロボット１２のシミュレートされた動きを観察する。これを達成するために、ユーザ３２は、延長リンク１６及びマーカ３０がカメラ３６の視野内で視認可能になるように、カメラ３６をロボット１２の方に向ける。アルゴリズムは、リンク１６の３Ｄモデルを使用してリンク１６を認識するか特定し、ロボット１２の運動学又は動きを使用して、リンク１６に対するロボット１２の動作中に移動しない基部１４の位置を判定する。ユーザ３２は、マーカ３０及びリンク１６の両方をディスプレイ３８にて視認可能になるように、マーカ３０もカメラ３６の視野内に配置する。次に、アルゴリズムは、マーカ３０と基部１４との間の数学的関係又は較正を判定する。このように、ロボット１２の構造体における既知の情報を、マーカ３０に対して表示することができる。特に、マーカ３０と基部１４との間の関係と、基部１４とロボット１２の他の部分との間の関係とを知ることにより、ロボット１２上の点をマーカ３０に対して表示して、ロボット１２の動きをディスプレイ３８に示し、例えば、ロボット１２のシミュレートされた動作を観察することができる。

【0013】

図２は、これまでに考察したように拡張現実マーカ３０に対するロボット１２の位置を較正するためのプロセスを示すフローチャートの図４０である。このプロセスでは、ボックス４２において、画像でロボット１２およびマーカ３０が視認可能になるように、最初にカメラ３６を使用して作業場１０を撮像する。次に、このプロセスでは、ボックス４４において、３Ｄモデル化された画像にて、視認可能かつ認識可能なロボット１２の部分、ここではリンク１６を特定する。次に、このプロセスでは、ボックス４６において、リンク１６のモデル化された位置と、ロボット１２の既知の運動学及び位置とから、ロボット１２の静止部、ここでは基部１４の位置を計算する。次に、このプロセスでは、ボックス４８において画像内の静止マーカ３０を特定し、ボックス５０において静止マーカ３０とロボット１２の基部１４との関係を確立する。これは、考察したように、較正及びシミュレーションの目的で使用することができる。

【0014】

これまでの考察では、本開示の単なる例示的な実施形態を開示および説明している。当業者であれば、そのような考察及び添付の図面及び特許請求の範囲から、以下の特許請求の範囲で定義される開示の精神及び範囲から逸脱することなく、さまざまな変更、修正及び変形を実施することができることを容易に認識するであろう。

【図1】

【図2】