特許 7414810 ロボット連続経路のゼロティーチ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-05

(45)【発行日】2024-01-16

(54)【発明の名称】ロボット連続経路のゼロティーチ

(51)【国際特許分類】

   B25J 9/22 20060101AFI20240109BHJP

【ＦＩ】

B25J9/22 A

【請求項の数】 11

(21)【出願番号】P 2021513283

(86)(22)【出願日】2019-09-10

(65)【公表番号】

(43)【公表日】2022-01-04

(86)【国際出願番号】 US2019050468

(87)【国際公開番号】W WO2020055909

(87)【国際公開日】2020-03-19

【審査請求日】2022-08-19

(31)【優先権主張番号】62/729,179

(32)【優先日】2018-09-10

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/566,608

(32)【優先日】2019-09-10

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】514079114

【氏名又は名称】ファナック アメリカ コーポレイション

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(72)【発明者】

【氏名】イー スン

(72)【発明者】

【氏名】サイ－カイ チョン

(72)【発明者】

【氏名】ジェイソン ツァイ

【審査官】樋口 幸太郎

(56)【参考文献】

【文献】特開２０１５－２２１４９１（ＪＰ，Ａ）

【文献】特開２００４－２４３５１６（ＪＰ，Ａ）

【文献】特開２００５－１０８１４４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ ９／２２

(57)【特許請求の範囲】

【請求項1】

連続経路に沿って操作を実行するようにロボットをプログラミングするシステムであって、
最適化アルゴリズムで構成されたメモリ及びプロセッサを有するコンピュータであって、前記最適化アルゴリズムは、設計経路及びプロセス機器特性モデルを含む入力を使用し、ロボットのツール中心の経路及び速度並びにロボット動作指令に対応するプロセス機器指令信号を含む目的関数を達成するために前記ロボット動作指令の反復計算を実行する、コンピュータと、
前記操作を実行するためのプロセス機器を備えた産業用ロボットと、
前記ロボット及び前記コンピュータと通信するとともに、プロセッサ及びメモリを有し、ロボット動作制御ソフトウェアで構成されたロボット制御装置と、
前記ロボット制御装置と通信するとともに、１つ又は複数のカメラ、及びディスプレイを有し、ＡＲアプリケーションを実行するように構成されたプロセッサ及びメモリをさらに有する、拡張現実（ＡＲ）装置と、を備え、
前記ロボット制御装置は、前記コンピュータから前記ロボット動作指令及び前記ロボット動作指令に対応するプロセス機器指令信号を受信して、予行演習処理を実行するように前記ロボットに命令し、
前記ＡＲアプリケーションは、ワークに重ね表示された前記操作のシミュレーション出力とともに、前記ロボットの前記予行演習処理を表示し、
前記ＡＲアプリケーションは、前記ワークに重ね表示された前記操作のシミュレーション出力とともに、前記ロボットの前記予行演習処理を分割画面の一方に表示し、経路トレース及びツール中心の速度曲線を前記分割画面の他方に表示し、前記経路トレース及びツール中心の速度曲線は、前記ロボットのツール先端の動きに動機して移動するトレースポイントを含む、システム。

【請求項2】

前記ＡＲ装置は、操作者が装着するヘッドセット装置であるか、又は前記操作者に保持されるスマートフォン、タブレット計算装置若しくはロボットティーチペンダントである、請求項１に記載のシステム。

【請求項3】

前記設計経路は、ＣＡＤシステムからのデータによって定義される、請求項１に記載のシステム。

【請求項4】

前記プロセス機器特性モデルは、入力レベル信号の関数としての物理出力量と、オン／オフイベント信号及び入力レベル信号の変更を受信した後に発生する出力タイムラグとを含む、請求項１に記載のシステム。

【請求項5】

前記最適化アルゴリズムは、逆運動学計算を使用して、前記設計経路に基づいて前記ロボット動作指令を計算し、経路ポイント及び経路セグメントを必要に応じて調整して前記目的関数を最小化する、請求項１に記載のシステム。

【請求項6】

前記最適化アルゴリズムは、ツール姿勢の要件入力を受信し、前記目的関数内のツール姿勢を含む、請求項１に記載のシステム。

【請求項7】

前記ＡＲアプリケーションにより、ＡＲ作業者は前記ロボットのツール中心経路及び前記プロセス機器指令信号を変更することができる、請求項１に記載のシステム。

【請求項8】

前記操作は、前記ワークの前記連続経路に沿った材料ビードの分配であり、前記ＡＲアプリケーションは、前記ロボットの分配チップが前記ワークに沿って移動するときに前記材料ビードのシミュレーション出力を表示する、請求項１に記載のシステム。

【請求項9】

前記操作は、前記連続経路に沿った１つ又は複数のワークの溶接、前記連続経路に沿った前記ワークの切断、又は前記連続経路に追従することによる前記ワークのスプレー塗装である、請求項１に記載のシステム。

【請求項10】

連続経路に沿って操作を実行するようにロボットをプログラミングするシステムであって、
最適化アルゴリズムで構成されたメモリ及びプロセッサを有するコンピュータであって、前記最適化アルゴリズムは、設計経路及びプロセス機器特性モデルを含む入力を使用し、ロボットのツール中心の経路及び速度並びにロボット動作指令に対応するプロセス機器指令信号を含む目的関数を達成するために前記ロボット動作指令の反復計算を実行する、コンピュータと、
前記操作を実行するためのプロセス機器を備えた産業用ロボットと、
前記ロボット及び前記コンピュータと通信するとともに、プロセッサ及びメモリを有し、ロボット動作制御ソフトウェアで構成されたロボット制御装置と、
前記ロボット制御装置と通信するとともに、１つ又は複数のカメラ、及びディスプレイを有し、ＡＲアプリケーションを実行するように構成されたプロセッサ及びメモリをさらに有する、拡張現実（ＡＲ）装置と、を備え、
前記ロボット制御装置は、前記コンピュータから前記ロボット動作指令及び前記ロボット動作指令に対応するプロセス機器指令信号を受信して、予行演習処理を実行するように前記ロボットに命令し、
前記ＡＲアプリケーションは、ワークに重ね表示された前記操作のシミュレーション出力とともに、前記ロボットの前記予行演習処理を表示し、
前記操作は、前記ワークの前記連続経路に沿った材料ビードの分配であり、前記ＡＲアプリケーションは、前記ロボットの分配チップが前記ワークに沿って移動するときに前記材料ビードのシミュレーション出力を表示する、システム。

【請求項11】

連続経路に沿って操作を実行するようにロボットをプログラミングする方法であって、
最適化アルゴリズムで構成されたメモリ及びプロセッサを有するコンピュータに対し、設計経路及びプロセス機器特性モデルを含む入力を行うことと、
前記入力を使用して前記最適化アルゴリズムを実行して、ロボットのツール中心の経路及び速度を含む目的関数を達成するためにロボット動作指令の反復計算を実行し、ロボット動作指令に対応するプロセス機器指令信号を計算することと、
前記操作の予行演習を実行するためのプロセス機器を備えた前記ロボットを、前記コンピュータから受信した前記ロボット動作指令及び前記対応するプロセス機器指令信号に基づいて、ロボット制御装置によって操作することと、
前記操作の予行演習を、拡張現実（ＡＲ）装置で実行されるＡＲアプリケーション内で表示して、ワークに重ね表示された前記操作のシミュレーション出力とともに、前記操作の予行演習を行う前記ロボットを表示することと、
を含み、
前記操作は、前記ワークの前記連続経路に沿った材料ビードの分配であり、前記ＡＲアプリケーションは、前記ロボットの分配チップが前記ワークに沿って移動するときに前記材料ビードのシミュレーション出力を表示する、方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１８年９月１０日に提出された、タイトルを「ZERO TEACH FOR ROBOTIC CONTINUOUS PATH」とする米国特許仮出願第６２／７２９１７９号の優先権の利益を請求するものである。

【0002】

本開示は、産業用ロボットの分野に関し、より具体的には、手動のティーチングサイクルを伴わない部品に沿った所定の連続経路を辿るようにロボットをプログラミングする方法に関する。この方法では、最適化プロセスへの入力として、所定の連続経路を定義するＣＡＤデータと、プロセス機器の特性とが提供され、拡張現実システムでの検証及びさらなる調整のために、最適化された経路と、ロボットによる操作の結果とが表示される。

【背景技術】

【0003】

経路を正確に辿ることを含む産業操作を一貫して実行するためにロボットを使用することは、当技術分野において周知である。経路を辿るアプリケーションの一例では、ロボットを使用して、コーキング、シーラント又は接着剤等の、材料の「ビード」を所定の経路に沿って部品に塗布する。しかしこれまでは、材料の一貫したビードを塗布しながら所定の経路を正確に辿るロボットのプログラミングは、試行錯誤のプロセスであった。この理由は、分配アプリケーションにおいては塗布用チップであるロボットのツール中心点が、直線では、狭いカーブやコーナーとは異なる速度で移動するからである。ツール中心点の速度を補正するために材料の分配速度が調整されていない場合、材料のビードは経路に沿った様々な位置で異なる厚さになり、これは望ましくない。

【0004】

ロボットは、溶接、切断、トレース、スプレー塗装等の他の多くの経路追従操作にも使用される。操作の実行中にツール中心点が所定の経路を辿る必要があるこれらのアプリケーションでは、ロボットのツール中心点の位置、速度、及びプロセス機器の特性の相互作用が重要である。

【0005】

産業用ロボットにおいて拡張現実（ＡＲ）システムを使用することも周知である。ＡＲシステムは、現実世界の対象物のカメラ画像に重ね合わせたコンピュータ生成要素の仮想表示を提供し、作業者がロボットシステムの構成パラメータと実際のパフォーマンスとを視覚化できるようにする。しかし経路追従の分野では、ＡＲシステムは、上述の試行錯誤のアプローチを使用した手動の教示に使用されていた。

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記状況を踏まえ、手動のティーチングサイクルなしで、連続経路に沿って一貫して動操作を実行するようにロボットをプログラミングする方法を提供することが望まれる。

【課題を解決するための手段】

【0007】

本開示の教示に従い、試行錯誤の教示サイクルなしでロボット連続経路をプログラミングするための方法及びシステムが記載される。最適化計算への入力として、所定の連続経路を定義するＣＡＤデータと、プロセス機器特性モデルとが提供される。最適化プロセスは、指定された連続経路がツール中心点の動作のシミュレーションにおいて忠実に追従されるまで、ロボットの動作コマンドを繰り返し計算・調整し、その結果である速度プロファイルは、最小量の速度変動を含む望ましい特性を有する。ロボット動作コマンドに対応するプロセス機器制御信号も計算される。最適化プロセスの出力は拡張現実システムに提供され、最適化された経路とロボットによって実行された操作の結果とが表示され、作業者による検証及びさらなる調整が行われる。

【0008】

追加の特徴は、添付の図面と併せて、以下の説明及び添付の特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0009】

【図1】本開示の実施形態に係る、連続経路に沿って材料の一貫したビードを塗布するように分配ロボットをプログラミングするための技術を示す概略フロー図である。

【図2】本開示の実施形態に係る、拡張現実を使用したロボット連続経路のゼロティーチプログラミングためのシステムの図である。

【発明を実施するための形態】

【0010】

本開示の実施形態の以下の説明は、試行錯誤の教示サイクルなしでロボット連続経路をプログラミングするための方法及びシステムに関するものであって、本質的に単なる例示であり、開示された装置及び技術、並びにそれらの用途や使用を制限することを決して意図するものではない。

【0011】

産業用ロボットは、反復的なタスクを一貫して実行するのに非常に優れている。特に、ロボットは、２次元又は３次元で定義可能なほぼ全ての経路に追従することができる。これにより、溶接、切断、スプレー塗装、材料の分配等、種々の経路追従操作にロボットが使用されるようになった。ロボット経路追従操作のための既知の試行錯誤の教示方法に関連する問題、及びここで開示する技術の利点を説明するために、材料分配アプリケーションを例として以下に詳細に説明する。

【0012】

ロボットが適合する産業操作の１つは、部品の所定の経路に沿って、接着剤、コーキング、シーラント等の材料のビードを塗布することである。当技術分野で知られている６軸ロボット等の産業用ロボットには、材料分配システムが取り付けられている。簡単に言えば、分配システムは、プランジャを備えたポンプ又はキャニスタ等のディスペンサ、分配チップ、及びディスペンサから分配チップまで延びる供給ラインを含み得る。分配チップは、ディスペンサが指令（オン／オフや材料の流量等）に従う間、ロボットが所定の経路に沿って移動する必要がある「ツール中心点（tool center point）」である。

【0013】

上述の分配ロボットの構成は、部品上の経路に沿って材料のビードを繰り返し塗布するものとして周知であるが、経路から逸脱することなく、（経路全体に沿って一定幅の）一貫した材料のビードを得るために、試行錯誤を伴うロボット教示が伝統的に必要とされていた。この理由は、分配チップが経路に沿ってカーブやコーナーに到達すると、ロボットは必然的に分配チップを異なる速度で移動させるからである。さらに、ロボットの経路追従計算アルゴリズムにより、経路に沿って速度が大幅に変動することがよくある。これらの分配チップの異なる速度により、分配されたビードの厚さが増減するが、これは望ましくない。試行錯誤を伴うロボット教示方法は、不必要に費用と時間がかかり、このことが本明細書に開示される新しい技術の開発につながった。

【0014】

図１は、本開示の実施形態に係る、連続経路に沿って材料の一貫したビードを塗布するように分配ロボットをプログラミングするための技術を示す概略フロー図１００である。ステップ１１０において、典型的にはＣＡＤシステムから、部品上において追従すべき経路１１２の幾何学的定義がなされる。経路１１２は例えば、機械加工された鋳造物の不規則な形状の外縁であり、外縁の周囲には、別の部品が鋳造物に取り付けられる前に、シーラントのビードが塗布される。経路１１２は、２次元でも３次元でもよい。典型的には経路１１２は、多数の点で構成され、それらの点を通る曲線を備える。経路１１２はまた、必要とされる工具の姿勢角度の定義を含み得る。例えば、平面的な楕円形の経路への分配アプリケーションでは、ディスペンサの先端が経路の平面の上方で４５°の角度（プラス又はマイナスのある程度の許容誤差を含む）に方向付けられ、常に経路の局地接線に垂直であり（ここでも、垂直からプラス又はマイナスのある程度の許容誤差を含む）、さらにディスペンサの先端が常に経路の外側に位置することが求められる場合がある。工具の方向付けに関する要件は、経路１１２全体のプロパティとして、または経路の各ポイントに関連付けられた特定のプロパティとして、定義することができる。

【0015】

ステップ１２０において、分配機器の特性のモデルが提供される。分配機器の特性モデルには、分配機器への入力信号（０～１０の範囲のポンプ流量設定等）と出力パラメータ（分配された材料の体積流量（立方センチメートル／秒）等）との関係が含まれる。入力信号と出力パラメータと関係は非線形でもよく、数式、パラメトリック曲線のセット、値の表、又は他の適切なフォーマットとして記述可能である。分配機器の特性モデルには、ディスペンサ／ポンプへの入力信号の変更と、分配チップでの実際の流量変化との間のタイムラグも含まれる。供給ラインの長さ（ディスペンサから分配チップまで）、分配された材料の圧縮性流れ特性、及びその他の要因により、「ディスペンサＯＮ」信号が提供された時刻と、材料が実際に分配チップから流出し始める時間との間にはタイムラグがある。同様に、「ディスペンサＯＦＦ」信号の後や、流量信号の変更の後にもタイムラグがある。流量変更指令は、分配チップが経路を辿るときにチップの速度が変化するたびに実行される必要があるため、特に重要である。流量変化の遅延時間は一定とは限らないが、代わりに遅延時間は流量の関数である場合があり、例えば流量が少ないほど遅延時間は長くなる。これらのタイムラグは、特定のロボット及び分配システムに特徴付けることができるが、これは分配機器の特性のモデルに含まれている。

【0016】

最適化タスクは、ステップ１３０において実行される。経路１１２の幾何学的定義、及び必要な分配チップの姿勢等の他の入力パラメータを使用して、１３２に示すように、初期ロボット動作シミュレーションを計算することができる。初期シミュレーションは非常に不均一な先端速度（１３２の上側グラフに図示）を含み、所望の経路１１２（１３２の下側グラフに図示）をオーバーシュート又はアンダーシュートする可能性がある。ロボット動作シミュレーションの反復計算は、ステップ１３０の最適化タスクで実行され、最終的には非常に滑らかな速度プロファイル（１３４の上側グラフに図示）と、所望の経路１１２（１３４の下側グラフに図示）との正確な一致とをもたらす。

【0017】

最適なチップ動作シミュレーションと分配機器の特性モデルとに基づいて、分配機器指令を計算して、チップの位置及び速度を一致させることができる。例えば、ディスペンサは、ロボットが経路１１２に沿って分配チップを動かし始める２００ミリ秒（ｍｓ）前に流出を開始するように命令可能であり、分配流量は、チップ速度が低下する２００ミリ秒（或いは特性モデルに依存してこれより大きい又は小さい値）前に下方修正可能である。一例では、分配された材料の体積流量は、分配チップ速度の線形関数であり、より高い速度ではより高い流量が使用される。

【0018】

ステップ１３０の最適化タスクは、ロボット経路計画及びプロセス機器特性を考慮して、シミュレーションフェーズ中に実行することができる。この反復最適化プロセスの目的関数には、生成された動作指令とＣＡＤモデルとの間の最小経路偏差、及びプロセス機器のためのツール中心点（ＴＣＰ）の最小の速度変動が含まれる。ツールの姿勢等、他のプロセス関連の目的も、最適化計算に含まれ得る。このオフライン最適化プロセスは、ＡＲ装置を使用した次のステップのための制御可能な結果を提供する。目的関数のターゲットが達成されると、ロボット動作指令及び対応するプロセス機器指令信号がロボット制御装置に提供される。

【0019】

次に、ロボット制御装置は、最適化プロセスの出力を使用して予行演習（dry-run）操作を実行し、その予行演習操作は作業者が拡張現実（ＡＲ）システムを使用して表示する。図１のステップ１４０は、ＡＲシステムディスプレイのシミュレーションを示す。このディスプレイは、ＡＲゴーグルのセット、又はタブレット装置上の表示器であり得る。一実施形態では、ＡＲディスプレイは分割画面を含み、その左側は仮想オーバーレイを含む実際のロボット及び部品の画像であり、右側は位置及び速度のトレースである。

【0020】

１４２に示すＡＲディスプレイの左側では、ＡＲユーザの前に物理的に配置されている実際の部品は、ＡＲ装置のカメラからの画像として表示される。実際のロボットは、最適化された動作指令を使用して分配操作の予行演習を実行するように命令される。つまり、実際のロボットは実際に分配チップを所定の経路に沿って移動させるが、ＡＲシミュレーションでは分配機器がオンになっていないか、ディスペンサに材料がなくても分配機器がオンになっている可能性がある。ロボットが目的の経路を辿ると、ＡＲシステムに仮想の材料ビード（分配機器の指令及び特性、並びに分配チップ速度に基づいて計算される）が表示され、ユーザはその均一性を確認することができる。ツール中心点の速度（ｍｍ／秒の値等）も、減速に対応する表示とともに、１４２においてＡＲディスプレイに重ね表示される。

【0021】

ＡＲディスプレイの右側では、トレースポイントは、実際の部品でのロボット先端の動きと同期して、位置（１４４に表示）及び速度（１４６に表示）の曲線に追従する。ＡＲユーザは、ロボットの動作指令及び分配機器の指令の確認や、ＡＲシステムのフィードバックに基づく最終調整を行うことができる。フィードバックは、ＣＡＤで指定された経路と実際の経路の位置合わせ、ロボットの関節の機械的限界の検出、及び仮想ビードの観察を含むことができ、これらによって分配機器のモデルや指令の調整が必要になり得る。

【0022】

ＡＲディスプレイにより作業者は、現実のワークで実行されるシミュレートされたロボット操作の全ての態様を確認できる。特に、理論上の経路と現実のワークとの間の不一致は、次の２つの主要な事項で特定され得る。すなわち、ＣＡＤで定義された部品の形状と現実のワークの形状との差（実際に製造された部品に沿った経路は、理論上のＣＡＤ経路とは形状が僅かに異なる場合がある）と、ロボットのベース座標系に対するワークの理論上の位置及び姿勢とワークの実際の位置及び姿勢との差（つまり、固定・位置決めの許容範囲又は誤差）である。

【0023】

作業者がＡＲシミュレーションに基づいてロボット動作指令及び／又は分配機器指令に対して行うことができる最終調整の後、ステップ１５０に示すように、検証されたロボット動作指令及び分配機器指令の製造プロセスでの使用が承認される。

【0024】

図２は、本開示の実施形態に係る、拡張現実を使用するロボット連続経路のゼロティーチプログラミングのためのシステム２００の図である。ＣＡＤコンピュータシステム２１０は、ロボットツール先端が辿る理論的経路を記述する設計経路２１２を提供する。エンジニアリングコンピュータシステム２２０は、分配機器の遅延時間、及び流量対入力値又は溶接トーチエネルギ対入力値等のプロセス機器特性のモデル２２２を提供する。設計経路２１２及び特性モデル１２２は、コンピュータ２３０に提供され、上述のように反復最適化プロセスが実行される。ＣＡＤコンピュータシステム２１０、エンジニアリングコンピュータシステム２２０及びコンピュータ２３０は、クライアントコンピュータ、サーバ、データストレージデバイス等の任意の組み合わせであり得ることを当業者は理解すべきである。例えば、ＣＡＤシステム２１０をデスクサイドクライアントコンピュータとし、エンジニアリングコンピュータシステム２２０及びコンピュータ２３０をサーバルームに配置された計算サーバとすることができ、全てのコンピュータからの全てのデータは、ストレージエリアネットワークに保存可能である。

【0025】

コンピュータ２３０で実行される最適化プロセスにより、ツール中心点の速度の変動を最小限に抑えつつ、ツール中心点が設計経路２１２に追従するための最適化されたロボット動作指令の組が得られる。これを達成するために、設計経路２１２からの偏差及びツール中心点速度の変動を含む目的関数を定義することができ、最適化プロセスの目標は、目的関数の最小化である。ロボット動作指令の最適化された組は、例えばツールの姿勢が経路形状の局地接線に垂直である等、追加の要件にも準拠し得る。最適化計算は、ツールの中心点の位置及び速度に対応する、プロセス機器の入力信号又は指令の組も提供する。プロセス機器の入力信号には、例えば、オン信号及びオフ信号、並びに流量又は電力の変化が含まれる。

【0026】

最適化プロセスでは、周知の逆運動学アルゴリズムを使用して、記述された経路を達成するために必要なロボット関節の角度及び速度を計算し、経路のポイントの配置、セグメントの末端の種類（１つの曲線セグメントから別の曲線セグメントへの遷移）、及びその他の経路関連パラメータを調整することができる。また最適化プロセスは、プロセス予測時間、流量等のプロセス関連パラメータを調整して、一定の分配ビード幅や所望経路等のプロセス成果物に一致させることができる。

【0027】

ロボット動作指令の最適化された組及び対応するプロセス機器入力信号の組は、ロボット制御装置２４０に提供される。ロボット制御装置２４０は、典型的にはケーブル２４２を介して、ロボット２５０と通信する。ロボット制御装置２４０は、プログラム（ロボット動作指令の最適化された組）に従ってロボット２５０を操作するための命令を備えたメモリ及びプロセッサを有する計算装置である。制御装置２４０は、ロボット２５０の関節エンコーダから位置情報を受け取り、関節モータの動きを定義する指令をロボット２５０に送信する。

【0028】

拡張現実（ＡＲ）装置２６０は、最適化されたロボット動作及びプロセス機器の指令信号の視覚化、最終修正（必要な場合）及び検証のために、作業者によって使用される。ＡＲ装置２６０は、操作者が保持するスマートフォン若しくはタブレット装置、又は操作者が着用するヘッドセット装置であり得る。ロボット２５０は、作業者が視認できるように、ＡＲ装置２６０上のディスプレイ２６２に表示される。ディスプレイ２６２には、治具２７２上に配置されたワーク２７０も表示される。ワーク２７０及び治具２７２は、視覚的な明瞭さのために図２では簡略化されている。現実の実施では、ワーク２７０は複雑な鋳造物であり得、治具２７２も同様に複雑であり得る。多くのそのような実施では、設計経路２１２は、ワーク２７０の３次元形状に従う。

【0029】

上述したように、ディスプレイ２６２は、一方の側に現実／仮想シーンを示し、他方の側にツール中心点の位置及び速度のトレースを示す分割画面フォーマットを含み得る。図２に示される現実／仮想シーンは、規定された動作によってツール中心点２５２を実際に動かす現実のロボット２５０の画像を含む。また現実／仮想シーンは、分配された材料のビード等、プロセス出力の仮想表示（図２には表示せず）も含む。分配された材料のビードは、ツール中心点の位置及び速度、対応するプロセス機器の入力信号、及びプロセス機器の特性モデルから計算され、ツール中心点２５２がワーク２７０に沿った経路を辿るときに、リアルタイムで配置されているように表示される。現実／仮想シーンはまた、アプローチや出発点のルーティングを含む全体的なツール中心点の経路２８０の仮想表示等、ＡＲシステムディスプレイに典型的な他の特徴を含み得る。

【0030】

図１のステップ１４０に関して上述したように、作業者は、ＡＲ装置２６０を使用しながら、ロボット動作指令及びプロセス機器指令信号に対して最終的な調整を行うことができる。この最終調整は、ＣＡＤ部品と実際のワーク２７０との差異を解消するために経路点を移動すること、及び／又は、ロボット２５０に対するワーク２７０の理論的な固定位置と実際の固定位置との差異を解消するために、最適化された工具中心経路の位置又は向き（６つの自由度のいずれかについて）を調整することを含み得る。

【0031】

ＡＲ装置２６０上で実行されるＡＲアプリケーションはまた、ディスプレイ２６２の映像を記録することができ、それにより、生産作業のためのプロセス機器指令信号及びロボット動作指令を確認する前に、ワーク２７０上のコーキングのビードの配置及び厚さ等の結果を詳細に評価することができる。映像を見た後、ロボット動作プログラム及びプロセス機器指令信号をさらに調整することができる。

【0032】

ＡＲ装置２６０がヘッドセットである場合、そのヘッドセットは、プロセッサ、慣性センサ、カメラ及びゴーグルを含み、それらはコンピュータが生成した３Ｄ画像を、使用者の視野又は現実世界のオブジェクトのカメラ画像の上部に重ね表示する。ＡＲ装置２６０はまた、携帯電話、タブレット装置又はロボットティーチペンダント等の手持ち機器であり得る。この場合、装置２６０は依然としてプロセッサ、慣性センサ、カメラ及び表示画面に加え、必要な通信システムを有する。ＡＲアプリケーションプログラムは、前述のように、拡張現実の特徴及び機能を作業者に提供する。

【0033】

ＡＲ装置２６０はロボット制御装置２４０と無線通信しており、故にＡＲアプリケーションプログラム及びロボット制御プログラムは、双方向のデータ交換を行うことができる。少なくとも、ＡＲアプリケーションプログラムは制御装置２４０からプロセス機器指令信号を受信し、これにより、ＡＲアプリケーションプログラムはプロセス機器出力（例えば、コーキングのビードの厚さ）を計算することができ、一方でＡＲ装置２６０の既知の位置及び姿勢により、ＡＲアプリケーションは、（例えば）ワーク２７０に対するコーキングのビードを適切に表示することができる。ＡＲアプリケーションプログラムはまた、ロボット動作プログラムの変更を制御装置２４０に通信して、修正バージョンとして保存することができる。ロボット２５０に対するＡＲ装置２６０の位置及び姿勢は、視覚画像処理と視覚慣性走行距離法の組み合わせ、又は当技術分野で周知の他の適切な技術によって既知である。ＡＲ装置２６０と制御装置２４０との間の無線通信は、無線ローカルエリアネットワーク（ＷｉＦｉ）、ブルートゥース、セルラー通信、又は他の適切な無線技術を介することができる。

【0034】

要約すると、図１に示すプロセス及び図２に示すシステムは、コーナーの丸め等のロボット経路の動作や、流量及び遅延時間等のプロセス機器の特性を反映する仮想経路計画手法を提供する。その場合作業者はＡＲアプリケーションによって、実際の分配プロセスをオンにすることなく、結果を視覚化して検証することができる。

【0035】

材料分配ロボットの前述の詳細な説明は、経路追従ロボット操作の一例に過ぎない。別の例である経路に沿った溶接が、どのようにして従来技術の方法と同じ問題を呈し、どのようにして開示された技術と同じ利点を示すかは、容易に想像できる。経路溶接操作では、連続した所定の経路が、２つの部品のエッジが当接する場所となる場合がある。所定の経路は、部品のエッジに関連付けられた任意の３次元形状を有し得る。溶接電極又はトーチは、所定の経路辿る必要があるツール中心点を表し、電極／トーチが経路に沿って移動するときに先端の姿勢角度が要求される場合もある。溶接ビードの特性は速度及び溶接電流／エネルギの双方の関数であることから、材料分配の場合と同様に、溶接操作はツール中心点の速度に敏感である。従って、経路追従ロボット溶接機も、開示された方法の利益を享受でき、そこでは経路がオーバーシュート又はアンダーシュートなしで最適化されて滑らかな速度プロファイルとなり、所望の姿勢が維持され、プロセス機器の特性（電極電流またはトーチガス流）がロボットツール中心運動の関数として計算されてＡＲモデルに組み込まれ、結果物である経路及び溶接ビードが検証されて生産に使用される。

【0036】

ロボットの経路追従の他の例は、例えば切断（例えば、レーザエネルギレベル、ワークからの距離、速度、姿勢角度及び金属の厚さ全てが性能に影響を与える、金属のレーザ切断）やスプレー塗装（例えば、所定経路に沿った流量又はスプレー圧力、車体パネルに対する距離及び姿勢）であり、これらの例も、本開示に係るゼロティーチ連続経路最適化技術の利益を享受できる。

【0037】

これまでの説明を通じて、種々のコンピュータ及び制御装置が記載・暗示されている。これらのコンピュータ及び制御装置のソフトウェアアプリケーション及びモジュールは、プロセッサ及びメモリモジュールを有する１つ又は複数のコンピューティングデバイスで実行されることを理解されたい。特にこれは、コンピュータ２１０－２３０内のプロセッサ、ロボット制御装置２４０、及び上述のモバイル装置２６０を含む。これらの装置間の通信、及びこれらの装置と他の装置（タブレット装置、ティーチペンダント又は工場マスタコントローラ等）との間の通信は、有線ネットワークで行うこともできるし、セルラーフォン／データネットワーク、Ｗｉ－Ｆｉ、ブロードバンドインターネット、ブルートゥース等の適切な無線技術を使用することもできる。

【0038】

上で概説したように、拡張現実を使用するロボット連続経路のゼロティーチプログラミングのための開示された技術は、従来技術に対するいくつかの利点を提供する。対応するプロセス機器制御指令を使用して最適化されたパスを計算し、忠実に追従された経路及び一貫したプロセス結果を生成し、さらに拡張現実を使用して経路及びプロセスを視覚化して調整する能力は、連続経路プログラミングのための試行錯誤技術よりもはるかに優れている。

【0039】

拡張現実を使用するロボット連続経路のゼロティーチプログラミングのための方法及びシステムのいくつかの例示的な態様及び実施形態が上で論じられてきたが、当業者は、それらの修正、並べ替え、追加及びサブコンビネーションを認識するであろう。従って、添付の特許請求の範囲及び請求項は、それらの真の精神及び範囲内にあるそのような修正、並べ替え、追加及びサブコンビネーションの全てを含むと解釈すべきである。
［構成１］
連続経路に沿って操作を実行するようにロボットをプログラミングするシステムであって、
最適化アルゴリズムで構成されたメモリ及びプロセッサを有するコンピュータであって、前記最適化アルゴリズムは、設計経路及びプロセス機器特性モデルを含む入力を使用し、ロボットのツール中心の経路及び速度並びに対応するプロセス機器指令信号を含む目的関数を達成するためにロボット動作指令の反復計算を実行する、コンピュータと、
前記操作を実行するためのプロセス機器を備えた産業用ロボットと、
前記ロボット及び前記コンピュータと通信するとともに、プロセッサ及びメモリを有し、ロボット動作制御ソフトウェアで構成されたロボット制御装置と、
前記ロボット制御装置と通信するとともに、１つ又は複数のカメラ、位置追跡センサ及びディスプレイを有し、ＡＲアプリケーションを実行するように構成されたプロセッサ及びメモリをさらに有する、拡張現実（ＡＲ）装置と、を備え、
前記ロボット制御装置は、前記コンピュータから前記ロボット動作指令及び前記対応するプロセス機器指令信号を受信して、予行演習処理を実行するように前記ロボットに命令し、
前記ＡＲアプリケーションは、ワークに重ね表示された前記操作のシミュレーション出力とともに、前記ロボットの前記予行演習処理を表示する、システム。
［構成２］
前記ＡＲ装置は、操作者が装着するヘッドセット装置であるか、又は前記操作者に保持されるスマートフォン、タブレット計算装置若しくはロボットティーチペンダントである、構成１に記載のシステム。
［構成３］
前記設計経路は、ＣＡＤシステムからのデータによって定義される、構成１に記載のシステム。
［構成４］
前記プロセス機器特性モデルは、入力レベル信号の関数としての物理出力量と、オン／オフイベント信号及び入力レベル信号の変更を受信した後に発生する出力タイムラグとを含む、構成１に記載のシステム。
［構成５］
前記ＡＲアプリケーションは、前記ワークに重ね表示された前記操作のシミュレーション出力とともに、前記ロボットの前記予行演習処理を分割画面の一方に表示し、経路トレース及びツール中心の速度曲線を前記分割画面の他方に表示し、前記経路トレース及びツール中心の速度曲線は、前記ロボットのツール先端の動きに動機して移動するトレースポイントを含む、構成１に記載のシステム。
［構成６］
前記最適化アルゴリズムは、逆運動学計算を使用して、前記設計経路に基づいて前記ロボット動作指令を計算し、経路ポイント及び経路セグメントを必要に応じて調整して前記目的関数を最小化する、構成１に記載のシステム。
［構成７］
前記最適化アルゴリズムは、ツール姿勢の要件入力を受信し、前記目的関数内のツール姿勢を含む、構成１に記載のシステム。
［構成８］
前記ＡＲアプリケーションにより、ＡＲ作業者は前記ロボットのツール中心経路及び対応するプロセス機器指令信号を変更することができる、構成１に記載のシステム。
［構成９］
前記操作は、前記ワークの前記連続経路に沿った材料ビードの分配であり、前記ＡＲアプリケーションは、前記ロボットの分配チップが前記ワークに沿って移動するときに前記材料ビードのシミュレーション出力を表示する、構成１に記載のシステム。
［構成１０］
前記操作は、前記連続経路に沿った１つ又は複数のワークの溶接、前記連続経路に沿った前記ワークの切断、又は前記連続経路に追従することによる前記ワークのスプレー塗装である、構成１に記載のシステム。
［構成１１］
連続経路に沿って操作を実行するようにロボットをプログラミングする方法であって、
最適化アルゴリズムで構成されたメモリ及びプロセッサを有するコンピュータに対し、設計経路及びプロセス機器特性モデルを含む入力を行うことと、
前記入力を使用して前記最適化アルゴリズムを実行して、ロボットのツール中心の経路及び速度を含む目的関数を達成するためにロボット動作指令の反復計算を実行し、対応するプロセス機器指令信号を計算することと、
前記操作の予行演習を実行するためのプロセス機器を備えた前記ロボットを、前記コンピュータから受信した前記ロボット動作指令及び前記対応するプロセス機器指令信号に基づいて、ロボット制御装置によって操作することと、
前記操作の予行演習を、拡張現実（ＡＲ）装置で実行されるＡＲアプリケーション内で表示して、ワークに重ね表示された前記操作のシミュレーション出力とともに、前記操作の予行演習を行う前記ロボットを表示することと、
を含む方法。
［構成１２］
前記最適化アルゴリズムは、逆運動学計算を使用して、前記設計経路に基づいて前記ロボット動作指令を計算し、経路ポイント及び経路セグメントを必要に応じて調整して前記目的関数を最小化する、構成１１に記載の方法。
［構成１３］
前記最適化アルゴリズムは、ツール姿勢の要件入力を受信し、前記目的関数内のツール姿勢を含む、構成１１に記載の方法。
［構成１４］
ＡＲ作業者が前記ＡＲアプリケーションを用いて、前記ロボットのツール中心経路及び対応するプロセス機器指令信号を変更することをさらに含む、構成１１に記載の方法。
［構成１５］
前記操作の予行演習の映像を、前記ＡＲアプリケーションによるシミュレーション出力とともに記録し、前記映像の記録を前記ＡＲ作業者が視認し、前記変更を行うことをさらに含む、構成１４に記載の方法。
［構成１６］
前記ＡＲ装置は、操作者が装着するヘッドセット装置であるか、又は前記操作者に保持されるスマートフォン、タブレット計算装置若しくはロボットティーチペンダントである、構成１１に記載の方法。
［構成１７］
前記プロセス機器特性モデルは、入力レベル信号の関数としての物理出力量と、オン／オフイベント信号及び入力レベル信号の変更を受信した後に発生する出力タイムラグとを含む、構成１１に記載の方法。
［構成１８］
前記操作は、前記ワークの前記連続経路に沿った材料ビードの分配であり、前記ＡＲアプリケーションは、前記ロボットの分配チップが前記ワークに沿って移動するときに前記材料ビードのシミュレーション出力を表示する、構成１１に記載の方法。
［構成１９］
前記操作は、前記連続経路に沿った１つ又は複数のワークの溶接、前記連続経路に沿った前記ワークの切断、又は前記連続経路に追従することによる前記ワークのスプレー塗装である、構成１１に記載の方法。
［構成２０］
連続経路に沿って操作を実行するようにロボットをプログラミングする方法であって、
ツール経路の偏差及びツール先端速度の偏差を含む目的関数を最小化するためにロボット動作指令の反復最適化計算を実行することと、
前記ロボット動作指令及びプロセス機器指令信号をロボット制御装置に提供することと、
前記ロボット動作指令及び前記プロセス機器指令信号を用いて前記ロボットを操作することと、
拡張現実（ＡＲ）アプリケーションを用いて前記操作を表示して、ワークに重ね表示された前記操作のシミュレーション出力とともに、前記操作の予行演習を行う前記ロボットを表示することと、
を含む方法。

【図1】

【図2】