特許 7419271 拡張現実を使用した操作上の境界ゾーンの視覚化と変更

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-12

(45)【発行日】2024-01-22

(54)【発明の名称】拡張現実を使用した操作上の境界ゾーンの視覚化と変更

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240115BHJP

   G06F 3/04815 20220101ALI20240115BHJP

   G06F 3/01 20060101ALI20240115BHJP

   B25J 19/06 20060101ALI20240115BHJP

【ＦＩ】

G06T19/00 600

G06F3/04815

G06F3/01 510

B25J19/06

【請求項の数】 22

(21)【出願番号】P 2020572694

(86)(22)【出願日】2019-06-26

(65)【公表番号】

(43)【公表日】2021-10-28

(86)【国際出願番号】 US2019039344

(87)【国際公開番号】W WO2020006144

(87)【国際公開日】2020-01-02

【審査請求日】2022-06-23

(31)【優先権主張番号】16/453,811

(32)【優先日】2019-06-26

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/690,125

(32)【優先日】2018-06-26

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】514079114

【氏名又は名称】ファナック アメリカ コーポレイション

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(74)【代理人】

【識別番号】100169856

【弁理士】

【氏名又は名称】尾山 栄啓

(72)【発明者】

【氏名】デレク ジャング

(72)【発明者】

【氏名】ブルース コールドレン

(72)【発明者】

【氏名】サム ヨン－ソン イ

(72)【発明者】

【氏名】レオ ケセルマン

(72)【発明者】

【氏名】ケネス ダブリュ．クラウス

【審査官】橘 高志

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０２０７１９８（ＵＳ，Ａ１）

【文献】特開２０１７－１６４９０２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８１５

Ｇ０６Ｆ ３／０１

Ｂ２５Ｊ １９／０６

(57)【特許請求の範囲】

【請求項1】

機械の操作ゾーンを視覚化して変更するためのシステムであって、前記システムは、
作業セル内で操作可能な機械と、
前記機械と通信する機械制御装置であって、前記制御装置は、プロセッサ及びメモリを備え、前記機械の操作を制御するための機械制御ソフトウェアと共に構成される、機械制御装置と、
前記機械制御装置と通信する拡張現実（ＡＲ）装置であって、前記ＡＲ装置は、１つ又は複数のカメラと、位置追跡センサと、ディスプレイとを有し、前記ＡＲ装置は、ＡＲゾーンソフトウェアアプリケーションを実行するように構成されたプロセッサ及びメモリをさらに備える、ＡＲ装置と、を具備し、
前記ＡＲゾーンソフトウェアアプリケーションは、
作業セル座標系に対する前記ＡＲ装置の位置と向きを確立する機能と、
前記ＡＲ装置が移動するときに、前記作業セル座標系に対する前記ＡＲ装置の位置と向きを継続的に追跡する機能と、
１つ又は複数の操作ゾーンを作成し、表示し、変更する機能であって、前記作業セル内の前記機械及び他の物理的部材の画像に重ね合わされた前記操作ゾーンの仮想表示を提供する機能を含み、前記操作ゾーンのそれぞれには、操作ゾーンの場所、大きさ及び形状を画定するために使用される制御点が含まれる、機能と、
操作ゾーンと、前記作業セル内の前記機械の部品と、前記他の物理的部材との間の干渉を検査する機能であって、前記機械が、所定の動作プログラムを介して移動している間に干渉を検査する機能を含む、機能と、
機械操作中に後で使用するために、前記操作ゾーンを前記機械制御装置に転送する機能と、を含む機能を提供し、
前記１つ又は複数の操作ゾーンを変更する機能は、操作ゾーン内の前記制御点に対するユーザ操作に応じて当該操作ゾーンを変更することを含む、
システム。

【請求項2】

前記ＡＲ装置は、ユーザが着用するヘッドセット装置である、請求項１に記載のシステム。

【請求項3】

前記操作ゾーンの前記制御点は、ユーザの身ぶりを介して操作可能であり、前記ユーザは、前記身ぶりを介して前記制御点を選択して移動させる、請求項２に記載のシステム。

【請求項4】

前記ＡＲ装置は、ユーザによって保持されるスマートフォン、タブレット計算装置又はロボット教示ペンダントである、請求項１に記載のシステム。

【請求項5】

前記作業セル座標系に対する前記ＡＲ装置の位置及び向きを確立する機能には、既知のデサインを有し、前記作業セル座標系内の既知の位置に設置された視覚的マーカの画像を分析することが含まれる、請求項１に記載のシステム。

【請求項6】

前記操作ゾーンは、前記作業セル内の固定空間を記述する１つ又は複数の安全ゾーンと、前記機械の部品周りの空間ゾーンを記述する干渉検査ゾーンと、許容関節位置範囲を記述する関節位置検査ゾーンとを含む、請求項１に記載のシステム。

【請求項7】

前記安全ゾーンは、前記機械が留まらなければならない空間を画定する許容ゾーンとして、あるいは前記機械が入ることができない空間を画定する禁止ゾーンとして構成可能である、請求項６に記載のシステム。

【請求項8】

前記干渉検査ゾーンは、前記ＡＲゾーンソフトウェアアプリケーションに既知であり、前記ＡＲゾーンソフトウェアアプリケーションから選択可能な関節中心位置に対して画定可能な形状を有する、請求項６に記載のシステム。

【請求項9】

前記操作ゾーンは、点、線、平面、多面体体積、角柱体積、球状体積及び任意選択の半球形端部を備えた円筒形体積をはじめとする形状を有する、請求項１に記載のシステム。

【請求項10】

前記位置追跡センサは、１つ又は複数のジャイロスコープ及び１つ又は複数の加速度計を含み、前記センサは、前記ＡＲ装置内の前記プロセッサに信号を提供して、前記ＡＲ装置の位置及び向きの変化の継続的な計算を可能にする、請求項１に記載のシステム。

【請求項11】

前記操作ゾーンの前記仮想表示は、前記ＡＲ装置の位置及び向きの変化に基づいて継続的に更新される、請求項１０に記載のシステム。

【請求項12】

干渉を検査する機能は、干渉が検出されたときに前記操作ゾーンの前記仮想表示を変更する機能であって、侵害された操作ゾーンの色を変更する機能及び前記干渉が発生する場所を視覚的に強調表示する機能を含む、請求項１に記載のシステム。

【請求項13】

前記機械は産業用ロボットである、請求項１に記載のシステム。

【請求項14】

ロボット操作ゾーンの視覚化及び変更のための装置であって、前記装置は、ロボット制御装置と通信する拡張現実（ＡＲ）装置を具備し、
前記ＡＲ装置は、ユーザが着用するヘッドセットであり、１つ又は複数のカメラ、慣性センサ及び１つのディスプレイを有し、
前記ＡＲ装置は、ＡＲゾーンソフトウェアアプリケーションを実行するように構成されたプロセッサ及びメモリをさらに備え、
前記ＡＲ装置は、ロボット作業セルに対するその位置及び向きを継続的に追跡し、
前記ＡＲ装置は、前記作業セル内のロボット及び他の物理的部材の画像に重ね合わされた１つ又は複数の操作ゾーンの仮想表示を提供し、
前記操作ゾーンのそれぞれが、操作ゾーンの大きさ及び形状を画定するために使用される制御点を含み、
前記ＡＲ装置はさらに、前記ロボットが所定の動作プログラムを介して移動している間の干渉の検査をはじめとして、前記操作ゾーンと、前記作業セル内の前記ロボットの部品と、前記他の物理的部材との間の干渉を検査し、
前記ＡＲ装置はさらに、操作ゾーン内の前記制御点に対するユーザ操作に応じて当該操作ゾーンを変更する、装置。

【請求項15】

機械の操作ゾーンを視覚化して変更する方法であって、前記方法は、
作業セル内で操作可能な機械と、前記機械と通信する機械制御装置とを提供するステップと、
前記機械制御装置と通信する拡張現実（ＡＲ）装置を提供するステップであって、前記ＡＲ装置は、１つ又は複数のカメラ、位置追跡センサ及び１つのディスプレイを有し、前記ＡＲ装置は、ＡＲゾーンソフトウェアアプリケーション（アプリ）を実行するように構成されたプロセッサ及びメモリをさらに備える、ステップと、
前記アプリによって、作業セル座標系に対する前記ＡＲ装置の位置と向きを確立するステップと、
前記ＡＲ装置が移動するときに、前記作業セル座標系に対する前記ＡＲ装置の位置と向きを継続的に追跡するステップと、
前記アプリによる１つ又は複数の操作ゾーンを作成し、表示し、変更するステップであって、前記作業セル内の前記機械及び他の物理的部材の画像に重ね合わされた前記操作ゾーンの仮想表示を提供するステップを含み、前記操作ゾーンのそれぞれは、操作ゾーンの大きさ及び形状を画定するために使用される制御点を含む、ステップと、
前記機械が、所定の動作プログラムを介して移動する間の干渉の検査をはじめとして、前記ＡＲ装置のアプリ又は前記機械制御装置のソフトウェアによって、操作ゾーンと、前記作業セル内の前記機械の部品と、前記他の物理的部材との間の干渉を検査するステップと、
機械操作中に後で使用するために、前記操作ゾーンを前記ＡＲ装置から前記機械制御装置に転送するステップと、を含み、
前記１つ又は複数の操作ゾーンを変更することは、操作ゾーン内の前記制御点に対するユーザ操作に応じて当該操作ゾーンを変更することを含む、
方法。

【請求項16】

前記ＡＲ装置は、ユーザが着用するヘッドセット装置であり、前記操作ゾーンの前記制御点は、ユーザの身ぶりを介して操作可能であり、前記ユーザは、前記身ぶりを介して前記制御点を選択して移動させる、請求項１５に記載の方法。

【請求項17】

前記作業セル座標系に対する前記ＡＲ装置の位置及び向きを確立するステップは、既知のデザインを有し、前記作業セル座標系内の既知の位置に設置された視覚的マーカの画像を分析することを含む、請求項１５に記載の方法。

【請求項18】

前記操作ゾーンは、前記作業セル内の固定空間を記述する１つ又は複数の安全ゾーンと、前記機械の部品周りの空間ゾーンを記述する干渉検査ゾーンと、許容可能な関節位置範囲を記述する関節位置検査ゾーンとを含み、
前記安全ゾーンは、前記機械が留まらなければならない空間を画定する許容ゾーンとして、あるいは前記機械が入ることができない空間を画定する禁止ゾーンとして構成可能であり、前記干渉検査ゾーンは、前記ＡＲゾーンソフトウェアアプリケーションに認識され、前記ＡＲゾーンソフトウェアアプリケーションから選択可能な関節中心位置に対して画定可能な形状を有する、請求項１５に記載の方法。

【請求項19】

前記操作ゾーンは、点、線、平面、多面体体積、角柱体積、回転楕円体体積及び任意選択の半球形端部を備えた円筒形体積をはじめとする形状を有する、請求項１５に記載の方法。

【請求項20】

前記位置追跡センサは、１つ又は複数のジャイロスコープ及び１つ又は複数の加速度計を含み、前記センサは、前記ＡＲ装置内の前記プロセッサに信号を提供して、前記ＡＲ装置の位置及び向きの変化の継続的な計算を可能にし、前記操作ゾーンの前記仮想表示は、前記ＡＲ装置の位置及び向きの変化に基づいて継続的に更新される、請求項１５に記載の方法。

【請求項21】

干渉を検査するステップは、干渉が検出されたときに前記操作ゾーンの前記仮想表示を変更することであって、侵害された操作ゾーンの色を変更することと、前記干渉が発生する場所を視覚的に強調表示することとを含む、請求項１５に記載の方法。

【請求項22】

前記機械は産業用ロボットである、請求項１５に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
この出願は、２０１８年６月２６日出願の「拡張現実での二重検査安全ゾーンの視覚化と変更」と題する米国仮特許出願第６２／６９０，１２５号の優先日の利益を主張する。

【0002】

本発明は、ロボット操作ゾーンの確立の分野、さらに具体的には、拡張現実表示装置を使用して、実世界の光景に重ね合わされたコンピュータグラフィックスを使用してゾーンが表示されて操作される安全ゾーンなどのロボット操作ゾーン及び境界を視覚化して変更するシステムに関する。図形処理は、装置／ユーザの位置が追跡されるのに伴い継続的に更新され、実世界の物体全体にわたるゾーンの重なり合いが自動的に発生する。

【背景技術】

【0003】

産業用ロボットとは、非常に複雑な機械であり、多数のさまざまな機能を正確かつ確実に実行することができる。ロボットの設置／用途に精通している人には、ロボットの許可された空間移動又は禁止された空間移動を規定する操作ゾーンを画定することが知られている。操作ゾーンは、ロボットの操作が禁止されている安全ゾーン、人間の操作者の存在などの特定の条件下でロボットの操作が禁止されている条件付き安全ゾーン、ロボットが常に留まっている必要のあるゾーンである許容ゾーン、関節位置の妥当性を監視する関節位置検査ゾーン及び干渉検査ゾーンをはじめ、さまざまなゾーンとして使用される。しかし、以前の手法を使用してロボット及びマルチロボットシステムの操作ゾーンを確立することは困難であり、時間がかかる。

【0004】

既存のシステムでは、操作ゾーンと境界を設定して視覚化することが困難であり、操作ゾーンの編集は完全にメニュー方式であって複雑である。さらに、「４Ｄ視覚化」システムでは、物体のコンピュータによる物体モデルが取り込まれない限り、操作ゾーンと実際の物体との重なりを表示することができない。さらに、操作ゾーンの境界を変更するたびに、操作ゾーンを評価するためにロボット制御装置を再起動する必要があるため、ゾーンを最適化するための変更には非常に時間がかかる。

【0005】

上記の状況に照らして、ロボットの操作ゾーンを視覚化して変更するための双方向拡張現実（ＡＲ）ツールを提供することが望まれる。

【発明の概要】

【0006】

本開示の教示に従って、ロボットの操作ゾーンを視覚化して変更するための拡張現実システムを開示する。開示したシステムは、ロボット制御装置と通信するヘッドセットなどの拡張現実（ＡＲ）装置を備える。ＡＲ装置は、操作ゾーンのＡＲ表示及び変更のためのソフトウェアを実行するプロセッサを備える。ＡＲ装置は、ロボット制御装置との通信を確立し、任意の既存の操作ゾーンをダウンロードした後、視覚的マーカの検出又は他の技術を介してロボット世界座標系に登録される。次に、ＡＲ装置及びソフトウェアは、ロボット及び任意の既存の固定具の実世界の画像に重ね合わされた操作ゾーンを表示する。表示は、ユーザがＡＲ装置を用いてロボットの作業セル周りを移動すると、更新される。仮想操作ゾーンの制御点が表示され、ユーザは、制御点を移動させて、操作ゾーンの大きさを変更し、形状を変更することができる。ロボットは、ロボットのプログラムされた動きを実行し、操作ゾーンを評価するなどＡＲセッション中に操作することができる。任意のゾーン侵害を、色の変更などによってＡＲディスプレイにて強調表示する。ゾーンの画定が完了すると、完成した操作ゾーンは、ロボット制御装置にアップロードされ、ロボットの生産作業で使用される。

【0007】

現在開示している装置の追加の特徴が、添付の図面と併せて、以下の説明及び添付の特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0008】

【図1】産業用ロボット、人間の操作者及び操作者を保護するための安全ゾーンとして確立された操作ゾーンを示す図。

【図2】架台上に位置づけられたワークピース上で動作する産業用ロボットを示し、ロボットの個々の部品周りに画定された干渉検査ゾーンを示す図。

【図3A】ロボットの個々の部品周りに画定された干渉検査ゾーンを備え、許容ゾーン内で動作する産業用ロボットを示す図。

【図3B】干渉検査ゾーンのうちの１つが、許容ゾーンの境界を侵害した同一のロボットを示す図。

【図4A】回転関節に対して画定された関節位置検査ゾーン及びゾーン制限内の関節位置を備える産業用ロボットを示す図。

【図4B】関節位置検査ゾーン制限を超えた同一のロボットを示す図。

【図5A】並進関節に対して画定された関節位置検査ゾーン及びゾーン制限内の関節位置を備える産業用ロボットを示す図。

【図5B】関節位置検査ゾーン制限を超えた同一のロボットを示す図。

【図6】本開示の一実施形態による、拡張現実を使用してロボット操作ゾーンを視覚化して変更するシステムを示す図。

【図7】本開示の実施形態による、図６のシステムを採用し、拡張現実を使用してロボット操作ゾーンを視覚化して変更する方法の例示されたフローチャートを示す図。

【発明を実施するための形態】

【0009】

拡張現実を使用してロボット操作ゾーンを視覚化して変更する方法及びシステムに向けられた本開示の実施形態に関する以下の考察は、本質的に例示にすぎず、開示された装置及び技術又はその用途又は使用を制限することを意図するものでは決してない。

【0010】

産業用ロボットのユーザコミュニティでは、安全ゾーンをはじめ、ロボットの動きに関連するタイプの空間ゾーン（ロボットの侵入が禁止されているゾーンなど）を画定することが知られている。このような安全ゾーン及び他のタイプのゾーンは、本明細書では一括して操作ゾーンと呼ばれる。

【0011】

操作ゾーンは、産業用ロボット及び他のタイプの機械の動きの境界を確立するために一般に使用される。以下の考察及び対応する図全体を通して、操作ゾーンは産業用ロボットの文脈で説明して表示する。しかし、開示したシステム及び方法は、ロボットだけでなく、干渉、衝突及び操作者の安全性が懸念される可能性がある空間的安全運行範囲を移動する任意の他のタイプの機械にも適用可能である。

【0012】

許可された可動領域又は禁止された可動領域を規定する３次元（３Ｄ）体積、ロボットアームをはじめとする部材周りに空間バッファを確立する干渉検査ゾーン、ロボットの関節位置を監視する関節位置検査ゾーンなど、多数のさまざまなタイプの操作ゾーンを確立してもよい。ロボットのその作業空間での生産作業を実施する前に、操作ゾーンが確立され、次に、ロボットの速度及び位置がこのようなゾーンに対して継続的に検査され、ロボットが画定されたゾーンの境界を常に尊重していることを確認する。

【0013】

図１は、産業用ロボット１００、人間の操作者１０２及び操作者１０２の保護のための安全ゾーンとして確立された操作ゾーン１１０を示す図である。テーブル１０４が、ロボット１００による操作のためにワークピースを載置することができる架台又は基盤として機能する。図１に示すような操作ゾーン１１０は、左右対称の六面体の形状を有するが、操作ゾーン１１０は、非対称性、非平面、円筒形及び球形の体積などをはじめとする任意の形状を有することがあり得る。図１に示す操作ゾーン１１０は、テーブル１０４の真上にロボット１００の禁止された空間を画定する安全ゾーンである。さらに、ゾーン１１０は条件付き安全ゾーンである。これは、フロアパッド（操作者１０２がフロアパッド上に起立しているときに体重を検出する）又はセンサ（光線の遮断を検出する光学センサなど）によって示され得るように、操作者１０２がテーブル１０４に隣接して存在する場合にのみ、ゾーン１１０がロボットの侵入を禁止することを意味する。このため、操作ゾーン１１０は、操作者１０２がテーブル１０４に隣接して存在しない場合にロボット１００がゾーン１１０に入ることができ、操作者１０２がテーブル１０４に隣接して存在する場合にロボット１００がゾーン１１０に入ることが禁止されるように定義される。

【0014】

図１の操作ゾーン１１０は、操作ゾーンのタイプの一例にすぎない。他のタイプの操作ゾーンについては、図２～図５に関連して考察する。本開示のＡＲ技術を使用する操作ゾーンの視覚化及び変更については、後に考察する。

【0015】

図２は、架台２０４上に位置づけられたワークピース２０２上で動作する産業用ロボット２００を示し、ロボット２００の個々の部品周りに画定された干渉検査ゾーンを示す図である。干渉検査ゾーン２１０、２１２、２１４、２１６及び２１８がそれぞれ、ロボット基部、股関節、内側アーム、肘関節及び外側アーム周りに画定される。干渉検査ゾーン２１０－２１８は、ロボット２００の物理的部品を取り囲み、その周囲にバッファを提供する「気泡」として画定される。ロボットが関節運動すると、各干渉検査ゾーンが、その対応する部品とともに移動する。例えば、ゾーン２１８は、ロボットの外側アームと共に移動する。次に、干渉検査ゾーン２１０－２１８は、生産ロボットの操作中に監視され、ゾーン２１０－２１８が、架台２０４などの作業セル内の任意の他の物体と干渉しないことを確実なものにする。干渉が差し迫っている場合には、物理的な衝突を防ぐために、ロボットの動きを遅くするか停止することがある。

【0016】

好ましい実施形態では、干渉検査ゾーン２１０－２１８は、図２に示すように、回転楕円体、楕円体又は「カプセル」形状（半球形の端部を有する円柱）などの形状を有する。このような形状は、物理的部品周りにバッファを提供しながら、特定のロボットアーム又は関節を囲むのに便利である一方、画定が簡単であり（パラメータの数が最小限）、ロボットの実時間動作中に計算するのも簡単である。このほか、干渉検査ゾーン２１０－２１８には、プリズム形状（三角形又は長方形の断面を有する棒体など）をはじめとする他の形状を使用してもよい。

【0017】

図３Ａは、ロボットの各アーム周りに画定された干渉検査ゾーンを備え、許容ゾーン内で動作する産業用ロボット３００を示す図である。干渉検査ゾーン３１０、３１２、３１４、３１６及び３１８が、図２を参照してこれまでに考察した方法で、ロボット３００の個々の部品に対応して画定される。図３Ａではこのほか、許容ゾーン３２０が画定される。この例では概ね立方体の形状である許容ゾーン３２０は、ロボット３００が留まらなければならない操作空間を画定する一種の操作ゾーンである。

【0018】

図３Ａでは、干渉検査ゾーン３１０－３１８はいずれも、許容ゾーン３２０の体積内に位置決めされる。即ち、ロボット３００の現在の位置では、干渉検査ゾーン３１０－３１８のうち、許容ゾーン３２０の外壁のいずれかと交差するものはない。干渉検査ゾーン３１０－３１８及び許容ゾーン３２０が画定された状態で、ロボット３００は、そのプログラムされた動作及び識別された任意の潜在的な干渉状態を通して関節運動することができる。本開示の好ましい実施形態では、実際のロボット３００は、干渉検査ゾーン３１０－３１８及び許容ゾーン３２０が数学的に評価され、結果が拡張現実システムを使用して表示される間、そのプログラムされた操作を通じて物理的に移動する。しかし、ロボット３００、干渉検査ゾーン３１０－３１８及び許容ゾーン３２０の動きをシミュレートすることも可能である。

【0019】

図３Ｂは、干渉検査ゾーンのうちの１つが許容ゾーン３２０の境界を侵害したロボット３００を示す図である。図３Ｂでは、ロボット３００は、参照番号３３０によって示すように、（手首及びツールを表す）干渉検査ゾーン３１８が許容ゾーン３２０の外壁と交差するように、その基部上で回転している。３３０での干渉状態は、好ましくは、干渉検査ゾーン３１８及び／又は許容ゾーン３２０の色を変更することによって、あるいは干渉状態の近傍の局所的な視覚インジケータによって、あるいはここに挙げたものの組み合わせによって強調される。図３Ｂのように干渉状態が識別された場合、ユーザは、干渉を防ぐためにロボット３００の動きを再プログラミングすることによって、あるいは許容ゾーン３２０の大きさを拡大することによって応答してもよい。許容ゾーン３２０の大きさがソフトウェアシミュレーションで拡大される場合、対応する変更が、例えば、安全柵が後退する可能性を否定できない物理的作業セルにて必要となる可能性がある。いずれの場合も、干渉検査ゾーンの画定、視覚化、許容ゾーンとの相互作用を図３Ａ及び図３Ｂに示す。

【0020】

図４Ａは、回転関節４２０に対して画定された関節位置検査ゾーン４１０を備えた産業用ロボット４００及びゾーン制限内の関節位置を示す図である。関節位置検査ゾーン４１０は、本開示の技術を使用して作成され、視覚化され、変更され得る別のタイプの操作ゾーンである。関節位置検査ゾーン４１０は、回転関節４２０の許容角度範囲を画定する。この回転関節は、ロボット４００の肘で外側アーム部品の回転を提供する関節である。例えば、回転関節４２０は、「ホーム」位置（図４Ａの垂直方向）から＋／－８８度の許容可能な角運動を有してもよい。

【0021】

回転関節４２０の許容可動範囲は、例えば、電気ケーブルのもつれ又は捻れを防止するために、あるいは関節自体の物理的設計に基づいて制限されてもよい。いずれの場合も、関節位置検査ゾーン４１０は、回転関節４２０の許容可動範囲に対応するように画定される。図４Ａでは、関節位置検査ゾーン４１０は、指針４１２によって示すように、その範囲の中心近くにある。関節位置検査ゾーン４１０の許容可能な状態はこのほか、ゾーン４１０を指定する扇形の緑色によって示されてもよい。

【0022】

図４Ｂは、関節位置検査ゾーン４１０がその制限を超えたロボット４００を示す図である。図４Ｂでは、ロボット４００は、回転関節４２０の極端な動きが要求される溶接又は他の操作を実施しようと試みていてもよい。関節位置検査ゾーン４１０の視覚化により、ユーザは、関節４２０がその回転制限を超えたことを容易に判定することができる。これは、指針４１２によって示されるほか、例えば、扇形が赤色に変化することによって示されてもよい。そのような制限の逸脱に対応して、関節制限自体を拡張することができない場合、回転関節４２０の運動制限を超えずに必要な操作を実施することができるようにする別のロボットプログラムを定義しなければならない。

【0023】

図５Ａは、並進関節５２０に対して画定された関節位置検査ゾーン５１０を備えた産業用ロボット５００及びゾーン制限内の関節位置を示す図である。関節位置検査ゾーン５１０は、本開示の技術を使用して作成され、視覚化され、変更され得る別のタイプの操作ゾーンである。関節位置検査ゾーン５１０は、並進関節５２０の許容線形範囲を画定する。この並進関節は、ロボット５００などのいくつかのロボットにて使用される特殊なタイプの関節である。例えば、並進関節５２０は、（図５Ａに示すように）「ホーム」位置から＋／－５００ｍｍの許容直線運動を有してもよい。

【0024】

並進関節５２０の許容可動範囲は、例えば、重量又は曲げモーメントの制限に基づくものであっても、関節自体の物理的設計に基づくものであってもよい。いずれの場合も、関節位置検査ゾーン５１０は、並進関節５２０の許容可動範囲に対応するように画定される。図５Ａでは、図示のように、関節位置検査ゾーン５１０は、その範囲の中心近くにある。関節位置検査ゾーン５１０の許容可能な状態はこのほか、ゾーン５１０を指定する棒体の緑色によって示されてもよい。

【0025】

図５Ｂは、関節位置検査ゾーン５１０がその制限を超えたロボット５００を示す図である。図５Ｂでは、ロボット５００は、並進関節５２０の極端な動きが要求される場所に部品を延伸しようと試みていてもよい。関節位置検査ゾーン５１０の視覚化により、ユーザは、関節５２０がその並進制限を超えたことを容易に判定することができる。これは、例えば、棒体が赤色に変わることによって示されてもよい。そのような制限侵害に対応して、関節制限自体を拡張することができない場合、並進関節５２０の運動制限を超えることなく必要な操作を実施することができるようにする別のロボットプログラムを定義しなければならない。

【0026】

上記で考察した図１－図５は、ロボットの運動制御にて使用され得るいくつかの異なるタイプの操作ゾーンを示す。このようなタイプのゾーンは、個別に、図３Ａ及び図３Ｂに示すような組み合わせ、あるいは複数のタイプのゾーンの追加の組み合わせにて使用されてもよい。操作ゾーンのタイプ、その形状又はその意図された目的（例えば、許可又は禁止）に関係なく、操作ゾーンの空間画定と視覚化は、ユーザにとって便利で直感的である必要がある。即ち、全てのタイプの操作ゾーンの画定、視覚化及び変更が容易である必要がある。

【0027】

教示ペンダントのテキストメニューを使用して操作ゾーンを伝統的に設定し、次に、「４Ｄディスプレイ」（ロボットの３Ｄと運動）を使用して操作ゾーンを表示することができる。４Ｄディスプレイには、作業セルの他の実世界の物体（架台及び固定具など）が描かれていないことが多いため、操作ゾーンをこのような物体に適用するときに正しく視覚化するのは難しいことがある。さらに、教示ペンダント上のメニューを使用することにより、３Ｄ体積の幾何学的形状を画定することは、直感的でなく、不便で、誤りが発生しやすいことがよくある。

【0028】

しかし、拡張現実（ＡＲ）ディスプレイが、ロボット及び部品、ツール及び固定具をはじめとする実世界の物体の画像に重ね合わされた、このような操作ゾーンを視覚化して操作する直感的な方法を提供する。さらに、ＡＲのゾーンを編集すると、ユーザは、メニューを使用するよりもはるかに簡単に、実際の作業セルに基づいたゾーンを調整したり、新たなゾーンを作成したりすることができる。これは、現在開示されている技術の基礎である。

【0029】

図６は、本開示の一実施形態による、拡張現実を使用してロボット操作ゾーンを視覚化して変更するためのシステム６００を示す図である。システム６００は、ロボット６１０、拡張現実（ＡＲ）装置６２０及びロボット制御装置６３０を備える。当業者には理解されるであろうように、ロボット制御装置６３０は、典型的にはケーブル６３２を介して、ロボット６１０と双方向通信している。ＡＲ装置６２０は、好ましくは、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）又は他の無線通信手段などの無線通信を介して、ロボット制御装置６３０と双方向通信している。ＡＲ装置６２０は、好ましくは、ユーザ６１２が着用可能なヘッドセットであり、ヘッドセットは、プロセッサと、慣性センサと、カメラと、実世界の物体のユーザ視界の上にコンピュータ生成の３Ｄ画像を重ね合わせるゴーグルとを備える。ＡＲ装置６２０がヘッドセットである場合、装置６２０は、メニューコマンド及び入力データを入力するための別個のキーボード又はタッチスクリーンユニットをさらに備えてもよい。ＡＲ装置６２０はこのほか、携帯電話、タブレット装置又はロボット教示ペンダントなどの手持ち式装置であってもよい。この場合、装置６２０は、必要な通信システムに加えて、プロセッサ、慣性センサ、カメラ及び表示画面を更に備える。

【0030】

図６では、ユーザ６１２は、テーブル６１４の上方の空間に操作ゾーン６４０を作成し、視覚化し、変更している。ユーザ６１２が立っている実世界の物理的作業セルは、（制御装置６３０に接続された）ロボット６１０及びテーブル６１４を備える。操作ゾーン６４０は、ソフトウェアにのみ存在する仮想実体である。ＡＲ装置６２０は、そのプロセッサ上で実行されているＡＲゾーンソフトウェアと共に構成される。装置６２０上のＡＲゾーンソフトウェアは、ロボット制御装置６３０と（好ましくは無線で）通信し、ここで、ＡＲ装置６２０は、操作ゾーンの定義及び変更を制御装置６３０に提供し、制御装置６３０は、ロボット位置をはじめとする情報をＡＲ装置６２０に提供する。

【0031】

操作ゾーン６４０は、複数の制御点６４２を特徴とする。ゾーン６４０などの六面体操作ゾーンの場合、制御点６４２は、頂点又は隅点ごとに位置づけられてもよい。六面体、回転楕円体、円筒形、ピラミッド型など、さまざまな操作ゾーン形状テンプレートがＡＲゾーンソフトウェアに提供されてもよい。それぞれの異なるゾーン形状テンプレートには、異なる数とタイプの制御点が含まれることになる。例えば、球形の操作ゾーンを、中心点及び半径によって画定してもよく、追加の制御点を、球形を異なる方向に延伸するために使用してもよい。同じように、円柱の端の形状を画定するために追加の制御点又はパラメータを利用可能である状態で、円柱ゾーンを２つの端点と半径によって画定してもよい。さらに、制御点をさらに介して、半径などのパラメータを定義してもよい。ＡＲゾーンソフトウェアでは、各操作ゾーンは（禁止された安全ゾーンなどの）１つのタイプであり、必要に応じてロボット部品と連動するように指定されている。

【0032】

システム６００は、ユーザ６１２がロボット制御装置６３０から既存の操作ゾーンを読み出し、ＡＲ装置６２０上で実行されるＡＲゾーンソフトウェアに新たな操作ゾーンを作成し、作業セル内の実世界の物理的部材の画像に重ね合わされた仮想操作ゾーンを視覚化することを可能にする。これには、ユーザ６１２が歩き回って操作ゾーン及び物理的部材を異なる視点から見ることを可能にし、必要に応じて制御点を移動することによって操作ゾーンを変更し、予め定義されたロボット動作プログラムの実行を含むロボット６１０を操作し、新規の操作ゾーン又は変更された操作ゾーンをロボット制御装置６３０にゆだねることを可能にすることが含まれる。

【0033】

ＡＲゾーンソフトウェアは、ヘッドセット装置又はタブレット装置のどちらで実行されている場合でも、新たな操作ゾーンの作成、ゾーンの変更など、いくつかの主要な機能をユーザに提供する。このような機能の一部では、メニューからオプションを選択する必要があるため、ＡＲゾーンソフトウェアにはメニュー表示及び選択機能が含まれる。ＡＲ装置６２０がヘッドセット装置である場合、制御点６４２の変更が、好ましくは、制御点６４２の１つに触れるか把持し、それを空間内の所望の方向に動かすなどのユーザの身ぶりを介して達成される。タブレット装置又は教示ペンダントでは、制御点の変更が、特定の制御点６４２の画面上の選択と、指定された方向への指定された量による制御点６４２のメニューボタンに基づく移動とを介して達成されてもよい。

【0034】

干渉検査ゾーンを作成するために、ＡＲゾーンソフトウェアは、ユーザの利便性と生産性を考慮して設計された機能を備える。ロボット制御装置６３０（ひいてはＡＲ装置６２０）は、全関節中心の位置を含めて、ロボット６１０の姿勢を常に把握しているため、関節中心は、干渉検査ゾーンの作成に使用することができる。例えば、球形の干渉検査ゾーンを、関節Ｊ２を中心として、半径のみを定義する必要がある状態で画定するか、あるいは円筒形の干渉検査ゾーンを、関節Ｊ２から関節Ｊ３まで軸を延伸し、半径のみを画定する必要がある状態で画定することができる。制御点のＡＲ対応の変更とともに、便利な操作ゾーンの作成のためにこのような機能を使用すると、ユーザ６１２は、任意の用途の必要に応じて操作ゾーンを簡単に構成することができる。

【0035】

図３Ａ及び図３Ｂに関連してこれまでに考察したように、干渉検査ゾーンを、許容ゾーン及び／又は禁止ゾーンなどの他の操作ゾーンと組み合わせて使用してもよい。このタイプの環境では、ロボット６１０を、そのプログラムされた動作を介して操作し、干渉を検査することが望ましい。このような干渉検査を実施するためのさまざまな状況について、以下で考察する。

【0036】

干渉が、干渉検査ゾーンと禁止ゾーンとの間などの２つの仮想操作ゾーン間で発生する可能性がある。この状況では、ＡＲ装置６２０上のＡＲゾーンソフトウェアは、ロボット６１０がそのプログラムされた動作を介して移動するときに、実時間で干渉検査を実施することができる。発生した干渉のいずれも、ロボットの動きを停止したり、ゾーンの色を変更したり、干渉の場所を視覚的に強調したりするなど、ＡＲゾーンソフトウェアによって強調表示することができる。操作ゾーンがロボット制御装置６３０と通信していた場合、制御装置６３０はこのほか、ロボットがそのプログラムされた動作を介して移動するときに、ゾーン間の干渉検査を実施することができる。

【0037】

干渉がこのほか、干渉検査ゾーンとテーブル６１４との間など、仮想操作ゾーンと物理的部材との間で発生する可能性がある。この状況では、干渉は、ロボットが作業セル周りを歩行するなど、移動するときに干渉検査ゾーンを監視し、ロボット６１０及び操作ゾーンをさまざまな視点から見ることによって、ユーザ６１２が検出してもよい。この方法で干渉が検出された場合、ユーザ６１２は、ロボットの動作を再プログラミングする、あるいは作業セル内の異なる場所に部材を移動するなど、干渉を解決するための適切なステップを実施することができる。

【0038】

ＡＲ装置６２０上のＡＲゾーンソフトウェアが実世界の部材に重ね合わされた仮想操作ゾーンを適切に表示するために、ＡＲゾーンソフトウェアは、ＡＲ装置６２０の位置及び向きを常に把握している必要がある。これは、ＡＲ装置６２０に搭載されたカメラ及び慣性センサ（加速度計及びジャイロ）を介して達成される。ここで、既知の実体（既知の大きさ、デザイン及び向きの視覚的マーカ）の１つ又は複数のカメラ画像を使用して、ＡＲ装置６２０の初期位置／向きを確立し、その後、慣性測定値と組み合わせたカメラ画像を視覚的／慣性推測航法計算で使用する。このような視覚的／慣性推測航法技術は当技術分野で知られており、以下でさらに考察する。

【0039】

図７は、本開示の一実施形態による、図６のシステム６００を採用し、拡張現実を使用してロボット操作ゾーンを視覚化して変更するための方法を示すフローチャート図７００である。ボックス７０２にて、ＡＲ装置６２０は、これまで考察したように、無線通信チャネルを介してロボット制御装置６３０との通信を確立する。ロボット制御装置６３０は、ロボット６１０を包含する特定の作業セルに対して画定された１つ又は複数の操作ゾーンをすでに有していてもよい。そのようないかなる操作ゾーンが存在する場合も、操作ゾーンはロボット制御装置６３０からボックス７０４でＡＲ装置６２０にダウンロードされる。既存の操作ゾーンを利用することができない場合、ユーザは１つ又は複数の新たな操作ゾーンを作成し、変更し、視覚化する過程に進むことができる。

【0040】

ボックス７０６にて、ユーザは、ＡＲ装置６２０上でＡＲゾーンソフトウェアアプリケーション（アプリ）を起動する。ボックス７０８にて、ＡＲ装置６２０の位置及び向きは、ロボット６１０の作業セル内の単なる固定座標系である「世界空間」に登録される。作業セル座標系はロボット制御装置６３０に把握されており、作業セル座標系でのロボット関節位置及びツール中心位置が、ロボット６１０の全位置構成について把握されている。ＡＲ装置６２０内のカメラを視覚的マーカ６１８に向けることによって、ＡＲ装置６２０を作業セル座標系に登録し、その結果、マーカ６１８の複数の画像がＡＲ装置６２０によって捕捉される。実際には、これは、マーカ６１８がＡＲ装置６２０のディスプレイに現れるように、ＡＲ装置６２０のカメラをマーカ６１８に向けることによって達成される。ＡＲ装置６２０の自然な動き（ＡＲ装置を人が保持するか着用していることによる自然な動き）が、（ロボット制御装置６３０及びＡＲゾーンソフトウェアに把握されているパターン及び位置を有する）マーカ６１８の後続の画像をわずかに異なる視点から提供し、これにより、ＡＲゾーンソフトウェアは、作業セル座標系に対するＡＲ装置６２０の位置及び向きを判定することができる。視覚的マーカ６１８の画像化のほか、ＡＲ装置６２０を作業セル座標系に登録する他の方法を、当業者には明らかであろうように使用してもよい。

【0041】

ＡＲ装置６２０の位置及び向きが作業セル座標系に登録された後、慣性及び視覚走行距離計測法をＡＲゾーンソフトウェアが使用して、作業セル座標系に対するＡＲ装置６２０の位置及び向きを継続的に追跡する。この技術では、ＡＲ装置６２０のプロセッサは、装置６２０に搭載された加速度計及びジャイロから信号を受信し、加速度信号及びヨーレート信号の統合に基づいて、装置６２０の更新された位置及び向きを継続的に計算する。位置及び向きは、マーカ６１８又は既知の位置に存在する他の認識可能な部材の画像など、装置６２０上のカメラからの画像に基づいて検査され修正される。

【0042】

ボックス７１０にて、ＡＲゾーンソフトウェアは、現実世界の部材の画像に重ね合わされた任意の操作ゾーン（ゾーン６４０など）をＡＲ装置６２０上に表示する。操作ゾーンは仮想である。即ち、ＡＲゾーンソフトウェアには存在するが、物理的には存在しない。作業セル内のロボット６１０、テーブル６１４及び任意の他の物理的部材は、ＡＲ装置６２０のカメラ画像に表示され、ＡＲゾーンソフトウェアは、仮想操作ゾーンを転置して、仮想操作ゾーンが物理的な部材に対して適切な位置／向きに表示されるようにする。操作ゾーンの表示は、ＡＲ装置６２０の継続的に更新される位置及び向きに基づいて、ゾーンが任意の観点から正しい外観を有するように継続的に更新される。ＡＲゾーンソフトウェアはこのほか、操作ゾーン６４０上に制御点６４２を表示する。

【0043】

ボックス７１２にて、ユーザは、制御点６４２と相互作用して、操作ゾーンの境界を変更する。例えば、操作ゾーン６４０の隅が移動しても、円筒形干渉検査ゾーンの半径が変更されてもよい。ＡＲ装置６２０がヘッドセット装置である場合、物理的身ぶりコマンド（把持、移動など）を使用して制御点を変更してもよい。ＡＲ装置６２０がタブレット、スマートフォン又は教示ペンダントである場合、メニューコマンド及びキーストローク入力を使用して制御点を変更してもよい。このほか、メニュー及びメニュー項目の選択をヘッドセット装置にて利用することができる。

【0044】

さらにボックス７１２にて、ユーザはこのほか、安全ゾーン（ロボット６１０の許容空間又は禁止空間のいずれか）、条件付き安全ゾーン（例えば、作業者の存在又は部品の存在を条件とする）、ロボット６１０の構成要素に関連する干渉検査ゾーン、関節位置検査ゾーン（回転又は並進）、あるいは熟練したユーザには明らかである可能性がある他のゾーンであり得る新たな操作ゾーンを作成することができる。操作ゾーンは、線、平面、多面的な体積、球形及び円筒形の体積、角柱状の形状など、任意の所望の幾何学的形状を有してもよい。（ボックス７０４にてゾーンがダウンロードされなかった場合に）以前に何も存在しなかった場所に新たな操作ゾーンを作成しても、既存のゾーンに加えて新たなゾーンを作成してもよい。操作ゾーンが作成され、ユーザが満足するように変更されると、ゾーンは一時的な記憶のためにロボット制御装置６３０にアップロードされる（分析及びシミュレーションのためであるが、ロボット６１０の生産作業での使用にはまだ付されていない）。

【0045】

ボックス７１４ａ及び７１４ｂにて、干渉検査シミュレーションが、ロボット６１０のプログラムされた動作全体に対して実施される。このような干渉検査シミュレーションは、ＡＲゾーンソフトウェア（ボックス７１４ａ）又はロボット制御装置ソフトウェア（ボックス７１４ｂ）によって実施することができる。

【0046】

ボックス７１４ａでのＡＲゾーンソフトウェアによる干渉検査シミュレーションは、以下のように実施される。ＡＲ装置６２０上のＡＲゾーンソフトウェアは、ロボット制御装置６３０に、ロボット６１０を、そのプログラムされた動作を介して動かすように指示する。例えば、ロボット６１０は、ワークピースがテーブル６１４上に載置されるのを待ってから、ワークピースに対して溶接作業を実施するようにプログラムされてもよい。各ステップにて、ロボット制御装置６３０は、ロボット６１０に移動するように命令するほか、ＡＲゾーンソフトウェアに新たなロボット位置を提供する。ＡＲゾーンソフトウェアは、ロボットの位置情報から、干渉検査ゾーンの位置を更新し、干渉検査ゾーンと他の操作ゾーンとの間の任意の干渉状態を特定することができる。干渉状態をＡＲディスプレイにて強調表示するほか、ロボット６１０の動きを停止させるように構成してもよい。このほか、ロボット６１０が移動すると、ユーザは、ロボット６１０の部品に対して画定された干渉検査ゾーンと、テーブル６１４などの物理的部材との間の干渉を視覚的に検査することができる。ここで、仮想ゾーン及び物理的部材がいずれもＡＲ装置６２０のディスプレイに表示される。

【0047】

ボックス７１４ｂでのロボット制御装置ソフトウェアによる干渉検査シミュレーションは、以下のように実施される。ロボット部品用に画定された干渉検査ゾーンなどの操作ゾーンと、安全ゾーン（許容又は禁止）とを、ＡＲ装置６２０のＡＲゾーンソフトウェアからロボット制御装置ソフトウェアにアップロードする。ロボット制御装置６３０は、ロボット６１０を、そのプログラムされた動作を介してステップごとに操作する。各ステップにて、ロボット制御装置６３０はロボット位置情報を把握している。このため、ロボット制御装置ソフトウェアは、任意の干渉検査ゾーンの位置を更新し、（ロボット部品とともに移動する）干渉検査ゾーンと（固定された）他の操作ゾーンとの間の任意の干渉状態を特定することができる。干渉状態を、ロボット制御装置ソフトウェアによって提供されるレポートにて強調表示するほか、ロボット６１０の動きを停止させるように構成してもよい。

【0048】

ボックス７１６にて、ゾーンへの変更が完了すると、新たな操作ゾーンの「設定」（ゾーンの画定）がロボット制御装置６３０にアップロードされるか、転送される。即ち、ユーザによる操作ゾーンの視覚化及び変更が完了すると、完成した操作ゾーンがロボット制御装置６３０にアップロードされ、生産作業のために確認／付託される。生産作業中、操作ゾーンは、ロボット制御装置６３０によって実時間で検査され、例えば、操作者がゾーンに隣接して存在するときにロボットが禁止ゾーンに入らないことを確実なものにする。

【0049】

これまでの考察全体を通して、ロボットの動作及びタスクの制御、ＡＲ装置の操作など、さまざまな制御装置を説明して暗示している。このような制御装置のソフトウェアアプリケーション及びモジュールは、不揮発性メモリに構成されたアルゴリズムをはじめ、プロセッサ及びメモリモジュールを有する１つ又は複数の計算装置上で実行されることを理解されたい。特に、これには、上記で考察したロボット制御装置６３０及びＡＲ装置６２０内のプロセッサが含まれる。ロボットと、その制御装置と、ＡＲ装置との間の通信は、配線ネットワークを介して実施しても、携帯電話／データネットワーク、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ブロードバンドインターネットなどの任意の適切な無線技術を使用して実施してもよい。

【0050】

上記で概説したように、拡張現実を使用してロボット操作ゾーンを視覚化して変更するための開示技術は、従来技術の技術に勝るいくつかの利点を提供する。キーボード入力ではなく身ぶりコマンドを使用して、３Ｄ空間の操作ゾーンをすばやく直感的に評価して変更すると同時に、ロボットをはじめとする実世界の部材を評価するユーザの能力は、操作ゾーンを画定して点検するための以前の反復手法よりもはるかに優れている。

【0051】

拡張現実を使用する操作ゾーンの視覚化及び変更のための方法及びシステムのいくつかの例示的な態様及び実施形態をこれまで考察してきたが、当業者は、その変更、順列、追加及び副次的組み合わせを認識するであろう。このため、以下の添付の特許請求の範囲及び以下に導入される請求項は、その真の精神及び範囲内にあるように、そのような変更、順列、追加及び副次的組み合わせのいずれをも含むと解釈されることが意図される。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】