特開 2024-19095 拡張現実及び他の位置基準の技術によるロボットアプリケーションの協働安全認識

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024019095

(43)【公開日】2024-02-08

(54)【発明の名称】拡張現実及び他の位置基準の技術によるロボットアプリケーションの協働安全認識

(51)【国際特許分類】

   B25J 19/06 20060101AFI20240201BHJP

   B25J 13/08 20060101ALI20240201BHJP

【ＦＩ】

B25J19/06

B25J13/08 A

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023121657

(22)【出願日】2023-07-26

(31)【優先権主張番号】63/369,569

(32)【優先日】2022-07-27

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/352,547

(32)【優先日】2023-07-14

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】514079114

【氏名又は名称】ファナック アメリカ コーポレイション

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(72)【発明者】

【氏名】デレック ユング

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707KS11

3C707KT01

3C707KT02

3C707KT15

3C707KX19

3C707MS06

3C707MS09

3C707MS10

3C707MS27

3C707MS29

(57)【要約】

【課題】拡張現実（ＡＲ）により実現されるロボットアプリケーションの協働安全認識システムの提供。
【解決手段】作業セル内の１つ以上のロボットが、作業セル内のオペレータに装着されたＡＲ装置で実行されるアプリケーションと通信する。ＡＲ装置は、ヘッドセット装置、タブレット又は教示操作盤であり得る。オペレータの周囲に動的安全領域が生成され、動的安全領域の位置は、ＡＲアプリケーションにより提供されるＡＲ装置の位置に基づいて、ロボット制御装置により継続的に更新される。ＡＲ装置の位置は、慣性センサ及び視覚的オドメトリを用いて決定される。ロボット制御装置は、ロボットが動的安全領域内に入る動作を禁止し、ロボットと動的安全領域との干渉条件を回避するために、必要に応じてロボットの減速又は経路変更を行う。
【選択図】図４

【特許請求の範囲】

【請求項1】

機械作業セル内のオペレータのための動的安全領域を提供するシステムであって、
作業セル内で動作可能な機械と、
前記機械と通信するとともに、プロセッサ及びメモリを備え、機械操作制御ソフトウェアを備えて構成された機械制御装置と、
前記機械制御装置と通信し、１つ又は複数のカメラ、位置追跡センサ及びディスプレイを備え、ＡＲアプリケーションを実行するように構成されたプロセッサ及びメモリをさらに備えた拡張現実装置（ＡＲ装置）と、を有し、
前記ＡＲアプリケーションは、作業セル座標系に対する前記ＡＲ装置の位置及び向きを確立して継続的に追跡し、前記ＡＲ装置の位置及び向きを前記機械制御装置に継続的に送信し、
前記機械制御装置は、前記ＡＲ装置の位置及び向きに基づいて、前記オペレータを囲繞する動的安全領域を画定して移動させ、前記動的安全領域を機械の動作制御計算に組み込み、前記機械のいかなる部分も前記動的安全領域内に入ることを防止する、システム。

【請求項2】

前記ＡＲ装置は、前記オペレータが装着するヘッドセット装置である、請求項１に記載のシステム。

【請求項3】

前記ＡＲ装置は、前記オペレータが携帯するスマートフォン、タブレット計算機又はロボット教示操作盤である、請求項１に記載のシステム。

【請求項4】

前記ＡＲアプリケーションは、前記作業セル座標系に対する前記ＡＲ装置の位置及び向きを、既知の構成を有しかつ前記作業セル座標系内の既知の場所に配置された視覚マーカの画像を解析することによって確立する、請求項１に記載のシステム。

【請求項5】

前記位置追跡センサは、１つ又は複数のジャイロスコープ及び１つ又は複数の加速度計を備え、前記位置追跡センサは前記ＡＲ装置の前記プロセッサに信号を提供し、前記ＡＲ装置の位置及び向きの変化を継続的に計算することを可能にする、請求項１に記載のシステム。

【請求項6】

前記動的安全領域は、前記ＡＲアプリケーション又は前記機械操作制御ソフトウェアにおいて前記オペレータによって定義可能なサイズ及び挙動パラメータを有し、前記挙動パラメータは、前記ＡＲ装置の向きに基づく前記ＡＲ装置の位置からの前記動的安全領域の中心のオフセットと、前記ＡＲ装置の速度ベクトルに基づく前記動的安全領域の位置又はサイズの調整とを含む、請求項１に記載のシステム。

【請求項7】

前記機械制御装置は、前記機械と前記動的安全領域との未来の干渉を防止するために、前記機械の減速又は動作経路の変更を行う、請求項１に記載のシステム。

【請求項8】

前記ＡＲアプリケーションは、前記機械制御装置が前記ＡＲ装置の位置及び向きに基づいて前記動的安全領域を確立して移動させている間、前記オペレータによって使用される、請求項７に記載のシステム。

【請求項9】

前記ＡＲアプリケーションは、現実世界の物体のカメラ画像に重ね表示される視覚的画面要素を提供し、前記ＡＲアプリケーションは、機械のセットアップ、構成、動作監視又はトラブルシューティングのために前記オペレータに使用される、請求項８に記載のシステム。

【請求項10】

前記機械は産業用ロボットである、請求項１に記載のシステム。

【請求項11】

前記作業セル内の１つ以上の追加の機械、又は、各々が前記作業セル内でＡＲ装置を具備する１人以上の追加のオペレータ、又は、前記追加の機械及び前記追加のオペレータの双方を含み、前記オペレータの各々に対して動的安全領域が画定され、前記動的安全領域の全てが、いかなる機械のいかなる部分も前記動的安全領域内に入ることを防止するために、前記機械の全てについての動作制御計算に組み込まれる、請求項１に記載のシステム。

【請求項12】

機械制御装置と通信する少なくとも１つの機械を含む機械作業セル内のオペレータのための動的安全領域を提供する方法であって、
拡張現実装置（ＡＲ装置）と前記機械制御装置との間での通信を確立し、前記ＡＲ装置上でＡＲアプリケーションを開始することと、
前記ＡＲアプリケーションにより、作業セル座標系に対する前記ＡＲ装置の位置及び向きを確立し、前記ＡＲ装置が移動したときにその位置及び向きを継続的に追跡することと、
前記ＡＲ装置の位置及び向きを前記機械制御装置に継続的に送信することと、
前記ＡＲ装置の位置及び向きに基づいて、前記オペレータを囲繞する動的安全領域を生成して移動させることと、
前記動的安全領域を機械の動作制御計算に組み込み、前記機械のいかなる部分も前記動的安全領域内に入ることを防止することと、
を含む方法。

【請求項13】

前記ＡＲ装置は、前記オペレータが装着するヘッドセット装置であるか、又は、前記オペレータが携帯するスマートフォン、タブレット計算機若しくはロボット教示操作盤である、請求項１２に記載の方法。

【請求項14】

前記作業セル座標系に対する前記ＡＲ装置の位置及び向きを確立することは、前記ＡＲ装置のカメラからの、既知の構成を有しかつ前記作業セル座標系内の既知の場所に配置された視覚マーカの画像を解析することを含み、前記ＡＲ装置の位置及び向きを継続的に追跡することは、前記ＡＲ装置の位置追跡センサからの信号を解析することを含む、請求項１２に記載の方法。

【請求項15】

前記動的安全領域は、前記ＡＲアプリケーション又は前記機械制御装置において前記オペレータによって定義可能なサイズ及び挙動パラメータを有し、前記挙動パラメータは、前記ＡＲ装置の向きに基づく前記ＡＲ装置の位置からの前記動的安全領域の中心のオフセットと、前記ＡＲ装置の速度ベクトルに基づく前記動的安全領域の位置又はサイズの調整とを含む、請求項１２に記載の方法。

【請求項16】

前記機械制御装置は、前記機械と前記動的安全領域との未来の干渉を防止するために、前記機械の減速又は動作経路の変更を行う、請求項１２に記載の方法。

【請求項17】

前記ＡＲアプリケーションは、前記機械制御装置が前記ＡＲ装置の位置及び向きに基づいて前記動的安全領域を確立して移動させている間、前記オペレータによって使用される、請求項１２に記載の方法。

【請求項18】

前記ＡＲアプリケーションは、現実世界の物体のカメラ画像に重ね表示される視覚的画面要素を提供し、前記ＡＲアプリケーションは、機械のセットアップ、構成、動作監視又はトラブルシューティングのために前記オペレータに使用される、請求項１２に記載の方法。

【請求項19】

前記少なくとも１つの機械は産業用ロボットである、請求項１２に記載の方法。

【請求項20】

機械作業セル内のオペレータのための動的安全領域を提供する方法であって、
前記オペレータによって位置追跡装置を携行することと、
前記位置追跡装置の位置を機械制御装置に無線で通信することと、
前記位置追跡装置の位置に基づいて、前記オペレータを囲繞する動的安全領域を画定することと、
前記機械制御装置によって前記動的安全領域を機械の動作制御計算に組み込み、前記機械のいかなる部分も前記動的安全領域内に入ることを防止することと、
を含む方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０２２年７月２７日に提出された、タイトルを「COLLABORATIVE SAFETY AWARENESS FOR ROBOTIC APPLICATIONS ENABLED BY AUGMENTED REALITY AND OTHER LOCATION-BASED TECHNOLOGIES」とする米国仮出願第６３／３６９５６９号の優先日の利益を主張するものある。

【0002】

本発明は、ロボットの動作安全領域の確立の分野に関し、特には、ユーザが着用又は保持する拡張現実（ＡＲ）装置を使用して、ユーザの周囲に、ユーザ安全領域への進入が禁止されているロボットの動作安全領域を確立して継続的に更新するシステムに関する。

【背景技術】

【0003】

産業用ロボットは、様々な機能を正確かつ確実に実行できる複雑な機械である。状況によっては、作業ロボットのすぐ近くの作業セル内に人間のオペレータが配置される必要がある。ロボットの設置／用途に精通している人には、ロボットの空間的移動の許可又は禁止を定義する動作領域を定義することが知られている。動作領域は、ロボットの動作を禁止する安全領域や、人間のオペレータの存在等の一定の条件下でロボットの動作を禁止する条件付き安全領域等を含む様々な用途に使用される。しかし動作安全領域は、伝統的に手動で定義される静的なものである。つまり、安全領域が確立されると、その領域はロボット作業セル内の固定スペースを具体化し、ロボット作業セル内の全ての人は安全領域内に留まる責任がある。

【0004】

一部の既存のロボット安全システムは複数の安全領域を含んでおり、センサが特定の安全領域の予め定めた境界内の物体の存在を検出すると、個々の動作安全領域がアクティブとしてトリガされる。これらのシステムは、ユーザの存在に対してある程度適応できるという利点があるが、そのようなシステムは人と他の物体とを区別できず、速度に基づいてユーザの将来の位置を予測することができないため、予め定めた静的安全領域の確立が依然として必要であるとともに、各安全領域内の物体検出のためにセンサを備える必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の状況に照らして、安全領域が画定され、その位置がロボット作業セル内のオペレータの位置に基づいて継続的に更新される、産業用ロボット用の協働安全認識システムを提供することが望まれる。

【課題を解決するための手段】

【0006】

本開示の教示に従って、拡張現実によって実現されるロボットアプリケーションのための協働安全認識システムが開示される。作業セル内の１つ又は複数のロボットは、作業セル内のオペレータが所有する拡張現実（ＡＲ）装置上で実行されているアプリケーションとリアルタイムで通信する。ＡＲ装置は、オペレータが装着するヘッドセット装置であってもよいし、オペレータが保持するタブレットやティーチペンダント装置であってもよい。動的安全領域がオペレータの周囲に作成され、動的安全領域の位置は、ＡＲアプリケーションによって提供されるＡＲ装置の位置に基づいて、ロボット制御装置によって継続的に更新される。ＡＲ装置の位置は、内部慣性センサ及び視覚的なオドメトリを使用するＡＲアプリケーションから既知である。ロボット制御装置は、動的安全領域内へのロボットの動作を禁止し、必要に応じてロボットの速度を下げるか、ロボットと動的安全領域との間の干渉状態を防ぐためにロボットの経路を変更する。

【0007】

開示された装置及び方法の追加の特徴は、添付の図面と併せて、以下の説明及び特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0008】

【図1】当技術分野で周知の、産業用ロボット、人間のオペレータ、及びオペレータを保護するための安全領域として確立された動作領域の図である。

【0009】

【図2】当技術分野で周知の、ロボット作業セル内の拡張現実（ＡＲ）装置の位置を記録及び追跡するための技術を示す図である。

【0010】

【図3】本開示の一実施形態に係る、ロボット作業セル内のＡＲ装置のオペレータに動的安全領域を提供する技術を示す図である。

【0011】

【図4】本開示の実施形態に係る、ロボット作業セル内のＡＲ装置のオペレータに動的安全領域を提供するシステムの図である。

【0012】

【図5】本開示の実施形態に係る、ロボット作業セル内のＡＲ装置のオペレータに動的安全ゾーンを提供する方法のフローチャート図である。

【発明を実施するための形態】

【0013】

拡張現実によって可能になるロボットアプリケーションのための協働安全認識システムを対象とした本開示の実施形態の以下の説明は、本質的に単に例示であり、開示された装置及び技術、又はそれらのアプリケーション若しくは使用を制限することを意図するものではない。

【0014】

産業用ロボットのユーザコミュニティでは、ロボットの進入を禁止する領域等、ロボットの動作に関連する安全領域や他のタイプの空間的領域を画定することが周知である。これらの安全領域及び他のタイプの領域は、まとめて動作領域と称されることもある。

【0015】

動作領域は一般的に、産業用ロボットや他の種類の機械の動作の境界を確立するために使用される。以下の説明及び対応する図面を通じて、動作領域は産業用ロボットの文脈で説明され図示される。しかしながら、開示されたシステム及び方法は、ロボットだけでなく、干渉、衝突、及びオペレータの安全が懸念される空間エンベロープを通って移動する任意の他の種類の機械にも適用可能である。

【0016】

許可又は禁止された動作空間を画定する３次元（３Ｄ）ボリューム、ロボットアームや他のアイテムの周囲に空間バッファを確立する干渉チェック領域、及びロボットの関節位置を監視する関節位置チェック領域等を含む、様々な種類の動作領域が確立可能である。動作領域は伝統的に、ロボットがその作業セル内で生産作業を行う前に確立され、次にロボットの速度及び位置が、これらの領域に対して継続的にチェックされ、それにより、ロボットが常に画定された領域の境界を遵守しているかが確認される。本開示の技術に関する以下の説明は、人間のオペレータを保護するための動作安全領域に関する。

【0017】

図１は、当技術分野で周知のような、産業用ロボット１００、人間のオペレータ１０２、及び、オペレータ１０２を保護するための安全領域として確立された動作領域１１０を示す。テーブル１０４は、ロボット１００による作業のためにワークを載置できるスタンド又はプラットフォームとして機能する。図１に示す動作領域１１０は正六面体の形状を有するが、動作領域１１０は、非対称、非平面、円筒形状又は球形状のボリューム等を含む任意の形状を有し得る。図１に示す動作領域１１０は、テーブル１０４の真上にロボット１００の禁止空間を画定する安全領域である。さらに、領域１１０は条件付き安全領域であり、このことは、オペレータ１０２がテーブル１０４の近くに存在するとき（フロアパッド（オペレータ１０２がその上に立っているときに重量を検出する）又はセンサ（光線の遮断を検出する赤外線センサや光学センサ等）によって表示可能）にのみ、領域１１０へのロボットの侵入が禁止されることを意味する。

【0018】

図１の動作領域１１０は、一種の適応型安全領域を示しており、オペレータ１０２がテーブル１０４の近くにいないときはロボット１００が領域１１０に入ることが許可され、テーブル１０４の近くにオペレータ１０２がいるときはロボット１００がゾーン１１０に入ることが禁止される。このタイプの安全領域は有用であるが、オペレータ１０２の実際の位置に基づいて適応的に再配置することはできず、動作領域１１０の限界を理解するのはオペレータ１０２の責任である。例えば、落下した部品を回収するためにオペレータ１０２がテーブル１０４の反対側を歩き回る場合は、領域１１０は、ロボット１００との接触からオペレータ１０２を保護するのに全く効果がない。

【0019】

他の周知のロボット安全システムは、複数の安全領域を画定し、全ての領域内のオペレータ又は他の物体の存在を判断するためにセンサを使用する。これらのシステムは、必要なセンサの個数によって高価になる可能性があり、複数の領域を予め画定する必要があるためにその構築が困難で時間がかかり、場当たり的なオペレータの動きに適応する柔軟性も備えていない。

【0020】

各超現実（ＡＲ）システムを産業用ロボットと関連付けて使用することも周知である。例えば、人間による動作境界領域の画定を補助するＡＲシステムが、２０１９年６月２６日に出願され、タイトルを「拡張現実を使用した動作境界領域の視覚化及び修正（VISUALIZATION AND MODIFICATION OF OPERATIONAL BOUNDING ZONES USING AUGMENTED REALITY）」とする米国特許出願第１６／４５３，８１１号に記載されており、その全体は本参照により本明細書に組み込まれるものとする。さらに、人間によるロボットのピックアンドプレースパラメータの規定を補助するＡＲシステムが、２０１９年６月２６日に出願され、タイトルを「ロボットピッキングシステムの拡張現実視覚化（AUGMENTED REALITY VISUALIZATION FOR ROBOTIC PICKING SYSTEM）」とする米国特許出願第１６／４５３，８３８号に記載されており、その全体は本参照により本明細書に組み込まれるものとする。

【0021】

上述のＡＲシステムは、ＡＲ装置（典型的にはヘッドセット装置又はタブレットコンピュータデバイスのいずれか）を使用して、コンピュータで生成された仮想要素（領域境界、仮想パーツ等）を、現実世界のロボットや作業セル内の他の物体等の画像に重ね表示する。仮想要素をロボットや他の物体に対して適切に表示するために、ＡＲ装置及びＡＲアプリケーションソフトウェアは、作業セル内でのＡＲ装置の位置及び向きを常に認識している必要がある。

【0022】

図２は、当技術分野で周知のような、ロボット作業セル内のＡＲ装置の位置を記録し追跡するための技術を示す図である。ロボット２１０は、作業セルに取り付けられており、ロボットベース基準フレーム（座標系）２１２を定義する。ロボット２１０は、各ロボットアームに１つの座標系等、他の多くの基準フレームを定義することができ、他の基準フレームの各々の位置及び向きは、当業者には周知のように、基本基準フレーム２１２に関して直接的又は間接的に定義可能である。しかし、ロボット２１０に対するＡＲ装置の位置を規定する目的では、ベース基準フレーム２１２のみが重要である。

【0023】

視覚的マーカ２２０は、作業セル内の固定位置に配置される。マーカ基準フレーム２２２は、マーカ２２０に関して定義された原点及び向きを有する。例えば、マーカ基準フレーム２２２はマーカ２２０の一隅に原点を有することができ、そのＸ軸及びＹ軸はマーカ２２０の２つのエッジに沿って延びる。ロボットベース基準フレーム２１２に対するマーカ基準フレーム２２２の位置及び向き（ステップ１として示す）は、当技術分野で周知の測定及び校正プロセスによって定められる。このプロセスは、マーカ２２０の位置及び向きの正確な測定を行うことを含み得る。

【0024】

ＡＲ装置２３０は、自らに定義されたＡＲ装置基準フレーム２３２を有する。ＡＲ装置２３０は、ユーザ２３４が着用可能なヘッドセット装置であることが好ましく、ヘッドセットは、プロセッサ、慣性センサ、カメラ及びゴーグルを有し、ゴーグルは、現実世界の物体を含むユーザの視界の上に、コンピュータが生成した３Ｄ画像を重ね表示する。ＡＲ装置２３０は、モバイルフォン、タブレット装置又はロボットティーチペンダント等の携帯式装置であってもよく、その場合でも装置２３０は、必要な通信システムに加え、プロセッサ、慣性センサ、カメラ及び表示画面をさらに含む。ＡＲ装置２３０は、そのプロセッサ上でＡＲアプリケーションを実行する。

【0025】

ロボットベース基準フレーム２１２へのＡＲ装置２３０の登録は、ＡＲ装置２３０がマーカ２２０の複数の画像を取得できるようにＡＲ装置２３０のカメラを視覚的マーカ２２０に向けること（ステップ２として示す）によって実行される。このとは実際には、ＡＲ装置２３０のカメラをマーカ２２０に向けて、マーカ２２０がＡＲ装置２３０のディスプレイに表示されるようにすることで達成される。ＡＲ装置２３０の自然な動き（人が保持又は着用していることによる）により、マーカ２２０（そのパターン及び位置はロボット制御装置及びＡＲアプリケーションには既知である）の画像が、僅かに異なる複数の視点から提供される。これによりＡＲアプリケーションは、マーカ基準フレーム２２２に対するＡＲ装置基準フレーム２３２の位置及び向きを求めることができる。ロボットベース基準フレーム２１２に対するマーカ基準フレーム２２２の位置及び向きはステップ１から既知であるので、ＡＲアプリケーションは、ロボットベース基準フレーム２１２に対するＡＲ装置基準フレーム２３２の位置及び向きを計算することができる（ステップ３として示す）。当業者には明らかなように、ＡＲ装置２３０をロボットベース基準フレーム２１２に登録する他の方法を使用してもよい。

【0026】

ＡＲ装置２３０の位置及び向きがロボットベース基準フレーム２１２に登録された後、ＡＲアプリケーションは慣性及び視覚オドメトリを使用して、ロボットベース基準フレーム２１２に対するＡＲ装置２３０の位置及び向きを継続的に追跡する。この技術（ステップ４として示す）では、ＡＲ装置２３０のプロセッサは、装置２３０に搭載された加速度計及びジャイロから信号を受信し、加速度信号及びヨーレート（yaw rate）信号の積分に基づいて、装置２３０の更新された位置及び向きを継続的に計算する。位置及び向きは、マーカ２２０又は既知の場所に存在する他の認識可能なアイテムの画像等、装置２３０のカメラからの画像に基づいてチェックされ修正される。

【0027】

当業者に理解されるように、ロボットベース基準フレーム２１２は、実際にロボットベース上にある必要はなく、むしろ任意の作業セル座標フレームであってもよく、作業セル座標フレームとは、ロボットが動作する作業セル内の単なる固定座標系である。任意の固定作業セル座標系におけるロボットアームの位置、マーカ２２０の位置、及びＡＲ装置２３０の動的位置は、単純な変換を使用して計算することができる。

【0028】

図２に示して上述した技術により、ＡＲ装置上で実行されるＡＲアプリケーションソフトウェアは、ロボット及びその作業セルに対するＡＲ装置の位置及び向きを継続的に定めることができ、このことは、ＡＲ装置が、ＡＲディスプレイで現実世界の物体に仮想要素を正確に重ねて表示するために必要な機能である。今やＡＲ装置は、ロボット作業セルのオペレータによって一般的に使用されているので、このＡＲ装置の位置追跡機能は、以下の説明に従い、オペレータの動的な安全領域の機能を提供するために利用可能である。

【0029】

さらに、上述した視覚的マーカ並びに慣性及び視覚的オドメトリを使用する代わりに、又はそれらに加え、他の任意の位置追跡技術を使用することもできる。例えば、システムは、複数のトランシーバからの信号を三角測量することでＡＲ装置の位置を追跡でき、ＡＲ装置の向きは、ヨーレートセンサ又はＡＲ装置からの画像データを使用することで提供可能である。複数の技術の任意の適切な組み合わせを使用して、ロボット及びその作業セルに対するＡＲ装置の位置及び向きを提供することができ、これは後述する動的安全領域の規定に使用される。

【0030】

図３は、本開示の一実施形態に係る、ロボット作業セル内のＡＲ装置のオペレータに動的安全領域を提供する技術を示す図である。ロボット３１０は、作業セル３２０内で動作する。ベース基準フレーム３２２は、ロボット制御装置がベース基準フレーム３２２（これは、必ずしもロボットベース上にある必要はなく、任意の固定作業セル座標フレームであり得る）に対する全てのロボットアーム及びツールの位置を常に知ることができるように、作業セル３２０内の固定位置に定義される。

【0031】

ＡＲ装置３３２を装着したオペレータ３３０も、作業セル３２０内に位置する。ロボットのセットアップ及び検証中、並びに実際の生産ロボットの動作中の双方において、ロボットの動作中に作業セル内にオペレータが存在することはますます一般的になっている。上述したように、作業セル内でのオペレータの多くの異なる活動は、ＡＲアプリケーションによって促進され得るので、オペレータ３３０はＡＲ装置３３２を着用する必要がある。これも上述したように、ＡＲ装置３３２（好適な実施形態であるヘッドセットとして示されている）は、ヘッドセット装置ではなく、タブレットコンピューティングデバイス又はロボットティーチペンダントであってもよい。

【0032】

ベース基準フレーム３２２に対するＡＲ装置３３２の位置は、図２の説明において詳細に説明したように、図３のステップ１で決定される。動的安全領域３４０（ステップ２に示す）は、ＡＲ装置３３２の位置に基づいて、オペレータ３３０の周囲に画定される。動的安全領域３４０は、当然のことながら、３次元の空間ボリュームである。動的安全領域３４０は、ＡＲ装置のアプリケーションソフトウェアによって追跡されるＡＲ装置３３２の位置に従って、オペレータ３３０とともに移動する。オペレータ３３０が作業セル３２０の周囲を移動する（ステップ３として様々な場所に図示）と、動的安全領域３４０もそれに応じて自動的に移動し、オペレータ３３０を、ロボット３１０の立ち入りが禁止されている領域内に常に維持する。以下でさらに述べるように、ＡＲ装置のアプリケーションソフトウェアは、ＡＲ装置３３２の位置をロボット制御装置に継続的に送信し、ロボット制御装置は、ロボットの動きを制御して、ロボット３１０のいかなる部分も動的安全領域３４０に入ることを防止する。

【0033】

動的安全領域３４０は、特定の用途に適した多くの異なるパラメータを用いて構成可能である。例えば、動的安全領域３４０は、オペレータ３３０の周りに水平（又は放射状）バッファ３４２及び垂直バッファ３４４を有するように構成可能である。或いは、動的安全領域３４０は、（オプションの半球状上端部を備えた）特定の半径及び高さを有する垂直円筒として画定可能であり、半径及び高さは、デフォルト値を有してもよいし、ユーザが指定してもよい。動的安全領域３４０は円筒形である必要はなく、特定の用途に適した他の形状も画定可能である。動的安全領域３４０の構成（後述する挙動の種類、及びサイズ／形状）は、ＡＲ装置のアプリケーションソフトウェアを使用して実行可能であり、次にロボット制御装置に送信されてもよいし、又は、ロボット制御装置上で直接実行されてもよい。

【0034】

ＡＲ装置３３２が（タブレット又はティーチペンダント等の）携帯式装置である場合、ＡＲ装置のアプリケーションソフトウェアは、オペレータ３３０の重心からの装置位置の僅かなオフセットを補償するように構成することができる。例えば、装置３３２は通常、オペレータ３３０の前方約１フィートに保持されるので、それに応じて動的安全領域３４０の中心を調整することができ、その場合、装置３３２に対するオペレータ３３０の位置が装置の向きから分かる。これと同様のオフセットの補償は、かなり小さいが、ヘッドセット装置の場合にも適用可能である。

【0035】

ＡＲ装置３３２の速度に基づいて、動的安全領域３４０の移動も予測可能であり、かつ／又は、動的安全領域３４０のサイズが補償可能である。例えば、将来の時点での動的安全領域３４０の位置は、ＡＲ装置３３２の速度に基づいて予測可能である。代わりに、又はこれに加え、動的安全領域３４０のサイズは、予測される将来のオペレータ３３０の位置をカバーするために、動作方向に増大（水平方向に延伸）され得る。これらの速度基準の調整は、ＡＲ装置のアプリケーションソフトウェアによって実行されてロボット制御装置に送信されてもよいし、ロボット制御装置自体によって実行されてもよい。いずれの場合でも、動的安全領域３４０の境界を厳密に尊重しながらロボットの動作を最終的に計算し制御するのは、ロボット制御装置である。速度はＡＲ装置によって直接決定されてもよいし、又は、以前の位置及び向きのデータに基づいて計算されてもよい。

【0036】

ロボット３１０のいかなる部分も動的安全領域３４０に入るのを防ぐことに加えて、ロボット制御装置は、動的安全領域３４０及びＡＲ装置のアプリケーションソフトウェアからの情報に基づいて、ロボットの動作に対して他の調整を行うことができる。これらの調整には、ロボット３１０を減速させること、又は、ツールをある位置から別の位置に移動させる際に異なる経路を辿るようにロボット３１０に命令することが含まれ得る。例えば、多くの場合、ロボット３１０は、部品のピックアンドプレースや、所定の経路に沿った一連の溶接作業の実行等、ツールの動作を定義するプログラムを実行している。将来のロボット位置の計算が、ロボット３１０のいずれかの部分（ツール又はアーム）が動的安全領域３４０に侵入するか、又はその将来の時点で動的安全領域３４０が存在する位置に侵入することを示した場合、制御装置は、ロボット３１０の速度をプログラムで規定された速度未満に下げることができる。もちろん、ロボットの速度を低下させた後でも安全領域への侵入が差し迫っている場合には、制御装置はロボット３１０の動作を完全に停止させる。

【0037】

協働及び適応の別の例では、ロボットツールが現在の位置から次のプログラムされた位置に移動するときに、動的安全領域３４０がロボットツール又はアームが侵入するような位置にある場合、制御装置は侵入を回避するためにロボットツールの経路を変更することができる。経路の変更には、上昇して動的安全領域３４０の上方を移動すること、又は動的安全領域３４０の周囲を移動すること、又は、動的安全領域３４０を回避しながらロボット３１０が次のプログラムされた位置に到達することを可能にするアーム動作の他の組み合わせが含まれ得る。

【0038】

図４は、本開示の一実施形態に係る、ロボット作業セル内のＡＲ装置のオペレータに動的安全領域を提供するシステム４００の図である。ロボット又は他の機械４１０は、作業セル４２０内に配置され、その中で動作する。ロボット４１０は、従来の産業用多関節ロボットとして示されているが、干渉、衝突、及びオペレータの安全が懸念される空間エンベロープを通って移動するロボット又は他のタイプの機械であってもよい。ロボットは、部品／材料の移動、溶接、塗装又は他の用途向けに構成された産業用ロボットが含むが、これらに限定されない。

【0039】

ロボット４１０は、通常はケーブル４１４を介して制御装置４１２と通信するが、場合によっては無線でも通信する。当技術分野で周知のように、制御装置４１２は、プログラムに従ってロボット４１０を動作させるための命令を含むメモリ及びプロセッサを有し、ここでは制御装置４１２は、ロボット４１０上の関節エンコーダから位置情報を受信し、関節を規定する命令をロボット４１０に送信する。１つのロボット４１０のみが図示されているが、システム４００は、作業セル４２０内で動作する多数のロボット４１０を含み得る。システム４００に複数のロボット４１０が含まれる場合、各ロボット４１０は独自の制御装置４１２を有することができ、複数の制御装置４１２は相互に通信し、動的な安全領域の情報や他のデータを共有する。

【0040】

オペレータ４３０は、ロボット４１０の動作中に作業セル４２０内に存在する。オペレータ４３０は、ＡＲ装置４３２を使用して、拡張現実アプリケーションプログラムを実行する。上述したように、ＡＲ装置４３２は、オペレータ４３０が着用するヘッドセット装置、又はオペレータ４３０が保持する携帯式装置（例えばタブレット又はティーチペンダント）であってもよい。ＡＲ装置４３２がヘッドセットである場合、ヘッドセットは、プロセッサ、慣性センサ、カメラ及びゴーグルを有し、ゴーグルは、現実世界の物体を含むユーザの視界又はカメラ画像の上に、コンピュータが生成した３Ｄ画像を重ね表示する。ＡＲ装置４３２は、モバイルフォン、タブレット装置又はロボットティーチペンダント等の携帯式装置であってもよく、その場合でも、装置４３２は、必要な通信システムに加え、プロセッサ、慣性センサ、カメラ及び表示画面をさらに含む。ＡＲアプリケーションプログラムは、ロボットの構成に使用される拡張現実の特徴及び機能をオペレータ４３０に提供し、この特徴及び機能とは例えば、ロボット４１０のオペレータの視界に重ね表示されるロボットの経路、プログラム、境界及び／又は出力（例えばコーキングビーズ）や、作業セル４２０内に配置された他の要素の仮想表示である。

【0041】

ＡＲ装置４３２は、ＡＲアプリケーションプログラム及びロボット制御プログラムが双方向のデータ交換を維持できるように、制御装置４１２と無線で通信する。少なくとも、ＡＲアプリケーションプログラムは、ＡＲ装置４３２の位置及び向きを制御装置４１２に提供し、それにより、制御装置４１２上で実行されるロボット制御プログラムは、図３に関して説明したように、オペレータ４３０の周囲に動的安全領域を形成することができる。ＡＲ装置４３２と制御装置４１２との間の無線通信は、無線ローカルエリアネットワーク（ＷｉＦｉ）、ブルートゥース(登録商標)、セルラー通信、又は他の適切な無線技術を介する物であり得る。

【0042】

システム４００はまた、作業セル４２０内に、固定された位置及び向きの視覚的マーカ４４０を含む。マーカ４４０の位置及び向きは、そのサイズ、形状及び視覚的デザインの詳細とともに、作業セル４２０の事前のセットアップ及び構成から、制御装置４１２に知られている。ＡＲ装置４３２は、ロボット４１０及び他のアイテムの画像をＡＲアプリケーションプログラムに提供するために使用される少なくとも１つのカメラを含む。上述したように、作業セル４２０内のＡＲ装置４３２の位置を校正するために、オペレータ４３０がカメラをマーカ４４０に向けたときにマーカ４４０のデジタル画像が取得される。ＡＲ装置４３２のプロセッサは、画像を分析し、マーカ４４０に対するＡＲ装置４３２の位置及び向きを求める。その後、ＡＲ装置４３２は、マーカ４４０に対するその位置及び向きを、慣性センサ及び視覚オドメトリを使用して継続的に計算し、その結果は制御装置４１２に送信されるとともに、常にオペレータ４３０の周囲に位置する動的安全領域を確立するために制御装置４１２に使用される。上述したように、ＡＲ装置の速度や種類等に基づいて、動的安全領域の調整を行うことができる。

【0043】

作業セル４２０が複数のロボット４１０を含む場合、ＡＲ装置４３２は、制御装置４１２のうちの１つ（マスタとして指定される）のみと無線通信することが好ましく、動的安全領域はマスタによって１回計算され、（有線または無線の）ローカルエリアネットワークを介して通信する全ての制御装置４１２と共有される。

【0044】

動的安全領域の挙動としては、様々な構成オプションが可能である。構成は、制御装置４１２上で実行されるロボット制御プログラム及び／又はＡＲ装置４３２上で実行されるＡＲアプリケーションプログラム内で生成されてもよい。例えば、動的安全領域は、ＡＲアプリケーションプログラム内の、オペレータ４３０によって起動される形状であってもよい。或いは、動的安全領域は、ＡＲ装置４３２が作業セル４２０内にあって電源がオンになっているときは、常にアクティブであると定義することができる。動的安全領域のサイズ、速度感度、及び挙動を記述する他のパラメータは、ＡＲアプリケーションプログラムにおいてオペレータ４３０によって構成されることが好ましい。最終的に、ロボット４１０の任意の部分による安全領域への侵入を防止し、必要に応じてロボットの速度及び経路を調整することによって動的安全領域を遵守するのは、制御装置４１２上で実行されるロボット制御プログラムである。。

【0045】

安全領域をロボット動作命令に組み込むためのいくつかの周知技術が、本開示の動的に配置された安全領域とともに使用可能である。例えば、アームとともに移動するパッド付きの動作領域（長方形の「バブル」）が各ロボットアームの周囲に画定可能であり、任意のパッド付きアーム動作領域と動的安全領域との間の差し迫った干渉により、制御装置４１２はロボット４１０を完全に停止させることができる。このようにして、ロボットアーム周りの動作領域へのパッド（自由空間）の付与と、オペレータ４３０周りの動的安全領域へのパッドの付与とは、オペレータ４３０に対するロボットの実際の接触を防止するための追加の安全マージンを提供する。

【0046】

上述したように、予想される干渉状態を防ぐべくロボット４１０の速度を下げるか経路を変更するために、周知技術を使用することもできる。動的安全領域の機能が作動しているときは、ＡＲ装置４３２とロボット制御装置４１２との間の通信途絶が、コントローラ４１２によって検出可能であるとともに、制御装置４１２によるロボット４１０の完全停止を招き得る。この場合、好ましくはＡＲ装置４３２上にオペレータ４３０に対する警告が表示され、オペレータ４３０に対して通信途絶及びロボット停止の理由を通知する。

【0047】

各々が自身のＡＲ装置４３２を有する複数のオペレータ４３０は、容易に理解可能な方法でサポートされ得る。すなわち、ＡＲ装置４３２の各々は、自らに関連付けられ、常に一緒に移動する動的安全領域を有し、動的安全領域の全てがロボット制御装置４１２によって重視される。同様に、複数のロボット４１０及び複数のオペレータ４３０は作業セル４２０内に存在する場合があり、その場合、各オペレータ４３０について動的安全領域が定義されて継続的に更新され、そして全てのロボット制御装置４１２は、全ての動的安全領域をロボット動作制御計算に組み込む。複数のロボット４１０の場合、ロボット動作制御計算には、ロボット間の衝突を防止するように設計された計算も含まれ得る。

【0048】

本開示の他の実施形態では、ＡＲ装置４３２は、ロボット動作のための「有効化装置（enabling device）」である。有効化装置の概念は、産業用ロボットの構成及びセットアップにおける当業者には既知であり、有効化装置は一種のオペレータプレゼンススイッチとして機能し、このスイッチは、オペレータが存在しかつロボットの動作を認識していることを示す。従来のロボット構成システムでは、ロボットの教示操作盤が有効化装置として一般的に使用される。本開示の技術では、ＡＲ装置４３２及び自動配置された動的安全領域により、ロボットの教示操作盤、又は有効化装置として機能する他の装置の必要性を排除することができる。

【0049】

ＡＲ装置４３２は、ロボットのセットアップ、構成、動作、トラブルシューティング、又は他の機能におけるプログラムの有益な機能のために、オペレータ４３０によって使用されているＡＲアプリケーションプログラムを実行していることを理解されたい。本開示の技術に従ってＡＲ装置４３２の位置により画定される動的安全領域は、追加のセンサ又は他の構成要素を必要としない追加の有益な特徴である。

【0050】

動的安全領域自体は、ＡＲ装置の画面に表示されるため、オペレータはロボットの作業セル内での作業中に、安全領域及びそのステータスを見ることができる。システム構成で定義されているように、他の様々な表示オプションを実装することができる。例えば、ロボットアームの周囲の動作ゾーンは、オペレータがいる動的安全領域への近さに基づいて色分けすることができる。さらに、ＡＲ装置の画面に安全領域のステータスウィンドウを設けることもでき、これには、動的安全領域への侵入を避けるためにロボットが減速したり、経路変更したりするとき等の情報が表示される。

【0051】

前述の議論を通じて、オペレータの安全領域の位置を確立（establish）し、自動的に更新するためのＡＲ装置の使用が開示された。一部のアプリケーションでは、拡張現実の使用は不要であり、ＡＲ装置以外の位置検出装置をオペレータの位置の決定に使用することができる。例えば、オペレータはスマートフォンを自らのポケットに入れたり、身につけたりすることができ、そのスマートフォンは、オペレータの位置を決定して送信するのに適したＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ(登録商標)又は他の通信機能、並びに、慣性及び／又は他の位置追跡機能を含む。当業者には理解されるように、オペレータの位置を決定し通信するために他のタイプの装置を使用することもできる。

【0052】

図５は、本開示の一実施形態に係る、図４のシステム４００を使用して、ロボット作業セル内のＡＲ装置のオペレータに動的安全領域を提供する方法のフローチャート図５００である。ボックス５０２において、オペレータ４３０は、ＡＲ装置４３２上でＡＲソフトウェアアプリケーション（アプリ）を開始し、ＡＲ装置４３２は、上述したように、無線通信チャネルを介してロボット制御装置４１２との通信を確立する。ボックス５０４において、ＡＲ装置４３２の位置及び向きが、ロボット４１０が動作する作業セル４２０内の固定座標系に対して校正される。作業セルの座標系は、ロボット制御装置４１２に既知であり、作業セルの座標系内のロボット関節位置及びツール先端点位置は、ロボット４１０の全ての位置的構成について計算することができる。ＡＲ装置４３２を作業セルの座標系に対して校正することは、上述したように、既知の位置及び向きを有する視覚的マーカ４４０にＡＲ装置４３２内のカメラを向けることによって実行可能である。当業者には明らかなように、視覚的マーカ４４０の画像化以外に、ＡＲ装置４３２を作業セル座標系に対して校正する他の方法も使用可能である。

【0053】

まだボックス５０４において、ＡＲ装置４３２の位置及び向きが作業セル座標系に対して校正された後、ＡＲアプリケーションソフトウェアによって慣性及び視覚オドメトリが使用され、作業セル座標系に対するＡＲ装置４３２の位置及び向きが継続的に追跡される。この技術では、ＡＲ装置４３２のプロセッサは、ＡＲ装置４３２に搭載された加速度計及びジャイロから信号を受信し、加速度信号及びヨーレート信号の統合に基づいてＡＲ装置４３２の更新された位置及び向きを継続的に計算する。位置及び向きは、マーカ４４０、ロボットベース、又は既知の場所に存在する他の認識可能なアイテムの画像等、ＡＲ装置４３２上のカメラからの画像に基づいてチェックされ修正される。

【0054】

ボックス５０６において、ＡＲ装置４３２は、該装置の位置及び向きをロボット制御装置４１２に通信する。同時にオペレータ４３０は、ＡＲ装置４３２上で動作するＡＲアプリケーションソフトウェアを、その意図された目的のために使用する。上述したように、ＡＲアプリケーションソフトウェアは、ロボットのセットアップ、構成、動作監視、トラブルシューティング、又はその他の機能に使用可能である。ボックス５０８において、ロボット制御装置４１２は、ＡＲ装置の位置に基づいて動的安全領域を画定する。動的安全領域は、オペレータ４３０が安全領域内に存在し、ロボット４１０から常に保護されるように画定され移動する。上述したように、安全領域は、ＡＲ装置の位置を中心としてもよいし、オペレータの重心に対するＡＲ装置の位置を補償するために僅かにオフセットされてもよい。安全領域は、多くの異なるサイズ及び形状のオプションや、ＡＲ装置の速度に基づく任意の延伸又は移動等を用いて構成可能である。オプションの挙動パラメータに関係なく、ロボット制御装置４１２は常に、最後に受信したＡＲ装置の位置データに基づいて動的安全領域を移動させ、オペレータ４３０の保護を維持する。

【0055】

ボックス５１０において、ロボット制御装置４１２は、動的安全領域をロボット動作制御計算に組み込む。これには、少なくとも、ロボット４１０のいずれかの部分が動的安全領域に侵入するのを防ぐために、必要に応じてロボット４１０を停止させることが含まれる。ロボットの動作制御において動的安全領域を使用するには、動的安全領域との衝突の可能性が予想される場合にロボットアームを減速したり経路を変更したりする等、他のいくつかのオプションが利用可能である。また、パッド付きの動作領域（バブル）を各ロボットアームの周囲に画定してもよく、ロボットアームの動作領域とオペレータの動的安全領域との交差を使用して、ロボット４１０を完全に停止させることができる。その場合、パッド付きのロボットアームの動作領域及びオペレータの動的安全領域における自由空間は、ロボットアーム又はツールとオペレータ４３０との間の実際の接触を防止する安全マージンを提供する。

【0056】

またボックス５１０では、ＡＲ装置は動的安全領域に関連する情報を表示することができ、この情報は、安全領域の幾何学的描写、安全領域の色分けされたステータス、及び、動的安全ゾーンの境界を重視するために、全てのステータスを列挙してロボット制御装置が実行した動作を識別する情報ウィンドウ等である。

【0057】

ボックス５１０の後、フローチャート図５００のプロセスはボックス５０６に戻り、そこでＡＲ装置４３２の新たな現在位置及び向きが制御装置４１２に送信され、それに応じて動的安全領域が再配置される。プロセスは、ＡＲ装置４３２の電源がオンであり、ＡＲ装置４３２が作業セル４２０内に位置している限り、リアルタイムで継続的にループする。複数のオペレータ及び／又は複数のロボットが同様の方法で含まれてもよく、その場合全てのロボットは、全てのオペレータのＡＲ装置から位置情報を受信し、対応する全ての動的安全領域は、ロボットの侵入から保護される。

【0058】

これまでの説明を通じて、ロボットの動作及びタスクの制御や、ＡＲ装置の操作のための様々な制御装置が説明、暗示されている。これらの制御装置のソフトウェアアプリケーション及びモジュールは、プロセッサ及びメモリモジュール（不揮発性メモリ内に構築されたアルゴリズムを含む）を備えた１つ又は複数の計算機で実行されることを理解されたい。特に、これには、上述した図４のロボット制御装置４１２及びＡＲ装置４３２内のプロセッサが含まれる。ロボット、その制御装置及びＡＲ装置間の通信は、有線ネットワーク経由で行われてもよいし、携帯電話／データネットワーク、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ(登録商標)、ブロードバンドインターネット等の適切な無線技術を使用して行われてもよい。

【0059】

上で概説したように、拡張現実によって可能になるロボットアプリケーションの協働安全認識のための開示された技術は、従来技術に比べていくつかの利点を提供する。ＡＲ装置及びそのＡＲアプリケーション固有の位置追跡機能を使用して、ＡＲ装置の位置に基づいてオペレータの安全領域を自動的に移動させる機能は、静的な安全領域を手動で定義する従来技術よりもはるかに優れている。

【0060】

拡張現実によって可能になるロボットアプリケーションの協働安全認識について複数の例示的な態様及び実施形態が説明されたが、当業者は、それらの修正、並べ替え、追加及びサブコンビネーションを認識するであろう。従って、添付の特許請求の範囲及び請求項は、それらの真の精神及び範囲内にあるそのような修正、並べ替え、追加及びサブコンビネーションの全てを含むと解釈すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】