特許 7396872 拡張現実を用いたシミュレーション装置及びロボットシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-04

(45)【発行日】2023-12-12

(54)【発明の名称】拡張現実を用いたシミュレーション装置及びロボットシステム

(51)【国際特許分類】

   B25J 9/22 20060101AFI20231205BHJP

【ＦＩ】

B25J9/22 A

【請求項の数】 13

(21)【出願番号】P 2019211748

(22)【出願日】2019-11-22

(65)【公開番号】P2021079520

(43)【公開日】2021-05-27

【審査請求日】2022-07-20

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(72)【発明者】

【氏名】大場 雅文

(72)【発明者】

【氏名】片桐 太樹

【審査官】臼井 卓巳

(56)【参考文献】

【文献】特開２０１４－１８０７０７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／００１８８２６（ＵＳ，Ａ１）

【文献】特開２０１３－１９１１２８（ＪＰ，Ａ）

【文献】特開２０１７－０９４４０７（ＪＰ，Ａ）

【文献】特開２０１３－１３６１２３（ＪＰ，Ａ）

【文献】特開２００６－１９０２２８（ＪＰ，Ａ）

【文献】特開２００８－０３３４１９（ＪＰ，Ａ）

【文献】特開平０３－０２２１０６（ＪＰ，Ａ）

【文献】特開２０１５－０７７６６１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ ９／２２－１３／００

Ｇ０５Ｂ １９／４２

Ｇ０６Ｆ ３／０１－１１／２２

(57)【特許請求の範囲】

【請求項1】

実ロボット及び前記実ロボットの周辺に配置された周辺装置を含む現実空間の映像を取得する撮像センサと、
取得した前記映像に写る前記実ロボット上に仮想ロボットおよび仮想ワークを重畳表示する拡張現実表示部と、
移動するワークの位置を管理するワーク管理部と、を具備し、
前記移動するワークは前記仮想ワークであり、前記ワーク管理部は、予め設定した前記仮想ワークの初期位置、移動方向、移動量に基づいて時々刻々と変化する前記仮想ワークの位置を管理するか、または、
前記移動するワークは実ワークであり、前記ワーク管理部は、第１検出センサ及び第２検出センサの少なくとも一方の情報に基づいて時々刻々と変化する前記実ワークの位置を管理しており、
さらに、
前記移動するワークの位置に基づいて前記仮想ロボットの動作を制御する動作制御部と、
を備える、シミュレーション装置。

【請求項2】

前記周辺装置に対する前記仮想ロボットの干渉の有無を検出する干渉検出部をさらに備える、請求項１に記載のシミュレーション装置。

【請求項3】

前記干渉が検出された場合に前記仮想ロボットの色を変更する色変更部をさらに備える、請求項２に記載のシミュレーション装置。

【請求項4】

前記実ワークを搬送する搬送部をさらに具備し、該搬送部は前記映像に写されている、請求項１から３のいずれか一項に記載のシミュレーション装置。

【請求項5】

実ロボット及び前記実ロボットの周辺に配置された周辺装置を含む現実空間の映像を取得する撮像センサと、
取得した前記映像に写る前記実ロボット上に仮想ロボットを重畳表示する拡張現実表示部と、
前記仮想ロボットの動作を前記映像上で指示する指示部と、を具備し、
前記指示部はタッチパネルを含み、前記指示部は仮想ロボットの動作を指示する操作用カーソルを前記タッチパネルの映像上に重畳表示させ、前記タッチパネルの情報に基づいて前記操作用カーソルを移動させており、
さらに、
前記指示部の指示に基づいて前記仮想ロボットの動作を制御する動作制御部と、
を備える、シミュレーション装置。

【請求項6】

前記周辺装置に対する前記仮想ロボットの干渉を検出する干渉検出部をさらに備える、請求項５に記載のシミュレーション装置。

【請求項7】

前記干渉が検出された場合に前記仮想ロボットの色を変更する色変更部をさらに備える、請求項６に記載のシミュレーション装置。

【請求項8】

前記指示部の指示は前記仮想ロボットの位置及び姿勢を含む、請求項５から７のいずれか一項に記載のシミュレーション装置。

【請求項9】

前記指示部の指示に基づいて前記仮想ロボットの動作を記録する動作記録部と、
前記動作の記録に基づいて動作プログラムを生成する動作プログラム生成部と、
をさらに備える、請求項５から８のいずれか一項に記載のシミュレーション装置。

【請求項10】

実ロボットと、
前記実ロボット及び前記実ロボットの周辺に配置された周辺装置を含む現実空間の映像を取得する撮像センサと、
取得した前記映像に写る前記実ロボット上に仮想ロボットおよび仮想ワークを重畳表示する拡張現実表示部と、
移動するワークの位置を管理するワーク管理部と、を具備し、
前記移動するワークは前記仮想ワークであり、前記ワーク管理部は、予め設定した前記仮想ワークの初期位置、移動方向、移動量に基づいて時々刻々と変化する前記仮想ワークの位置を管理するか、または、
前記移動するワークは実ワークであり、前記ワーク管理部は、第１検出センサ及び第２検出センサの少なくとも一方の情報に基づいて時々刻々と変化する前記実ワークの位置を管理しており、
さらに、
前記移動するワークの位置に基づいて前記仮想ロボットの動作を制御する動作制御部と、
を備える、ロボットシステム。

【請求項11】

前記移動するワークが前記実ワークであり、前記実ワークの位置を検出する前記第１検出センサをさらに備える、請求項１０に記載のロボットシステム。

【請求項12】

前記第１検出センサは前記実ワークの移動量をさらに検出する、請求項１１に記載のロボットシステム。

【請求項13】

実ロボットと、
前記実ロボット及び前記実ロボットの周辺に配置された周辺装置を含む現実空間の映像を取得する撮像センサと、
取得した前記映像に写る前記実ロボット上に仮想ロボットを重畳表示する拡張現実表示部と、
前記仮想ロボットの動作を前記映像上で指示する指示部と、を具備し、
前記指示部はタッチパネルを含み、前記指示部は仮想ロボットの動作を指示する操作用カーソルを前記タッチパネルの映像上に重畳表示させ、前記タッチパネルの情報に基づいて前記操作用カーソルを移動させており、
さらに、
前記指示部の指示に基づいて前記仮想ロボットの動作を制御する動作制御部と、
を備える、ロボットシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、シミュレーション装置及びロボットシステムに関し、特に拡張現実を用いたシミュレーション装置及びロボットシステムに関する。

【背景技術】

【0002】

ロボットを用いて所定の作業を行う場合、オフラインでシミュレーションを事前に行った上で、現場での動作確認を実機のロボットで行うことが通例であった。斯かるロボットシミュレーションに関しては、例えば後述の文献が公知である。

【0003】

特許文献１には、コンピュータによって生成された情報を視覚装置上にある画像受取装置によって検出される現実環境の画像へとフェードインするための方法が開示されている。この方法では、画像受取ユニットの位置及び方向付け又はポーズについて判定を行い、この判定に応じてロボット特有の情報（基準の座標系、ロボットの軸等）を現実環境の画像に重ねている。

【0004】

特許文献２には、ロボットの三次元データ及び構造物の三次元データに基づいて、構造物の三次元データが規定する仮想空間内で、ロボットに設定された制御点を通る直線を含む照準座標軸の三次元データを表示することが開示されている。

【0005】

特許文献３及び特許文献４には、映像に写る実ロボット上に仮想ロボットを重畳表示し、仮想ロボットを動作させ、その後、実ロボットを動作させることが開示されている。また、仮想ワークを表示させることも記載されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００４－２４３５１６号公報

【文献】特許第６３８５６２７号公報

【文献】特開２０１９－２５６２０号公報

【文献】特開２０１９－４２８４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ロボットを使用する現場の状況は、オフラインでシミュレーションしたときの状況と必ずしも同じになるとは限らない。従って、実際にロボットを動作させたところ、ロボットが周辺装置に干渉してしまうことがある。特に、移動するワークに対してロボットが作業を行う場合には、予め教示したロボットの動作経路がワークの位置に基づいて補正されるため、実際のロボット動作がどのようになるかを事前のシミュレーションで把握するのは困難であった。

【0008】

また、教示のためにロボットを操作する際、操作ボタンを押し間違えたり、ロボットの動作速度が高速に設定されていることに気付かずにロボットを動かしてしまったりして、ロボットを周辺装置に干渉させてしまうこともある。

【0009】

そこで、移動するワークに対して作業を行うロボットのシミュレーションにおいて周辺装置に対するロボットの干渉有無を事前に把握できる技術が求められている。

【課題を解決するための手段】

【0010】

本開示の一態様は、実ロボット及び実ロボットの周辺に配置された周辺装置を含む現実空間の映像を取得する撮像センサと、取得した前記映像に写る前記実ロボット上に仮想ロボットおよび仮想ワークを重畳表示する拡張現実表示部と、移動するワークの位置を管理するワーク管理部と、を具備し、前記移動するワークは前記仮想ワークであり、前記ワーク管理部は、予め設定した前記仮想ワークの初期位置、移動方向、移動量に基づいて時々刻々と変化する前記仮想ワークの位置を管理するか、または、前記移動するワークは実ワークであり、前記ワーク管理部は、第１検出センサ及び第２検出センサの少なくとも一方の情報に基づいて時々刻々と変化する前記実ワークの位置を管理しており、さらに、前記移動するワークの位置に基づいて前記仮想ロボットの動作を制御する動作制御部と、を備える、シミュレーション装置を提供する。
本開示の他の態様は、実ロボット及び実ロボットの周辺に配置された周辺装置を含む現実空間の映像を取得する撮像センサと、取得した映像に写る実ロボット上に仮想ロボットを重畳表示する拡張現実表示部と、前記仮想ロボットの動作を前記映像上で指示する指示部と、を具備し、前記指示部はタッチパネルを含み、前記指示部は仮想ロボットの動作を指示する操作用カーソルを前記タッチパネルの映像上に重畳表示させ、前記タッチパネルの情報に基づいて前記操作用カーソルを移動させており、さらに、前記指示部の指示に基づいて前記仮想ロボットの動作を制御する動作制御部と、を備える、シミュレーション装置を提供する。
本開示の別の態様は、実ロボットと、実ロボット及び実ロボットの周辺に配置された周辺装置を含む現実空間の映像を取得する撮像センサと、取得した前記映像に写る前記実ロボット上に仮想ロボットおよび仮想ワークを重畳表示する拡張現実表示部と、移動するワークの位置を管理するワーク管理部と、を具備し、前記移動するワークは前記仮想ワークであり、前記ワーク管理部は、予め設定した前記仮想ワークの初期位置、移動方向、移動量に基づいて時々刻々と変化する前記仮想ワークの位置を管理するか、または、前記移動するワークは実ワークであり、前記ワーク管理部は、第１検出センサ及び第２検出センサの少なくとも一方の情報に基づいて時々刻々と変化する前記実ワークの位置を管理しており、さらに、前記移動するワークの位置に基づいて前記仮想ロボットの動作を制御する動作制御部と、を備える、ロボットシステムを提供する。
本開示のさらに別の態様は、実ロボットと、前記実ロボット及び前記実ロボットの周辺に配置された周辺装置を含む現実空間の映像を取得する撮像センサと、取得した前記映像に写る前記実ロボット上に仮想ロボットを重畳表示する拡張現実表示部と、前記仮想ロボットの動作を前記映像上で指示する指示部と、を具備し、前記指示部はタッチパネルを含み、前記指示部は仮想ロボットの動作を指示する操作用カーソルを前記タッチパネルの映像上に重畳表示させ、前記タッチパネルの情報に基づいて前記操作用カーソルを移動させており、さらに、前記指示部の指示に基づいて前記仮想ロボットの動作を制御する動作制御部と、を備える、ロボットシステムを提供する。

【発明の効果】

【0011】

本開示の一態様によれば、移動するワークに対して作業を行うロボットのシミュレーションにおいて周辺装置に対するロボットの干渉有無を事前に把握できる。ひいては、現場の作業時と同じような状況でレイアウトの確認作業ができるため、作業工数が短縮する。

【図面の簡単な説明】

【0012】

【図1】一実施形態におけるシミュレーション装置の概略構成図である。

【図2】シミュレーション装置の変形例を示す概略構成図である。

【図3】一実施形態におけるロボットシステムの機能ブロック図である。

【図4】仮想ロボットの動作を指示する操作用カーソルを示す図である。

【図5】ロボットシステムの変形例を示す機能ブロック図である。

【発明を実施するための形態】

【0013】

以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。本明細書における用語「ワーク」は、実ワーク及び仮想ワークを含み、本明細書における用語「ロボット」は、実ロボット及び仮想ロボットを含むことに留意されたい。

【0014】

図１は本実施形態におけるシミュレーション装置１０の概略構成を示している。シミュレーション装置１０は、例えばＣＰＵ（central processing unit）、ＭＰＵ（micro processing unit）等のプロセッサを含むコンピュータ装置を備えている。シミュレーション装置１０は、例えばタブレット、スマートフォン、ウェアラブルデバイス、ラップトップ等の携帯端末でよいが、デスクトップ等の固定端末でもよい。シミュレーション装置１０は、撮像センサ（図示せず）で取得した現実空間の映像上に仮想オブジェクトを重畳表示する拡張現実表示装置であるが、ロボットの動作プログラムを生成するロボット教示装置の機能を兼ね備えていてもよい。シミュレーション装置１０は、拡張現実処理を行うプロセッサ、表示パネル等を備えた拡張現実表示部１２を備えている。拡張現実表示部１２は、取得した映像上に仮想オブジェクトを重畳するため、事前に、仮想オブジェクトの三次元データの設定、実オブジェクトの特徴部位又はマーカの設定、撮像センサのキャリブレーション等を行い、特徴部位又はマーカと撮像センサとの間の相対関係（相対位置及び相対姿勢）を予め取得する。そして、拡張現実表示部１２は、実際に取得した映像から特徴部位又はマーカの位置及び姿勢を検出すると共に、検出した特徴部位又はマーカの位置及び姿勢と予め取得した撮像センサとの相対関係とに基づいて仮想オブジェクトを映像上に重畳表示する。

【0015】

本例の拡張現実表示部１２は、実ロボット２０及び実ロボット２０の周辺に配置された周辺装置２２を写した映像を取得し、取得した映像に写る実ロボット２０上に仮想ロボット２３を重畳表示する。実ロボット２０及び仮想ロボット２３は、例えば多関節ロボット、パラレルリンク型ロボット等の産業用ロボットであるが、ヒューマノイド等でもよい。また、周辺装置２２は、例えば工作機械であるが、実ロボット２０の周辺に配置された任意の物体を含む。取得した映像には、実ワーク（図示せず）を搬送する搬送部３０が写されているとよい。搬送部３０は、例えばコンベヤ、ＡＧＶ（automated guided vehicle）等を含む。

【0016】

本例の拡張現実表示部１２は、搬送部３０によって搬送されて矢印Ｘの方向に移動する仮想ワークＷ１も映像上に重畳表示し、仮想ワークＷ１に対する仮想ロボット２３の動作を表示する。このとき、実際の作業と同じ移動速度、供給量等で仮想ワークＷ１を流すとよい。これにより、実際の作業と同じように実ワークの流れを再現するのが困難な場合であっても、現実空間の映像上で仮想ワークＷ１に対する仮想ロボット２３の動作を再現できるため、周辺装置２２に対する実ロボット２０の干渉有無を事前に把握できるようになる。なお、シミュレーションの際には、ロボット制御装置２１が実ロボット２０をマシンロックしておくとよい。これにより、教示のために実ロボット２０を誤って操作した場合であっても、周辺装置２２に対する実ロボット２０の干渉を防止できることになる。

【0017】

図２はシミュレーション装置１０の変形例を示している。本例のシミュレーション装置１０は、仮想ワークＷ１を流すのではなく、実ワークＷ２を流した映像を取得する点で、前述のものとは異なる。シミュレーション装置１０は、映像に写る実ワークＷ２に対して仮想ロボット２３を動作させる。シミュレーション装置１０は、第１検出センサ３１及び第２検出センサ３２の少なくとも一方の情報に基づいて実ワークＷ２の位置及び必要に応じて移動量を検出するとよい。第１検出センサ３１は、例えば実ワークＷ２の位置及び移動量を検出可能な固定カメラであるが、実ワークＷ２の移動量が既知の場合には実ワークＷ２の到来を検知する光電センサ、接触センサ等でもよい。また、第２検出センサ３２は、例えば搬送部３０の回転軸に取付けたロータリーエンコーダであり、実ワークＷ２の移動量が既知でない場合に光電センサ、接触センサ等の第１検出センサ３１と組み合わせて使用してもよい。実ワークＷ２の位置及び必要に応じて移動量を検出することにより、実ワークＷ２に対する仮想ロボット２３の動作を表示させることが可能になる。実際の作業と同じように実ワークＷ２の流れを再現できる場合には、実ワークＷ２に対する仮想ロボット２３の動作を表示させることにより、周辺装置２２に対する実ロボット２０の干渉有無をより正確に確認できるようになる。

【0018】

図３は本実施形態におけるロボットシステム１の機能ブロックを示している。機能ブロックにおける「～部」は、ハードウェア及びソフトウェアの少なくとも一方で構成されることに留意されたい。ロボットシステム１は、シミュレーション装置１０に加えて、実ロボット２０及びロボット制御装置２１を備えている。シミュレーション装置１０は、シミュレーションしたロボットの動作プログラムをロボット制御装置２１に送信する。ロボット制御装置２１は、受信した動作プログラムに従って実ロボット２０を制御する。

【0019】

シミュレーション装置１０は、撮像センサ１１及び拡張現実表示部１２に加えて、移動するワークの位置を管理するワーク管理部１３と、ワークの位置に基づいて仮想ロボットの動作を制御する動作制御部１４と、を備えている。図１に示すように仮想ワークＷ１を流す場合、ワーク管理部１３は、予め設定した仮想ワークＷ１の初期位置、移動方向、移動量等に基づいて時々刻々と変化する仮想ワークＷ１の位置を管理する。一方、図２に示すように実ワークＷ２を流す場合、ワーク管理部１３は、第１検出センサ３１及び第２検出センサ３２の少なくとも一方の情報に基づいて時々刻々と変化する実ワークＷ２の位置を管理する。動作制御部１４は、仮想ワークＷ１又は実ワークＷ２の位置に基づいて仮想ロボット２３の動作を制御する。

【0020】

シミュレーション装置１０は、周辺装置２２に対する仮想ロボット２３の干渉有無を検出する干渉検出部１５をさらに備えているとよい。干渉有無の検出に先立ち、周辺装置２２の三次元データの設定を予め行ってもよいが、撮像センサ１１が例えばＴＯＦ（time of flight）センサ、レーザスキャナ等の三次元センサの場合には、撮像センサ１１の情報から周辺装置２２の三次元データを予め取得してもよい。干渉検出部１５は、公知の干渉検出法を用いて周辺装置２２に対する仮想ロボット２３の干渉有無を検出可能である。例えば干渉検出部１５は、周辺装置２２の形状を単純化した凸多面体と、仮想ロボット２３の形状を単純化した凸多面体とをＸＹＺ平面上に夫々射影し、射影してできた２つの凸多角形の交差を公知の平面走査法を用いて判定し、ＸＹＺ平面の全てについて交差が検出された場合に干渉有りと判定するとよい。

【0021】

シミュレーション装置１０は、干渉が検出された場合に仮想ロボット２３の色を変更する色変更部１６をさらに備えていてもよい。例えば色変更部１６は、仮想ロボット２３の色を赤色に変更し、拡張現実表示部１２は、赤色に変更した仮想ロボット２３を映像上に重畳表示する。これにより、周辺装置２２に対する実ロボット２０の干渉有無を視覚的に簡潔に把握できるようになる。

【0022】

シミュレーション装置１０は、仮想ロボット２３の動作を映像上で指示する指示部１７をさらに備えていてもよい。指示部１７は、例えばタッチパネル、プロセッサ等で構成され、仮想ロボット２３の動作を指示する操作用カーソルを映像上に重畳表示させる。図４は操作用カーソル４０を示している。操作用カーソル４０は、例えばツール座標系の原点（例えばツール中心点（ＴＣＰ）等）や任意の制御点を原点としたＸＹＺ軸で構成される。指示部１７は、タッチパネルの情報に基づいて操作用カーソル４０を移動させる。指示部１７の指示は仮想ロボット２３の位置及び姿勢を含んでおり、動作制御部１４は指示部１７の指示に基づいて仮想ロボット２３の動作を制御する。仮想ロボット２３の位置は例えばフランジ座標系の原点でよく、仮想ロボット２３の姿勢は例えばベース座標系の原点に対するツール座標系の向きでよい。

【0023】

図３を再び参照すると、シミュレーション装置１０は、指示部１７の指示に基づいて仮想ロボット２３の動作を記録する動作記録部１８と、動作の記録に基づいてロボットの動作プログラムを生成する動作プログラム生成部１９と、をさらに備えているとよい。シミュレーション装置１０は、生成した動作プログラムを拡張現実上で再びシミュレーションしてもよいし、又は生成した動作プログラムをロボット制御装置２１に送信してもよい。ロボット制御装置２１は、受信した動作プログラムに基づいて実ロボット２０を制御する。

【0024】

図５はロボットシステム１の変形例を示している。本例のロボットシステム１では、ワーク管理部１３、動作制御部１４、及び干渉検出部１５が、シミュレーション装置１０ではなく、ロボット制御装置２１に設けられている点で、前述のものと異なる。このように構成することにより、シミュレーション装置１０は、ロボット制御装置２１の既存の機能を利用して拡張現実シミュレーションを行うことが可能になる。

【0025】

以上の実施形態によれば、移動するワークに対して作業を行うロボットのシミュレーションにおいて周辺装置２２に対する実ロボット２０の干渉有無を事前に把握することが可能になる。ひいては、現場の作業時と同じような状況でレイアウトの確認作業ができるため、作業工数が短縮する。

【0026】

前述のフローチャートを実行するプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばＣＤ－ＲＯＭ等に記録して提供してもよい。

【0027】

本明細書において種々の実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、以下の特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。

【符号の説明】

【0028】

１ ロボットシステム
１０ シミュレーション装置
１１ 撮像センサ
１２ 拡張現実表示部
１３ ワーク管理部
１４ 動作制御部
１５ 干渉検出部
１６ 色変更部
１７ 指示部
１８ 動作記録部
１９ 動作プログラム生成部
２０ 実ロボット
２１ ロボット制御装置
２２ 周辺装置
２３ 仮想ロボット
３０ 搬送部
３１ 第１検出センサ
３２ 第２検出センサ
Ｗ１ 仮想ワーク
Ｗ２ 実ワーク

【図1】

【図2】

【図3】

【図4】

【図5】