特許 6863927 ロボットのシミュレーション装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6863927

(24)【登録日】2021年4月5日

(45)【発行日】2021年4月21日

(54)【発明の名称】ロボットのシミュレーション装置

(51)【国際特許分類】

   B25J 9/22 20060101AFI20210412BHJP

   G05B 19/4069 20060101ALI20210412BHJP

【ＦＩ】

   B25J9/22 A

   G05B19/4069

【請求項の数】7

【全頁数】12

(21)【出願番号】特願2018-84230(P2018-84230)

(22)【出願日】2018年4月25日

(65)【公開番号】特開2019-188531(P2019-188531A)

(43)【公開日】2019年10月31日

【審査請求日】2019年9月11日

【早期審査対象出願】

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(74)【代理人】

【識別番号】100169856

【弁理士】

【氏名又は名称】尾山 栄啓

(72)【発明者】

【氏名】後平 寛之

【審査官】 岩▲崎▼ 優

(56)【参考文献】

【文献】 米国特許出願公開第２０１７／０３７２１３９（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１６／０２５７０００（ＵＳ，Ａ１）

【文献】 国際公開第２０１１／０８０８８２（ＷＯ，Ａ１）

【文献】 特開２０１０−００３３１２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／０２６６６４５（ＵＳ，Ａ１）

【文献】 特開２０１７−１００２０６（ＪＰ，Ａ）

【文献】 特開２００４−２４３５１６（ＪＰ，Ａ）

【文献】 特開２０１７−１００２３４（ＪＰ，Ａ）

【文献】 米国特許第０９９１９４２７（ＵＳ，Ｂ１）

【文献】 特開平０９−０６６４７６（ＪＰ，Ａ）

【文献】 韓国登録特許第１０−１８５０４１０（ＫＲ，Ｂ１）

【文献】 特開２０１７−０９４４６６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２５Ｊ １／００−２１／０２

Ｇ０５Ｂ １９／１８−１９／４１６

Ｇ０５Ｂ １９／４２−１９／４６

(57)【特許請求の範囲】

【請求項1】

協働ロボットと人とが協働して行う協働的作業のシミュレーションのためのシミュレーション装置であって、
協働ロボットモデルを含むロボットシステムモデルを三次元仮想空間に配置した画像を、頭部装着型表示装置に表示させる三次元モデル表示部と、
前記協働的作業を実行する前記協働ロボットの動作プログラムに基づいて、前記三次元仮想空間で前記協働ロボットモデルを模擬的に動作させるシミュレーション実行部と、を備え、
前記シミュレーション実行部は、着衣型検出装置により検出された操作者の身体部位の位置を取得し、該位置に基づいて前記操作者の身体部位と前記協働ロボットモデルとの前記三次元仮想空間内での接触が検出された場合に前記着衣型検出装置に検出信号を送出し、
前記着衣型検出装置は、身体の複数の動作部位に対応する位置にそれぞれ配置されたアクチュエータを備え、
前記着衣型検出装置は、前記シミュレーション実行部からの前記検出信号に応じて、前記身体部位に対応する位置の前記アクチュエータを作動させて前記操作者の動きに負荷を生じさせる、シミュレーション装置。

【請求項2】

前記協働ロボットモデルの動作を表す動作経路情報を前記動作プログラムから取得し、前記協働ロボットモデルが前記動作を開始する前に前記動作経路情報を前記三次元仮想空間に画像として表示させる動作経路情報表示部を更に具備する、請求項１に記載のシミュレーション装置。

【請求項3】

前記動作経路情報は、前記協働ロボットモデルの動作方向および速度の少なくともいずれかを含む、請求項２に記載のシミュレーション装置。

【請求項4】

前記動作経路情報は、前記協働ロボットモデルの動作軌跡を含む、請求項２または３に記載のシミュレーション装置。

【請求項5】

前記動作経路情報は、前記協働ロボットモデルの教示点を含む、請求項２から４のいずれか一項に記載のシミュレーション装置。

【請求項6】

前記動作経路情報は、前記協働ロボットモデルの前記動作のプレビュー画像を含む、請求項２から５のいずれか一項に記載のシミュレーション装置。

【請求項7】

前記着衣型検出装置によって検出された前記操作者の位置に基づいて、前記協働ロボットモデルと前記操作者との前記三次元仮想空間内での距離を算出する距離計算部と、
前記距離計算部によって算出された前記距離が所定値以下となった場合に、警告の報知を行う警告報知部と、を更に具備する、
請求項１から６のいずれか一項に記載のシミュレーション装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、協働ロボットと人が協働して行う協働的作業のシミュレーションを実行するシミュレーション装置に関する。

【背景技術】

【0002】

協働ロボット、ワーク、人、および周辺機器を三次元で表現した協働ロボットモデル、ワークモデル、人モデル、及び周辺機器モデルを画面に配置してシミュレーションを行うシステムが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７−０２４１１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のシミュレーション装置は、ロボット、ワーク、周辺機器および人のモデルを仮想空間内に配置してシミュレーションを行うものである。協働ロボットと人とが協働して行う協働的作業のシミュレーションでは、協働ロボットと人が接触したり、近づき過ぎた状態になる可能性をシミュレーションにより、的確に見つけ出すことが望まれる。

【課題を解決するための手段】

【0005】

本開示の一態様は、協働ロボットと人とが協働して行う協働的作業のシミュレーションのためのシミュレーション装置であって、協働ロボットモデルを含むロボットシステムモデルを三次元仮想空間に配置した画像を、頭部装着型表示装置に表示させる三次元モデル表示部と、前記協働的作業を実行する前記協働ロボットの動作プログラムに基づいて、前記三次元仮想空間で前記協働ロボットモデルを模擬的に動作させるシミュレーション実行部と、を備え、前記シミュレーション実行部は、着衣型検出装置により検出された操作者の身体部位の位置を取得し、該位置に基づいて前記操作者の身体部位と前記協働ロボットモデルとの前記三次元仮想空間内での接触が検出された場合に前記着衣型検出装置に検出信号を送出し、前記着衣型検出装置は、身体の複数の動作部位に対応する位置にそれぞれ配置されたアクチュエータを備え、前記着衣型検出装置は、前記シミュレーション実行部からの前記検出信号に応じて、前記身体部位に対応する位置の前記アクチュエータを作動させて前記操作者の動きに負荷を生じさせる、シミュレーション装置である。

【発明の効果】

【0006】

人と協働ロボットとが協働する作業を操作者が擬似的に体験しながらシミュレーションを実行することができるので、よりいっそう効率的に的確な動作プログラムや作業手順を作成することが可能となる。

【0007】

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係るロボットシミュレーションシステムの全体構成を表す構成図である。

【図2】ロボットシミュレーションシステムの機能ブロック図である。

【図3】本実施形態に係るシミュレーション動作のフローチャートである。

【図4】シミュレーション動作が開始された際の仮想空間内でのロボットシステムモデルの表示状態を表す図である。

【図5】動作経路情報として協働ロボットモデルの次の動作方向および速度を示す画像を表示する例を示す図である。

【図6】動作経路情報として協働ロボットモデルの次の動作を示す動作軌跡を表示する例を示す図である。

【図7】動作経路情報として協働ロボットモデルの動作プログラム（教示点）をグラフィカルに示す画像を表示する例を示す図である。

【図8】動作経路情報として協働ロボットモデルの次の動作を表すプレビュー画像を表示する例を示す図である。

【図9】シミュレーション動作中に操作者がロボットモデルに近づき過ぎた場合に警告メッセージが表示された状態を示す図である。

【図10】操作者の位置や動きを検出する検出装置として着衣型検出装置が用いられる場合のロボットシミュレーションシステムの構成を表す構成図である。

【発明を実施するための形態】

【0009】

次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

【0010】

図１は一実施形態に係るロボットシミュレーションシステム１００の全体構成を表す構成図である。ロボットシミュレーションシステム１００は、協働ロボットと人とによる協働的作業のシミュレーションを行うためのシステムである。図１に示されるように、ロボットシミュレーションシステム１００は、操作者９０の頭部に装着される頭部装着型表示装置としてのヘッドマウントディスプレイ８０と、シミュレーション動作を実行するシミュレーション装置５０と、操作者９０の位置や動きを検出する検出装置７０とを具備する。ヘッドマウントディスプレイ８０および視覚センサ７０は、無線接続或いは有線接続によりシミュレーション装置５０に接続される。

【0011】

シミュレーション装置５０は、協働ロボット、ワークおよび周辺装置を含むロボットシステムの三次元モデルデータを有しており、これらロボットシステムモデルを三次元仮想空間に配置した画像を生成してヘッドマウントディスプレイ８０の表示部８３（図２参照）に表示させる機能を有する。図１の破線の枠線には、協働ロボットモデル２０Ｍ、ワークモデル１０Ｍ、および周辺装置モデル１１Ｍが仮想空間（ヘッドマウントディスプレイ８０の表示部８３）に擬似立体物として表示された画像の例が図示されている。なお、シミュレーション装置５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、有線または無線のネットワークインタフェース、外部機器インタフェース、操作部、表示部等を有する一般的なコンピュータによって構成することができる。以下で説明する、シミュレーション装置５０の各種機能は、シミュレーション装置５０のＣＰＵがシミュレーションンプログラム等の各種プログラムを実行することによって実現される。検出装置７０は、実空間内での操作者７０の位置や動きを検出する。この構成により、シミュレーション装置５０は、実空間内での操作者９０の位置や動きに応じて、仮想空間内での協働ロボットモデル２０Ｍと操作者９０の相対位置関係を求め、その相対位置関係に応じてロボットシステムモデルの表示画像を生成することができる。よって、操作者９０は、実空間内において移動することで、ヘッドマウントディスプレイ８０に表示された仮想空間内でロボットシステムモデルに近づいたり、ロボットシステムモデルから離れたりすることができる。

【0012】

図２は、ロボットシミュレーションシステム１００の機能ブロック図である。図２に示されるように、シミュレーション装置５０は、位置計算部５０１、三次元モデル表示部５０２、シミュレーション実行部５０３、動作経路情報表示部５０６、および警告報知部５０７を備える。

【0013】

検出装置７０は、例えば、操作者を視覚的に検出する視覚センサであり、操作者９０を撮像して操作者９０の位置や動きを検出する機能する。具体的には、検出装置７０は、撮像された画像を解析して、画像内での操作者９０の位置や動き、および操作者９０の手の動きを検出する機能を有している。画像内での人体や手の位置を検出する手法としては、モデル画像とのマッチングを行うなど、当分野で知られた各種検出手法を用いることができる。検出装置７０は、検出した操作者９０の位置や動きをシミュレーション装置５０に提供する。

【0014】

位置計算部５０１は、検出装置７０から提供される操作者９０の実空間における位置や動きに基づいて、仮想空間における協働ロボットモデル２０Ｍと操作者９０との相対位置を算出する。位置計算部５０１は、仮想空間における協働ロボットモデル２０Ｍと操作者９０との相対距離を算出する距離計算部としての機能も有する。協働ロボットモデル２０Ｍ、ワークモデル１０Ｍ、および周辺装置モデル１１Ｍは、三次元モデル表示部５０２によって、仮想空間に設定した座標系上の所定の位置に配置されている。位置計算部５０１は、検出装置７０から提供される操作者９０の位置（実空間に設定された座標系上の位置）を、仮想空間に設定された座標系上の位置に変換し、それにより仮想空間内での協働ロボットモデル２０Ｍと操作者９０との相対位置を算出する。

【0015】

三次元モデル表示部５０２は、位置計算部５０１によって算出された、仮想空間内における操作者９０と協働ロボットモデル２０Ｍの相対位置に基づいて、協働ロボットモデル２０Ｍ、ワークモデル１０Ｍ、および周辺装置モデル１１Ｍを仮想空間内に配置した画像データを生成する。三次元モデル表示部５０２は、生成された画像データをヘッドマウントディスプレイ８０に送信し、画像データに基づく画像（ロボットシステムモデルが仮想空間に配置された画像）をヘッドマウントディスプレイ８０の表示部８３に表示させる。

【0016】

シミュレーション実行部５０２は、ロボットシステムモデルのシミュレーション動作を実行する。本明細書において、シミュレーション動作とは、動作プログラムや操作者による教示入力にしたがって、ロボットシステムモデルを模擬的に動作させることをいう。シミュレーション実行部５０２は、位置計算部５０１から、仮想空間内での操作者９０と協働ロボットモデル２０Ｍとの相対位置を取得し、協働した作業のシミュレーション動作に使用する。この相対位置を用いることで、シミュレーション動作中に操作者９０が協働ロボットモデル２０Ｍに近づき過ぎた場合に仮想空間内に警告を表示するといったことも可能になる。

【0017】

また、シミュレーション実行部５０２は、操作者９０と協働ロボットモデル２０Ｍとの相対位置を用いることで協働ロボットモデル２０Ｍに次のような安全動作の少なくとも一つを与えても良い。
（Ｍ１）シミュレーション動作中に操作者９０が協働ロボットモデル２０Ｍに近づいた場合には協働ロボットモデル２０Ｍの動作速度を低下させる。
（Ｍ２）シミュレーション動作中に操作者９０が協働ロボットモデル２０Ｍに接触した場合には、協働ロボットモデル２０Ｍを停止させる。
（Ｍ３）シミュレーション動作中に操作者９０が協働ロボットモデル２０Ｍを押した場合には、協働ロボットモデル２０Ｍを操作者９０の動きに合わせて動作させる。
なお、上記のような動作は、検出装置７０によって撮像された操作者９０の動きを解析し、操作者９０の手の動きを検出することによって実現することができる。

【0018】

動作経路情報表示部５０６は、動作プログラムから、ロボットモデル２０Ｍの動作に関する情報である動作経路情報を取得する。動作経路情報は、協働ロボットモデル２０Ｍの動作履歴を含んでいても良い。動作経路情報表示部５０６は、動作経路情報を画像として仮想空間（ヘッドマウントディスプレイ８０の表示部８３）に表示させる機能を有する。一例として、動作経路情報表示部５０６は、協働ロボットモデル２０Ｍが次の動作を行う前（例えば、次の動作を行う直前）にその動作の動作経路情報を表示させる。これにより、操作者９０は、協働ロボットモデル２０Ｍが次にとる行動を知ることができ、次に行うべき作業を認識することができる。

【0019】

警告報知部５０７は、仮想空間内での操作者９０と協働ロボットモデル２０Ｍとの相対距離に基づいて、操作者９０に対して、協働ロボットモデル２０Ｍに近づき過ぎていることを警告する。例えば、仮想区間内で協働ロボットモデル２０Ｍと操作者９０との相対距離が所定値以下になった場合、警告報知部５０７は、ヘッドマウントディスプレイ８０の表示部８３に警告メッセージを表示させる。なお、このような警告は、警告音によってなされても良い。この場合、警告報知部５０７は、ヘッドマウントディスプレイ８０またはシミュレーション装置５０に設けられたスピーカより警告音を発しても良い。

【0020】

ヘッドマウントディスプレイ８０は、三次元モデル表示部５０２から提供される画像データを処理して表示部８３に表示させる画像処理を行う画像処理部８１と、操作者９０の両眼に対応して設けられた表示部８３とを有する。一例として、画像処理部８１は、両眼視差画像を生成して表示部８３に表示する。これにより、操作者９０はロボットシステムモデルを疑似立体物として認識することができる。

【0021】

図３は、本実施形態に係るシミュレーション動作のフローチャートである。図３のシミュレーション動作は、シミュレーション装置５０のＣＰＵが、シミュレーション装置５０内の記憶装置に記憶されたシミュレーションプログラムを実行することによって実現される。なお、シミュレーションプログラムは、コンピュータにより読み取り可能な各種記憶媒体（ＲＯＭ、ＲＡＭ、フラッシュメモリ、ＨＤＤ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納することができる。図３のシミュレーション動作は、一例として、予め準備された協働ロボットの暫定的な動作プログラムを図１のロボットシミュレーションシステム１００において動作させることで、動作プログラムや協働的作業における改善点を見つけ出す目的で実行される。シミュレーション動作中においては、協働ロボットモデル２０Ｍは状況に応じて上述の（Ｍ１）〜（Ｍ３）の安全動作をするように設定されても良い。

【0022】

シミュレーション装置５０が操作されシミュレーションプログラムが起動されると、はじめに、三次元モデル表示部５０２によって、ロボットモデル２０Ｍ、ワークモデル１０Ｍ，および周辺装置モデル１１Ｍが仮想空間（ヘッドマウントディスプレイ８０の表示部８３）に表示される（ステップＳ１）。ここでは、図１の破線枠線内に示されたような画像が、ヘッドマウントディスプレイ８０の表示部８３に表示される。

【0023】

次に、検出装置７０によって、操作者９０の位置や動きを検出する動作が開始される（ステップＳ２）。検出装置７０によって検出される操作者９０の位置や動きは、シミュレーション装置５０に提供される。次に、シミュレーション実行部５０３は、検出装置７０によって検出された操作者９０の位置や動きを用いて、シミュレーション動作を開始させる（ステップＳ３）。シュミュレーション動作においては、協働ロボットモデル２０Ｍは、動作プログラムにしたがって動作する。また、操作者９０は、協働的作業における人の作業を模擬的に遂行する。ここでは、協働的作業の一例として、協働ロボットモデル２０Ｍがワークモデル１０Ｍを搬送して人に渡す動作を行い、操作者９０は協働ロボットモデル２０Ｍからワークモデル１０Ｍを受け取る動作を行うものとする。図４は、シミュレーション動作が開始された際の仮想空間内でのロボットシステムモデルの表示状態を示している。図４に示されるように、操作者９０が装着するヘッドマウントディスプレイ８０の表示部８３には、ロボットモデル２０Ｍがワークモデル１０Ｍを把持して搬送し始めた状態の画像が表示されている。操作者９０は、作業手順にしたがって、ロボットモデル２０Ｍからワークモデル１０Ｍを受け取るような動きをする。

【0024】

シミュレーション動作の実行中、動作経路情報表示部５０６は、協働ロボットモデル２０Ｍの動作経路情報を示す画像を、仮想空間における操作者９０と協働ロボットモデル２０Ｍの相対位置に基づいて生成し、仮想空間に表示させる（ステップＳ４）。動作経路情報を表示することにより、操作者９０に、協働ロボットモデル２０Ｍが次にどのように動くかを把握させることができる。したがって、操作者９０が作業手順を必ずしも把握していなくてもシミュレーションを適切に実行することができる。動作経路情報の表示の例について以下、説明する。

【0025】

図５は、動作経路情報として協働ロボットモデル２０Ｍの次の動作方向および速度を示す画像１０１を表示する例を示している。画像１０１は、一例として、ワークモデル１０Ｍをつかみ終えた協働ロボットモデル２０Ｍが動き出す直前に表示される。これにより、操作者９０は、協働ロボット２０Ｍが次に動作する方向及び速度を瞬時に把握することができる。

【0026】

図６は、動作経路情報として協働ロボットモデル２０Ｍの動作を示す動作軌跡１０２を表示する例を示している。動作軌跡１０２は、一例として、協働ロボットモデル２０Ｍが動き出す直前或いは移動中に表示される。これにより、操作者９０は、協働ロボット２０Ｍが動作し始める前に軌跡全体を把握することができる。

【0027】

図７は、動作経路情報として協働ロボットモデル２０Ｍの動作プログラム（教示点）をグラフィカルに示す画像１０３を表示する例を示している。なお、画像１０３における、Ｐ１〜Ｐ４は、教示点を表し、教示点Ｐ１〜Ｐ４間を結ぶ直線が経路を表している。画像１０３は、一例として、協働ロボットモデル２０Ｍが動き出す直前或いは移動中に表示される。これにより、操作者９０は、協働ロボット２０Ｍが動作し始める前に経路全体を把握することができる。

【0028】

図８は、動作経路情報として協働ロボットモデル２０Ｍの次の動作を表すプレビュー画像１０４を表示する例を示している。プレビュー画像１０４は、協働ロボットモデル２０Ｍの次の動作位置に配置された、協働ロボットモデル２０Ｍの擬似的な画像である。プレビュー画像１０４は、一例として、ワークモデル１０Ｍをつかみ終えた協働ロボットモデル２０Ｍが動き出す直前に表示される。これにより、操作者９０は、協働ロボット２０Ｍが次にとる動作を的確に認識することができる。なお、プレビュー画像として、ロボットモデル２０Ｍが次の位置まで動く動画を表示しても良い。

【0029】

図３の説明に戻り、シミュレーション動作中に操作者９０がロボットモデル２０Ｍに近づき過ぎた場合に（すなわち、仮想空間内でのロボットモデル２０Ｍと操作者９０との相対距離が所定値以下となった場合に）、警告報知部５０７は警告を表示する（ステップＳ５）。図９は、警告情報の表示例を示している。図９の例では、ロボットシステムモデルの画像と共に警告メッセージ１０６が、ヘッドマウントディスプレイ８０の表示部８３に表示されている。シミュレーション動作においてこのような警告を表示することで、シミュレーション実行中の操作者９０と協働ロボットモデル２０Ｍとの接触や接近を回避することができる。

【0030】

なお、シミュレーション動作中には仮想空間内での操作者９０の位置が把握されているので、シミュレーション実行部５０３は、例えば、協働ロボットモデル２０Ｍがワークモデル１０Ｍを目的位置まで搬送させた際に、操作者９０がワークモデル１０Ｍを受け取れる位置にいるか否かを確認するような処理をシミュレーション動作において行っても良い。或いは、協働的作業において協働ロボットモデル２０Ｍが操作者９０からワークモデル１０Ｍを受け取る動作が含まれる場合には、シミュレーション実行部５０３は、協働ロボットモデル２０Ｍがワークモデル１０Ｍを受け取る動作を行う際に、操作者９０がワークモデル１０Ｍを受け渡すことができる位置に存在しているか否かを確認するようにしても良い。すなわち、シミュレーション実行部５０３は、操作者９０の協働動作と、協働ロボットモデル２０Ｍの動作プログラムに基づく動作とが無理なく協調するか否かの観点で確認する処理を実行しても良い。

【0031】

上述のようなシミュレーション動作により見出すことができた協働ロボットモデル２０Ｍと作業者との接触の可能性等を、動作プログラムの変更や作業手順の見直しに利用することができる。例えば、協働ロボットモデル２０Ｍと作業者との接触を回避するために動作プログラム（教示点）を変更したり、作業者の作業手順に協働ロボットが移動するのを待つための手順を加えたりすることが考えられる。或いは、周辺装置やワークの配置を見直すことも考えられる。シミュレーション実行部５０３は、操作者９０と協働ロボットモデル２０Ｍとの相対距離に基づいて、例えば操作者９０と協働ロボットモデル２０Ｍとの接触を回避するように、協働ロボットモデル２０Ｍの動作経路を自動的変更する機能を有していても良い。なお、上述の動作経路情報の画像１０１（動作方向および速度）、動作軌跡１０２、画像１０３（動作プログラム）、プレビュー画像１０４のうちの二つ以上を同時に表示しても良い。

【0032】

以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

【0033】

上述の実施形態では、操作者９０の位置や動きを検出する検出装置として視覚センサが用いられる例を示したが、検出装置はこのような例に限られない。図１０は、操作者９０の位置や動きを検出する検出装置として着衣型検出装置１７０が用いられる場合のロボットシミュレーションシステム１００ａの構成を表す構成図である。なお、図１０には、着衣型検出装置１７０の機能ブロック図も参考として括弧内に示している。ロボットシミュレーションシステム１００ａは、操作者９０の位置や動きを検出する検出装置として着衣型検出装置１７０が用いられる点以外は、上述のロボットシミュレーションシステム１００と同様の構成を有するものとする。着衣型検出装置１７０は、例えば加速度センサや角速度センサ等からなる動きセンサ７５を身体の複数の部位（手先部、腕部、胴体部、脚部等）に対応する部分に設けた構成を有し、各動きセンサ７５で捉えた操作者９０の身体の各部位の動きや位置をシミュレーション装置５０に無線通信により提供する。このような着衣型検出装置１７０を操作者９０が装着した構成の場合にも、図３で説明したシミュレーション動作を上述の実施形態の場合と同様に実行することができる。ロボットシミュレーションシステム１００ａ場合にも、上述の実施形態と同様の効果を得ることができる。

【0034】

なお、着衣型検出装置１７０が、身体の複数の動作部位に対応する位置にそれぞれ配置された電動アクチュエータ７６による駆動機構（例えば、身体の各関節部分の動きを補助する電動アクチェータによる駆動機構）を有する構成であっても良い。この場合には、操作者９０の身体部位と協働ロボットモデル２０Ｍとの仮想空間内での接触が検出された場合に、着衣型検出装置１７０は、その身体部位に対応する位置の電動アクチェータ７６を作動させて操作者９０の動きに負荷を生じさせることができる。例えば、操作者９０が協働ロボットモデル２０Ｍを手で押す動作をした場合に、着衣型検出装置１７０は、操作者９０の手の部分の電動アクチュエータ７６を作動させて操作者９０の手の動きに負荷をかけても良い。一例として、シミュレーション実行部５０３は、操作者９０の三次元仮想空間内での位置に基づいて、操作者９０の身体部位と協働ロボットモデル２０Ｍとの三次元仮想空間内での接触が検出された場合に着衣型検出装置１７０に検出信号を送っても良い。着衣型検出装置１７０は、シミュレーション実行部５０３からの検出信号に応じて、その身体部位に対応する位置の電動アクチェータ７６を作動させて操作者９０の動きに負荷を生じさせる。

【0035】

図１に示したロボットシミュレーションシステム１００は、操作者９０が協働ロボットモデル２０Ｍに対する教示入力を行って動作プログラムを作成するようなシミュレーション動作にも用いることができる。例えば、操作者９０が手にもって操作できような外部コントローラをシミュレーション装置５０に接続する構成とする。この場合、操作者９０は、ヘッドマウントディスプレイ８０の表示部８３に表示されている協働ロボットモデル２０Ｍの画像をみながら、外部コントローラを手動で操作して教示入力を行う。

【0036】

また、本開示の課題を解決するために、以下のような各種の態様とその効果を提供することができる。なお、以下の態様の説明文における括弧内の番号は本開示の図面の参照符号に対応する。

【0037】

例えば、本開示の第一態様は、協働ロボットと人とが協働して行う協働的作業のシミュレーションのためのシミュレーション装置（５０）であって、前記協働的作業を模擬的に遂行する操作者（９０）に装着される頭部装着型表示装置（８０）と、前記操作者（９０）の実空間における位置を検出する検出部（７０）と、協働ロボットモデル（２０Ｍ）を含むロボットシステムモデルを三次元仮想空間に配置した画像を、前記頭部装着型表示装置（８０）に表示させる三次元モデル表示部（５０２）と、前記協働的作業を実行する前記協働ロボットの動作プログラムと、前記検出部によって検出された前記操作者（９０）の位置とに基づいて、前記三次元仮想空間で前記協働ロボットモデルを模擬的に動作させるシミュレーション実行部（５０３）と、を具備するシミュレーション装置（５０）である。

【0038】

上記第一態様によれば、人と協働ロボットとが協働する作業を操作者が擬似的に体験しながらシミュレーションを実行することができるので、よりいっそう効率的に的確な動作プログラムや作業手順を作成することが可能となる。

【0039】

また、本開示の第二態様は、上記第一態様のシミュレーション装置（５０）であって、前記協働ロボットモデル（２０Ｍ）の動作を表す動作経路情報を前記動作プログラムから取得し、前記協働ロボットモデル（２０Ｍ）が前記動作を開始する前に前記動作経路情報を前記三次元仮想空間に画像として表示させる動作経路情報表示部（５０６）を更に具備する。

【0040】

また、本開示の第三態様は、上記第二態様のシミュレーション装置（５０）であって、前記動作経路情報は、前記協働ロボットモデルの動作方向および速度の少なくともいずれかを含む。

【0041】

また、本開示の第四態様は、上記第二態様または第三態様のシミュレーション装置（５０）であって、前記動作経路情報は、前記協働ロボットモデルの動作軌跡を含む。

【0042】

また、本開示の第五態様は、上記第二態様から第四態様のいずれかのシミュレーション装置（５０）であって、前記動作経路情報は、前記協働ロボットモデルの教示点を含む。

【0043】

また、本開示の第六態様は、上記第二態様から第五態様のいずれかのシミュレーション装置（５０）であって、前記動作経路情報は、前記協働ロボットモデルの前記動作のプレビュー画像を含む。

【0044】

また、本開示の第七態様は、上記第一態様から第六態様のいずれかのシミュレーション装置（５０）であって、前記検出部によって検出された前記操作者の位置に基づいて、前記協働ロボットモデルと前記操作者との前記三次元仮想空間内での距離を算出する距離計算部（５０１）と、前記距離計算部によって算出された前記距離が所定値以下となった場合に、警告の報知を行う警告報知部（５０７）と、を更に具備する。

【0045】

また、本開示の第八態様は、上記第一態様から第七態様のいずれかのシミュレーション装置（５０）であって、前記検出部（７０）は、前記操作者を視覚的に検出する視覚センサである。

【0046】

また、本開示の第九態様は、上記第一態様から第七態様のいずれかのシミュレーション装置（５０）であって、前記検出部は、前記操作者の身体の運動を物理的に検出する着衣型検出装置（１７０）である。

【0047】

また、本開示の第十態様は、上記第九態様のシミュレーション装置（５０）であって、 前記着衣型検出装置（１７０）は、身体の複数の動作部位に対応する位置にそれぞれ配置されたアクチュエータを備え、前記シミュレーション実行部５０３は、前記検出部（７０）によって検出された前記操作者（９０）の位置に基づいて前記操作者（９０）の身体部位と前記協働ロボットモデルとの前記三次元仮想空間内での接触が検出された場合に前記着衣型検出装置（１７０）に検出信号を送り、前記着衣型検出装置（１７０）は、前記シミュレーション実行部（５０３）からの前記検出信号に応じて、前記身体部位に対応する位置の前記アクチェータを作動させて前記操作者の動きに負荷を生じさせる。

【符号の説明】

【0048】

１０
１０Ｍ ワークモデル
１１Ｍ 周辺装置モデル
２０Ｍ 協働ロボットモデル
５０ シミュレーション装置
７０ 検出装置
８０ ヘッドマウントディスプレイ
８１ 画像処理部
８３ 表示部
９０ 操作者
１００ ロボットシミュレーションシステム
５０１ 位置計算部
５０２ 三次元モデル表示部
５０３ シミュレーション実行部
５０６ 動作経路情報表示部
５０７ 警告報知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】