特許 6965981 ロボット用の表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6965981

(24)【登録日】2021年10月25日

(45)【発行日】2021年11月10日

(54)【発明の名称】ロボット用の表示システム

(51)【国際特許分類】

   B25J 9/22 20060101AFI20211028BHJP

   B25J 19/06 20060101ALI20211028BHJP

   G05B 19/4069 20060101ALI20211028BHJP

【ＦＩ】

   B25J9/22 A

   B25J19/06

   G05B19/4069

【請求項の数】2

【全頁数】14

(21)【出願番号】特願2020-185774(P2020-185774)

(22)【出願日】2020年11月6日

(62)【分割の表示】特願2016-188162(P2016-188162)の分割

【原出願日】2016年9月27日

(65)【公開番号】特開2021-11017(P2021-11017A)

(43)【公開日】2021年2月4日

【審査請求日】2020年11月6日

(73)【特許権者】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】110000567

【氏名又は名称】特許業務法人 サトー国際特許事務所

(72)【発明者】

【氏名】由井 大介

【審査官】 樋口 幸太郎

(56)【参考文献】

【文献】 特開平１１−５８２７６（ＪＰ，Ａ）

【文献】 特開平９−２８８５８０（ＪＰ，Ａ）

【文献】 特開２００９−２９１５４０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２５Ｊ ９／２２

Ｂ２５Ｊ １９／０６

Ｇ０５Ｂ １９／４０６９

(57)【特許請求の範囲】

【請求項1】

ロボットのコントローラによって実行される制御プログラムを読み込み、ロボットの姿勢が変化する命令の完了後にロボットの目標位置が予め定められた分岐条件に従って複数に分岐する分岐命令が設定されているか否かを判定するとともに、分岐命令が設定されている場合には分岐した先の目標位置である分岐先位置を特定する解析部と、
当該姿勢が変化する命令により特定されるロボットの動作軌跡を示す画像と、前記解析部によって分岐命令が存在すると判定された場合における動作軌跡の目標位置であって分岐の起点となる分岐元位置、当該分岐元位置から分岐した先の目標位置である分岐先位置、および分岐元位置からそれぞれの分岐先位置まで移動する際のロボットの動作軌跡である予想軌跡を示す画像と、を含む仮想画像を生成する画像生成部と、を備え、
前記画像生成部で生成された仮想画像を、ロボットと重なるように表示部に表示するロボット用の表示システム。

【請求項2】

前記仮想画像を表示する際、前記表示部にロボットをモデル化した画像を表示するとともに、当該モデル化した画像と重なるように前記仮想画像を表示する請求項１記載のロボット用の表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットの動作軌跡を表示するロボット用の表示システムに関する。

【背景技術】

【0002】

ロボットは、制御装置であるコントローラに記憶されている制御プログラムに従って動作する。この制御プログラムは、ＣＡＤ等を用いたシミュレーションモデルにより基本的な設計がされた後、実際のロボットの組立公差や部品公差あるいはロボットの設置位置のずれ等を調整するために、実機のロボットによる調整作業が行われる。ただし、この調整作業は比較的熟練を要する作業であることから、例えば特許文献１では、精度の高い動作軌跡を教示装置に表示することにより調整作業を効率化することが提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−０６５１００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上記した調整作業は、ロボットに対して正確な目標位置を教示するために、ロボットの近傍において、ロボットを見ながら行われることが多い。そのため、例えばロボットから所定の安全距離だけ離れた位置から作業を行う等、当然のことながら作業者の安全を確保するための対策が施されている。

【0005】

しかしながら、安全距離を確保していたとしても、例えば奥側に移動すると思っていたアームが手前側に移動し、それに驚いて転倒してしまうなど、ロボットの動作によっては、ロボットとの実際の接触が無い場合であっても作業者の安全に関わるトラブルが発生する可能性がある。
本発明は上記事情に鑑みてなされたものであり、その目的は、ロボットの動作を作業者に対して適切に認識させることができるロボット用の表示システムを提供することにある。

【課題を解決するための手段】

【0006】

請求項１記載のロボット用の表示システムでは、解析部は、ロボットのコントローラによって実行される制御プログラムを読み込み、ロボットの姿勢が変化する命令の完了後にロボットの目標位置が予め定められた分岐条件に従って複数に分岐する分岐命令が設定されているか否かを判定するとともに、分岐命令が設定されている場合には分岐した先の目標位置である分岐先位置を特定する。

【0007】

また、画像生成部は、当該姿勢が変化する命令により特定されるロボットの動作軌跡を示す画像と、前記解析部によって分岐命令が存在すると判定された場合における動作軌跡の目標位置であって分岐の起点となる分岐元位置、当該分岐元位置から分岐した先の目標位置である分岐先位置、および分岐元位置からそれぞれの分岐先位置まで移動する際のロボットの動作軌跡である予想軌跡を示す画像と、を含む仮想画像を生成する。

【0008】

そして、表示システムは、画像生成部で生成された仮想画像を、ロボットと重なるように表示部に表示する。これにより、ロボットの動作軌跡つまりは姿勢が変化する命令による目標位置までの軌跡と、今後取り得る予想軌跡つまりは当該姿勢が変化する命令の完了後にロボットが取り得る位置までの軌跡とが、実際にロボットの動作が分岐するよりも前の時点において、作業者に対して同時に表示される。

【0009】

したがって、ロボットの動作だけでなく、ロボットが今後取り得る動作を作業者に対して適切に認識させることができる。この場合、実際にロボットを動作させているときに限らず、例えば作業中に次の教示点への動作軌跡を確認するときや、ロボットをエミュレーションで動作させて動作確認するときなどにも同様に、今後取り得る動作を適切に認識させることができる。

【0010】

また、ロボットの動作軌跡と今後取り得る予想軌跡とが表示されることにより、作業者は、ロボットの動作を予め想定しておくことができる。したがって、例えば上記した意図しない方向に動作するといった状況が起こり難くなり、作業者の安全性が向上するとともに、ロボットの動作を把握することができることから調整作業を効率化することも可能となる。

【0011】

請求項２記載のロボット用の表示システムは、仮想画像を表示する際、表示部にロボットをモデル化した画像を表示するとともに、当該モデル化した画像と重なるように仮想画像を表示する。これにより、例えば教示装置や仮想的に教示するエミュレータの画面などにおいて、ロボットの動作を、分岐による動作軌跡の変化やどのように分岐すると予想されるかについて作業者に提示することが可能となり、ロボットの動作を作業者に対して適切に認識させることができる。

【0012】

また、本明細書には、以下の発明が記載されている。
実行中の制御プログラムを先読みし、実行中の命令の完了後にロボットの目標位置が予め定められた分岐条件に従って複数に分岐する分岐命令が設定されているか否かを判定するとともに、分岐命令が設定されている場合には分岐した先の目標位置である分岐先位置を特定する解析部と、実行中の命令により特定されるロボットの現在の動作軌跡を示す画像と、前記解析部によって分岐命令が存在すると判定された場合において現在の動作軌跡の目標位置であって分岐の起点となる分岐元位置、当該分岐元位置から分岐した先の目標位置である分岐先位置、および分岐元位置からそれぞれの分岐先位置まで移動する際のロボットの動作軌跡である予想軌跡を示す画像と、を含む仮想画像を生成する画像生成部と、前記画像生成部で生成された仮想画像を、ロボットと重なるように表示する表示部と、を備えるロボット用の表示システムの発明。

【0013】

前記解析部は、複数の分岐先位置に対して、分岐先となる可能性の高低をそれぞれ評価し、前記画像生成部は、前記解析部よる評価結果に基づいて、分岐先となる可能性の高低を視覚的に識別可能な仮想画像を生成するロボット用の表示システムの発明
前記解析部は、分岐先位置が２つである場合、分岐命令に対して設定されている分岐条件の真偽に基づいて、当該分岐条件の真に対応する分岐先位置が、分岐先となる可能性が高いと判定するロボット用の表示システムの発明。

【0014】

前記解析部は、分岐命令に対して設定されている分岐条件の評価順に基づいて、評価順が上位である分岐先位置ほど、分岐先となる可能性が高いと判定するロボット用の表示システムの発明。
過去の動作において実際に分岐した回数を複数の分岐先位置のそれぞれについて記憶する記憶部を備え、前記解析部は、前記記憶部に記憶されている実際に分岐先となった回数に基づいて、過去に分岐先となった回数が多いほど、分岐先となる可能性が高いと判定するロボット用の表示システムの発明。

【0015】

前記画像生成部は、分岐元位置を示す画像の近傍に、分岐条件を示す画像を含む仮想画像を生成する請求項１から５のいずれか一項記載のロボット用の表示システム。
前記画像生成部は、分岐する可能性が最も高いと判定した予想軌跡については動作軌跡と同じ表示態様を維持し、他の予想軌跡については異なる表示態様とする仮想画像を生成するロボット用の表示システムの発明。

【0016】

前記画像生成部は、分岐する可能性が最も高いと判定した予想軌跡については動作軌跡と同じ表示態様を維持し、他の予想軌跡については分岐する可能性に応じて透明度を上げる、あるいは、表示する線を細くする仮想画像を生成するロボット用の表示システムの発明。

【0017】

前記画像生成部は、現時点において分岐する可能性が無いと判定される予想軌跡については仮想画像を生成しないロボット用の表示システムの発明。

【0018】

前記表示部は、作業者が頭部に装着することで当該作業者の視野内に仮想画像を投影可能な頭部装着型ディスプレイであり、前記頭部装着型ディスプレイを装着した作業者の視点位置を取得する視点位置取得部を備え、前記画像生成部は、前記視点位置取得部で取得した作業者の視点位置に基づいて、前記頭部装着型ディスプレイを装着した作業者の視野においてロボットに重なる仮想画像を生成するロボット用の表示システムの発明。

【図面の簡単な説明】

【0019】

【図1】実施形態における作業者の視野に表示される仮想画像を模式的に示す図

【図2】表示システムの全体構成を模式的に示す図

【図3】制御プログラムの一例を示す図

【図4】先読み表示処理の流れを示す図

【図5】その他の実施形態における仮想画像の例を模式的に示す図その１

【図6】仮想画像の例を模式的に示す図その２

【図7】仮想画像の例を模式的に示す図その３

【図8】仮想画像の例を模式的に示す図その４

【発明を実施するための形態】

【0020】

以下、実施形態について図１から図４を参照しながら説明する。
図１は、作業者の視野を模式的に示している。この図１の場合、作業者の視野には、ロボット１が存在している。このロボット１は、例えば６軸の垂直多関節型ロボットであり、各軸に設けられているモータによって各軸のアームが駆動される。そして、第６軸アームの先端部に取り付けたハンド等により、作業対象物であるワーク（図示省略）に対して作業を行う。本実施形態では、ロボット１は、ベルトコンベアや作業台等により構成された搬送ライン２を流れてくるワークに対して作業を行うことを想定している。

【0021】

このロボット１は、動作中にはアームが旋回してその姿勢が変化する。このため、安全対策として、ロボット１は、動作範囲つまりは動作中にアームが到達する可能性のある範囲を示すため、また、その範囲内に作業者が進入しないようするために、例えば周囲が支柱３により囲われている。なお、支柱３に限らず、例えば安全柵や安全表示テープなどでロボット１の動作範囲を示すこともある。

【0022】

さて、このような作業者の視野には、詳細は後述するが、ロボット１の動作軌跡（Ｌ１）、現時点での動作におけるロボット１の出発位置（Ｐ０）および目標位置（Ｐ１。分岐元位置に相当する）、目標位置（Ｐ１）に到達後にロボット１が取り得る動作軌跡である予想軌跡（Ｌ２、Ｌ３）、予想軌跡（Ｌ２、Ｌ３）における目標位置（Ｐ２、Ｐ３。分岐先位置に相当する）等、現時点および今後のロボット１の動作を作業者に視覚的に認識させるための各種の画像によって構成された仮想的な画像（以下、仮想画像と称する）が立体的に表示されている。

【0023】

ここで、立体的とは、作業者が奥行きを感じることができる画像を意味している。また、動作軌跡は、ロボット１の先端つまりは第６軸アームの先端部となるフランジの軌跡を示している。
これらの仮想画像は、図２に示す表示システム１０によって生成および表示されている。本実施形態の表示システム１０は、ロボット１、コントローラ４、画像処理装置５、眼鏡型表示装置６（頭部装着型ディスプレイに相当する）、および教示装置７等を備えている。

【0024】

コントローラ４は、ロボット１を制御する主体であり、図示しないＣＰＵ、ＲＯＭおよびＲＡＭ等を有するマイクロコンピュータを備えている。このコントローラ４は、例えばＲＯＭ等の記憶手段に記憶している制御プログラムを実行することにより、また、作業者が操作する操作手段としての教示装置７からの指示に応じて、ロボット１を動作させる。

【0025】

このため、コントローラ４は、ロボット１の動作状態、例えばロボット１の現時点での目標位置がどこであるか、どのような動作軌跡を描いて目標位置まで到達するか等の動作情報を把握している。また、コントローラ４は、上記した制御プログラムを記憶および実行していることから、現時点で実行されている命令や、その命令の後に実行される命令を解析することができる。つまり、コントローラ４は、ロボット１の設置位置およびロボット１の姿勢を取得する位置姿勢取得部として機能する。

【0026】

具体的には、コントローラ４は、動作中のロボット１の制御プログラムを解析し、実行中の命令よりも以降にロボット１の目標位置が予め定められた分岐条件に従って複数に分岐する分岐命令が設定されているか否かを判定することができる。また、コントローラ４は、分岐命令が設定されている場合には分岐した先の目標位置である分岐先位置を特定することができる。また、コントローラ４は、複数の分岐先位置に対して、分岐先となる可能性（以下、便宜的に分岐可能性と称する）の高低をそれぞれ評価することができる。

【0027】

つまり、コントローラ４は、解析部として機能する。また、このコントローラ４は、ロボット１の動作状態を示す各種の動作情報を画像処理装置５や教示装置７に出力可能に構成されている。また、コントローラ４は、詳細は後述するが、過去の動作状態を例えば不揮発性の記憶手段に記憶しており、過去の動作において実際に分岐した回数を複数の分岐先位置（Ｐ２、Ｐ３）のそれぞれについて記憶する記憶部としても機能する。

【0028】

画像処理装置５は、コントローラ４から取得した動作情報に基づいて、図１に示したような仮想画像を生成する。このとき、画像処理装置５は、解析部であるコントローラ４によって分岐命令が存在すると判定された場合、実行中の命令により特定されるロボット１の現在の動作軌跡（Ｌ１）を示す画像と、現在の動作軌跡の目標位置であって分岐の起点となる分岐元位置（Ｐ１）、当該分岐元位置から分岐する複数の分岐先位置（Ｐ２、Ｐ３）、および分岐元位置からそれぞれの分岐先位置まで移動する際のロボット１の動作軌跡である予想軌跡（Ｌ２、Ｌ３）を示す画像と、を含む仮想画像を生成する。

【0029】

また、画像処理装置５は、コントローラ４による分岐可能性の評価結果に基づいて、各分岐先位置における分岐可能性の高低を視覚的に識別可能な仮想画像を生成する。つまり、画像処理装置５は、画像生成部として機能する。また、画像処理装置５は、後述するように、作業者の視点位置を取得する視点位置取得部としても機能する。

【0030】

眼鏡型表示装置６は、作業者が頭部に装着することで当該作業者の視野内に仮想画像を投影可能な頭部装着型ディスプレイである。具体的には、眼鏡型表示装置６は、作業者の目の位置に対応する透過部材６ａを有しており、この透過部材６ａに画像を投影する。このとき、透過する画像として画像処理装置５で生成された仮想画像を投影することにより、作業者の視野には、ロボット１に重なるように仮想画像が表示される。つまり、眼鏡型表示装置６は、表示部として機能する。また、透過部材６ａは、ある程度の強度を備えているため、作業者の目を保護する保護メガネとしても機能する。

【0031】

また、眼鏡型表示装置６は、フレームの側部等に画像撮像部としてのカメラを有しており、眼鏡型表示装置６を頭部に装着した作業者の頭部正面が向いている方向の画像を撮像する。そして、カメラによって撮像された画像は画像処理装置５に送信され、画像処理装置５は、受信した画像に基づいて、作業者の視点位置を取得する。なお、視点位置取得部としては、カメラに限らず、例えばＧＰＳセンサやジャイロセンサでもよいし、カメラとセンサとを組み合わせたものでもよい。また、眼鏡型表示装置６側において視点位置を特定してもよい。すなわち、眼鏡型表示装置６を視点位置取得部として利用する形態であってもよい。

【0032】

次に、本実施形態の作用について説明する。
前述のように、実機のロボット１に対して正確な目標位置を最終的に設定する教示作業を含む調整作業は、ロボット１の近傍において作業者がティーチングペンダント等の教示装置７を操作しながら行われる。そのため、安全対策が施されているとしても、例えばロボット１が作業者の意図しない向きに動作し、それに驚いて転倒してしまうなど、ロボット１との実際の接触が無い場合であっても作業者の安全に関わるトラブルが発生する可能性がある。

【0033】

そこで、表示システム１０は、以下に説明するように、ロボット１の動作を作業者に対して適切に認識させることにより、作業者の安全性の向上を図っている。
まず、ロボット１の制御プログラムの一例について説明する。図３は、コントローラ４によって実行されるロボット１の制御プログラムの一部を抜粋して示している。この制御プログラムにおいて、ロボット１は、「Ｍｏｖｅ Ｐ０」の命令により目標位置（Ｐ０）まで移動するように制御される。続いて、ロボット１は、「Ｆｏｒ Ｉ＝１ ｔｏ ５」の命令により、変数（Ｉ）が５になるまで以降の命令を繰り返すように制御される。この「Ｆｏｒ Ｉ＝１ ｔｏ ５」の命令は、繰り返し分岐命令である。

【0034】

この繰り返し分岐命令において、ロボット１は、「Ｍｏｖｅ Ｐ１」の命令により、目標位置（Ｐ１）まで移動するように制御される。なお、上記した図１は目標位置（Ｐ０）から目標位置（Ｐ１）まで移動している状態を模式的に示している。つまり、本実施形態においては、「Ｍｏｖｅ Ｐ１」の命令が、現時点において実行中の命令に相当する。

【0035】

ロボット１は、目標位置（Ｐ０）まで移動すると、「Ｉｆ Ｘ＞５ Ｔｈｅｎ」の命令により、変数（Ｘ）の値に応じて目標位置が分岐するように制御される。具体的には、ロボット１は、変数（Ｘ）が５以下であれば、「Ｅｌｓｅ」の命令に従って目標位置（Ｐ２）に移動するように制御される。一方、ロボット１は、変数（Ｘ）が５より大きければ、「Ｅｎｄ Ｉｆ」の命令に従って目標位置（Ｐ３）に移動するように制御される。

【0036】

つまり、「Ｉｆ Ｘ＞５ Ｔｈｅｎ」の命令は、実行中の命令の完了後に実行される命令であって、予め定め出られている分岐条件つまりは変数（Ｘ）が５より大きいか否かに応じてロボット１の目標位置が複数に分岐する分岐命令に相当する。このとき、Ｐ１は、実行中の命令におけるロボット１の目標位置であるとともに、分決め入れによって目標位置が分岐する際の分岐元となる分岐元位置に相当する。また、Ｐ２、Ｐ３は、分岐元位置（Ｐ１）から分岐した先の目標位置である分岐先位置に相当する。

【0037】

このような制御プログラムの実行とともに、表示システム１０では、図４に示す先読み表示処理が実行されている。なお、先読み表示処理における個々の処理はコントローラ４、画像処理装置５および眼鏡型表示装置６のいずれかにより実行されているものの、ここでは説明の簡略化のために、表示システム１０を主体にして説明する。

【0038】

表示システム１０は、先読み表示処理において、仮想画像を表示する（Ｓ１）。より詳細には、表示システム１０は、実行中の命令、つまりは、本実施形態ではＰ０からＰ１まで移動させる命令に基づいて、移動元であるＰ０を示す画像（Ｍ０）、移動先であるＰ１を示す画像（Ｍ１）、およびＰ０からＰ１まで移動する際のロボット１の動作軌跡（Ｌ１）を示す矢印形の画像を生成して表示する。

【0039】

このとき、Ｐ０を示す画像（Ｍ０）、Ｐ１を示す画像（Ｍ１）、および現在の動作軌跡（Ｌ１）を示す矢印形の画像は、作業者の視野にロボット１に重なるように表示される。具体的には、表示システム１０は、眼鏡型表示装置６から作業者の視点位置を取得し、コントローラ４や教示装置７あるいは予め設定されているデータ等からロボット１の設置位置および姿勢を取得し、作業者の視点位置、ロボット１の設置位置および姿勢に基づいて、作業者の視野に重なるように仮想画像を生成する。

【0040】

これら、Ｐ０を示す画像（Ｍ０）、Ｐ１を示す画像（Ｍ１）、および現在の動作軌跡（Ｌ１）を示す矢印形の画像は、仮想画像に相当するものであるとともに、現時点で確定しているロボット１の動作を示す確定画像でもある。
続いて、表示システム１０は、制御プログラムの命令を先読みする（Ｓ２）。つまり、表示システム１０は、現在実行中の命令の後に分岐命令が設定されているか否かを解析する。そして、表示システム１０は、分岐命令が設定されているか否かを判定し（Ｓ３）、分岐命令が設定されていないと判定した場合には（Ｓ３：ＮＯ）、ステップＳ１に移行する。

【0041】

一方、表示システム１０は、分岐命令が設定されていると判定した場合には（Ｓ３：ＹＥＳ）、分岐可能性を評価する（Ｓ４）。なお、図４には示していないが、分岐命令が設定されていれば分岐先位置も当然のことながら制御プログラムに明記されているので、ステップＳ３の時点において分岐先位置（Ｐ２、Ｐ３）、および分岐元位置（Ｐ１）から各分岐先位置（Ｐ２、Ｐ３）までの動作軌跡を特定することができる。

【0042】

表示システム１０は、次の評価条件に基づいて分岐可能性を評価する。本実施形態では評価条件Ａに基づいて評価している。ただし、分岐可能性は、条件Ａ〜Ｃのうち任意の１つに基づいて評価してもよいし、複数の評価条件の組み合わせに基づいて評価してもよい。

【0043】

評価条件Ａ：分岐先位置が２つである場合、分岐命令に対して設定されている分岐条件の真偽に基づいて、当該分岐条件の真に対応する分岐先位置が、分岐先となる可能性が高いと判定する。本実施形態の場合、分岐条件が真に対応するのはＰ２であるため、表示システム１０は、分岐先位置（Ｐ２、Ｐ３）に対して、Ｐ２が分岐先となる可能性が、Ｐ３が分岐先となる可能性よりも高いと評価する。
評価条件Ｂ：分岐命令に対して設定されている分岐条件の評価順に基づいて、評価順が上位である分岐先位置ほど、分岐先となる可能性が高いと判定する。
評価条件Ｃ：過去の動作において実際に分岐先となった回数に基づいて、過去に分岐先となった回数が多いほど、分岐先となる可能性が高いと判定する。

【0044】

そして、表示システム１０は、評価結果に基づいた画像、つまりは、分岐可能性に応じた画像を生成する（Ｓ５）。具体的には、図１に示すように、表示システム１０は、分岐可能性が高いと判定したＰ２を示す画像（Ｍ２）を、Ｐ２を示す画像（Ｍ３）よりも大きくする。つまり、本実施形態では、分岐可能性の高低を、表示する画像の大小により把握可能としている。

【0045】

また、表示システム１０は、分岐元位置（Ｐ１）から分岐先位置（Ｐ２、Ｐ３）までのロボット１の動作軌跡、つまりは、現時点では未確定であるがロボット１が取り得る動作軌跡である予想軌跡（Ｌ２、Ｌ３）を示す矢印形の画像を生成する。さらに、表示システム１０は、分岐元位置（Ｐ１）を菱形の画像（Ｍ１）として生成し、分岐先位置（Ｐ２、Ｐ３）を示す画像を円形の画像（Ｍ２、Ｍ３）として示している。

【0046】

これら分岐元位置（Ｐ１）を示す菱形の画像（Ｍ１）、分岐先位置（Ｐ２、Ｐ３）を示す画像を円形の画像（Ｍ２、Ｍ３）、および、予想軌跡（Ｌ２、Ｌ３）を示す矢印形の画像は、仮想画像に相当するものであるとともに、現時点では不確定のロボット１の動作を示す予想画像でもある。

【0047】

そして、表示システム１０は、ステップＳ１に移行して、仮想画像、この場合、上記した確定画像と予想画像とが同時に表示される。つまり、現在の動作軌跡（Ｌ１）と、分岐元位置（Ｐ１）、分岐先位置（Ｐ２、Ｐ３）、および分岐する際の予想軌跡（Ｌ２、Ｌ３）とが作業者の視野内に同時に表示される。これにより、作業者は、ロボット１の現在の動作だけでなく、その後にロボット１が取り得る動作をも把握することが可能となる。

【0048】

以上説明した実施形態によれば、次のような効果を得ることができる。
表示システム１０は、実行中の制御プログラムを先読みし、実行中の命令の完了後に分岐命令が設定されているか否かを判定するとともに、分岐命令が設定されている場合には分岐した先の目標位置である分岐先位置を特定する解析部と、現在の動作軌跡を示す画像、分岐元位置、当該分岐元位置から分岐した先の目標位置である分岐先位置、および予想軌跡を示す画像を含む仮想画像を生成する画像生成部と、生成した仮想画像を作業者の視野にロボットと重なるように表示する表示部と、を備える。

【0049】

これにより、図１に示したように、動作軌跡（Ｌ１）のような現在のロボット１の動作を示す画像とともに、分岐元位置（Ｐ１）、分岐先位置（Ｐ２、Ｐ３）、および分岐する際の予想軌跡（Ｌ２、Ｌ３）等のロボット１が今後取り得る動作を示す画像が作業者の視野に同時に表示される。
したがって、現在のロボット１の動作だけでなく、今後のロボット１の動作を作業者に対して適切に認識させることができる。

【0050】

また、今後のロボット１の動作が表示されることから、作業者は、ロボット１の動作を予め想定しておくことができる。これにより、意図しない動作が発生する状況を抑制でき、作業者の安全性を向上させることができる。
また、実施形態のように分岐元位置（Ｐ１）を、フローチャートにおける分岐命令の枠のように菱形の図形（Ｍ１）で示すことにより、分岐点であることを視覚的に把握させることができる。

【0051】

表示システム１０は、複数の分岐先位置に対して、分岐先となる可能性の高低をそれぞれ評価し、その評価結果に基づいて、分岐先となる可能性の高低を視覚的に識別可能な仮想画像を生成する。これにより、分岐によってロボット１の動作軌跡が変化することだけでなく、どのように分岐すると予想されるかまでも作業者に提示することができる。したがって、作業者の安全性をさらに高めることができる。

【0052】

表示システム１０は、分岐先位置が２つである場合、分岐命令に対して設定されている分岐条件の真偽に基づいて、当該分岐条件の真に対応する分岐先位置が、分岐先となる可能性が高いと判定する。これにより、処理の高速化を図ることができる。
表示システム１０は、分岐命令に対して設定されている分岐条件の評価順に基づいて、評価順が上位である分岐先位置ほど、分岐先となる可能性が高いと判定する。これにより、処理の高速化を図ることができる。また、分岐先が３以上である場合にも対応することができる。

【0053】

表示システム１０は、過去の動作において実際に分岐した回数を複数の分岐先位置のそれぞれについて記憶する記憶部を備え、実際に分岐先となった回数に基づいて、過去に分岐先となった回数が多いほど、分岐先となる可能性が高いと判定する。これにより、処理の高速化を図ることができる。また、分岐先が３以上である場合にも対応することができる。

【0054】

表示システム１０は、作業者が頭部に装着することで当該作業者の視野内に仮想画像を投影可能な眼鏡型表示装置６（頭部装着型ディスプレイ）を用い、眼鏡型表示装置６を装着した作業者の視点位置、ロボット１の設置位置および当該ロボットの姿勢に基づいて、作業者の視野においてロボット１に重なる仮想画像を生成する。これにより、作業者の手を塞ぐことなく、また、作業者が特に操作をすることなくロボット１の動作を提示することができる。

【0055】

本発明は上記した、又は図面に記載した実施形態にのみ限定されるものではなく、以下のような変形や拡張あるいは実施形態との組み合わせが可能である。

【0056】

分岐可能性の高低は、図５に示すように、予想軌跡を示す矢印形の画像の太さによって識別可能にしてもよい。すなわち、画像生成部は、分岐先となる可能性の高低を、それぞれの分岐先位置を示す画像の相対的な大きさの違いにより視覚的に識別可能とすることができる。図５の場合、予想軌跡（Ｌ２）の線が相対的に太く、予想軌跡（Ｌ３）の線が相対的に細くすることにより、Ｐ２への分岐可能性の方が高いことを示している。この場合、Ｐ２の画像（Ｍ２）とＰ３の画像（Ｍ３）との大小関係も分岐可能性に応じて識別可能にすることができる。

【0057】

また、分岐可能性の高低は、図６に示すように、数値により識別可能にしてもよい。すなわち、画像生成部は、仮想画像として、分岐元位置と分岐先位置とを接続する線分を生成し、分岐先となる可能性の高低を、当該線分の太さの違いにより視覚的に識別可能とすることができる。図６の場合、Ｐ２を示す画像（Ｍ２）には「８０」の数字が付されており、これにより、Ｐ２への分岐可能性が８０％であること、つまりは、Ｐ２への分岐可能性の方が高いことを示している。この場合、Ｐ２の画像（Ｍ２）とＰ３の画像（Ｍ３）との大小関係も分岐可能性に応じて識別可能にすることができるし、予想軌跡の線の太さを識別可能にすることもできる。

【0058】

また、分岐可能性の高低は、図７に示すように、予想軌跡を示す画像の色により識別可能としてもよい。すなわち、分岐先となる可能性の高低を、分岐先位置を示す画像の色の違いにより視覚的に識別可能とすることができる。図７の場合、ハッチングの種類により、色の違いを模式的に示している。例えば、動作軌跡（Ｌ１）を青色とし、予想軌跡（Ｌ２）を赤色とし、予想軌跡（Ｌ３）を緑色とすること等により、予想軌跡（Ｌ２）が動作する可能性が高いことを識別可能に表示することができる。

【0059】

この場合、色の対応付けは、任意に変更することができる。例えば分岐条件がワークの良否であり、良品の場合にはＰ２に移動し、不良品の場合にはＰ３に移動する場合、通常は、良品のワークがほとんどであると考えられる。そのため、良品のワークの場合の予想軌跡（Ｌ２）を緑色で表示し、可能性は低いものの起こり得る予想軌跡（Ｌ３）を赤色で表示することにより、注意を促すといった使い方もできる。

【0060】

また、表示する画像の透明度等の濃淡を変更してもよい。例えば、図７の場合であれば、予想軌跡（Ｌ２）の透明度を低くし、予想軌跡（Ｌ３）の透明度を高くすること等ができる。また、予想軌跡だけでなく、Ｐ２を示す画像（Ｍ２）とＰ３を示す画像（Ｍ３）等も、色分けあるいは濃淡を異ならせて表示することもできる。

【0061】

また、分岐可能性の高低だけでなく、図８に示すように、分岐元位置を示す画像の近傍に分岐条件を示す画像を含む仮想画像を生成することもできる。すなわち、画像生成部は、分岐先となる可能性の高低を、分岐先位置を示す画像の濃淡の違いにより視覚的に識別可能とすることができる。図８の場合、図３の制御プログラムに対応して、分岐元位置（Ｐ１）の近傍に、分岐条件（Ｘ＞５）を示す画像（ＭＪ）が表示されている。これにより、どのような条件により分岐するかまでをも作業者に提示することができる。

【0062】

この場合、例えば分岐条件が繰り返し回数である場合等において、分岐条件に加えて、現在の繰り返し回数を合わせて表示してもよい。例えば図８において「Ｘ＞５」の近傍に、現在の繰り返し回数を例えば「Ｘｎ＝５」のように表示することにより、次回の動作において分岐することを作業者に提示することができる。
先読み表示処理は、実施形態では６軸ロボットを例示したが、例えば４軸ロボットや自走式ロボットあるいは人型ロボット等に対しても適用することができる。

【0063】

また、画像生成部は、分岐する可能性が最も高いと判定した予想軌跡については動作軌跡と同じ表示態様を維持し、他の予想軌跡については異なる表示態様とする仮想画像を生成する構成とすることができる。ここで、同じ表示態様とは、表示する画像における例えば線の色や太さ、実線か破線か、あるいは画像の透明度等である。
これにより、複数の予想軌跡に対する分岐の可能性の高低を直感的に把握可能となり、予想軌跡が多く表示されていても容易に区別することができるようになり、安全のみならず調整作業の利便性も向上させることができる。

【0064】

また、画像生成部は、分岐する可能性が最も高いと判定した予想軌跡については動作軌跡と同じ表示態様を維持し、他の予想軌跡については分岐する可能性に応じて透明度を上げる、あるいは、表示する線を細くする仮想画像を生成する構成とすることができる。
これにより、安全対策として複数の予想軌跡が存在することを提示しつつも、分岐の可能性が高い予想軌跡については相対的に視認し易くし、可能性が低い予想軌跡については作業の邪魔にならないように相対的に視認し難くすることができ、作業箇所が見易くなることから、作業性高めることができる。

【0065】

また、画像生成部は、現時点において分岐する可能性が無いと判定される予想軌跡については仮想画像を生成しない構成とすることができる。
例えば動作を１０回繰り返した後に分岐する場合、現時点での繰り返し回数が例えば５回であれば、分岐命令が設定されていたとしても分岐する可能性は無いと考えられる。その場合、分岐先の予想軌跡を表示すると、現時点でも分岐する可能性があると作業者が受け取とってしまう。そのため、分岐する可能性が無いと判定した場合にはその予想軌跡を表示しないことにより、「この軌跡に移動する可能性はあるのだろうか」といった考察つまりは作業以外の思考をする必要が無くなり、ロボットの動作に対する作業者の理解速度の向上を図ることができ、より安全性を向上させることができる。

【0066】

位置情報取得部としては、ＧＰＳ等だけでなく、例えば工場の所定位置に設定され、所定範囲を走査するレーザセンサや赤外センサを用いることができる。
実施形態では分岐先位置が２つ（Ｐ２、Ｐ３）である例を示したが、分岐先位置は３以上であってもよい。
実施形態で示した画像は一例であり、その形状等は任意に変更することができる。ただし、分岐元位置については分岐することを把握可能な画像にすることが望ましい。

【0067】

実施形態ではロボット１の先端の動作軌跡を表示する例を示したが、アームの移動軌跡を塗りつぶすことができる。この場合、塗りつぶし範囲が大きくなったり、分岐した際の移動軌跡が重なったりする場合には、上記したように色の違いや濃淡の違いにより識別可能とすることができる。

【0068】

実施形態では眼鏡型表示装置６に仮想画像を表示する例を示したが、教示装置７の画面にロボット１のモデル画像に重なるように表示することができる。すなわち、表示部は、画像生成部で生成された仮想画像を、作業者の視野にロボット１の動作に追従するエミュレーション画像と重なるように表示することができる。

【0069】

実施形態ではコントローラ４を解析部として用いる例を示したが、例えばコントローラ４からロボット１の動作状態を示す情報を出力するようにして、解析部を画像処理装置５や眼鏡型表示装置６あるいは教示装置７に設けることもできる。
実施形態では画像処理装置５を画像生成部として用いる例を示したが、画像生成部をコントローラ４や眼鏡型表示装置６あるいは教示装置７に設けることもできる。

【0070】

実施形態では眼鏡型表示装置６に仮想画像を表示する例を示したが、教示装置７にロボット１のモデル化した画像および仮想画像を表示することもできる。これにより、例えば教示装置７の画面を見ているときにも動作軌跡や予想軌跡が表示されることから、教示装置７を操作するためにロボット１から目を離さなければならない状況であっても、ロボット１の動作を作業者に認識させることができる。

【0071】

実施形態では実行中の命令の完了直後に分岐命令が存在するか否かを判定したが、「実行中の命令の完了後」とは、実行中の命令の完了直後に限らず、例えば、実行中の命令が完了した後の数個の命令の中に分岐命令が設定されている場合も含んでいる。

【符号の説明】

【0072】

図面中、１はロボット、４４はコントローラ（解析部、画像生成部、位置取得部）、５は画像処理装置（画像生成部、解析部、位置取得部）、６は眼鏡型表示装置（表示部、解析部、画像生成部、位置取得部）、７は教示装置（表示部、解析部、画像生成部、位置取得部）、１０は表示システム（ロボットの表示システム）を示す。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】