特開 2024-172272 支援システム、支援方法および支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172272

(43)【公開日】2024-12-12

(54)【発明の名称】支援システム、支援方法および支援プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241205BHJP

   G06F 3/04815 20220101ALI20241205BHJP

   G05B 23/02 20060101ALI20241205BHJP

   G06T 19/00 20110101ALI20241205BHJP

   H04N 7/18 20060101ALI20241205BHJP

【ＦＩ】

G06F3/01 510

G06F3/04815

G05B23/02 301T

G05B23/02 301Z

G06T19/00 600

H04N7/18 U

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023089868

(22)【出願日】2023-05-31

(71)【出願人】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】山田 諒明

(72)【発明者】

【氏名】岩村 慎太郎

【テーマコード（参考）】

3C223

5B050

5C054

5E555

【Ｆターム（参考）】

3C223AA11

3C223BA03

3C223BB02

3C223BB08

3C223CC02

3C223DD03

3C223EB02

3C223EB05

3C223FF52

3C223GG01

3C223HH03

3C223HH06

3C223HH07

3C223HH17

3C223HH29

5B050AA03

5B050BA06

5B050BA09

5B050BA13

5B050BA18

5B050BA19

5B050BA20

5B050CA01

5B050DA01

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5C054CA04

5C054CC02

5C054FA07

5C054FE14

5E555AA25

5E555AA27

5E555BA36

5E555BA38

5E555BA70

5E555BA83

5E555BB36

5E555BB38

5E555BC04

5E555BC08

5E555BD01

5E555BE17

5E555CA42

5E555CA43

5E555CA47

5E555CB19

5E555CB21

5E555CB48

5E555CB64

5E555CB65

5E555CB74

5E555CC01

5E555CC05

5E555DA08

5E555DA09

5E555DA23

5E555DB53

5E555DB56

5E555DC09

5E555DC13

5E555DC30

5E555DC35

5E555DC43

5E555DC52

5E555DC63

5E555DD03

5E555DD06

5E555DD08

5E555EA12

5E555EA22

5E555FA00

(57)【要約】

【課題】ユーザが装置の機構の状態をより容易に確認できる仕組みを提供する。
【解決手段】制御装置により制御される生産設備に対する設備保全を支援するための支援システムが提供される。支援システムは、現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末を含む。支援システムは、生産設備に含まれる対象装置の構造を示すデータを決定する処理と、制御装置から対象装置に関連する情報を取得する処理と、取得した情報に基づいて、対象装置の機構の状態を決定する処理と、決定した機構の状態を示す仮想モデル映像を、対象装置の像に重ねて表示する処理とを実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

制御装置により制御される生産設備に対する設備保全を支援するための支援システムであって、
現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末を備え、
前記支援システムは、
前記生産設備に含まれる対象装置の構造を示すデータを決定する処理と、
前記制御装置から前記対象装置に関連する情報を取得する処理と、
前記取得した情報に基づいて、前記対象装置の機構の状態を決定する処理と、
前記決定した機構の状態を示す仮想モデル映像を、前記対象装置の像に重ねて表示する処理とを実行する、支援システム。

【請求項2】

前記仮想モデル映像は、前記対象装置の外部から見えない機構の状態を示す、請求項１に記載の支援システム。

【請求項3】

前記機構の状態を決定する処理は、前記制御装置からの情報に基づいて、前記機構の現在の位置、角度、移動量の少なくとも１つを決定する処理を含む、請求項１または２に記載の支援システム。

【請求項4】

前記対象装置の構造を示すデータは、ＣＡＤ（Computer Aided Design）データを含む、請求項１または２に記載の支援システム。

【請求項5】

前記支援システムは、前記制御装置から取得した情報に基づく状態映像を前記仮想モデル映像とともに表示する処理をさらに実行する、請求項１または２に記載の支援システム。

【請求項6】

前記状態映像は、前記制御装置から取得した値と、当該値の時系列データとのうち少なくとも一方を示す、請求項５に記載の支援システム。

【請求項7】

前記ウェアラブル端末は、ユーザ操作を受け付けるように構成されており、
前記支援システムは、ユーザ操作を受け付けるためのユーザインターフェイス映像を表示する処理をさらに実行する、請求項１または２に記載の支援システム。

【請求項8】

制御装置により制御される生産設備に対する設備保全を支援するための、現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末を用いた支援方法であって、
前記生産設備に含まれる対象装置の構造を示すデータを決定するステップと、
前記制御装置から前記対象装置に関連する情報を取得するステップと、
前記取得した情報に基づいて、前記対象装置の機構の状態を決定するステップと、
前記決定した機構の状態を示す仮想モデル映像を、前記対象装置の像に重ねて表示するステップとを備える、支援方法。

【請求項9】

現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末で実行される支援プログラムであって、前記支援プログラムは、制御装置により制御される生産設備に対する設備保全を支援するためものであり、前記支援プログラムは前記ウェアラブル端末に、
前記生産設備に含まれる対象装置の構造を示すデータを決定するステップと、
前記制御装置から前記対象装置に関連する情報を取得するステップと、
前記取得した情報に基づいて、前記対象装置の機構の状態を決定するステップと、
前記決定した機構の状態を示す仮想モデル映像を、前記対象装置の像に重ねて表示するステップとを実行させる、支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、支援システム、支援方法および支援プログラムに関する。

【背景技術】

【0002】

ヘッドマウントディスプレイなどを用いた効率的な生産設備の設備保全のための仕組みが提案されている。例えば、特開２０２２－１０９４２８号公報（特許文献１）は、ユーザ視野内で機器の所在位置と機器に関する情報とを関連付けて提示するための構成を開示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１０９４２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般的に、生産設備は、様々な装置により構成されている。装置内部の機構は、一見しただけでは状態を確認できないことが多い。

【0005】

本発明は、ユーザが装置の機構の状態をより容易に確認できる仕組みを提供する。

【課題を解決するための手段】

【0006】

本発明のある局面に従えば、制御装置により制御される生産設備に対する設備保全を支援するための支援システムが提供される。支援システムは、現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末を含む。支援システムは、生産設備に含まれる対象装置の構造を示すデータを決定する処理と、制御装置から対象装置に関連する情報を取得する処理と、取得した情報に基づいて、対象装置の機構の状態を決定する処理と、決定した機構の状態を示す仮想モデル映像を、対象装置の像に重ねて表示する処理とを実行する。

【0007】

この構成によれば、決定した機構の状態を示す仮想モデル映像が対象装置の像に重ねて表示される。ユーザは、対象装置の像に重ねて表示される仮想モデル映像を見ることで、対象装置に含まれる機構の状態をより容易に確認できる。

【0008】

仮想モデル映像は、対象装置の外部から見えない機構の状態を示してもよい。この構成によれば、ユーザは、対象装置の外部から見えない機構の状態を容易に確認できる。

【0009】

機構の状態を決定する処理は、制御装置からの情報に基づいて、機構の現在の位置、角度、移動量の少なくとも１つを決定する処理を含んでいてもよい。この構成によれば、制御装置からの情報に基づいて、現在の機構の状態をより正確に決定できる。

【0010】

対象装置の構造を示すデータは、ＣＡＤ（Computer Aided Design）データを含んでいてもよい。この構成によれば、仮想モデル映像において、対象装置の機構をより適切に再現できる。

【0011】

支援システムは、制御装置から取得した情報に基づく状態映像を仮想モデル映像とともに表示する処理をさらに実行してもよい。この構成によれば、制御装置から取得した情報に基づく状態映像が仮想モデル映像とともに表示されるので、ユーザは、生産設備に対する設備保全に必要な情報をより容易に確認できる。

【0012】

状態映像は、制御装置から取得した値と、当該値の時系列データとのうち少なくとも一方を示してもよい。この構成によれば、ユーザは、制御装置が有している現在値または制御装置が有している値の時系列データをより容易に確認できる。

【0013】

ウェアラブル端末は、ユーザ操作を受け付けるように構成されていてもよい。支援システムは、ユーザ操作を受け付けるためのユーザインターフェイス映像を表示する処理をさらに実行してもよい。この構成によれば、ユーザは、仮想モデル映像を見ながら、ユーザインターフェイス映像に対してユーザ操作することで、特別なツールなどを用いることなく、所望の指令を与えることができる。

【0014】

本発明の別の局面に従えば、制御装置により制御される生産設備に対する設備保全を支援するための、現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末を用いた支援方法が提供される。支援方法は、生産設備に含まれる対象装置の構造を示すデータを決定するステップと、制御装置から対象装置に関連する情報を取得するステップと、取得した情報に基づいて、対象装置の機構の状態を決定するステップと、決定した機構の状態を示す仮想モデル映像を、対象装置の像に重ねて表示するステップとを含む。

【0015】

本発明のさらに別の局面に従えば、現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末で実行される支援プログラムが提供される。支援プログラムは、制御装置により制御される生産設備に対する設備保全を支援するためものである。支援プログラムはウェアラブル端末に、生産設備に含まれる対象装置の構造を示すデータを決定するステップと、制御装置から対象装置に関連する情報を取得するステップと、取得した情報に基づいて、対象装置の機構の状態を決定するステップと、決定した機構の状態を示す仮想モデル映像を、対象装置の像に重ねて表示するステップとを実行させる。

【発明の効果】

【0016】

本発明によれば、ユーザが装置の機構の状態をより容易に確認できる仕組みを実現できる。

【図面の簡単な説明】

【0017】

【図1】本実施の形態に従う制御システムの全体構成例を示す模式図である。

【図2】本実施の形態に従うウェアラブル端末が提供する仮想的な映像の一例を示す模式図である。

【図3】本実施の形態に従う制御装置のハードウェア構成例を示す模式図である。

【図4】本実施の形態に従うサーバのハードウェア構成例を示す模式図である。

【図5】本実施の形態に従うウェアラブル端末のハードウェア構成例を示す模式図である。

【図6】本実施の形態に従う制御システムにおいて実行される処理手順例を示すフローチャートである。

【図7】本実施の形態に従う制御システムにおける仮想モデル映像に含まれる部品のフィルタリングを説明するための図である。

【図8】本実施の形態に従う制御システムにおける仮想モデル映像に含まれる部品のフィルタリング方法の一例を説明するための図である。

【図9】本実施の形態に従うウェアラブル端末が提供する状態映像の一例を示す模式図である。

【図10】本実施の形態に従うウェアラブル端末が提供する状態映像の別の一例を示す模式図である。

【図11】本実施の形態に従うウェアラブル端末が提供する状態映像のさらに別の一例を示す模式図である。

【図12】本実施の形態に従うウェアラブル端末が提供する状態映像のさらに別の一例を示す模式図である。

【図13】本実施の形態に従うウェアラブル端末が提供する状態映像のさらに別の一例を示す模式図である。

【発明を実施するための形態】

【0018】

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

【0019】

＜Ａ．適用例＞
まず、本発明が適用される場面の一例について説明する。

【0020】

図１は、本実施の形態に従う制御システム１の全体構成例を示す模式図である。図１には、一例として、ロボットを含む制御システム１を示す。制御システム１は、１または複数の制御装置１００と、サーバ２００と、ユーザが装着するウェアラブル端末３００とを含む。

【0021】

制御装置１００は、例えば、ＰＬＣなどのコンピュータである。制御装置１００は、予め用意された制御プログラム（以下、「ユーザプログラム」とも称す。）を実行することで、ロボットの動作を制御する。ユーザプログラムは、ロボットの動作を制御するだけではなく、生産設備を動作させるために必要な様々な制御を実行するためのコンピュータ読取可能な命令を含む。本明細書において、「生産設備」は、何らかの生産を行うための１または複数の装置を含む構成を包含する。

【0022】

説明の便宜上、１つの制御装置１００を含む制御システム１について説明するが、制御システム１が複数の制御装置１００を含んでいる場合であっても、同様の処理が実行される。

【0023】

制御システム１は、例えば、アクチュエータとして、ロボット１０と、１または複数のモータ１２とを含む。１または複数のモータ１２は、ロボット１０に内蔵されていてもよいし、ロボット１０とは別の機構に内蔵されていてもよい。

【0024】

ロボット１０のアームには、ツールチェンジャ３２と、ハンド３４と、エアシリンダ３６とのうち少なくとも１つが装着可能であってもよい。ロボット１０のアームまたはロボット１０の周囲には、カメラ１４が配置されてもよい。

【0025】

制御装置１００は、フィールドネットワーク２を介して、ロボットコントローラ２０と、モータドライバ２２と、バルブ３０と接続されている。

【0026】

ロボットコントローラ２０は、制御装置１００からの指令に従って、ロボット１０を駆動する。モータドライバ２２は、制御装置１００からの指令に従って、１または複数のモータ１２を駆動する。バルブ３０は、制御装置１００からの指令に従って、ツールチェンジャ３２、ハンド３４、およびエアシリンダ３６にエアを供給する。

【0027】

制御装置１００は、ローカルネットワーク４を介して、産業用コンピュータ（ＩＰＣ：Industrial Personal Computer）２４と接続されている。産業用コンピュータ２４は、カメラ１４が撮影した画像に対して画像処理を行う。制御装置１００は、産業用コンピュータ２４からの画像処理結果に基づいて、アクチュエータへの指令を生成する。

【0028】

サーバ２００は、上位ネットワーク６を介して、制御装置１００と接続されている。サーバ２００は、ウェアラブル端末３００に提供するための情報を生成するとともに、ウェアラブル端末３００からのユーザ操作に応じた処理を実行する。

【0029】

サーバ２００は、ローカルネットワーク８を介して無線中継器２５０と接続されている。ウェアラブル端末３００は、無線中継器２５０と無線接続される。

【0030】

ウェアラブル端末３００は、ユーザが装着可能な装置であり、例えば、ＭＲ（Mixed Reality）グラス、ＡＲ（Augmented Reality）グラス、またはＶＲ（Virtual Reality）ゴーグルであってもよい。ウェアラブル端末３００は、ヘッドマウントディスプレイ（ＨＭＤ：Head Mount Display）であってもよい。

【0031】

例えば、ウェアラブル端末３００がＭＲグラスであれば、ユーザに対して、現実空間内に３Ｄ映像（ホログラム）を見せることができる。すなわち、ウェアラブル端末３００は、現実空間に存在する物体と仮想的な映像（３Ｄ映像）とを合成した状態をユーザに見せることができる。以下では、主として、ウェアラブル端末３００がＭＲグラスであるとして説明する。

【0032】

ウェアラブル端末３００は、ユーザに対して視覚的な情報を提供するとともに、ユーザ操作を受け付ける。ユーザ操作は、ユーザが手または体を動かすこと（すなわち、ユーザのジェスチャ）、ユーザによるコントローラの操作、ユーザの発話、ユーザの視線の動きなど、任意の方法で行われる。

【0033】

本実施の形態において、ウェアラブル端末３００は、生産設備を構成する任意の構成要素（以下、単に「対象装置」と総称する。）の動作を示す仮想的な映像を、ウェアラブル端末３００を装着しているユーザに提示する。例えば、ウェアラブル端末３００は、外部から見えない機構（内部構造）を有している対象装置について、当該機構（内部構造）の状態を仮想的な映像として表現する。

【0034】

ウェアラブル端末３００は、制御装置１００が有している情報に基づいて、生産設備の稼動状態に関する情報を含む仮想的な映像を、ウェアラブル端末３００を装着しているユーザに提示することもできる。

【0035】

図２は、本実施の形態に従うウェアラブル端末３００が提供する仮想的な映像の一例を示す模式図である。図２（Ａ）は、ユーザの視野に対象装置３６０が存在している状態を示す。図２（Ｂ）において、現実空間に存在する対象装置３６０の像に重ねて、対象装置３６０の機構の状態を示す仮想モデル映像３７０が表示されている。図２（Ｂ）に示す仮想モデル映像３７０は、対象装置３６０の内部に存在するシリンダおよびシリンダに連結されたアームの状態を示す。すなわち、ウェアラブル端末３００を装着しているユーザは、対象装置３６０の内部をいわば透視して見ることができる。

【0036】

本明細書において、「仮想モデル映像」は、対象装置の機構の状態を可視化するための映像を包含する。仮想モデル映像は、対象装置の機構（対象装置を構成する部品）の現在位置または現在姿勢などを表現するものであれば、どのようなものであってもよい。一例として、仮想モデル映像は、対象装置の外部から見えない機構（対象装置の隠れている部分の機構）の状態を示すものであってもよい。

【0037】

ウェアラブル端末３００は、例えば、制御装置１００が有している情報と、対象装置３６０のＣＡＤ（Computer Aided Design）データとを用いて、仮想モデル映像３７０を生成する。

【0038】

ユーザは、現実空間に存在する対象装置３６０と、仮想モデル映像３７０とを見ながら、生産設備の動作状態の確認、トラブルの原因究明、およびトラブルからの復旧操作などを行うことができる。

【0039】

仮想モデル映像３７０に加えて、制御装置１００が有している情報に基づいて、状態映像３８０が併せて表示されてもよい。本明細書において、「状態映像」は、生産設備を制御する制御装置１００が有している情報に基づいて、ユーザに提供される様々な情報を含む。状態映像は、ユーザが生産設備の稼動状態を確認するための情報を含む。

【0040】

ユーザ操作を受け付けるためのユーザインターフェイス映像３９０が併せて表示されてもよい。本明細書において、「ユーザインターフェイス映像」は、ユーザ操作を受け付けるための任意の映像を包含する。

【0041】

このように、ウェアラブル端末３００を装着しているユーザは、対象装置３６０の見えない部分の状態を仮想的に確認できるので、トラブルの原因究明およびトラブルからの復旧のための操作を効率的に行うことができる。

【0042】

本明細書において、「支援システム」は、制御装置１００により制御される生産設備に対する設備保全を支援するための構成を包含する。支援システムは、制御システム１に含まれていてもよいし、制御システム１とは別に用意されていてもよい。図１に示す構成例においては、ウェアラブル端末３００単体、および／または、サーバ２００およびウェアラブル端末３００が支援システムに相当する。支援システムは、ウェアラブル端末３００に加えて、クラウドなどのコンピューティングリソースを含んでいてもよい。

【0043】

本実施の形態は、制御装置１００により制御される生産設備に対する設備保全を支援するためのウェアラブル端末３００を用いた支援方法を含む。

【0044】

＜Ｂ．ハードウェア構成例＞
次に、本実施の形態に従う制御システム１を構成する装置のハードウェア構成例について説明する。

【0045】

（ｂ１：制御装置１００）
図３は、本実施の形態に従う制御装置１００のハードウェア構成例を示す模式図である。図３を参照して、制御装置１００は、例えば、プロセッサ１０２と、主メモリ１０４と、ストレージ１０６と、ＵＳＢ（Universal Serial Bus）コントローラ１１２と、メモリカードインターフェイス１１４と、内部バスコントローラ１２０と、フィールドネットワークコントローラ１２２と、ローカルネットワークコントローラ１２４と、上位ネットワークコントローラ１２６とを含む。

【0046】

プロセッサ１０２は、例えば、ＣＰＵ（Central Processing Unit）であり、ストレージ１０６に格納されたプログラムを読み出して、主メモリ１０４に展開して実行する。

【0047】

ストレージ１０６は、制御プログラムの一例であるユーザプログラム１１０と、ユーザプログラム１１０を実行するための環境を提供するためのシステムプログラム１０８とを格納する。

【0048】

ＵＳＢコントローラ１１２は、ＵＳＢにより接続された任意の情報処理装置とデータをやり取りする。

【0049】

メモリカードインターフェイス１１４は、着脱可能なメモリカード１１６に対してデータを読み書きする。

【0050】

内部バスコントローラ１２０は、内部バスを介して、図示しない１または複数の機能ユニットとデータをやり取りする。フィールドネットワークコントローラ１２２は、フィールドネットワーク２を介したデータ通信を担当する。ローカルネットワークコントローラ１２４は、ローカルネットワーク４を介したデータ通信を担当する。上位ネットワークコントローラ１２６は、上位ネットワーク６を介したデータ通信を担当する。

【0051】

（ｂ２：サーバ２００）
図４は、本実施の形態に従うサーバ２００のハードウェア構成例を示す模式図である。図４を参照して、サーバ２００は、例えば、プロセッサ２０２と、主メモリ２０４と、ストレージ２０６と、光学ドライブ２１６と、上位ネットワークコントローラ２２０と、ローカルネットワークコントローラ２２２とを含む。

【0052】

プロセッサ２０２は、例えば、ＣＰＵであり、ストレージ２０６に格納されたプログラムを読み出して、主メモリ２０４に展開して実行する。

【0053】

ストレージ２０６は、ＯＳ（Operating System）２０８と、ウェアラブル端末３００と連係して以下に説明する処理を実行するための支援プログラム２１０とを格納する。

【0054】

光学ドライブ２１６は、コンピュータ読取可能なプログラムを非一過的に格納する記録媒体２１８（例えば、ＤＶＤ（Digital Versatile Disc）などの光学記録媒体）から、記録媒体２１８に格納されたプログラムを読み取る。光学ドライブ２１６が読み取ったプログラムは、ストレージ２０６にインストールされてもよい。

【0055】

なお、サーバ２００が実行するプログラムは、記録媒体２１８から読み出されてもよいし、ネットワーク上のファイルサーバからダウンロードされてもよい。サーバ２００が実行する処理は、ＯＳ２０８が提供するモジュールの一部を利用する形で実現されてもよい。

【0056】

上位ネットワークコントローラ２２０は、上位ネットワーク６を介したデータ通信を担当する。ローカルネットワークコントローラ２２２は、ローカルネットワーク８を介したデータ通信を担当する。

【0057】

（ｂ３：ウェアラブル端末３００）
図５は、本実施の形態に従うウェアラブル端末３００のハードウェア構成例を示す模式図である。図５を参照して、ウェアラブル端末３００は、例えば、制御部３１０と、表示部３１２と、無線通信部３２０と、マイク３２２と、スピーカ３２４と、入力装置３２６と、１または複数のカメラ３３０と、深度センサ３３２と、ジャイロセンサ３３４と、加速度センサ３３６と、磁力センサ３３８とを含む。

【0058】

制御部３１０は、ウェアラブル端末３００で必要な処理を実行する。制御部３１０は、例えば、プロセッサ３０２と、主メモリ３０４と、ストレージ３０６と、映像エンジン３０８とを含む。プロセッサ３０２は、ストレージ３０６に格納されたプログラムを読み出して、主メモリ３０４に展開して実行する。ストレージ３０６は、ＯＳに加えて、後述するような処理を実行するための支援プログラム３４０とを格納する。

【0059】

映像エンジン３０８は、表示部３１２に３Ｄ映像（ホログラム）を表示させるための処理を実行する。映像エンジン３０８は、プロセッサ３０２に含まれていてもよい。

【0060】

表示部３１２は、３Ｄ映像を視覚化する。表示部３１２は、例えば、プロジェクタ３１４と、レンズ３１６と、回折光学素子３１８とを含む。プロジェクタ３１４は、制御部３１０からの指令に従って光学像を生成する。プロジェクタ３１４が生成した光学像は、レンズ３１６を通過した後に回折光学素子３１８を伝搬する。回折光学素子３１８は、ユーザの目に近接した位置に配置されており、光学像の回折によってホログラムが生成される。

【0061】

無線通信部３２０は、無線中継器２５０（図１）と無線接続するための処理を担当する。

【0062】

マイク３２２は、ウェアラブル端末３００の周囲に発生する音声を収集する。スピーカ３２４は、制御部３１０からの指令に従って音声を発生する。

【0063】

入力装置３２６は、ユーザ操作を受け付ける。入力装置３２６は、ウェアラブル端末３００の本体とは別の装置として構成されてもよい。

【0064】

１または複数のカメラ３３０は、ウェアラブル端末３００の周囲を撮影する。カメラ３３０は、可視カメラであってもよいし、赤外カメラであってもよい。

【0065】

深度センサ３３２は、測定対象物までの距離を計測する。ジャイロセンサ３３４は、角速度を計測する。加速度センサ３３６は、加速度を計測する。磁力センサ３３８は、磁力を計測する。例えば、ジャイロセンサ３３４、加速度センサ３３６および磁力センサ３３８は、ウェアラブル端末３００の姿勢を推定するための情報を提供する。

【0066】

（ｂ４：その他の構成例）
制御システム１は、制御装置１００に対するユーザ操作の受付およびユーザへの情報の提示を行う表示装置を含んでいてもよい。表示装置は、ＨＭＩ（Human Machine Interface）として機能してもよい。

【0067】

制御システム１は、例えば、製造実行システム（ＭＥＳ：Manufacturing Execution System）、データベース、ＡＩ（Artificial Intelligence）システムなどを含んでいてもよい。

【0068】

制御装置１００とサーバ２００とが別体の構成例を示すが、両装置が一体化されていてもよい。この場合には、サーバ２００で実行される処理は、制御装置１００で実行される。

【0069】

図３～図５には、プロセッサがプログラムを実行することで必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードワイヤード回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）など）を用いて実装してもよい。

【0070】

＜Ｃ．処理手順例＞
次に、本実施の形態に従う制御システム１において実行される処理手順例について説明する。

【0071】

図６は、本実施の形態に従う制御システム１において実行される処理手順例を示すフローチャートである。

【0072】

図６に示すステップの少なくとも一部は、ウェアラブル端末３００のプロセッサ３０２が支援プログラム３４０を実行することで実現されてもよい。説明の便宜上、以下では、ウェアラブル端末３００がすべての処理を実行する場合について説明するが、図６に示すステップの一部は、サーバ２００のプロセッサ２０２が支援プログラム２１０を実行することで実現されてもよい。

【0073】

図６に示す処理は、ユーザがウェアラブル端末３００を装着した状態において繰り返し実行されてもよいし、ユーザが特定の操作を行うことで、開始されてもよい。

【0074】

図６を参照して、ウェアラブル端末３００は、ウェアラブル端末３００を装着しているユーザの視野に対象装置が存在するか否かを判断する（ステップＳ２）。ユーザの視野に対象装置が存在しなければ（ステップＳ２においてＮＯ）、ステップＳ２の処理が繰り返される。

【0075】

ユーザの視野に対象装置が存在していれば（ステップＳ２においてＹＥＳ）、ウェアラブル端末３００は、対象装置の位置を決定する（ステップＳ４）。ウェアラブル端末３００は、生産設備に含まれる対象装置の構造を示すデータを決定する（ステップＳ６）。対象装置の構造を示すデータは、例えば、対象装置のＣＡＤデータが用いられる。ウェアラブル端末３００は、制御装置１００から対象装置に関連する情報を取得し（ステップＳ８）、取得した情報に基づいて、対象装置の機構の状態を決定する（ステップＳ１０）。

【0076】

また、ウェアラブル端末３００は、取得した情報に基づいて、生産設備の稼動状態に関する情報を決定する（ステップＳ１２）。

【0077】

ウェアラブル端末３００は、決定した機構の状態を示す仮想モデル映像３７０を生成し（ステップＳ１４）、生成した仮想モデル映像３７０を対象装置の像に重ねて表示する（ステップＳ１６）。

【0078】

ウェアラブル端末３００は、決定した生産設備の稼動状態に関する情報に基づいて状態映像３８０を生成および表示する（ステップＳ１８）。すなわち、ウェアラブル端末３００は、制御装置１００から取得した情報に基づく状態映像３８０を仮想モデル映像３７０とともに表示してもよい。なお、ステップＳ１８の処理は、所定の条件が満たされた場合に限って実行されてもよい。

【0079】

また、ウェアラブル端末３００は、所定の条件が満たされた場合には、ユーザ操作を受け付けるためのユーザインターフェイス映像３９０を表示してもよい。

【0080】

ウェアラブル端末３００は、処理終了の条件が成立していなければ（ステップＳ２０においてＮＯ）、ステップＳ２以下の処理が繰り返される。

【0081】

＜Ｄ．対象装置の特定＞
次に、図６のステップＳ２およびＳ４に示す処理をより詳細に説明する。

【0082】

ステップＳ２およびＳ４において、ウェアラブル端末３００は、特定の画像パターン（例えば、ＡＲマーカまたは二次元コードなど）に基づいて、対象装置に対するウェアラブル端末３００の相対位置を決定してもよい。

【0083】

また、ウェアラブル端末３００は、３Ｄ形状マッチングにより、対象装置に対するウェアラブル端末３００の相対位置を決定してもよい。ウェアラブル端末３００は、画像マッチングおよび深度センサ３３２の測距結果により、対象装置に対するウェアラブル端末３００の相対位置を決定してもよい。

【0084】

また、ウェアラブル端末３００は、ＳＬＡＭ（Simultaneous Localization and Mapping）、または、電波を用いた三角測量、などにより自端末の位置を推定してもよい。ウェアラブル端末３００は、自端末の推定位置と、予め用意されたデータベースに登録された各対象装置の配置位置とに基づいて、ウェアラブル端末３００の近傍に存在する対象装置を決定するともに、対象装置に対するウェアラブル端末３００の相対位置を決定してもよい。

【0085】

さらに、ウェアラブル端末３００は、ユーザによる名称などのテキスト入力および／または発話などに基づいて、対象装置を決定してもよい。

【0086】

このように、ウェアラブル端末３００は、任意の方法で対象装置を決定するとともに、対象装置に対するウェアラブル端末３００の相対位置を決定してもよい。

【0087】

＜Ｅ．仮想モデル映像３７０＞
次に、図６のステップＳ６～Ｓ１４に示す処理をより詳細に説明する。

【0088】

ウェアラブル端末３００は、対象装置の隠れている部分の構造を示す仮想モデル映像３７０を現実空間に存在する対象装置３６０に重畳する。

【0089】

仮想モデル映像３７０は、対象装置のＣＡＤデータに基づいて生成することができる。ウェアラブル端末３００は、制御装置１００が有している情報（入力値、出力値、内部状態値など）に基づいて、対象装置を構成する機構の状態をリアルタイムに決定し、仮想モデル映像３７０を生成する。典型的には、対象装置の機構の状態を決定する処理は、制御装置１００からの情報に基づいて、機構の現在の位置、角度、移動量の少なくとも１つを決定する処理を含んでいてもよい。

【0090】

例えば、制御装置１００から対象装置に含まれるアクチュエータ（リニアモータまたはシリンダなど）への指令（出力値）に基づいて、アクチュエータの動作状態（現在の位置、現在の角度、現在の移動量など）を推定できる。また、制御装置１００の入力値に基づいて、当該入力値のソースとなっているセンサの検出値を推定できる。

【0091】

仮想モデル映像３７０は、このような推定値に基づいて、対象装置のＣＡＤデータに含まれる部品（要素）の位置などを変更することで、仮想モデル映像３７０を生成する。

【0092】

各対象装置について、ＣＡＤデータと機構の状態を決定するために必要な情報（制御装置１００が有している入力値、出力値、内部状態値など）との対応関係が予め定義されていてもよい。このような対応関係は、ユーザが設計ツールを操作して行ってもよいし、設計情報（例えば、ＢＯＭ（Bill Of Materials））などから自動的に生成されてもよい。

【0093】

また、ＣＡＤデータと機構の状態を決定するために必要な情報との対応関係は、生産設備を含む制御システム１のシミュレーションにおいても必要となるため、シミュレーションのための事前設定が行われる場合には、当該事前設定された内容を利用するようにしてもよい。

【0094】

対象装置は、組み合わせられた複数の部品で構成される場合もある。このような場合に、すべての部品の動作状態を示す仮想モデル映像３７０を表示すると、ユーザの視認性が低下する可能性がある。そのため、複数の部品のうち、仮想モデル映像３７０として表示する部品がフィルタリングされてもよい。

【0095】

図７は、本実施の形態に従う制御システム１における仮想モデル映像に含まれる部品のフィルタリングを説明するための図である。

【0096】

図７を参照して、例えば、対象装置３６０の見えない機構（隠れている機構）が３つの部品３６１，３６２，３６３で構成されているとする。仮想モデル映像３７０として部品３６１を表示すると、部品３６２のすべてを表示することができない。例えば、ユーザが部品３６２に注目していることが明示的または暗示的に指令されると、仮想モデル映像３７０として部品３６２のみを表示するようにしてもよい。

【0097】

仮想モデル映像３７０として表示される映像が重なることで、奥側に存在する部品を表示することができない場合がある。このような場合には、特定の部品をフィルタリングして表示することで、ユーザは、目的の部品の動作状態をより確実に把握できる。

【0098】

部品のフィルタリングは、どのような方法で行ってもよいが、例えば、以下のような方法を採用できる。

【0099】

図８は、本実施の形態に従う制御システム１における仮想モデル映像に含まれる部品のフィルタリング方法の一例を説明するための図である。図８には、対象装置３６０が３つの部品３６１，３６２，３６３で構成されている例を示す。

【0100】

図８（Ａ）を参照して、奥行方向に複数のレイヤを設定してもよい。図８（Ａ）に示す例では、部品３６１，３６２，３６３に対応して３つのレイヤが設定されている。対象装置３６０に対するウェアラブル端末３００の相対位置に基づいて、特定のレイヤが選択されるようにしてもよい。このような複数のレイヤに分割して、特定のレイヤに属する部品のみを有効に表示することで、部品が重なって表示されることを防止できる。

【0101】

また、状態映像３８０の位置に応じて、複数のレイヤのうち特定のレイヤを選択するようにしてもよい。

【0102】

このように、奥行方向に複数のレイヤを設定することで、ウェアラブル端末３００を装着しているユーザの意図に応じて、仮想モデル映像３７０として表示される部品を選択できる。

【0103】

図８（Ｂ）を参照して、生産設備が複数の工程を実行する場合において、各工程において使用される部品が異なっているときには、現在実行中の工程に対応する部品を有効に表示するようにしてもよい。

【0104】

工程１，２，３に部品３６１，３６２，３６３がそれぞれ対応する場合において、例えば、現在実行中の工程が工程１であれば、部品３６１が仮想モデル映像３７０として表示される。同様に、現在実行中の工程が工程２であれば、部品３６２が仮想モデル映像３７０として表示される。

【0105】

このように、現在実行中の工程に応じて、表示される部品が選択されることで、ユーザは実行中の工程に関連する部品に注目することができる。

【0106】

図８（Ｃ）を参照して、制御装置１００から取得した対象装置に関連する情報に基づいて、現在動作している部品を有効に表示するようにしてもよい。例えば、対象装置を構成する部品のうち、位置または角度などが変化している部品を仮想モデル映像３７０として表示してもよい。各部品の位置または角度などは、制御装置１００から取得した対象装置に関連する情報に基づいて決定できる。

【0107】

このように、実際に動作している部品が選択されることで、ユーザは動作中の部品に注目することができる。

【0108】

＜Ｆ．状態映像３８０＞
次に、状態映像３８０の一例について説明する。図２には、現在の数値を表示する状態映像３８０を例示するが、状態映像３８０が表示する情報は、制御装置１００および制御装置１００により制御される生産設備の状態を示す任意の情報を含む。

【0109】

例えば、状態映像３８０は、以下のような現在値または時系列データの数値または図表の表現を含む。

【0110】

（１）センサの検出値（制御装置の入力値）
（２）アクチュエータへの指令（制御装置の出力値）
（３）ロボットの状態値（制御装置の入力値）
（４）（１）～（３）の値から算出された特徴量（例えば、最大値、最小値、平均値など）
（５）（１）～（３）の値から決定された稼動状態（例えば、正常、異常、警告など）
状態映像３８０は、制御装置１００から取得した値と、当該値の時系列データとのうち少なくとも一方を示すものであってもよい。

【0111】

図９は、本実施の形態に従うウェアラブル端末３００が提供する状態映像３８０の一例を示す模式図である。図９を参照して、状態映像３８０は、位置、速度、力の３つの現在値表示３８１と、各値に対応する時系列グラフ３８２とを含む。

【0112】

状態映像３８０は、仮想モデル映像３７０と併せて表示されてもよいし、仮想モデル映像３７０とは独立して表示されてもよい。

【0113】

図１０は、本実施の形態に従うウェアラブル端末３００が提供する状態映像３８０の別の一例を示す模式図である。図１０を参照して、状態映像３８０は、位置、速度、回転力の３つの現在値表示３８１と、各値に対応するグラフ表示３８３とを含む。

【0114】

グラフ表示３８３は、各値の現在値に加えて、特徴量（最小値および最大値）ならびに警告領域の範囲を示す。ユーザは、グラフ表示３８３を参照することで、各値の時間的な変動を確認することができるとともに、警告領域までの尤度などを確認できる。

【0115】

なお、状態映像３８０は、対象装置の名称、対象装置の型式、制御装置１００が実行するユーザプログラムにおける対象装置に関連する変数名、制御装置１００が実行するユーザプログラムにおける対象装置に関連するファンクションブロックのインスタンス名などを含んでいてもよい。

【0116】

図１１は、本実施の形態に従うウェアラブル端末３００が提供する状態映像３８０のさらに別の一例を示す模式図である。図１１を参照して、状態映像３８０は、３つのパラメータの時間的変化を示す時系列グラフ３８４を含む。パラメータは、制御装置１００が有している現在値（入力値、出力値、内部状態値など）であってもよいし、現在値から算出された特徴量であってもよい。

【0117】

時系列グラフ３８４は、異常領域表示３８５を含んでいてもよい。図１１に示す例では、パラメータ２が異常領域に到達しており、何らかの異常が発生していることが通知されている。

【0118】

時系列グラフ３８４の時間軸は、予め定められた、または、ユーザにより指定された任意の時間単位（例えば、秒、分、時間、日など）を採用できる。

【0119】

なお、何らかの異常が発生していると判断されると、状態映像３８０の表示態様を異ならせてもよい。例えば、状態映像３８０の表示色またはデザインを異ならせて、強調表示させてもよい。

【0120】

図１２は、本実施の形態に従うウェアラブル端末３００が提供する状態映像３８０のさらに別の一例を示す模式図である。図１２には、図１０に示す状態映像３８０に加えて、設定ボタン３８６が表示されている例を示す。ユーザ操作によって、設定ボタン３８６が選択されると、状態映像３８０に代えて、または、状態映像３８０に重畳された状態で、設定変更映像３８７が表示される。

【0121】

設定変更映像３８７は、センサの検出値またはアクチュエータへの指令についての設定値の変更を受け付ける。設定変更映像３８７は、静的パラメータを表示してもよい。ユーザは、任意の設定値を任意に変更できる。例えば、トグルスイッチ操作またはテンキーのようなユーザインターフェイスがさらに表示されてもよい。

【0122】

設定変更映像３８７は、ユーザが特定の操作（例えば、状態映像３８０に対するボタン操作またはボイスコマンドなど）を行った場合にのみ表示されてもよい。なお、設定変更映像３８７は、表示項目を増加させるために、スクロール可能であってもよい。

【0123】

図１３は、本実施の形態に従うウェアラブル端末３００が提供する状態映像３８０のさらに別の一例を示す模式図である。図１３を参照して、状態映像３８０は、センサの検出値またはアクチュエータへの指令に関連する制御装置１００が有しているパラメータを表示する。表示されるパラメータとしては、例えば、制御装置１００の稼動状態またはステートマシーンの値などが挙げられる。

【0124】

＜Ｇ．変形例＞
上述した実施の形態に加えて、以下のような変形が可能である。

【0125】

ウェアラブル端末３００が上述した処理を実行してもよいし、処理の全部または一部をサーバ２００が実行してもよい。

【0126】

基本的な処理をサーバ２００が実行する場合には、ウェアラブル端末３００は、仮想モデル映像３７０の表示、および、ユーザ操作の受付といったユーザインターフェイスとして機能する。サーバ２００は、制御装置１００が有している情報に基づいて、仮想モデル映像３７０、状態映像３８０、ユーザインターフェイス映像３９０などをウェアラブル端末３００で表示するのに適したデータを生成する。あるいは、サーバ２００は、仮想モデル映像３７０、状態映像３８０、ユーザインターフェイス映像３９０などを描画した結果をウェアラブル端末３００へ送信してもよい。

【0127】

上述の説明においては、トラブルシューティングにおいて使用される代表的な処理について説明したが、上述した処理に限らず、制御装置１００が実行するユーザプログラム１１０および関連する装置に対するトラブルシューティングにおいて必要な任意の情報をユーザに提供してもよい。

【0128】

＜Ｈ．利点＞
例えば、生産設備のいずれかの装置でトラブルが発生した場合に、当該装置がカバーで覆われていたり、他の装置の奥側に存在していたりすると、トラブルの原因究明およびトラブルからの復旧操作などに時間を要する。例えば、ユーザは、カバーを取り外して、制御装置が実行するユーザプログラムの状態を参照しながら、装置の内部を確認する。

【0129】

本実施の形態に従う制御システム１は、制御装置１００から対象装置に関連する情報を取得し、取得した情報に基づいて対象装置の機構の状態を決定し、決定した機構の状態を示す仮想モデル映像を対象装置の像に重ねて表示する。

【0130】

仮想モデル映像を対象装置の像に重ねて表示することで、ユーザは、制御装置１００が実行するユーザプログラムに従って、対象装置の機構がどのような状態であるかを一見して把握できる。これによって、ユーザは、トラブルの原因究明およびトラブルからの復旧操作などをより効率的に行うことができる。すなわち、生産設備に対する設備保全に必要な手間および時間を短縮できる。

【0131】

＜Ｉ．付記＞
上述したような本実施の形態は、以下のような技術思想を含む。

【0132】

［構成１］
制御装置（１００）により制御される生産設備に対する設備保全を支援するための支援システム（３００；２００，３００）であって、
現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末（３００）を備え、
前記支援システムは、
前記生産設備に含まれる対象装置（３６０）の構造を示すデータを決定する処理（Ｓ６）と、
前記制御装置から前記対象装置に関連する情報を取得する処理（Ｓ８）と、
前記取得した情報に基づいて、前記対象装置の機構の状態を決定する処理（Ｓ１０）と、
前記決定した機構の状態を示す仮想モデル映像（３７０）を、前記対象装置の像に重ねて表示する処理（Ｓ１６）とを実行する、支援システム。

【0133】

［構成２］
前記仮想モデル映像は、前記対象装置の外部から見えない機構の状態を示す、構成１に記載の支援システム。

【0134】

［構成３］
前記機構の状態を決定する処理は、前記制御装置からの情報に基づいて、前記機構の現在の位置、角度、移動量の少なくとも１つを決定する処理を含む、構成１または２に記載の支援システム。

【0135】

［構成４］
前記対象装置の構造を示すデータは、ＣＡＤ（Computer Aided Design）データを含む、構成１～３のいずれか１項に記載の支援システム。

【0136】

［構成５］
前記支援システムは、前記制御装置から取得した情報に基づく状態映像（３８０）を前記仮想モデル映像とともに表示する処理（Ｓ１８）をさらに実行する、構成１～４のいずれか１項に記載の支援システム。

【0137】

［構成６］
前記状態映像は、前記制御装置から取得した値と、当該値の時系列データとのうち少なくとも一方を示す、構成５に記載の支援システム。

【0138】

［構成７］
前記ウェアラブル端末は、ユーザ操作を受け付けるように構成されており、
前記支援システムは、ユーザ操作を受け付けるためのユーザインターフェイス映像（３９０）を表示する処理をさらに実行する、構成１～６のいずれか１項に記載の支援システム。

【0139】

［構成８］
制御装置（１００）により制御される生産設備に対する設備保全を支援するための、現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末（３００）を用いた支援方法であって、
前記生産設備に含まれる対象装置（３６０）の構造を示すデータを決定するステップ（Ｓ６）と、
前記制御装置から前記対象装置に関連する情報を取得するステップ（Ｓ８）と、
前記取得した情報に基づいて、前記対象装置の機構の状態を決定するステップ（Ｓ１０）と、
前記決定した機構の状態を示す仮想モデル映像（３７０）を、前記対象装置の像に重ねて表示するステップ（Ｓ１６）とを備える、支援方法。

【0140】

［構成９］
現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末（３００）で実行される支援プログラム（３４０）であって、前記支援プログラムは、制御装置（１００）により制御される生産設備に対する設備保全を支援するためものであり、前記支援プログラムは前記ウェアラブル端末に、
前記生産設備に含まれる対象装置（３６０）の構造を示すデータを決定するステップ（Ｓ６）と、
前記制御装置から前記対象装置に関連する情報を取得するステップ（Ｓ８）と、
前記取得した情報に基づいて、前記対象装置の機構の状態を決定するステップ（Ｓ１０）と、
前記決定した機構の状態を示す仮想モデル映像（３７０）を、前記対象装置の像に重ねて表示するステップ（Ｓ１６）とを実行させる、支援プログラム。

【0141】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0142】

１ 制御システム、２ フィールドネットワーク、４，８ ローカルネットワーク、６ 上位ネットワーク、１０ ロボット、１２ モータ、１４，３３０ カメラ、２０ ロボットコントローラ、２２ モータドライバ、２４ 産業用コンピュータ、３０ バルブ、３２ ツールチェンジャ、３４ ハンド、３６ エアシリンダ、１００ 制御装置、１０２，２０２，３０２ プロセッサ、１０４，２０４，３０４ 主メモリ、１０６，２０６，３０６ ストレージ、１０８ システムプログラム、１１０ ユーザプログラム、１１２ ＵＳＢコントローラ、１１４ メモリカードインターフェイス、１１６ メモリカード、１２０ 内部バスコントローラ、１２２ フィールドネットワークコントローラ、１２４，２２２ ローカルネットワークコントローラ、１２６，２２０ 上位ネットワークコントローラ、２００ サーバ、２０８ ＯＳ、２１０，３４０ 支援プログラム、２１６ 光学ドライブ、２１８ 記録媒体、２５０ 無線中継器、３００ ウェアラブル端末、３０８ 映像エンジン、３１０ 制御部、３１２ 表示部、３１４ プロジェクタ、３１６ レンズ、３１８ 回折光学素子、３２０ 無線通信部、３２２ マイク、３２４ スピーカ、３２６ 入力装置、３３２ 深度センサ、３３４ ジャイロセンサ、３３６ 加速度センサ、３３８ 磁力センサ、３６０ 対象装置、３６１，３６２，３６３ 部品、３７０ 仮想モデル映像、３８０ 状態映像、３８１ 現在値表示、３８２，３８４ 時系列グラフ、３８３ グラフ表示、３８５ 異常領域表示、３８６ 設定ボタン、３８７ 設定変更映像、３９０ ユーザインターフェイス映像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】