知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024172273
(43)【公開日】2024-12-12
(54)【発明の名称】支援システム、支援方法および支援プログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20241205BHJP
G06F 3/04815 20220101ALI20241205BHJP
G05B 23/02 20060101ALI20241205BHJP
G06T 19/00 20110101ALI20241205BHJP
H04N 7/18 20060101ALI20241205BHJP
G09G 5/00 20060101ALI20241205BHJP
G09G 5/37 20060101ALI20241205BHJP
G09G 5/38 20060101ALI20241205BHJP
G09G 5/377 20060101ALI20241205BHJP
【ＦＩ】
G06F3/01 510
G06F3/04815
G05B23/02 301T
G05B23/02 301X
G06T19/00 600
H04N7/18 U
G09G5/00 510C
G09G5/00 550C
G09G5/00 530T
G09G5/37 600
G09G5/00 530D
G09G5/00 530M
G09G5/38 100
G09G5/377 100
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023089869
(22)【出願日】2023-05-31
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】岩村 慎太郎
(72)【発明者】
【氏名】山田 諒明
【テーマコード（参考）】
3C223
5B050
5C054
5C182
5E555
【Ｆターム（参考）】
3C223AA11
3C223BA03
3C223BB02
3C223BB08
3C223CC02
3C223DD03
3C223EB02
3C223EB07
3C223FF42
3C223FF45
3C223FF52
3C223FF53
3C223GG01
3C223HH02
3C223HH06
3C223HH07
3C223HH17
3C223HH29
5B050AA03
5B050BA06
5B050BA09
5B050BA13
5B050BA18
5B050BA19
5B050BA20
5B050CA01
5B050DA01
5B050EA19
5B050EA26
5B050FA02
5C054CA04
5C054CC02
5C054FA07
5C054FE14
5C182AA04
5C182AA31
5C182AB19
5C182AB34
5C182AB35
5C182AC02
5C182AC03
5C182AC46
5C182BA01
5C182BA02
5C182BA14
5C182BA27
5C182BA29
5C182BA35
5C182BA39
5C182BA46
5C182BA56
5C182BA66
5C182BA75
5C182CA32
5C182CA54
5C182CB14
5C182CB41
5C182CB42
5C182CB44
5C182CB47
5C182CB52
5C182CB54
5E555AA27
5E555AA63
5E555BA36
5E555BA38
5E555BA83
5E555BB38
5E555BC04
5E555BC08
5E555BD01
5E555BE17
5E555CA42
5E555CA44
5E555CA47
5E555CB19
5E555CB21
5E555CB45
5E555CB64
5E555CB65
5E555CB66
5E555CB74
5E555CC05
5E555DA08
5E555DA09
5E555DA23
5E555DB03
5E555DB04
5E555DB20
5E555DB41
5E555DB53
5E555DC09
5E555DC13
5E555DC19
5E555DC30
5E555DC35
5E555DC52
5E555DC63
5E555DC72
5E555DC73
5E555DD06
5E555EA07
5E555EA12
5E555EA14
5E555EA22
5E555FA00
(57)【要約】
【課題】トラブルシューティングに際して、制御装置が実行する制御プログラムを容易に確認できる仕組みを提供する。
【解決手段】制御装置を含む制御システムにおけるトラブルシューティングを支援するための支援システムが提供される。支援システムは、現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末を含む。支援システムは、ウェアラブル端末の位置と、ウェアラブル端末の姿勢と、ウェアラブル端末を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定する処理と、制御装置が実行する制御プログラムのうち、決定された装置に関連付けられる部分を決定する処理と、仮想的な映像として、決定された部分を示す映像を表示する処理とを実行する。
【選択図】図１
【解決手段】制御装置を含む制御システムにおけるトラブルシューティングを支援するための支援システムが提供される。支援システムは、現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末を含む。支援システムは、ウェアラブル端末の位置と、ウェアラブル端末の姿勢と、ウェアラブル端末を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定する処理と、制御装置が実行する制御プログラムのうち、決定された装置に関連付けられる部分を決定する処理と、仮想的な映像として、決定された部分を示す映像を表示する処理とを実行する。
【選択図】図１
【特許請求の範囲】
【請求項1】
制御装置を含む制御システムにおけるトラブルシューティングを支援するための支援システムであって、
現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末を備え、
前記支援システムは、
前記ウェアラブル端末の位置と、前記ウェアラブル端末の姿勢と、前記ウェアラブル端末を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定する処理と、
前記制御装置が実行する制御プログラムのうち、前記決定された装置に関連付けられる部分を決定する処理と、
前記仮想的な映像として、前記決定された部分を示す映像を表示する処理とを実行する、支援システム。
現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末を備え、
前記支援システムは、
前記ウェアラブル端末の位置と、前記ウェアラブル端末の姿勢と、前記ウェアラブル端末を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定する処理と、
前記制御装置が実行する制御プログラムのうち、前記決定された装置に関連付けられる部分を決定する処理と、
前記仮想的な映像として、前記決定された部分を示す映像を表示する処理とを実行する、支援システム。
【請求項2】
前記ウェアラブル端末は、ユーザ操作を受け付けるように構成されており、
前記支援システムは、前記ユーザ操作に応じて、前記仮想的な映像を更新する処理を実行する、請求項１に記載の支援システム。
前記支援システムは、前記ユーザ操作に応じて、前記仮想的な映像を更新する処理を実行する、請求項１に記載の支援システム。
【請求項3】
前記ウェアラブル端末は、ユーザ操作を受け付けるように構成されており、
前記支援システムは、前記ユーザ操作に応じて、前記制御プログラムにおいて用いられる入力値および出力値の少なくとも一方の値を更新する処理を実行する、請求項１に記載の支援システム。
前記支援システムは、前記ユーザ操作に応じて、前記制御プログラムにおいて用いられる入力値および出力値の少なくとも一方の値を更新する処理を実行する、請求項１に記載の支援システム。
【請求項4】
前記ウェアラブル端末は、ユーザ操作を受け付けるように構成されており、
前記支援システムは、前記ユーザ操作に応じて、前記制御プログラムを更新する処理を実行する、請求項１に記載の支援システム。
前記支援システムは、前記ユーザ操作に応じて、前記制御プログラムを更新する処理を実行する、請求項１に記載の支援システム。
【請求項5】
前記制御プログラムを更新する処理は、前記ユーザ操作に応じて、前記制御プログラムに含まれる回路要素の種類を変更する処理を含む、請求項４に記載の支援システム。
【請求項6】
前記制御プログラムを更新する処理は、
前記制御プログラムに含まれる回路要素の選択および取り外しの操作に応じて、当該回路要素を前記制御プログラムから削除する処理と、
前記制御プログラムに含まれる回路要素の移動および組み入れの操作に応じて、当該回路要素を前記制御プログラムに追加する処理とのうち、少なくとも一方を含む、請求項４に記載の支援システム。
前記制御プログラムに含まれる回路要素の選択および取り外しの操作に応じて、当該回路要素を前記制御プログラムから削除する処理と、
前記制御プログラムに含まれる回路要素の移動および組み入れの操作に応じて、当該回路要素を前記制御プログラムに追加する処理とのうち、少なくとも一方を含む、請求項４に記載の支援システム。
【請求項7】
前記決定された部分を示す映像を表示する処理は、前記決定された装置に関連付けられた位置に仮想的な映像を表示する処理を含む、請求項１～６のいずれか１項に記載の支援システム。
【請求項8】
前記決定された部分を示す映像を表示する処理は、前記仮想的な映像を複数重ねて表示する処理を含む、請求項１～６のいずれか１項に記載の支援システム。
【請求項9】
制御装置を含む制御システムにおけるトラブルシューティングを支援するための、現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末を用いた支援方法であって、
前記ウェアラブル端末の位置と、前記ウェアラブル端末の姿勢と、前記ウェアラブル端末を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定するステップと、
前記制御装置が実行する制御プログラムのうち、前記決定された装置に関連付けられる部分を決定するステップと、
前記仮想的な映像として、前記決定された部分を示す映像を表示するステップとを備える、支援方法。
前記ウェアラブル端末の位置と、前記ウェアラブル端末の姿勢と、前記ウェアラブル端末を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定するステップと、
前記制御装置が実行する制御プログラムのうち、前記決定された装置に関連付けられる部分を決定するステップと、
前記仮想的な映像として、前記決定された部分を示す映像を表示するステップとを備える、支援方法。
【請求項10】
現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末で実行される支援プログラムであって、前記支援プログラムは、制御装置を含む制御システムにおけるトラブルシューティングを支援するためのものであり、前記支援プログラムは前記ウェアラブル端末に、
前記ウェアラブル端末の位置と、前記ウェアラブル端末の姿勢と、前記ウェアラブル端末を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定するステップと、
前記制御装置が実行する制御プログラムのうち、前記決定された装置に関連付けられる部分を決定するステップと、
前記仮想的な映像として、前記決定された部分を示す映像を表示するステップとを実行させる、支援プログラム。
前記ウェアラブル端末の位置と、前記ウェアラブル端末の姿勢と、前記ウェアラブル端末を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定するステップと、
前記制御装置が実行する制御プログラムのうち、前記決定された装置に関連付けられる部分を決定するステップと、
前記仮想的な映像として、前記決定された部分を示す映像を表示するステップとを実行させる、支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、支援システム、支援方法および支援プログラムに関する。
【背景技術】
【0002】
ヘッドマウントディスプレイなどを用いた効率的な生産ラインの保守などの仕組みが提案されている。例えば、特開２０２２－１０９４２８号公報（特許文献１）は、ユーザ視野内で機器の所在位置と機器に関する情報とを関連付けて提示するための構成を開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－１０９４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
生産ラインでは、ＰＬＣ（Programmable Logic Controller）などの制御装置が用いられている。トラブルの原因究明およびトラブルからの復旧のための操作を行うためには、制御装置の状態なども把握することが好ましい。
【0005】
本発明は、トラブルシューティングに際して、制御装置が実行する制御プログラムを容易に確認できる仕組みを提供する。
【課題を解決するための手段】
【0006】
本発明のある局面に従えば、制御装置を含む制御システムにおけるトラブルシューティングを支援するための支援システムが提供される。支援システムは、現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末を含む。支援システムは、ウェアラブル端末の位置と、ウェアラブル端末の姿勢と、ウェアラブル端末を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定する処理と、制御装置が実行する制御プログラムのうち、決定された装置に関連付けられる部分を決定する処理と、仮想的な映像として、決定された部分を示す映像を表示する処理とを実行する。
【0007】
この構成によれば、ウェアラブル端末を装着したユーザに対して、制御プログラムのうち、対象の装置に関連付けられる部分を示す映像を提示できるので、トラブルシューティングを効率的に行うことができる。
【0008】
ウェアラブル端末は、ユーザ操作を受け付けるように構成されていてもよい。支援システムは、ユーザ操作に応じて、仮想的な映像を更新する処理を実行してもよい。この構成によれば、ユーザ操作に応じて、仮想的な映像を更新されるので、トラブルシューティングを効率的に行うことができる。
【0009】
ウェアラブル端末は、ユーザ操作を受け付けるように構成されていてもよい。支援システムは、ユーザ操作に応じて、制御プログラムにおいて用いられる入力値および出力値の少なくとも一方の値を更新する処理を実行してもよい。この構成によれば、トラブルシューティングにおいて、入力値または出力値を強制的に変更することで、トラブルの原因究明をより効率的に行うことができる。
【0010】
ウェアラブル端末は、ユーザ操作を受け付けるように構成されていてもよい。支援システムは、ユーザ操作に応じて、制御プログラムを更新する処理を実行してもよい。この構成によれば、ユーザは、ウェアラブル端末を介して、制御プログラムを更新できるので、トラブルからの復旧をより迅速に行うことができる。
【0011】
制御プログラムを更新する処理は、ユーザ操作に応じて、制御プログラムに含まれる回路要素の種類を変更する処理を含んでいてもよい。この構成によれば、トラブルの原因究明およびトラブルからの復旧のための操作をより効率的に行うことができる。
【0012】
制御プログラムを更新する処理は、制御プログラムに含まれる回路要素の選択および取り外しの操作に応じて、当該回路要素を制御プログラムから削除する処理と、制御プログラムに含まれる回路要素の移動および組み入れの操作に応じて、当該回路要素を制御プログラムに追加する処理とのうち、少なくとも一方を含んでいてもよい。この構成によれば、トラブルの原因究明およびトラブルからの復旧において、ユーザの操作性を高めることができる。
【0013】
決定された部分を示す映像を表示する処理は、決定された装置に関連付けられた位置に仮想的な映像を表示する処理を含でいてもよい。この構成によれば、ユーザの視野に複数の装置が存在しているような場合であっても、決定された装置に関連付けて仮想的な映像を表示できる。
【0014】
決定された部分を示す映像を表示する処理は、仮想的な映像を複数重ねて表示する処理を含んでいてもよい。この構成によれば、仮想的な映像を複数重ねて表示することで、より多くの情報をユーザに提供できる。
【0015】
本発明の別の局面に従えば、制御装置を含む制御システムにおけるトラブルシューティングを支援するための、現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末を用いた支援方法が提供される。支援方法は、ウェアラブル端末の位置と、ウェアラブル端末の姿勢と、ウェアラブル端末を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定するステップと、制御装置が実行する制御プログラムのうち、決定された装置に関連付けられる部分を決定するステップと、仮想的な映像として、決定された部分を示す映像を表示するステップとを含む。
【0016】
本発明のさらに別の局面に従えば、現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末で実行される支援プログラムが提供される。支援プログラムは、制御装置を含む制御システムにおけるトラブルシューティングを支援するためのものである。支援プログラムはウェアラブル端末に、ウェアラブル端末の位置と、ウェアラブル端末の姿勢と、ウェアラブル端末を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定するステップと、制御装置が実行する制御プログラムのうち、決定された装置に関連付けられる部分を決定するステップと、仮想的な映像として、決定された部分を示す映像を表示するステップとを実行させる。
【発明の効果】
【0017】
本発明によれば、ユーザは、トラブルシューティングに際して、制御装置が実行する制御プログラムを容易に確認できる。
【図面の簡単な説明】
【0018】
【図1】本実施の形態に従う制御システムの全体構成例を示す模式図である。
【図2】本実施の形態に従う制御装置のハードウェア構成例を示す模式図である。
【図3】本実施の形態に従うサーバのハードウェア構成例を示す模式図である。
【図4】本実施の形態に従うウェアラブル端末のハードウェア構成例を示す模式図である。
【図5】本実施の形態に従う制御システムにおいて実行される処理手順例を示すフローチャートである。
【図7】本実施の形態に従うウェアラブル端末が表現するグラフィカル言語の一例を示す模式図である。
【図8】本実施の形態に従うウェアラブル端末が表示するプログラム映像の一例を示す模式図である。
【図9】本実施の形態に従うウェアラブル端末においてユーザプログラムの入力値を変更する操作の一例を示す模式図である。
【図10】本実施の形態に従うウェアラブル端末においてユーザプログラムの回路構成を変更する操作の一例を示す模式図である。
【図11】本実施の形態に従うウェアラブル端末においてユーザプログラムの回路構成を変更する操作の別の一例を示す模式図である。
【図13】本実施の形態に従うウェアラブル端末においてユーザプログラムの回路構成を変更する操作のさらに別の一例を示す模式図である。
【図14】本実施の形態に従うウェアラブル端末においてユーザプログラムのインスタンスを表示する処理の一例を示す模式図である。
【図15】本実施の形態に従うウェアラブル端末においてユーザプログラムのクロスレファレンスを表示する処理の一例を示す模式図である。
【図16】本実施の形態に従うウェアラブル端末においてクロスレファレンスに対する操作に応じてプログラム映像を表示する処理の一例を示す模式図である。
【図17】本実施の形態に従うウェアラブル端末におけるプログラム映像の表示例を示す模式図である。
【図18】本実施の形態に従うウェアラブル端末におけるプログラム映像の別の表示例を示す模式図である。
【発明を実施するための形態】
【0019】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【0020】
＜Ａ．適用例＞
まず、本発明が適用される場面の一例について説明する。
まず、本発明が適用される場面の一例について説明する。
【0021】
図１は、本実施の形態に従う制御システム１の全体構成例を示す模式図である。図１には、一例として、ロボットを含む制御システム１を示す。制御システム１は、制御装置１００と、サーバ２００と、ユーザが装着するウェアラブル端末３００とを含む。
【0022】
制御装置１００は、例えば、ＰＬＣなどのコンピュータである。制御装置１００は、予め用意された制御プログラム（以下、「ユーザプログラム」とも称す。）を実行することで、ロボットの動作を制御する。ユーザプログラムは、ロボットの動作を制御するだけではなく、生産ラインを動作させるために必要な様々な制御を実行するためのコンピュータ読取可能な命令を含む。
【0023】
制御システム１は、例えば、アクチュエータとして、ロボット１０と、１または複数のモータ１２とを含む。１または複数のモータ１２は、ロボット１０に内蔵されていてもよいし、ロボット１０とは別の機構に内蔵されていてもよい。
【0024】
ロボット１０のアームには、ツールチェンジャ３２と、ハンド３４と、エアシリンダ３６とのうち少なくとも１つが装着可能であってもよい。ロボット１０のアームまたはロボット１０の周囲には、カメラ１４が配置されてもよい。
【0025】
制御装置１００は、フィールドネットワーク２を介して、ロボットコントローラ２０と、モータドライバ２２と、バルブ３０と接続されている。
【0026】
ロボットコントローラ２０は、制御装置１００からの指令に従って、ロボット１０を駆動する。モータドライバ２２は、制御装置１００からの指令に従って、１または複数のモータ１２を駆動する。バルブ３０は、制御装置１００からの指令に従って、ツールチェンジャ３２、ハンド３４、およびエアシリンダ３６にエアを供給する。
【0027】
制御装置１００は、ローカルネットワーク４を介して、産業用コンピュータ（ＩＰＣ：Industrial Personal Computer）２４と接続されている。産業用コンピュータ２４は、カメラ１４が撮影した画像に対して画像処理を行う。制御装置１００は、産業用コンピュータ２４からの画像処理結果に基づいて、アクチュエータへの指令を生成する。
【0028】
サーバ２００は、上位ネットワーク６を介して、制御装置１００と接続されている。サーバ２００は、ウェアラブル端末３００に提供するための情報を生成するとともに、ウェアラブル端末３００からのユーザ操作に応じた処理を実行する。
【0029】
サーバ２００は、ローカルネットワーク８を介して無線中継器２５０と接続されている。ウェアラブル端末３００は、無線中継器２５０と無線接続される。
【0030】
ウェアラブル端末３００は、ユーザが装着可能な装置であり、例えば、ＭＲ（Mixed Reality）グラス、ＡＲ（Augmented Reality）グラス、またはＶＲ（Virtual Reality）ゴーグルであってもよい。ウェアラブル端末３００は、ヘッドマウントディスプレイ（ＨＭＤ：Head Mount Display）であってもよい。
【0031】
例えば、ウェアラブル端末３００がＭＲグラスであれば、ユーザに対して、現実空間に３Ｄ映像（ホログラム）を重ねて見せることができる。すなわち、ウェアラブル端末３００は、現実に存在する物体と仮想的な映像（３Ｄ映像）とを合成した状態をユーザに見せることができる。以下では、主として、ウェアラブル端末３００がＭＲグラスであるとして説明する。
【0032】
ウェアラブル端末３００は、ユーザに対して視覚的な情報を提供するとともに、ユーザ操作を受け付ける。
【0033】
本実施の形態において、ウェアラブル端末３００は、ユーザ操作に応じて、制御装置１００が実行するユーザプログラムの一部または全部を示す画像または映像（以下、「プログラム映像３５０」とも称す。）を表示する。なお、プログラム映像３５０は、ユーザプログラムの一部または全部のみを含むのではなく、その他の情報を含んでいてもよい。さらに、プログラム映像３５０は、ユーザプログラムの一部または全部に代えて、別の情報を含む場合もある。
【0034】
ユーザは、現実空間に重ねて表示されるプログラム映像３５０を見ながら、トラブルの原因究明およびトラブルからの復旧のための操作を行う。ユーザによる操作は、ユーザが手または体を動かすこと（すなわち、ユーザのジェスチャ）、ユーザによるコントローラの操作、ユーザの発話、ユーザの視線の動きなど、任意の方法で行われる。
【0035】
ウェアラブル端末３００は、ウェアラブル端末３００の位置、ウェアラブル端末３００の姿勢、および／または、ウェアラブル端末３００を装着したユーザの視野に応じて、ユーザプログラムの表示される部分を決定する。例えば、ユーザが何らかのトラブルが発生している装置を見ている状態でプログラム映像３５０の表示を指示すると、ウェアラブル端末３００は、ユーザプログラムのうち、当該トラブルが発生している装置に関連付けられた部分を表示する。
【0036】
なお、プログラム映像３５０に含まれるユーザプログラムの部分は、ウェアラブル端末３００に加えて、または、ウェアラブル端末３００に代えて、サーバ２００が決定してもよい。
【0037】
このように、トラブルが発生している装置などに応じて、ユーザプログラムのうち対応する部分がプログラム映像３５０として表示されるので、トラブルの原因究明およびトラブルからの復旧のための操作を効率的に行うことができる。
【0038】
本明細書において、「支援システム」は、制御システム１におけるユーザによるトラブルシューティングを支援するための構成を包含する。支援システムは、制御システム１に含まれていてもよいし、制御システム１とは別に用意されていてもよい。図１に示す構成例においては、ウェアラブル端末３００単体、および／または、サーバ２００およびウェアラブル端末３００が支援システムに相当する。支援システムは、ウェアラブル端末３００に加えて、クラウドなどのコンピューティングリソースを含んでいてもよい。
【0039】
本実施の形態は、制御装置１００を含む制御システム１におけるトラブルシューティングを支援するためのウェアラブル端末３００を用いた支援方法を含む。
【0040】
＜Ｂ．ハードウェア構成例＞
次に、本実施の形態に従う制御システム１を構成する装置のハードウェア構成例について説明する。
次に、本実施の形態に従う制御システム１を構成する装置のハードウェア構成例について説明する。
【0041】
（ｂ１：制御装置１００）
図２は、本実施の形態に従う制御装置１００のハードウェア構成例を示す模式図である。図２を参照して、制御装置１００は、例えば、プロセッサ１０２と、主メモリ１０４と、ストレージ１０６と、ＵＳＢ（Universal Serial Bus）コントローラ１１２と、メモリカードインターフェイス１１４と、内部バスコントローラ１２０と、フィールドネットワークコントローラ１２２と、ローカルネットワークコントローラ１２４と、上位ネットワークコントローラ１２６とを含む。
図２は、本実施の形態に従う制御装置１００のハードウェア構成例を示す模式図である。図２を参照して、制御装置１００は、例えば、プロセッサ１０２と、主メモリ１０４と、ストレージ１０６と、ＵＳＢ（Universal Serial Bus）コントローラ１１２と、メモリカードインターフェイス１１４と、内部バスコントローラ１２０と、フィールドネットワークコントローラ１２２と、ローカルネットワークコントローラ１２４と、上位ネットワークコントローラ１２６とを含む。
【0042】
プロセッサ１０２は、例えば、ＣＰＵ（Central Processing Unit）であり、ストレージ１０６に格納されたプログラムを読み出して、主メモリ１０４に展開して実行する。
【0043】
ストレージ１０６は、制御プログラムの一例であるユーザプログラム１１０と、ユーザプログラム１１０を実行するための環境を提供するためのシステムプログラム１０８とを格納する。
【0044】
ＵＳＢコントローラ１１２は、ＵＳＢにより接続された任意の情報処理装置とデータをやり取りする。
【0045】
メモリカードインターフェイス１１４は、着脱可能なメモリカード１１６に対してデータを読み書きする。
【0046】
内部バスコントローラ１２０は、内部バスを介して、図示しない１または複数の機能ユニットとデータをやり取りする。フィールドネットワークコントローラ１２２は、フィールドネットワーク２を介したデータ通信を担当する。ローカルネットワークコントローラ１２４は、ローカルネットワーク４を介したデータ通信を担当する。上位ネットワークコントローラ１２６は、上位ネットワーク６を介したデータ通信を担当する。
【0047】
（ｂ２：サーバ２００）
図３は、本実施の形態に従うサーバ２００のハードウェア構成例を示す模式図である。図３を参照して、サーバ２００は、例えば、プロセッサ２０２と、主メモリ２０４と、ストレージ２０６と、光学ドライブ２１６と、上位ネットワークコントローラ２２０と、ローカルネットワークコントローラ２２２とを含む。
図３は、本実施の形態に従うサーバ２００のハードウェア構成例を示す模式図である。図３を参照して、サーバ２００は、例えば、プロセッサ２０２と、主メモリ２０４と、ストレージ２０６と、光学ドライブ２１６と、上位ネットワークコントローラ２２０と、ローカルネットワークコントローラ２２２とを含む。
【0048】
プロセッサ２０２は、例えば、ＣＰＵであり、ストレージ２０６に格納されたプログラムを読み出して、主メモリ２０４に展開して実行する。
【0049】
ストレージ２０６は、ＯＳ（Operating System）２０８と、ウェアラブル端末３００と連係して以下に説明する処理を実行するための支援プログラム２１０とを格納する。
【0050】
光学ドライブ２１６は、コンピュータ読取可能なプログラムを非一過的に格納する記録媒体２１８（例えば、ＤＶＤ（Digital Versatile Disc）などの光学記録媒体）から、記録媒体２１８に格納されたプログラムを読み取る。光学ドライブ２１６が読み取ったプログラムは、ストレージ２０６にインストールされてもよい。
【0051】
なお、サーバ２００が実行するプログラムは、記録媒体２１８から読み出されてもよいし、ネットワーク上のファイルサーバからダウンロードされてもよい。サーバ２００が実行する処理は、ＯＳ２０８が提供するモジュールの一部を利用する形で実現されてもよい。
【0052】
上位ネットワークコントローラ２２０は、上位ネットワーク６を介したデータ通信を担当する。ローカルネットワークコントローラ２２２は、ローカルネットワーク８を介したデータ通信を担当する。
【0053】
（ｂ３：ウェアラブル端末３００）
図４は、本実施の形態に従うウェアラブル端末３００のハードウェア構成例を示す模式図である。図４を参照して、ウェアラブル端末３００は、例えば、制御部３１０と、表示部３１２と、無線通信部３２０と、マイク３２２と、スピーカ３２４と、コントローラ３２６と、１または複数のカメラ３３０と、深度センサ３３２と、ジャイロセンサ３３４と、加速度センサ３３６と、磁力センサ３３８とを含む。
図４は、本実施の形態に従うウェアラブル端末３００のハードウェア構成例を示す模式図である。図４を参照して、ウェアラブル端末３００は、例えば、制御部３１０と、表示部３１２と、無線通信部３２０と、マイク３２２と、スピーカ３２４と、コントローラ３２６と、１または複数のカメラ３３０と、深度センサ３３２と、ジャイロセンサ３３４と、加速度センサ３３６と、磁力センサ３３８とを含む。
【0054】
制御部３１０は、ウェアラブル端末３００で必要な処理を実行する。制御部３１０は、例えば、プロセッサ３０２と、主メモリ３０４と、ストレージ３０６と、映像エンジン３０８とを含む。プロセッサ３０２は、ストレージ３０６に格納されたプログラムを読み出して、主メモリ３０４に展開して実行する。ストレージ３０６は、ＯＳに加えて、後述するような処理を実行するための支援プログラム３４０とを格納する。
【0055】
映像エンジン３０８は、表示部３１２に３Ｄ映像（ホログラム）を表示させるための処理を実行する。映像エンジン３０８は、プロセッサ３０２に含まれていてもよい。
【0056】
表示部３１２は、３Ｄ映像を視覚化する。表示部３１２は、例えば、プロジェクタ３１４と、レンズ３１６と、回折光学素子３１８とを含む。プロジェクタ３１４は、制御部３１０からの指令に従って光学像を生成する。プロジェクタ３１４が生成した光学像は、レンズ３１６を通過した後に回折光学素子３１８を伝搬する。回折光学素子３１８は、ユーザの目に近接した位置に配置されており、光学像の回折によってホログラムが生成される。
【0057】
無線通信部３２０は、無線中継器２５０（図１）と無線接続するための処理を担当する。
【0058】
マイク３２２は、ウェアラブル端末３００の周囲に発生する音声を収集する。スピーカ３２４は、制御部３１０からの指令に従って音声を発生する。
【0059】
コントローラ３２６は、ユーザ操作を受け付ける。コントローラ３２６は、ウェアラブル端末３００の本体とは別の装置として構成されてもよい。
【0060】
１または複数のカメラ３３０は、ウェアラブル端末３００の周囲を撮影する。カメラ３３０は、可視カメラであってもよいし、赤外カメラであってもよい。
【0061】
深度センサ３３２は、測定対象物までの距離を計測する。ジャイロセンサ３３４は、角速度を計測する。加速度センサ３３６は、加速度を計測する。磁力センサ３３８は、磁力を計測する。例えば、ジャイロセンサ３３４、加速度センサ３３６および磁力センサ３３８は、ウェアラブル端末３００の姿勢を推定するための情報を提供する。
【0062】
（ｂ４：その他の構成例）
制御システム１は、制御装置１００に対するユーザ操作の受付およびユーザへの情報の提示を行う表示装置を含んでいてもよい。表示装置は、ＨＭＩ（Human Machine Interface）として機能してもよい。
制御システム１は、制御装置１００に対するユーザ操作の受付およびユーザへの情報の提示を行う表示装置を含んでいてもよい。表示装置は、ＨＭＩ（Human Machine Interface）として機能してもよい。
【0063】
制御システム１は、例えば、製造実行システム（ＭＥＳ：Manufacturing Execution System）、データベース、ＡＩ（Artificial Intelligence）システムなどを含んでいてもよい。
【0064】
制御装置１００とサーバ２００とが別体の構成例を示すが、両装置が一体化されていてもよい。
【0065】
図２～図４には、プロセッサがプログラムを実行することで必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードワイヤード回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）など）を用いて実装してもよい。
【0066】
＜Ｃ．処理手順例＞
次に、本実施の形態に従う制御システム１において実行される処理手順例について説明する。
次に、本実施の形態に従う制御システム１において実行される処理手順例について説明する。
【0067】
図５は、本実施の形態に従う制御システム１において実行される処理手順例を示すフローチャートである。図５には、制御装置１００が実行するユーザプログラム１１０をオンラインモニタおよびオンラインエディットする例を示す。
【0068】
図５に示すステップの少なくとも一部は、ウェアラブル端末３００のプロセッサ３０２が支援プログラム３４０を実行することで実現されてもよい。説明の便宜上、以下では、ウェアラブル端末３００がすべての処理を実行する場合について説明するが、図５に示すステップの一部は、サーバ２００のプロセッサ２０２が支援プログラム２１０を実行することで実現されてもよい。
【0069】
ウェアラブル端末３００を装着したユーザは、何らかのトラブルが発生すると、当該トラブルが発生した装置が視野に入る状態で、トラブルシューティングを開始するための操作を行う。
【0070】
図５を参照して、ウェアラブル端末３００は、トラブルシューティングを開始するための指令を受け付けると（ステップＳ２においてＹＥＳ）、トラブルシューティング対象の装置を決定し（ステップＳ４）、制御装置１００が実行するユーザプログラム１１０のうち決定された装置に関連付けられた部分を決定し（ステップＳ６）、決定された部分を示すプログラム映像３５０を表示する（ステップＳ８）。すなわち、ウェアラブル端末３００は、仮想的な映像として、ユーザプログラム１１０のうち決定された部分を示すプログラム映像３５０を表示する。ウェアラブル端末３００は、トラブルシューティング対象の装置の位置に応じて、プログラム映像３５０を表示する位置を決定してもよい。
【0071】
ユーザは、表示されたプログラム映像３５０を見ながら、トラブルシューティングに必要な操作を行う。
【0072】
ウェアラブル端末３００は、プログラム映像３５０を表示した状態で行われるユーザ操作に応じて、プログラム映像３５０の更新、ユーザプログラム１１０において用いられる入力値および／または出力値の更新、および／または、制御装置１００が実行するユーザプログラム１１０に対する変更、などを実行する（ステップＳ１０）。
【0073】
すなわち、ウェアラブル端末３００は、ユーザ操作に応じて、仮想的な映像（プログラム映像３５０）を更新してもよい。また、ウェアラブル端末３００は、ユーザ操作に応じて、制御プログラム（ユーザプログラム１１０）において用いられる入力値および出力値の少なくとも一方の値を更新してもよい。また、ウェアラブル端末３００は、ユーザ操作に応じて、制御プログラム（ユーザプログラム１１０）を更新してもよい。
【0074】
ウェアラブル端末３００は、トラブルシューティングを終了するための指令を受け付けるまで（ステップＳ１２においてＹＥＳ）、ステップＳ１０の処理を繰り返す。
【0075】
＜Ｄ．プログラム映像３５０として表示する内容の決定＞
次に、図５のステップＳ４およびＳ６に示す処理をより詳細に説明する。
次に、図５のステップＳ４およびＳ６に示す処理をより詳細に説明する。
【0076】
ステップＳ４において、ウェアラブル端末３００は、ウェアラブル端末３００の位置と、ウェアラブル端末３００の姿勢と、ウェアラブル端末３００を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定する。
【0077】
【0078】
ウェアラブル端末３００は、例えば、マップデータ３４２を参照して、トラブルシューティングの対象となる装置を決定する。
【0079】
マップデータ３４２は、制御システム１に含まれる各装置の位置を示す情報を含む。マップデータ３４２は、２Ｄマップを含んでいてもよいし、３Ｄマップを含んでいてもよい。
【0080】
マップデータ３４２が２Ｄマップを含んでいる場合には、２Ｄマップは各装置の位置（Ｘ座標およびＹ座標）を含む。ウェアラブル端末３００は、トラブルシューティングを開始するための指令を受けたときの位置および／または姿勢（あるいは、方向）に基づいて、２Ｄマップからトラブルシューティング対象の装置を決定する。
【0081】
ウェアラブル端末３００の位置は、複数の無線中継器２５０を用いた屋内測位により決定してもよい。この場合には、ウェアラブル端末３００は、無線ＬＡＮなどの無線送受信機を有していてもよい。
【0082】
ウェアラブル端末３００は、ＱＺＳＳ（Quasi-Zenith Satellite System）やＧＰＳ（Global Positioning System）などの衛星測位システムの受信機を有していてもよい。衛星測位システムの測位結果、および／または、屋内測位による測位結果を用いて、ウェアラブル端末３００の位置を決定してもよい。
【0083】
マップデータ３４２が３Ｄマップを含んでいる場合には、３Ｄマップは各装置の３Ｄ位置（Ｘ座標、Ｙ座標およびＺ座標）を含む。ウェアラブル端末３００は、３Ｄマップを参照して、ウェアラブル端末３００のカメラ３３０が撮影した画像に基づく視覚測位により、ウェアラブル端末３００の位置、および／または、トラブルシューティング対象の装置を決定してもよい。視覚測位では、画像マッチングを用いてもよいし、基準位置を示すマーカを用いてもよい。また、深度センサ３３２からのセンシングデータと設備の形状プロファイル（３Ｄマップに含まれる）とに基づいて、ウェアラブル端末３００の位置を決定してもよい。
【0084】
ウェアラブル端末３００の方向および姿勢は、ジャイロセンサ３３４、加速度センサ３３６、および／または、磁力センサ３３８からのセンシングデータに基づいて決定することができる。
【0085】
さらに、ウェアラブル端末３００は、ユーザによる名称などのテキスト入力および／または発話などに基づいて、トラブルシューティング対象の装置を決定してもよい。
【0086】
このように、ウェアラブル端末３００は、任意の方法でトラブルシューティング対象の装置を決定する。続いて、ウェアラブル端末３００は、変数リスト３４４を参照して、決定した装置に関連付けられた１または複数の変数を決定する。変数リスト３４４は、各装置に関連付けられた１または複数の変数を定義する。
【0087】
続いて、ウェアラブル端末３００は、ユーザプログラム１１０のうち、決定した１または複数の変数が使用されている部分を検索する。
【0088】
なお、変数リスト３４４に代えて、装置とユーザプログラム１１０の対応する部分を特定するための情報（例えば、ユーザプログラム１１０における行数など）とを関連付けたリストを用いてもよい。
【0089】
このように、ウェアラブル端末３００は、プログラム映像３５０として表示するユーザプログラム１１０の部分を決定する。
【0090】
また、ウェアラブル端末３００は、ウェアラブル端末３００の姿勢などに基づいて、プログラム映像３５０を表示する位置を決定してもよい。
【0091】
＜Ｅ．プログラム映像およびユーザ操作例＞
次に、表示されるプログラム映像３５０およびユーザ操作の一例について説明する。
次に、表示されるプログラム映像３５０およびユーザ操作の一例について説明する。
【0092】
本実施の形態に従うウェアラブル端末３００は、ユーザプログラム１１０をグラフィカル言語で表現する。
【0093】
図７は、本実施の形態に従うウェアラブル端末３００が表現するグラフィカル言語の一例を示す模式図である。図７（Ａ）は、ラダーダイアグラム（ＬＤ）で記述されたユーザプログラムを例示する。図７（Ｂ）は、シーケンシャルファンクションチャート（ＳＦＣ）で記述されたユーザプログラムを例示する。図７（Ｃ）は、フローチャートとして記述されたユーザプログラム１１０を例示する。
【0094】
プログラム映像３５０として表示されるユーザプログラムは、どのようなグラフィカル言語で表現されていてもよい。
【0095】
【0096】
図８を参照して、ユーザは、制御装置１００が実行するユーザプログラム１１０に含まれる１つの回路を示すプログラム映像３５０を見ることができる。このとき、ユーザの視野には実際にユーザが見ている装置も含まれるので、ユーザは、現実の装置に加えて、プログラム映像３５０を見ることができる。
【0097】
制御装置１００が実行するユーザプログラム１１０に含まれる回路（コイル）は、センサなどからの入力値などに応じて、導通状態（ＯＮ）および非導通状態（ＯＦＦ）のいずれかになる。プログラム映像３５０の表示態様を異ならせることで、回路の現在の状態（導通状態または非導通状態）を表現できる。
【0098】
例えば、図８に示すように、回路全体の色を異ならせることで、導通状態および非導通状態を表現してもよい。また、回路の一部（例えば、コイル）の色を異ならせることで、導通状態および非導通状態を表現してもよい。さらに、回路の少なくとも一部を点滅させることで、導通状態または非導通状態を表現してもよい。
【0099】
ユーザが導通状態および非導通状態を識別できれば、どのような表示態様を採用してもよい。
【0100】
ウェアラブル端末３００は、プログラム映像３５０に対するユーザ操作に応じて、制御装置１００が実行するユーザプログラム１１０を変更してもよい。ユーザプログラム１１０の変更は、例えば、入力値または出力値の強制的な変更、または、回路構成の変更などを含む。
【0101】
図９は、本実施の形態に従うウェアラブル端末３００においてユーザプログラム１１０の入力値を変更する操作の一例を示す模式図である。図９を参照して、ユーザが、プログラム映像３５０が表示された状態で、プログラム映像３５０に含まれるいずれかの接点を選択する操作を行うと、接点の値を変更するためのダイアログ３６０が表示される。
【0102】
ユーザがダイアログ３６０に含まれるＯＮまたはＯＦＦのボタンを操作することで、ウェアラブル端末３００は、先に選択されている接点の値を指示された値に強制的に変更する。制御装置１００は、強制的に変更された値に従って、各コイルの値（出力値）を決定する。接点の値が強制的に変更されることで、関係するコイルの値が変更される。
【0103】
例えば、いずれかのセンサの故障により当該センサの検出結果を示す接点がＯＦＦのままになっていることが原因であると想定される場合には、当該接点を強制的にＯＮに変更した場合の装置の挙動を確認することで、当該想定が妥当であるか否かを判断できる。
【0104】
なお、接点の値を強制的に変更することで意図しない挙動が生じる可能性もあるので、ウェアラブル端末３００は、設定の値が変更されたことをユーザに通知してもよい。このような通知は、視覚的なフィードバック、音声を用いたフィードバック、または、振動などを用いた触覚フィードバックなどを用いて行われてもよい。
【0105】
図１０は、本実施の形態に従うウェアラブル端末３００においてユーザプログラム１１０の回路構成を変更する操作の一例を示す模式図である。図１０を参照して、ユーザが、プログラム映像３５０が表示された状態で、プログラム映像３５０に含まれるいずれかの回路要素を選択する操作を行うと、回路要素の種類を変更するためのダイアログ３６２が表示される。
【0106】
本明細書において、「回路要素」は、ユーザプログラム１１０が記述する命令を構成する要素であり、接点およびコイルを含む。
【0107】
ユーザがダイアログ３６２のボタンを操作することで、ウェアラブル端末３００は、制御装置１００が実行するユーザプログラム１１０の対象の回路要素の種類を変更する。図１０に示す例では、ａ接点をｂ接点に変更する例を示す。このように、ウェアラブル端末３００は、ユーザ操作に応じて、ユーザプログラム１１０に含まれる回路要素の種類を変更する処理を実行する。
【0108】
制御装置１００は、回路要素が変更されたユーザプログラム１１０に従って、各コイルの値（出力値）を決定する。回路要素の種類が変更されることで、関係するコイルの値が変更される。
【0109】
なお、回路要素の種類を変更する場合においても、種類が変更されたことを様々な方法でユーザに通知してもよい。
【0110】
【0111】
次に、ジェスチャなどのユーザ操作によって、ユーザプログラム１１０の回路構成を変更する例を説明する。
【0112】
図１１は、本実施の形態に従うウェアラブル端末３００においてユーザプログラム１１０の回路構成を変更する操作の別の一例を示す模式図である。図１１には、回路から「Ｐ＿Ｏｎ」の接点を取り外す操作の一例を示す。
【0113】
ユーザが削除したい回路要素３７０（接点）をつまんだ状態（回路要素３７０が存在しているように見える位置でつまむジェスチャを行っている状態）で、指先を手前側（または、奥側）に移動させることで、ウェアラブル端末３００は、対象の回路要素３７０を回路から取り外す。回路から取り外された回路要素３７０は、非表示にされてもよい。
【0114】
このように、ウェアラブル端末３００は、ユーザプログラム１１０に含まれる回路要素の選択および取り外しの操作に応じて、当該回路要素をユーザプログラム１１０から削除する処理を実行する。
【0115】
図１１には、回路から取り外された回路要素３７０（「Ｐ＿Ｏｎ」の接点）がそのまま表示されている例を示す。この状態において、ユーザが取り外された回路要素３７０を再度つまんで、指先を奥側（または、手前側）に移動させると、ウェアラブル端末３００は、対象の回路要素３７０を回路に再度組み入れる。
【0116】
このように、ウェアラブル端末３００は、ユーザプログラム１１０に含まれる回路要素の移動および組み入れの操作に応じて、当該回路要素をユーザプログラム１１０に追加する処理を実行する。
【0117】
図１１に示すように、プログラム映像３５０の面内をＸＹ平面であるとすると、ユーザが指先を手前側または奥側へ移動させる操作（ジェスチャ）は、Ｚ軸方向に沿った移動に相当する。
【0118】
ウェアラブル端末３００は、ユーザによるＺ軸方向の操作（ジェスチャ）に基づいて、回路要素３７０の取り外しまたは組み入れを行ってもよい。この場合、ウェアラブル端末３００は、ユーザによるＸ軸方向の操作およびＹ軸方向の操作を無視してもよい。
【0119】
ユーザの操作性を向上させるために、回路要素３７０に対するユーザ操作を制限してもよい。
【0120】
【0121】
操作可能領域３７２の内部においては、ユーザによるつまむ操作に加えて、ユーザによるＺ軸方向の操作が許容される。すなわち、操作可能領域３７２の内部においては、ユーザによるＸ軸方向の操作およびＹ軸方向の操作は無効なものとして取り扱われる。
【0122】
このような操作可能領域３７２を設けることで、実質的に、回路要素３７０を回路から取り外す操作、および、回路要素３７０を回路に組み入れる操作のみが許容される。
【0123】
操作可能領域３７２の外部においては、ユーザによるつまむ操作に加えて、ユーザによるＸ軸方向の操作およびＹ軸方向の操作が許容される。すなわち、操作可能領域３７２の外部においては、ユーザによるＺ軸方向の操作は無効なものとして取り扱われる。
【0124】
このような操作可能領域３７２を設けることで、実質的に、回路要素３７０を回路から取り外す操作を行った後には、回路要素３７０を移動させる操作のみが許容される。回路要素３７０を移動させる操作に対して、組み入れることができる位置に回路要素３７０をスナップするようにしてもよい。例えば、回路要素３７０は、既に存在している回路要素とは重ならない位置にのみ配置されるようにしてもよい。また、回路要素３７０を対象の回路以外には移動できないようにしてもよい。
【0125】
回路要素３７０の移動先を制限することで、ユーザが意図しない位置に回路要素３７０が配置されることを防止できる。
【0126】
図１３は、本実施の形態に従うウェアラブル端末３００においてユーザプログラム１１０の回路構成を変更する操作のさらに別の一例を示す模式図である。図１３に示すように、ユーザが回路要素３７０（接点）をつまんだ状態で、回路の別の位置に移動させた上で、Ｚ軸方向の操作に移動させる（奥側または手前側に移動させる）と、ウェアラブル端末３００は、対象の回路要素３７０を回路の対応する位置に組み入れる。
【0127】
このように、ユーザは、表示されるプログラム映像３５０に対して、操作（ジェスチャ）を行うことで、制御装置１００が実行するユーザプログラム１１０をオンラインエディットすることができる。
【0128】
例えば、ファンクションおよびファンクションブロックといった、予め定義された処理を実行するための回路要素の詳細を表示してもよい。
【0129】
図１４は、本実施の形態に従うウェアラブル端末３００においてユーザプログラム１１０のインスタンスを表示する処理の一例を示す模式図である。
【0130】
図１４を参照して、ユーザが、プログラム映像３５０が表示された状態で、プログラム映像３５０に含まれるいずれかのファンクションブロックを選択する操作を行うと、選択されたファンクションブロックのインスタンスを示すプログラム映像３５２が追加的に表示される。プログラム映像３５２は、プログラム映像３５０よりユーザの手前側（Ｚ軸方向においてユーザ寄りの位置）に表示されてもよい。このように、ウェアラブル端末３００は、プログラム映像を複数重ねて表示することもできる。
【0131】
図１４には、プログラム映像３５０が表示された状態で、プログラム映像３５２が追加表示される例を示すが、プログラム映像３５２が表示されると、プログラム映像３５０が非表示とされてもよい。
【0132】
なお、図１４に示すファンクションブロックのインスタンスを表示する例に限らず、任意の回路要素の詳細を表示することができる。
【0133】
このように、ユーザは、表示されるプログラム映像３５０に対して、任意の回路要素を選択することで、選択された回路要素の詳細を確認できるので、トラブルシューティングにおいて、必要な粒度で原因を究明していくことができる。
【0134】
ユーザプログラム１１０においては、同一のセンサの検出結果を示す接点が複数の回路で使用されている場合もある。トラブルシューティングにおいては、それぞれの回路を確認することが好ましい場合もある。そのため、ウェアラブル端末３００は、接点（変数）のクロスレファレンスを表示してもよい。
【0135】
図１５は、本実施の形態に従うウェアラブル端末３００においてユーザプログラム１１０のクロスレファレンスを表示する処理の一例を示す模式図である。
【0136】
図１５を参照して、ユーザが、プログラム映像３５０が表示された状態で、プログラム映像３５０に含まれるいずれかの接点を選択する操作を行うと、選択された接点についてのクロスレファレンスを示すダイアログ３５４が追加的に表示される。ダイアログ３５４は、プログラム映像３５０よりユーザの手前側（Ｚ軸方向においてユーザ寄りの位置）に表示されてもよい。
【0137】
ユーザは、選択した接点が使用されている他の回路をダイアログ３５４により把握できる。さらに、ユーザがダイアログ３５４において他の回路を選択すると、選択された回路が追加的に表示されてもよい。
【0138】
図１６は、本実施の形態に従うウェアラブル端末３００においてクロスレファレンスに対する操作に応じてプログラム映像を表示する処理の一例を示す模式図である。
【0139】
図１６を参照して、ユーザが、図１５に示すクロスレファレンスに対して、別の回路を選択すると、選択された回路を示すプログラム映像３５６が追加的に表示される。プログラム映像３５６は、プログラム映像３５０よりユーザの手前側（Ｚ軸方向においてユーザ寄りの位置）に表示されてもよい。
【0140】
このように、ユーザは、順次表示されるプログラム映像を順次確認することで、トラブルシューティングを効率的に行うことができる。
【0141】
＜Ｆ．プログラム映像３５０の表示位置＞
ウェアラブル端末３００を装着したユーザの視野において、トラブルシューティング対象の装置に関連付けて、プログラム映像３５０を表示してもよい。すなわち、プログラム映像３５０の表示位置は、トラブルシューティング対象の装置に関連付けられてもよい。
ウェアラブル端末３００を装着したユーザの視野において、トラブルシューティング対象の装置に関連付けて、プログラム映像３５０を表示してもよい。すなわち、プログラム映像３５０の表示位置は、トラブルシューティング対象の装置に関連付けられてもよい。
【0142】
ウェアラブル端末３００は、トラブルシューティング対象の装置を決定した後、当該決定した装置をトラッキングすることで、ユーザの位置または姿勢が変化した場合であっても、当該決定した装置の位置を捕捉し続けられる。ウェアラブル端末３００は、捕捉される位置の近傍などにプログラム映像３５０を表示してもよい。
【0143】
図１７は、本実施の形態に従うウェアラブル端末３００におけるプログラム映像３５０の表示例を示す模式図である。図１７（Ａ）を参照して、ウェアラブル端末３００を装着したユーザの視野５０には、トラブルシューティング対象の装置５２が存在しているとする。
【0144】
図１７（Ｂ）を参照して、ウェアラブル端末３００は、視野５０における装置５２の近傍にプログラム映像３５０を表示する。装置５２の近傍にプログラム映像３５０が表示されることで、ウェアラブル端末３００を装着したユーザは、装置５２と表示されるプログラム映像３５０が示す回路とを直感的に関連付けることができる。
【0145】
ウェアラブル端末３００を装着したユーザの視野５０にトラブルシューティング対象の装置が複数存在する場合には、ユーザによる装置と回路との対応関係の把握をより容易にする。
【0146】
図１８は、本実施の形態に従うウェアラブル端末３００におけるプログラム映像３５０の別の表示例を示す模式図である。図１８（Ａ）を参照して、ウェアラブル端末３００を装着したユーザの視野５０には、トラブルシューティング対象の２つの装置５２，５４が存在しているとする。
【0147】
図１８（Ｂ）を参照して、ウェアラブル端末３００は、視野５０における装置５２の近傍にプログラム映像３５０－１を表示するとともに、視野５０における装置５４の近傍にプログラム映像３５０－２を表示する。装置５２，５４のそれぞれの近傍にプログラム映像３５０－１，３５０－２が表示されることで、ウェアラブル端末３００を装着したユーザは、それぞれの装置に関連付けられる回路をより確実に把握できる。
【0148】
なお、視野５０に３つ以上の装置が存在している場合においても同様の表示を行うことができる。同時されるプログラム映像３５０の数などに応じて、プログラム映像３５０の各々を表示する位置（装置に対する相対位置）、および、プログラム映像３５０の各々の大きさなどを適宜決定してもよい。
【0149】
複数のプログラム映像３５０を表示する場合には、識別性を高めるために、表示色または外観などの表示態様を異ならせてもよい。
【0150】
＜Ｇ．変形例＞
上述した実施の形態に加えて、以下のような変形が可能である。
上述した実施の形態に加えて、以下のような変形が可能である。
【0151】
ウェアラブル端末３００が上述した処理を実行してもよいし、処理の全部または一部をサーバ２００が実行してもよい。基本的な処理をサーバ２００が実行する場合には、ウェアラブル端末３００は、プログラム映像３５０の表示、および、ユーザ操作の受付といったユーザインターフェイスとして機能する。
【0152】
上述の説明においては、トラブルシューティングにおいて使用される代表的な処理について説明したが、上述した処理に限らず、制御装置１００が実行するユーザプログラム１１０および関連する装置に対するトラブルシューティングにおいて必要な任意の情報をユーザに提供してもよい。
【0153】
＜Ｈ．利点＞
一般的に、制御装置１００を含む制御システム１において何らかのトラブルが発生して、トラブルシューティングを行わなければならない場合には、制御装置１００が実行するユーザプログラム１１０を確認するための専用装置を用いる必要がある。実際のトラブルシューティングにおいては、生産ラインに存在するセンサおよびアクチュエータといった現実の装置と、制御装置１００におけるユーザプログラム１１０の実行状態との両方を確認する必要がある。専用装置を用いてユーザプログラム１１０の実行状態を確認する場合には、現実の装置の状態を併せて確認することが容易ではない。
一般的に、制御装置１００を含む制御システム１において何らかのトラブルが発生して、トラブルシューティングを行わなければならない場合には、制御装置１００が実行するユーザプログラム１１０を確認するための専用装置を用いる必要がある。実際のトラブルシューティングにおいては、生産ラインに存在するセンサおよびアクチュエータといった現実の装置と、制御装置１００におけるユーザプログラム１１０の実行状態との両方を確認する必要がある。専用装置を用いてユーザプログラム１１０の実行状態を確認する場合には、現実の装置の状態を併せて確認することが容易ではない。
【0154】
これに対して、本実施の形態に従う支援システム（ウェアラブル端末３００など）によれば、ユーザは、何らかのトラブルが発生している装置を確認しつつ、制御装置１００が実行するユーザプログラム１１０の実行状態も確認できるので、より効率的なトラブルシューティングを実現できる。
【0155】
また、本実施の形態に従う支援システム（ウェアラブル端末３００など）によれば、ユーザは、ジェスチャなどのユーザ操作によって、ユーザプログラム１１０の確認したい場所を変更したり、ユーザプログラム１１０の回路構成を変更したりできる。専用装置などを操作することなく、ユーザプログラム１１０を確認および変更できるので、より効率的なトラブルシューティングを実現できる。
【0156】
＜Ｉ．付記＞
上述したような本実施の形態は、以下のような技術思想を含む。
上述したような本実施の形態は、以下のような技術思想を含む。
【0157】
［構成１］
制御装置（１００）を含む制御システム（１）におけるトラブルシューティングを支援するための支援システム（３００；２００，３００）であって、
現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末（３００）を備え、
前記支援システムは、
前記ウェアラブル端末の位置と、前記ウェアラブル端末の姿勢と、前記ウェアラブル端末を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定する処理（Ｓ４）と、
前記制御装置が実行する制御プログラム（１１０）のうち、前記決定された装置に関連付けられる部分を決定する処理（Ｓ６）と、
前記仮想的な映像として、前記決定された部分を示す映像（３５０）を表示する処理（Ｓ８）とを実行する、支援システム。
制御装置（１００）を含む制御システム（１）におけるトラブルシューティングを支援するための支援システム（３００；２００，３００）であって、
現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末（３００）を備え、
前記支援システムは、
前記ウェアラブル端末の位置と、前記ウェアラブル端末の姿勢と、前記ウェアラブル端末を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定する処理（Ｓ４）と、
前記制御装置が実行する制御プログラム（１１０）のうち、前記決定された装置に関連付けられる部分を決定する処理（Ｓ６）と、
前記仮想的な映像として、前記決定された部分を示す映像（３５０）を表示する処理（Ｓ８）とを実行する、支援システム。
【0158】
［構成２］
前記ウェアラブル端末は、ユーザ操作を受け付けるように構成されており、
前記支援システムは、前記ユーザ操作に応じて、前記仮想的な映像を更新する処理（Ｓ１０）を実行する、構成１に記載の支援システム。
前記ウェアラブル端末は、ユーザ操作を受け付けるように構成されており、
前記支援システムは、前記ユーザ操作に応じて、前記仮想的な映像を更新する処理（Ｓ１０）を実行する、構成１に記載の支援システム。
【0159】
［構成３］
前記ウェアラブル端末は、ユーザ操作を受け付けるように構成されており、
前記支援システムは、前記ユーザ操作に応じて、前記制御プログラムにおいて用いられる入力値および出力値の少なくとも一方の値を更新する処理（Ｓ１０）を実行する、構成１に記載の支援システム。
前記ウェアラブル端末は、ユーザ操作を受け付けるように構成されており、
前記支援システムは、前記ユーザ操作に応じて、前記制御プログラムにおいて用いられる入力値および出力値の少なくとも一方の値を更新する処理（Ｓ１０）を実行する、構成１に記載の支援システム。
【0160】
［構成４］
前記ウェアラブル端末は、ユーザ操作を受け付けるように構成されており、
前記支援システムは、前記ユーザ操作に応じて、前記制御プログラムを更新する処理（Ｓ１０）を実行する、構成１に記載の支援システム。
前記ウェアラブル端末は、ユーザ操作を受け付けるように構成されており、
前記支援システムは、前記ユーザ操作に応じて、前記制御プログラムを更新する処理（Ｓ１０）を実行する、構成１に記載の支援システム。
【0161】
［構成５］
前記制御プログラムを更新する処理は、前記ユーザ操作に応じて、前記制御プログラムに含まれる回路要素の種類を変更する処理を含む、構成４に記載の支援システム。
前記制御プログラムを更新する処理は、前記ユーザ操作に応じて、前記制御プログラムに含まれる回路要素の種類を変更する処理を含む、構成４に記載の支援システム。
【0162】
［構成６］
前記制御プログラムを更新する処理は、
前記制御プログラムに含まれる回路要素の選択および取り外しの操作に応じて、当該回路要素を前記制御プログラムから削除する処理と、
前記制御プログラムに含まれる回路要素の移動および組み入れの操作に応じて、当該回路要素を前記制御プログラムに追加する処理とのうち、少なくとも一方を含む、構成４または５に記載の支援システム。
前記制御プログラムを更新する処理は、
前記制御プログラムに含まれる回路要素の選択および取り外しの操作に応じて、当該回路要素を前記制御プログラムから削除する処理と、
前記制御プログラムに含まれる回路要素の移動および組み入れの操作に応じて、当該回路要素を前記制御プログラムに追加する処理とのうち、少なくとも一方を含む、構成４または５に記載の支援システム。
【0163】
［構成７］
前記決定された部分を示す映像を表示する処理は、前記決定された装置に関連付けられた位置に仮想的な映像を表示する処理を含む、構成１～６のいずれか１項に記載の支援システム。
前記決定された部分を示す映像を表示する処理は、前記決定された装置に関連付けられた位置に仮想的な映像を表示する処理を含む、構成１～６のいずれか１項に記載の支援システム。
【0164】
［構成８］
前記決定された部分を示す映像を表示する処理は、前記仮想的な映像（３５０，３５２，３５６）を複数重ねて表示する処理を含む、構成１～７のいずれか１項に記載の支援システム。
前記決定された部分を示す映像を表示する処理は、前記仮想的な映像（３５０，３５２，３５６）を複数重ねて表示する処理を含む、構成１～７のいずれか１項に記載の支援システム。
【0165】
［構成９］
制御装置（１００）を含む制御システム（１）におけるトラブルシューティングを支援するための、現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末（３００）を用いた支援方法であって、
前記ウェアラブル端末の位置と、前記ウェアラブル端末の姿勢と、前記ウェアラブル端末を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定するステップ（Ｓ４）と、
前記制御装置が実行する制御プログラム（１１０）のうち、前記決定された装置に関連付けられる部分を決定するステップ（Ｓ６）と、
前記仮想的な映像として、前記決定された部分を示す映像（３５０）を表示するステップ（Ｓ８）とを備える、支援方法。
制御装置（１００）を含む制御システム（１）におけるトラブルシューティングを支援するための、現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末（３００）を用いた支援方法であって、
前記ウェアラブル端末の位置と、前記ウェアラブル端末の姿勢と、前記ウェアラブル端末を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定するステップ（Ｓ４）と、
前記制御装置が実行する制御プログラム（１１０）のうち、前記決定された装置に関連付けられる部分を決定するステップ（Ｓ６）と、
前記仮想的な映像として、前記決定された部分を示す映像（３５０）を表示するステップ（Ｓ８）とを備える、支援方法。
【0166】
［構成１０］
現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末（３００）で実行される支援プログラム（３４０）であって、前記支援プログラムは、制御装置（１００）を含む制御システム（１）におけるトラブルシューティングを支援するためのものであり、前記支援プログラムは前記ウェアラブル端末に、
前記ウェアラブル端末の位置と、前記ウェアラブル端末の姿勢と、前記ウェアラブル端末を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定するステップ（Ｓ４）と、
前記制御装置が実行する制御プログラム（１１０）のうち、前記決定された装置に関連付けられる部分を決定するステップ（Ｓ６）と、
前記仮想的な映像として、前記決定された部分を示す映像（３５０）を表示するステップ（Ｓ８）とを実行させる、支援プログラム。
現実に存在する物体と仮想的な映像とを合成した状態をユーザに見せるためのウェアラブル端末（３００）で実行される支援プログラム（３４０）であって、前記支援プログラムは、制御装置（１００）を含む制御システム（１）におけるトラブルシューティングを支援するためのものであり、前記支援プログラムは前記ウェアラブル端末に、
前記ウェアラブル端末の位置と、前記ウェアラブル端末の姿勢と、前記ウェアラブル端末を装着したユーザの視野とのうち少なくとも１つに基づいて、トラブルシューティング対象の装置を決定するステップ（Ｓ４）と、
前記制御装置が実行する制御プログラム（１１０）のうち、前記決定された装置に関連付けられる部分を決定するステップ（Ｓ６）と、
前記仮想的な映像として、前記決定された部分を示す映像（３５０）を表示するステップ（Ｓ８）とを実行させる、支援プログラム。
【0167】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0168】
２ フィールドネットワーク、４，８ ローカルネットワーク、６ 上位ネットワーク、１０ ロボット、１２ モータ、１４，３３０ カメラ、２０ ロボットコントローラ、２２ モータドライバ、２４ 産業用コンピュータ、３０ バルブ、３２ ツールチェンジャ、３４ ハンド、３６ エアシリンダ、５０ 視野、５２，５４ 装置、１００ 制御装置、１０２，２０２，３０２ プロセッサ、１０４，２０４，３０４ 主メモリ、１０６，２０６，３０６ ストレージ、１０８ システムプログラム、１１０ ユーザプログラム、１１２ ＵＳＢコントローラ、１１４ メモリカードインターフェイス、１１６ メモリカード、１２０ 内部バスコントローラ、１２２ フィールドネットワークコントローラ、１２４，２２２ ローカルネットワークコントローラ、１２６，２２０ 上位ネットワークコントローラ、２００ サーバ、２０８ ＯＳ、２１０，３４０ 支援プログラム、２１６ 光学ドライブ、２１８ 記録媒体、２５０ 無線中継器、３００ ウェアラブル端末、３０８ 映像エンジン、３１０ 制御部、３１２ 表示部、３１４ プロジェクタ、３１６ レンズ、３１８ 回折光学素子、３２０ 無線通信部、３２２ マイク、３２４ スピーカ、３２６ コントローラ、３３２ 深度センサ、３３４ ジャイロセンサ、３３６ 加速度センサ、３３８ 磁力センサ、３４２ マップデータ、３４４ 変数リスト、３５０，３５２，３５６ プログラム映像、３５４，３６０，３６２ ダイアログ、３７０ 回路要素、３７２ 操作可能領域。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】