特許 7058798 保守支援システム、保守支援方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-14

(45)【発行日】2022-04-22

(54)【発明の名称】保守支援システム、保守支援方法及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220415BHJP

   G06F 3/01 20060101ALI20220415BHJP

   G06Q 10/00 20120101ALI20220415BHJP

   H04N 7/18 20060101ALI20220415BHJP

【ＦＩ】

G06T19/00 600

G06F3/01 510

G06Q10/00 300

H04N7/18 K

【請求項の数】 13

(21)【出願番号】P 2021508395

(86)(22)【出願日】2019-03-22

(86)【国際出願番号】 JP2019012279

(87)【国際公開番号】W WO2020194413

(87)【国際公開日】2020-10-01

【審査請求日】2021-05-11

【審判番号】

【審判請求日】2022-01-07

【早期審理対象出願】

(73)【特許権者】

【識別番号】511265154

【氏名又は名称】ＳＰＰテクノロジーズ株式会社

(74)【代理人】

【識別番号】110001748

【氏名又は名称】特許業務法人まこと国際特許事務所

(72)【発明者】

【氏名】富永 裕

(72)【発明者】

【氏名】波部 剛士

(72)【発明者】

【氏名】辻岡 典洋

【合議体】

【審判長】千葉 輝久

【審判官】新井 寛

【審判官】渡辺 努

(56)【参考文献】

【文献】特開２０１８－３６８１２（ＪＰ，Ａ）

【文献】特開２０１７－２１１７６６（ＪＰ，Ａ）

【文献】特開２０１０－１１０１７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 19/00

G06F 3/01

G06Q 10/00

H04N 7/18

(57)【特許請求の範囲】

【請求項1】

撮像手段を具備し保守作業者が装着するウェアラブル端末と、
初期状態の前記撮像手段で保守対象を撮像して取得した撮像画像における所定の基準点を基準として、前記保守対象を含む所定の３次元領域を特定する第１特定手段と、
前記基準点に対する前記初期状態の前記撮像手段の位置を特定する第２特定手段と、
前記ウェアラブル端末が移動した移動後状態において、前記撮像手段の前記初期状態からの位置の変化を特定する第３特定手段と、
前記第２特定手段で特定した前記基準点に対する前記初期状態の前記撮像手段の位置と、前記第３特定手段で特定した前記移動後状態の前記撮像手段の前記初期状態からの位置の変化とに基づき、前記移動後状態の前記撮像手段を基準とする前記基準点の位置を特定し、前記特定した基準点の位置と、前記第１特定手段で特定した前記３次元領域とに基づき、前記移動後状態の前記撮像手段で取得した撮像画像における前記３次元領域に対応する有効画素領域を特定する第４特定手段と、
前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第４特定手段で特定した前記有効画素領域を除くマスク画素領域を不可視にした加工画像を生成する加工画像生成手段と、
前記加工画像生成手段で生成した前記加工画像を保守支援者側端末に送信する通信手段と、
を備えることを特徴とする保守支援システム。

【請求項2】

前記移動後状態の前記撮像手段で取得した撮像画像中に前記基準点が含まれる必要がない、
ことを特徴とする請求項１に記載の保守支援システム。

【請求項3】

前記基準点は、前記保守対象に付されたマーカによって規定されている、
ことを特徴とする請求項１又は２に記載の保守支援システム。

【請求項4】

前記第２特定手段は、前記初期状態の前記撮像手段で取得した撮像画像における前記マーカに対応する画素領域の大きさ、位置及び形状に基づき、前記基準点に対する前記初期状態の前記撮像手段の位置を特定する、
ことを特徴とする請求項３に記載の保守支援システム。

【請求項5】

前記第２特定手段は、前記ウェアラブル端末に取り付けられ前記撮像手段と略同一の視線方向を有する距離画像センサを具備し、前記距離画像センサで取得した距離画像における前記マーカに対応する画素領域の濃度値、位置及び形状に基づき、前記基準点に対する前記初期状態の前記撮像手段の位置を特定する、
ことを特徴とする請求項３に記載の保守支援システム。

【請求項6】

前記第３特定手段は、前記ウェアラブル端末に取り付けられた慣性センサを具備する、
ことを特徴とする請求項１から５の何れかに記載の保守支援システム。

【請求項7】

前記ウェアラブル端末は、ヘッドマウントディスプレイを具備し、
前記ヘッドマウントディスプレイは、前記ヘッドマウントディスプレイに前記撮像画像を表示する状態と、前記ヘッドマウントディスプレイに前記加工画像を認識可能に表示する状態とが切り替え可能に構成されている、
ことを特徴とする請求項１から６の何れかに記載の保守支援システム。

【請求項8】

前記第１特定手段、前記第２特定手段、前記第３特定手段、前記第４特定手段、前記加工画像生成手段及び前記通信手段が、前記ウェアラブル端末に取り付けられている、
ことを特徴とする請求項１から７の何れかに記載の保守支援システム。

【請求項9】

前記保守支援者側端末を備え、
前記保守支援者側端末は、前記通信手段と双方向にデータ通信可能に構成されている、
ことを特徴とする請求項１から８の何れかに記載の保守支援システム。

【請求項10】

前記保守対象が産業用機器である、
ことを特徴とする請求項１から９の何れかに記載の保守支援システム。

【請求項11】

前記第３特定手段が故障した場合、前記加工画像生成手段が前記撮像画像における全ての画素領域を不可視にした加工画像を生成するか、或いは、前記通信手段が前記加工画像の送信を停止する、
ことを特徴とする請求項１から１０の何れかに記載の保守支援システム。

【請求項12】

撮像手段を具備し保守作業者が装着するウェアラブル端末を用いた保守支援方法であって、
第１特定手段によって、初期状態の前記撮像手段で保守対象を撮像して取得した撮像画像における所定の基準点を基準として、前記保守対象を含む所定の３次元領域を特定する第１特定工程と、
第２特定手段によって、前記基準点に対する前記初期状態の前記撮像手段の位置を特定する第２特定工程と、
第３特定手段によって、前記ウェアラブル端末が移動した移動後状態において、前記撮像手段の前記初期状態からの位置の変化を特定する第３特定工程と、
第４特定手段によって、前記第２特定工程で特定した前記基準点に対する前記初期状態の前記撮像手段の位置と、前記３特定工程で特定した前記移動後状態の前記撮像手段の前記初期状態からの位置の変化とに基づき、前記移動後状態の前記撮像手段を基準とする前記基準点の位置を特定し、前記特定した基準点の位置と、前記第１特定工程で特定した前記３次元領域とに基づき、前記移動後状態の前記撮像手段で取得した撮像画像における前記３次元領域に対応する有効画素領域を特定する第４特定工程と、
加工画像生成手段によって、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第４特定工程で特定した前記有効画素領域を除くマスク画素領域を不可視にした加工画像を生成する加工画像生成工程と、
通信手段によって、前記加工画像生成工程で生成した前記加工画像を保守支援者側端末に送信する通信工程と、
を含むことを特徴とする保守支援方法。

【請求項13】

請求項１２に記載の保守支援方法が含む前記第１特定工程、前記第２特定工程、前記第３特定工程、前記第４特定工程、前記加工画像生成工程及び前記通信工程を、前記第１特定手段、前記第２特定手段、前記第３特定手段、前記第４特定手段、前記加工画像生成手段及び前記通信手段にそれぞれ実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、産業用機器などの保守対象の保守作業を支援するための保守支援システム、保守支援方法及びプログラムに関する。特に、本発明は、保守対象以外の機密情報等の漏洩を防止可能で且つ撮像条件の制約が少ない保守支援システム、保守支援方法及びプログラムに関する。

【背景技術】

【0002】

従来、一般的に、基板処理装置等の産業用機器のトラブルが発生した場合、保守対象である産業用機器の設置現場に居る保守作業者が、トラブルの状況を確認した上で、保守対象の製造メーカ側の保守支援者に電話でトラブルの状況を伝え、保守支援者が電話によって保守作業者に各種の指示を出す対応を行っている。
上記の電話対応を行ってもトラブルが解決しない場合には、製造メーカ側の熟練作業者の予定が空いているタイミングで、保守対象の設置現場に熟練作業者を派遣する対応を行っている。

【0003】

上記の電話対応の場合、口頭による意思疎通であるため、トラブルの状況が保守支援者に上手く伝わらなかったり、保守支援者の指示が保守作業者に上手く伝わらず、トラブルが解決できない場合がある。必要に応じて、保守作業者が取得した保守対象の撮像画像を電子メール等で保守支援者に送信し、保守支援者が撮像画像を確認することでトラブルの状況を把握する場合もあるが、状況把握に時間が掛かるという問題がある。
また、上記の熟練作業者を派遣する対応の場合、即時の対応が難しいという問題がある。

【0004】

上記のような問題を解決するため、撮像手段及びヘッドマウントディスプレイを具備するウェアラブル端末を保守作業者が装着し、このウェアラブル端末を用いて保守対象を撮像し、この撮像画像（動画）をインターネット等の電気通信回線を通じて保守支援者側端末に送信する保守支援システムが提案されている。
しかしながら、上記の保守支援システムにおいて、撮像画像をそのまま保守支援者側端末に送信すると、撮像画像中に設置現場の機密情報が含まれるおそれがある。機密情報が含まれる撮像画像が保守支援者側に送信されると、保守支援者が機密情報を知り得ることになり問題である。

【0005】

そこで、機密情報の漏洩を防止可能な保守支援システムとして、例えば、特許文献１に記載の保守支援システム（特許文献１では、画像処理システム）が提案されている。
特許文献１に記載のシステムは、元領域を捉えた元画像を取得する取得部と、前記元画像中の１つ以上の識別子を認識する認識部と、前記認識部で認識された前記１つ以上の識別子に基づいて、前記元領域のうち第１領域を捉えた第１画像部分、および前記元領域から前記第１領域を除いた第２領域を捉えた第２画像部分の少なくとも一方を特定する特定部と、前記特定部による特定結果に応じて、前記第１画像部分を含む処理済み画像を生成する生成部と、を有する、画像処理システムである（特許文献１の請求項１）。
特許文献１に記載のシステムによれば、第１領域を保守対象とし、第２領域を保守対象以外の機密情報等とすることにより、機密情報等の漏洩を防止可能であると考えられる。

【0006】

しかしながら、特許文献１に記載のシステムでは、元画像中に必ず識別子が含まれなければならないという制約がある。具体的には、特許文献１には、印刷装置３００の内部領域（４つの識別子３０で囲まれた矩形領域）を保守対象とする例が挙げられており、カメラ１７０を具備するウェアラブルツール１００を装着する作業者１０の動きに応じて元領域が変動し、異なる元領域を捉えた元画像１７１ａ～１７３ａが取得されるが、いずれの元画像１７１ａ～１７３ａにも識別子３０が含まれる必要があることが記載されている（特許文献１の段落００６３～００６５、図６、図７等）。
したがい、例えば、保守対象に近接して保守対象の細部を撮像しようとしても、元画像中に識別子が含まれる範囲でしか近接できないというような制約が生じる。

【0007】

また、特許文献１に記載のシステムでは、識別子を基準として２次元的に第１画像部分（保守対象に対応する部分）を特定する構成であるため、識別子が貼り付けられた保守対象を識別子に対向する特定の一方向から撮像しなければならないという制約が生じる。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２０１７－２１１７６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は、上記従来技術の問題点を解決するためになされたものであり、保守対象以外の機密情報等の漏洩を防止可能で且つ撮像条件の制約が少ない保守支援システム、保守支援方法及びプログラムを提供することを課題とする。

【課題を解決するための手段】

【0010】

前記課題を解決するため、本発明は、撮像手段を具備し保守作業者が装着するウェアラブル端末と、初期状態の前記撮像手段で保守対象を撮像して取得した撮像画像における所定の基準点を基準として、前記保守対象を含む所定の３次元領域を特定する第１特定手段と、前記基準点に対する前記初期状態の前記撮像手段の位置を特定する第２特定手段と、前記ウェアラブル端末が移動した移動後状態において、前記撮像手段の前記初期状態からの位置の変化を特定する第３特定手段と、前記第２特定手段で特定した前記基準点に対する前記初期状態の前記撮像手段の位置と、前記３特定手段で特定した前記移動後状態の前記撮像手段の前記初期状態からの位置の変化とに基づき、前記移動後状態の前記撮像手段を基準とする前記基準点の位置を特定し、前記特定した基準点の位置と、前記第１特定手段で特定した前記３次元領域とに基づき、前記移動後状態の前記撮像手段で取得した撮像画像における前記３次元領域に対応する有効画素領域を特定する第４特定手段と、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第４特定手段で特定した前記有効画素領域を除くマスク画素領域を不可視にした加工画像を生成する加工画像生成手段と、前記加工画像生成手段で生成した前記加工画像を保守支援者側端末に送信する通信手段と、を備えることを特徴とする保守支援システムを提供する。

【0011】

本発明によれば、第１特定手段によって、初期状態の撮像手段で保守対象を撮像して取得した撮像画像における所定の基準点を基準として、保守対象を含む所定の３次元領域が特定される。本発明における「初期状態の撮像手段」とは、所定の基準点が撮像画像中に位置する状態にある撮像手段を意味する。具体的には、例えば、基準点が保守対象に付されたマーカによって規定されている場合、初期状態の撮像手段とは、このマーカを撮像し識別できる位置にある撮像手段を意味する。

【0012】

次に、本発明によれば、第２特定手段によって、基準点に対する初期状態の撮像手段の位置が特定される。すなわち、初期状態の撮像手段の基準点からの距離及び方向が特定される。具体的には、例えば、基準点が保守対象に付されたマーカによって規定されている場合、初期状態の撮像手段がどの位置からマーカを撮像したのかがマーカによって規定される基準点を基準として特定される。

【0013】

次に、本発明によれば、第３特定手段によって、ウェアラブル端末が移動した移動後状態において、撮像手段の初期状態からの位置の変化が特定される。保守作業者が移動すると、保守作業者が装着するウェアラブル端末も移動し、ウェアラブルが具備する撮像手段も移動することになる。この際、第３特定手段によって、移動後状態の撮像手段の初期状態からの位置の変化が特定されることになる。

【0014】

次に、本発明によれば、第４特定手段によって、まず、第２特定手段で特定した基準点に対する初期状態の撮像手段の位置と、第３特定手段で特定した移動後状態の撮像手段の初期状態からの位置の変化とに基づき、移動後状態の撮像手段を基準とする基準点の位置が特定される。具体的には、第２特定手段で特定した基準点に対する初期状態の撮像手段の位置を、基準点を始点とするベクトルＡとし、第３特定手段で特定した移動後状態の撮像手段の初期状態からの位置の変化を、初期状態の撮像手段を始点とするベクトルＢとすると、基準点を基準とする移動後状態の撮像手段の位置は、ベクトルＡとベクトルＢの合成ベクトルで表わされることになる。したがい、移動後状態の撮像手段を基準とする基準点の位置は、上記合成ベクトルの逆ベクトルＣとして特定されることになる。
そして、第４特定手段によって、特定した基準点の位置（すなわち、移動後状態の撮像手段を基準とする上記の逆ベクトルＣ）と、第１特定手段で特定した３次元領域とに基づき、移動後状態の撮像手段で取得した撮像画像における３次元領域に対応する有効画素領域が特定される。具体的には、まず、特定した基準点の位置（逆ベクトルＣ）と、第１特定手段で特定した３次元領域（基準点を基準とする３次元領域）とに基づき、移動後状態の撮像手段を基準とする３次元領域が特定される。換言すれば、基準点を基準とする３次元座標系で表わされた３次元領域が、移動後状態の撮像手段を基準とする３次元座標系で表わされることになる。この撮像手段を基準とする３次元座標系で表わされた３次元領域が、移動後状態の撮像手段の視野内のどの部分に写るか、換言すれば、撮像手段で取得した撮像画像におけるどの画素領域に対応するのかは幾何学演算で特定できるため、撮像画像における３次元領域に対応する有効画素領域を特定可能である。そして、移動後状態の撮像手段で取得した撮像画像に基準点が含まれる必要はない。

【0015】

次に、本発明によれば、加工画像生成手段によって、第４特定手段で特定した有効画素領域を除くマスク画素領域を不可視にした加工画像が生成される。本発明における「マスク画素領域を不可視にした加工画像」としては、例えば、撮像画像と写っている領域は同じであるが撮像画像におけるマスク画素領域を黒塗りにした画像や、撮像画像から有効画素領域のみを切り出した画像を挙げることができる。３次元領域が保守対象を含み、有効画素領域が３次元領域に対応するため、３次元領域を保守対象よりも過度に大きく設定しない限り、有効画素領域を除くマスク画素領域を不可視にした加工画像には、保守対象以外の機密情報等に対応する画素領域が含まれないことになる。

【0016】

最後に、本発明によれば、通信手段によって、加工画像生成手段で生成した加工画像が保守支援者側端末に送信される。したがい、保守支援者側端末では、有効画素領域に対応する３次元領域に含まれる保守対象のみが視認され、保守対象以外の機密情報等の漏洩を防止可能である。

【0017】

以上に説明したように、本発明によれば、初期状態の撮像手段で取得した撮像画像に基準点が含まれればよく、ウェアラブル端末が移動した移動後状態の撮像手段で取得した撮像画像中に基準点が含まれる必要はない。また、本発明によれば、保守対象を含む所定の３次元領域を特定するため、撮像手段の撮像方向に制約を受けない。したがい、保守対象以外の機密情報等の漏洩を防止可能で且つ撮像条件の制約が少ない。
なお、本発明において、「ウェアラブル端末が移動した移動後状態」とは、移動量が０の場合（すなわち、撮像手段が初期状態である場合）も含む概念である。したがい、加工画像生成手段では、初期状態の撮像手段で取得した撮像画像に対してもマスク画素領域を不可視にした加工画像が生成されることになる。
本発明において、好ましくは、前記移動後状態の前記撮像手段で取得した撮像画像中に前記基準点が含まれる必要がない。

【0018】

好ましくは、前記基準点は、前記保守対象に付されたマーカによって規定されている。
具体的には、例えば、撮像画像におけるマーカに対応する画素領域の中心点が基準点とされる。マーカとしては、ＡＲマーカ、ＱＲコード（登録商標）、バーコード等を例示できる。また、保守対象にマーカを付す方法としては、貼付の他、印刷や刻印を例示できる。

【0019】

好ましくは、前記第２特定手段は、前記初期状態の前記撮像手段で取得した撮像画像における前記マーカに対応する画素領域の大きさ、位置及び形状に基づき、前記基準点に対する前記初期状態の前記撮像手段の位置を特定する。

【0020】

マーカに対する初期状態の撮像手段の距離が変化すれば、撮像手段で取得した撮像画像におけるマーカに対応する画素領域の大きさが変化する。また、マーカに対する初期状態の撮像手段の方向（マーカと撮像手段の撮像素子群の中心とを結ぶ直線の方向）が変化すれば、撮像手段で取得した撮像画像におけるマーカに対応する画素領域の位置や形状が変化する。したがい、上記の好ましい構成において、例えば、第２特定手段に、マーカに対応する画素領域の大きさと撮像手段の距離との対応関係（検量線）、及び、マーカに対応する画素領域の位置及び形状に関する特徴量と撮像手段の方向との対応関係（検量線）を予め調べて記憶しておけば、これらの対応関係と、撮像画像におけるマーカに対応する画素領域の大きさ、位置及び形状とに基づき、基準点に対する初期状態の撮像手段の位置（距離及び方向）を特定可能である。
なお、マーカに対応する画素領域の形状に関する特徴量としては、マーカに対応する画素領域の縦横比（マーカが矩形である場合）や、真円度（マーカが円形である場合）など、撮像手段の方向に応じて異なるマーカの映り方が反映され、公知の画像処理で算出可能な種々の特徴量を使用可能である。

【0021】

好ましくは、前記第２特定手段は、前記ウェアラブル端末に取り付けられ前記撮像手段と略同一の視線方向を有する距離画像センサを具備し、前記距離画像センサで取得した距離画像における前記マーカに対応する画素領域の濃度値、位置及び形状に基づき、前記基準点に対する前記初期状態の前記撮像手段の位置を特定する。

【0022】

距離画像センサ（デプスカメラや３Ｄカメラともいう）は、例えば、ＴＯＦ（Time Of Flight）方式によって視野内における被写体までの距離を測定し、被写体までの距離が各画素の濃度値で表わされた距離画像を取得するセンサである。
マーカに対する初期状態の撮像手段の距離が変化すれば、マーカに対する距離画像センサの距離も同様に変化する。マーカに対する距離画像センサの距離が変化すれば、距離画像センサで取得した距離画像におけるマーカに対応する画素領域の濃度値が変化する。また、マーカに対する初期状態の撮像手段の方向が変化すれば、マーカに対する距離画像センサの方向も同様に変化する。マーカに対する距離画像センサの方向が変化すれば、距離画像センサで取得した距離画像におけるマーカに対応する画素領域の位置や形状が変化する。したがい、上記の好ましい構成において、例えば、第２特定手段に、距離画像におけるマーカに対応する画素領域の濃度値と撮像手段の距離との対応関係（検量線）、及び、距離画像におけるマーカに対応する画素領域の位置及び形状に関する特徴量と撮像手段の方向との対応関係（検量線）を予め調べて記憶しておけば、これらの対応関係と、距離画像におけるマーカに対応する画素領域の濃度値、位置及び形状とに基づき、基準点に対する初期状態の撮像手段の位置（距離及び方向）を特定可能である。

【0023】

なお、マーカによって規定された基準点に対する初期状態の撮像手段の位置を特定するには、第２特定手段として、エム・ソフト社製のＡＲ開発ライブラリ「ARToolKit」を用いることも可能である。
具体的には、マーカとして、平行四辺形（正方形、長方形を含む）のマーカを用いる。そして、マーカを撮像した撮像画像に対して「ARToolKit」を用いて、マーカの４辺を含む四角錐の面を作成する。次いで、「ARToolKit」で、この四角錐の面の向かい合った面の交線ベクトルを求め、この交線ベクトルの外積に基づきマーカ面に対する法線方向を算出することで、マーカによって規定された基準点に対する初期状態の撮像手段の位置を特定可能である。

【0024】

好ましくは、前記第３特定手段は、前記ウェアラブル端末に取り付けられた慣性センサを具備する。

【0025】

慣性センサは、例えば、３軸の加速度センサと３軸の角速度センサ（ジャイロセンサ）とから構成されるセンサである。
したがい、上記の好ましい構成において、慣性センサによってウェアラブル端末の加速度及び角速度を検出することができる。換言すれば、ウェアラブル端末が具備する撮像手段の加速度及び角速度を検出することができる。この慣性センサの検出結果を用いることで、第３特定手段は、移動後状態の撮像手段の初期状態からの位置の変化を特定可能である。

【0026】

好ましくは、前記ウェアラブル端末は、ヘッドマウントディスプレイを具備し、前記ヘッドマウントディスプレイは、前記ヘッドマウントディスプレイに前記撮像画像を表示する状態と、前記ヘッドマウントディスプレイに前記加工画像を認識可能に表示する状態とが切り替え可能に構成されている。

【0027】

上記の好ましい構成によれば、ヘッドマウントディスプレイに撮像画像を表示する状態では、例えば、マスク画素領域を黒塗りにした加工画像を表示する場合と異なり、保守作業者の視界を遮る部分が無いため、保守作業を安全に行うことが可能である。なお、上記の好ましい構成における「撮像画像を表示する状態」とは、ＭＲヘッドセットのように、ヘッドマウントディスプレイに撮像手段で取得した撮像画像を実際に表示する状態（保守作業者がこの表示された撮像画像を視認する状態）の他、透過型のＡＲヘッドセットのように、ヘッドマウントディスプレイが透過型であり、保守作業者が何も表示されていない透過型のヘッドマウントディスプレイを介して保守対象を直接視認できる状態も含む概念である。
一方、上記の好ましい構成によれば、ヘッドマウントディスプレイに加工画像を認識可能に表示する状態では、保守作業者にも保守支援者側端末に送信される加工画像を認識可能である。このため、保守対象以外の機密情報等の漏洩が防止されていることを保守作業者も確認可能であり、保守作業者に安心感を与えることができる。なお、上記の好ましい構成における「加工画像を認識可能に表示する状態」には、保守支援者側端末に送信される加工画像と同じもの（撮像画像と写っている領域は同じであるが撮像画像におけるマスク画素領域を黒塗りにした画像や、撮像画像から有効画素領域のみを切り出した画像など）を表示する状態の他、撮像画像にマスク画素領域と有効領域との境界線をオーバレイした画像を表示する状態や、表示画面の一部（例えば片隅）に加工画像を縮小して表示する状態なども含まれる。

【0028】

好ましくは、前記第１特定手段、前記第２特定手段、前記第３特定手段、前記第４特定手段、前記加工画像生成手段及び前記通信手段が、前記ウェアラブル端末に取り付けられている。

【0029】

上記の好ましい構成によれば、撮像手段で保守対象を撮像して取得した撮像画像におけるマスク画素領域を不可視にした加工画像を生成し、この加工画像を保守支援者側端末に送信するまでの一連の動作を実行する各手段の全てがウェアラブル端末に取り付けられている。これは、ウェアラブル端末自体に取り付けられたセンサ（第２特定手段や第３特定手段）によってウェアラブル端末（撮像手段）の位置を検出するインサイドアウト方式の構成になっている。ウェアラブル端末とは別体の外部デバイスを用いてウェアラブル端末の位置を検出するアウトサイドイン方式の構成（例えば、ウェラブル端末が具備する撮像手段とは別の外部に設置した撮像手段を用いて、ウェアラブル端末（ウェアラブル端末の具備する撮像手段）の位置を検出する構成など）の場合、ウェアラブル端末に必要な消費電力が低下するという利点があるものの、外部デバイスとウェアラブル端末との間に遮蔽物が存在しないなどの環境面での制約や、高精度の外部デバイスが必要になるため高コストになる欠点がある。したがい、上記の好ましい構成にすることで、低コストで、環境面での制約が少ないという利点が得られる。

【0030】

好ましくは、本発明は、前記保守支援者側端末を備え、前記保守支援者側端末は、前記通信手段と双方向にデータ通信可能に構成されている。

【0031】

上記の好ましい構成によれば、保守支援者側端末と通信手段とが双方向にデータ通信可能であるため、通信手段から保守支援者側端末に加工画像を送信するだけではなく、逆に保守支援者側端末から通信手段に、保守作業用の画像を送信したり、保守作業の内容を指示する音声データを送信したり等、本発明に係る保守支援システムだけを用いて効果的な保守作業を行うことが可能である。
なお、上記の好ましい構成に加えて、保守対象（例えば、基板処理装置等の産業用機器）から保守支援者側端末にデータ通信可能な構成とし、例えば、保守対象で得られるプロセスログデータ（保守対象のプロセスに関わる測定値や設定値）を保守支援者側端末に送信すれば、保守支援者はこのプロセスログデータを参照しながら、保守作業の内容を指示することができ、より一層効果的な保守作業を行うことが可能である。
本発明における保守対象は、好ましくは、基板処理装置等の産業用機器である。
また、本発明において、前記第３特定手段が故障した場合、前記加工画像生成手段が前記撮像画像における全ての画素領域を不可視にした加工画像を生成するか、或いは、前記通信手段が前記加工画像の送信を停止することが好ましい。

【0032】

なお、前記課題を解決するため、本発明は、撮像手段を具備し保守作業者が装着するウェアラブル端末を用いた保守支援方法であって、第１特定手段によって、初期状態の前記撮像手段で保守対象を撮像して取得した撮像画像における所定の基準点を基準として、前記保守対象を含む所定の３次元領域を特定する第１特定工程と、第２特定手段によって、前記基準点に対する前記初期状態の前記撮像手段の位置を特定する第２特定工程と、第３特定手段によって、前記ウェアラブル端末が移動した移動後状態において、前記撮像手段の前記初期状態からの位置の変化を特定する第３特定工程と、第４特定手段によって、前記第２特定工程で特定した前記基準点に対する前記初期状態の前記撮像手段の位置と、前記３特定工程で特定した前記移動後状態の前記撮像手段の前記初期状態からの位置の変化とに基づき、前記移動後状態の前記撮像手段を基準とする前記基準点の位置を特定し、前記特定した基準点の位置と、前記第１特定工程で特定した前記３次元領域とに基づき、前記移動後状態の前記撮像手段で取得した撮像画像における前記３次元領域に対応する有効画素領域を特定する第４特定工程と、加工画像生成手段によって、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第４特定工程で特定した前記有効画素領域を除くマスク画素領域を不可視にした加工画像を生成する加工画像生成工程と、通信手段によって、前記加工画像生成工程で生成した前記加工画像を保守支援者側端末に送信する通信工程と、を含むことを特徴とする保守支援方法としても提供される。

【0033】

また、前記課題を解決するため、本発明は、前記保守支援方法が含む前記第１特定工程、前記第２特定工程、前記第３特定工程、前記第４特定工程、前記加工画像生成工程及び前記通信工程を、前記第１特定手段、前記第２特定手段、前記第３特定手段、前記第４特定手段、前記加工画像生成手段及び前記通信手段にそれぞれ実行させるためのプログラムとしても提供される。
なお、上記のプラグラムを記憶させたコンピュータ（ＣＰＵ）で読み取り可能な記憶媒体として提供することも可能である。

【発明の効果】

【0034】

本発明によれば、保守対象以外の機密情報等の漏洩を防止可能で且つ撮像条件の制約が少ないという効果が得られる。

【図面の簡単な説明】

【0035】

【図1】本発明の一実施形態に係る保守支援システムの概略構成を模式的に示す図である。

【図2】図１に示す保守支援システムの概略動作を説明する説明図である。

【図3】図１に示す初期状態の撮像手段で取得した撮像画像及び加工画像生成手段で生成した加工画像の一例を示す図である。

【図4】図１に示すウェアラブル端末が移動した移動後状態の撮像手段で取得した撮像画像及び加工画像生成手段で生成した加工画像の一例を示す図である。

【発明を実施するための形態】

【0036】

以下、添付図面を参照しつつ、本発明の一実施形態に係る保守支援システムについて説明する。
図１は、本実施形態に係る保守支援システムの概略構成を模式的に示す図である。図１（ａ）は全体構成図であり、図１（ｂ）はウェアラブル端末及びこれに取り付けられた構成要素を示す図であり、図１（ｃ）は図１（ｂ）に示す制御信号処理手段の内部構成を示すブロック図である。
図１（ａ）に示すように、本実施形態に係る保守支援システム１００は、ウェアラブル端末１と、保守支援者側端末２と、制御信号処理手段３と、を備えている。

【0037】

ウェアラブル端末１は、保守対象（基板処理装置等の産業用機器等）の設置現場に居て保守作業を行う保守作業者が装着する端末である。
図１（ｂ）に示すように、本実施形態のウェアラブル端末１は、眼鏡型のウェアラブル端末とされており、保守作業者が耳に掛けるフレーム１１を具備する。また、ウェアラブル端末１は、フレーム１１の前側中央（保守作業者がフレーム１１を耳に掛けたときに保守作業者の眉間近傍に相当する位置）に撮像手段１２を具備する。本実施形態の撮像手段１２としては、カラー（ＲＧＢ）カメラが用いられている。そして、撮像手段１２の視線方向は、保守作業者がフレーム１１を耳に掛けたときの保守作業者の視線方向と略平行になるように設定されている。さらに、ウェアラブル端末１は、フレーム１１の前側に取り付けられ、保守作業者がフレーム１１を耳に掛けたときに保守作業者の視界前方を覆うヘッドマウントディスプレイ１３を具備する。本実施形態のヘッドマウントディスプレイ１３としては、透過型のものが用いられている。したがい、ヘッドマウントディスプレイ１３に何も表示しない場合には、通常の眼鏡と同じように使用することが可能である。

【0038】

図１（ｂ）に示すように、本実施形態のウェアラブル端末１には、撮像手段１２と略同一の視線方向を有する距離画像センサ３２ａが取り付けられている。具体的には、距離画像センサ３２ａは、フレーム１１の前側中央において、撮像手段１２の下方に取り付けられている。距離画像センサ３２ａとしては、例えば、ＴＯＦ方式の距離画像センサが用いられる。なお、距離画像センサ３２ａは、後述の第２特定手段３２のハードウェア部分を構成している。

【0039】

また、本実施形態のウェアラブル端末１には、慣性センサ３３ａが取り付けられている。具体的には、フレーム１１の側方に慣性センサ３３ａが取り付けられている。慣性センサ３３ａは、３軸の加速度センサと３軸の角速度センサとから構成されている。なお、慣性センサ３３ａは、後述の第３特定手段３３のハードウェア部分を構成している。

【0040】

さらに、本実施形態のウェアラブル端末１のフレーム１１の側方には、スピーカ４及びマイクロフォン５も取り付けられている。

【0041】

以上に説明したような構成を有するウェアラブル端末１は、例えば、マイクロソフト社製のスマートグラスである「HoloLens」を用い、これに改良を加えることで構成可能である。

【0042】

保守支援者側端末２は、インターネット等の電気通信回線Ｎを通じて、ウェアラブル端末１（具体的には、ウェアラブル端末１に取り付けられた制御信号処理手段３）と電気的に接続されている。保守支援者側端末２は、後述の通信手段３６と双方向にデータ通信可能に構成されている。保守支援者側端末２としては、例えばデスクトップ型のコンピュータを用いることができるが、これに限るものではなく、ラップトップ型のコンピュータ、タブレット型のコンピュータ、スマートフォン等、後述のように加工画像を表示できる限りにおいて、種々の端末を用いることができる。
なお、本実施形態の保守支援者側端末２は、必須の構成ではないが、電気通信回線Ｎを通じて、保守対象Ｔとも電気的に接続されている。具体的には、例えば、保守対象Ｔのプロセスログデータ（保守対象Ｔのプロセスに関わる測定値や設定値）を収集するコンピュータ（図１（ａ）には図示せず）が設けられ、このコンピュータが、電気通信回線Ｎを通じて、保守支援者側端末２と電気的に接続されている。そして、保守対象Ｔで得られるプロセスログデータが保守支援者側端末２に逐次送信され、保守支援者側端末２に記憶されるように構成されている。
また、本実施形態の保守支援者側端末２は、必須の構成ではないが、電気通信回線Ｎに電気的に接続されたサーバ６を介して、ウェアラブル端末１及び／又は保守対象Ｔに電気的に接続されている。サーバ６を設けることで、保守支援者側端末２に接続されたウェアラブル端末１や保守対象ＴのＩＤ（識別情報）の管理や利用履歴の管理が容易になる。

【0043】

制御信号処理手段３は、ウェアラブル端末１（フレーム１１の側方）に取り付けられ、撮像手段１２、ヘッドマウントディスプレイ１３、距離画像センサ３２ａ、慣性センサ３３ａ、スピーカ４及びマイクロフォン５の各構成要素に電気的に接続されており、各構成要素を制御したり、各構成要素の出力信号を処理する機能を有する。
制御信号処理手段３は、主として、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、該メモリに記憶され、ＣＰＵに後述の動作を実行させるプログラムと、によって構成されている。

【0044】

図１（ｃ）に示すように、制御信号処理手段３は、第１特定手段３１としての動作をＣＰＵに実行させるプログラムと、第２特定手段３２のソフトウェア部分３２ｂの動作をＣＰＵに実行させるプログラムと、第３特定手段３３のソフトウェア部分３３ｂの動作をＣＰＵに実行させるプログラムと、第４特定手段３４としての動作をＣＰＵに実行させるプログラムと、加工画像生成手段３５としての動作をＣＰＵに実行させるプログラムと、を具備する。また、制御信号処理手段３は、通信手段３６を具備する。通信手段３６は、アンテナや、アンテナを動作させるプログラム等によって構成されている。
なお、上記のようなプログラムの更新は、所定のコンピュータと制御信号処理手段３とをＵＳＢケーブル等で直接接続して行ってもよいし、サーバ６から直接アップデートしてもよい。

【0045】

本実施形態では、第１特定手段３１、第２特定手段３２（距離画像センサ３２ａ、ソフトウェア部分３２ｂ）、第３特定手段３３（慣性センサ３３ａ、ソフトウェア部分３３ｂ）、第４特定手段３４、加工画像生成手段３５及び通信手段３６の全てがウェアラブル端末１に取り付けられている。これは、後述のように、ウェアラブル端末１自体に取り付けられたセンサによってウェアラブル端末１（撮像手段１２）の位置を検出する、インサイドアウト方式の構成である。具体的には、第２特定手段３２によってウェアラブル端末１（撮像手段１２）の初期状態の位置を特定したり、第３特定手段３３によってウェアラブル端末１（撮像手段１２）の位置の変化を特定するインサイドアウト方式の構成であるため、低コストで、環境面での制約が少ないという利点が得られる。

【0046】

以下、以上に説明した概略構成を有する本実施形態に係る保守支援システム１００の動作（保守支援方法）について、図１に加えて図２～図４を参照しつつ説明する。
図２は、本実施形態に係る保守支援システム１００の概略動作を説明する説明図である。図２では、ウェアラブル端末１を装着した保守作業者の図示を省略している。図３は、初期状態の撮像手段１２で取得した撮像画像及び加工画像生成手段３５で生成した加工画像の一例を示す図である。図３（ａ）は撮像画像の一例を、図３（ｂ）は加工画像の一例を示す。図４は、ウェアラブル端末１が移動した移動後状態の撮像手段１２で取得した撮像画像及び加工画像生成手段３５で生成した加工画像の一例を示す図である。図４（ａ）は撮像画像の一例を、図４（ｂ）は加工画像の一例を示す。なお、図３（ａ）及び図３（ｂ）には、説明の便宜上、３次元領域ＴＡの境界線を破線で図示しているが、実際の撮像画像に境界線は存在しない。

【0047】

図２に示すように、本実施形態の保守対象Ｔの前面には、基準点を規定するマーカＭが貼付されている。保守対象Ｔの前面には、部材Ｔ１～Ｔ３が設けられている。保守対象Ｔの隣には、機密情報に関わる装置Ｓが配置されている。
まず、ウェアラブル端末１を装着した保守作業者は、ウェアラブル端末１の撮像手段１２でマーカＭを撮像できるように、マーカＭに正対する位置に移動する。そして、この初期状態の撮像手段１２（図２に実線で図示するウェアラブル端末１が具備する撮像手段１２）で保守対象Ｔを撮像して、図３（ａ）に示すような撮像画像（動画）を取得する。

【0048】

次に、第１特定手段３１が、取得した撮像画像に所定の画像処理を施すことでマーカＭに対応する画素領域を抽出し、この画素領域から基準点（例えば、画素領域の中心点）を特定する。そして、第１特定手段３１は、この基準点を基準として、保守対象Ｔを含む所定の３次元領域（例えば、直方体形状の３次元領域）ＴＡを特定する。具体的には、例えば、第１特定手段３１には、マーカＭで表される識別情報に関連付けて、基準点を基準とする３次元座標系（図２に示すＸ１軸、Ｙ１軸及びＺ１軸を有する３次元座標系）で表された３次元領域ＴＡの各頂点Ｐ１～Ｐ８の座標が記憶されている。そして、第１特定手段３１は、マーカＭに対応する画素領域の特徴量を演算し、この特徴量からマーカＭの識別情報を特定し、特定した識別情報に関連付けて記憶された各頂点Ｐ１～Ｐ８の座標に基づき、基準点を基準とする３次元座標系で表された３次元領域ＴＡを特定する。
また、第１特定手段３１が、マーカＭに対応する画素領域の特徴量を演算することで、基準点を基準とする３次元座標系（Ｘ１軸、Ｙ１軸及びＺ１軸を有する３次元座標系）で表された３次元領域ＴＡの各頂点Ｐ１～Ｐ８の座標を直接算出する構成を採用することも可能である。すなわち、マーカＭが各頂点Ｐ１～Ｐ８の座標に対応する模様等を有し、予め決められたこの模様等の特徴量を演算することで、各頂点Ｐ１～Ｐ８の座標が算出できるように構成することも可能である。

【0049】

なお、本実施形態では、精度の高い特定が可能なように、マーカＭを用いて基準点を規定し、この基準点を基準として３次元領域ＴＡを特定する態様について説明したが、本発明はこれに限るものではない。例えば、ヘッドマウントディスプレイ１３に表示された撮像画像の任意の点をＡＲカーソルを用いてクリックし、クリックした位置を基準点とする態様を採用することも可能である。また、例えば、ヘッドマウントディスプレイ１３に表示された撮像画像をＡＲカーソルを用いてクリックすることで３次元領域ＴＡの各頂点Ｐ１～Ｐ８を指定し、これらの何れかを基準点する態様を採用することも可能である。さらに、第１特定手段３１が撮像画像に所定の画像処理を施すことで、保守対象Ｔの特徴的な部位（角部等）に対応する画素領域を抽出し、この画素領域の中心を基準点とする態様を採用することも可能である。

【0050】

次に、第２特定手段３２が、基準点に対する初期状態の撮像手段１２の位置を特定する。換言すれば、第２特定手段３２は、初期状態の撮像手段１２がどれだけ離れた距離から及びどの方向からマーカＭを撮像したのかをマーカＭによって規定される基準点を基準として特定（図２に示すＸ１軸、Ｙ１軸及びＺ１軸を有する３次元座標系で特定）する。すなわち、第２特定手段３２は、基準点を始点とし、撮像手段１２を終点とする図２に示すベクトルＡを特定する。
具体的には、第２特定手段３２を構成する距離画像センサ３２ａによって、マーカＭに対応する画素領域を含む距離画像を取得する。そして、第２特定手段３２を構成するソフトウェア部分３２ｂが、取得した距離画像に所定の画像処理を施すことでマーカＭに対応する画素領域を抽出し、この画素領域の濃度値、位置及び形状に基づき、基準点に対する初期状態の撮像手段１２の位置（ベクトルＡ）を特定する。より具体的には、第２特定手段３２を構成するメモリに、距離画像におけるマーカＭに対応する画素領域の濃度値と撮像手段１２の距離との対応関係（検量線）、及び、距離画像におけるマーカＭに対応する画素領域の位置及び形状に関する特徴量と撮像手段１２の方向との対応関係（検量線）が予め記憶されており、第２特定手段３２を構成するソフトウェア部分３２ｂが、これらの対応関係と、距離画像におけるマーカＭに対応する画素領域の濃度値、位置及び形状とに基づき、基準点に対する初期状態の撮像手段１２の位置を特定する。

【0051】

なお、本実施形態では、第２特定手段３２の構成要素として距離画像センサ３２ａを用いて、基準点に対する初期状態の撮像手段１２の位置（ベクトルＡ）を特定しているが、本発明はこれに限るものではない。例えば、第２特定手段３２が撮像手段１２で取得した撮像画像を用いる態様を採用することも可能である。
具体的には、第２特定手段３２（第２特定手段３２を構成するソフトウェア部分３２ｂ）が、初期状態の撮像手段１２で取得した撮像画像におけるマーカＭに対応する画素領域の大きさ、位置及び形状に基づき、基準点に対する初期状態の撮像手段１２の位置（ベクトルＡ）を特定することも可能である。より具体的には、第２特定手段３２を構成するメモリに、マーカＭに対応する画素領域の大きさと撮像手段１２の距離との対応関係（検量線）、及び、マーカＭに対応する画素領域の位置及び形状に関する特徴量と撮像手段１２の方向との対応関係（検量線）を予め記憶させておけば、第２特定手段３２を構成するソフトウェア部分３２ｂが、これらの対応関係と、撮像画像におけるマーカＭに対応する画素領域の大きさ、位置及び形状とに基づき、基準点に対する初期状態の撮像手段１２の位置を特定可能である。

【0052】

次に、ウェアラブル端末１を装着した保守作業者が移動することで、ウェアラブル端末１も移動し、移動したウェアラブル端末１が具備する撮像手段１２（図２に破線で図示するウェアラブル端末１が具備する撮像手段１２）で保守対象Ｔを撮像して、図４（ａ）に示すような撮像画像を取得する。この撮像画像には、マーカＭに対応する画素領域が含まれていない。

【0053】

そして、ウェアラブル端末１が移動した際に、第３特定手段３３が、移動後状態の撮像手段１２の初期状態からの位置の変化を特定する。すなわち、第３特定手段３３は、初期状態の撮像手段１２を始点とし、移動後状態の撮像手段１２を終点とする図２に示すベクトルＢを特定する。
具体的には、第３特定手段３３を構成する慣性センサ３によって、ウェアラブル端末１が具備する撮像手段１２の加速度及び角速度を検出する。そして、第３特定手段３３を構成するソフトウェア部分３３ｂが、検出した撮像手段１２の加速度及び角速度を用いて、時間積分等の演算を行うことで、移動後状態の撮像手段１２の初期状態からの位置の変化を特定する。

【0054】

次に、第４特定手段３４が、まず、第２特定手段３２で特定した基準点に対する初期状態の撮像手段１２の位置（ベクトルＡ）と、第３特定手段３３で特定した移動後状態の撮像手段１２の初期状態からの位置の変化（ベクトルＢ）とに基づき、移動後状態の撮像手段１２を基準とする基準点の位置を特定する。具体的には、基準点を基準とする移動後状態の撮像手段１２の位置は、ベクトルＡとベクトルＢの合成ベクトルで表わされることになる。したがい、移動後状態の撮像手段１２を基準とする基準点の位置は、図２に示す上記合成ベクトルの逆ベクトルＣ（移動後の撮像手段１２を始点とし、基準点を終点とするベクトル）として特定されることになる。

【0055】

第４特定手段３４は、上記のようにして移動後状態の撮像手段１２を基準とする基準点の位置（逆ベクトルＣ）を特定した後、特定した基準点の位置（逆ベクトルＣ）と、第１特定手段３１で特定した３次元領域ＴＡとに基づき、移動後状態の撮像手段１２で取得した撮像画像（図４（ａ）参照）における３次元領域ＴＡに対応する有効画素領域を特定する。
具体的には、第４特定手段３４は、まず、特定した基準点の位置（逆ベクトルＣ）と、第１特定手段３１で特定した３次元領域ＴＡ（基準点を基準とする３次元領域、すなわち、図２に示すＸ１軸、Ｙ１軸及びＺ１軸を有する３次元座標系で表された３次元領域）とに基づき、移動後状態の撮像手段１２を基準とする３次元領域ＴＡ（図２に示すＸ２軸、Ｙ２軸及びＺ２軸を有する３次元座標系で表された３次元領域）を特定する。換言すれば、基準点を基準とする３次元座標系（Ｘ１、Ｙ１、Ｚ１）で表わされた３次元領域ＴＡが、移動後状態の撮像手段１２を基準とする３次元座標系（Ｘ２、Ｙ２、Ｚ２）で表わされることになる。この撮像手段１２を基準とする３次元座標系（Ｘ２、Ｙ２、Ｚ２）で表わされた３次元領域ＴＡが、移動後状態の撮像手段１２の視野内のどの部分に写るか、換言すれば、撮像手段１２で取得した撮像画像におけるどの画素領域に対応するのかは幾何学演算で特定できるため、撮像画像における３次元領域ＴＡに対応する有効画素領域を特定可能である。

【0056】

次に、加工画像生成手段３５が、移動後状態の撮像手段１２で取得した撮像画像に対して、第４特定手段３４で特定した有効画素領域を除くマスク画素領域を不可視にした加工画像（動画）を生成する。図４（ｂ）に示す例では、加工画像として、マスク画素領域を黒塗りにした画像が生成されている。ただし、加工画像としては、これに限るものではなく、撮像画像から有効画素領域のみを切り出した画像にすることも可能である。また、マスク画素領域を黒塗りにするのに代えて、モザイク処理を施したり、フォギーをかけたりして、機密情報等の漏洩を防止できる限りにおいて、種々の態様を採用可能である。

【0057】

最後に、通信手段３６が、加工画像生成手段３５で生成した加工画像を電気通信回線Ｎを通じて保守支援者側端末２に送信する。したがい、図４（ａ）に示すように、撮像画像では機密情報に関わる装置Ｓが視認できる状態であっても、保守支援者側端末２では、図４（ｂ）に示すように、有効画素領域に対応する３次元領域ＴＡに含まれる保守対象Ｔのみが視認され、保守対象Ｔ以外の機密情報等の漏洩を防止可能である。
なお、図３（ａ）に示すような初期状態の撮像手段１２で取得した撮像画像に対しても第３特定手段３３、第４特定手段３４、加工画像生成手段３５及び通信手段３６は動作する。これにより、加工画像生成手段３５では、初期状態の撮像手段で取得した撮像画像に対してもマスク画素領域を不可視にした図３（ｂ）に示すような加工画像が生成され、保守支援者側端末２に送信されることになる。

【0058】

なお、第３特定手段３３を構成する慣性センサ３３ａ等が故障した場合には、移動後状態の撮像手段１２の初期状態からの位置の変化を正しく特定できなくなる。これに伴い、移動後状態の撮像手段１２で取得した撮像画像における３次元領域ＴＡに対応する有効画素領域を正しく特定できなくなる。この結果、生成された加工画像に保守対象Ｔ以外の機密情報等が含まれる可能性が生じる。
したがい、慣性センサ３３ａ等が故障した場合には、加工画像生成手段３５が全ての画素領域を不可視にした加工画像を生成するか、或いは、通信手段３６が加工画像の送信を停止する機能を有することが好ましい。また、この際、慣性センサ３３ａ等に故障が生じたことを保守作業者が迅速に把握できるように、ヘッドマウントディスプレイ１３に故障が生じた旨を表示するか、或いは、スピーカ４に故障が生じた旨を音声で通知することが好ましい。
なお、慣性センサ３３ａ等としては、一般的に小型のＭＥＭＳセンサなどが用いられ、センサの検出値（慣性センサ３３ａの場合は加速度及び角速度）が電気信号に変換されて出力される。例えば、慣性センサ３３ａ等に設けられた電気回路がショートする等の故障が生じた場合には、ウェアラブル端末１が移動しても、センサから出力される電気信号に変化が生じない。したがい、例えば、出力される電気信号の単位時間当たりの変化量を所定のしきい値と比較し、変化量がこのしきい値を超えなければ、慣性センサ３３ａ等に故障が生じたと判断する構成を採用することで、慣性センサ３３ａ等の故障を自動的に検出可能である。

【0059】

本実施形態のヘッドマウントディスプレイ１３は、ヘッドマウントディスプレイ１３に撮像画像を表示する状態（具体的には、本実施形態では、透過型のヘッドマウントディスプレイ１３には何も表示されず、保守作業者が何も表示されていないヘッドマウントディスプレイ１３を介して保守対象Ｔを直接視認できる状態）と、ヘッドマウントディスプレイ１３に加工画像を認識可能に表示する状態とが切り替え可能に構成されている。具体的には、例えば、フレーム１１に切り替えボタン（図示せず）を設け、この切り替えボタンを押すことで、制御信号処理手段３が何れかの状態を選択するように制御する態様を採用可能である。
ヘッドマウントディスプレイ１３に撮像画像を表示する状態（保守作業者が保守対象Ｔを直接視認できる状態）では、保守作業者の視界を遮る部分が無いため、保守作業を安全に行うことが可能である。
一方、ヘッドマウントディスプレイ１３に加工画像を認識可能に表示する状態では、保守作業者にも保守支援者側端末２に送信される加工画像を認識可能である。このため、保守対象Ｔ以外の機密情報等の漏洩が防止されていることを保守作業者も確認可能であり、保守作業者に安心感を与えることができる。なお、加工画像を認識可能に表示する状態としては、保守支援者側端末２に送信される加工画像と同じもの（撮像画像と写っている領域は同じであるが撮像画像におけるマスク画素領域を黒塗りにした画像や、撮像画像から有効画素領域のみを切り出した画像など）を表示する状態の他、図３（ａ）や図４（ａ）に示すように、撮像画像にマスク画素領域と有効画素領域との境界線（３次元領域ＴＡの境界線）をオーバレイした画像を表示する状態や、表示画面の一部に加工画像を縮小して表示する状態なども含まれる。

【0060】

なお、本実施形態では、１つの保守対象Ｔに１つの３次元領域ＴＡを特定する場合を例に挙げて説明したが、本発明はこれに限るものではない。例えば、保守対象Ｔが複数ある場合には、保守対象Ｔ毎に例えばマーカＭを付して、保守対象Ｔ毎に３次元領域を特定すればよい。例えば、１つの保守対象Ｔが基板処理装置であり、基板処理装置の部品を取り外して所定の作業机上で修理等の作業を行う場合には、もう一つの保守対象Ｔをこの作業机に設定し、作業机にもマーカＭを付せばよい。

【0061】

また、本実施形態では、３次元領域ＴＡとして、８つの頂点Ｐ１～Ｐ８を有する直方体形状の３次元領域を例に挙げて説明したが、本発明はこれに限るものではない。保守対象Ｔの形状に応じて、８つより多くの点で特定される直方体以外の形状の３次元領域ＴＡを設定することも可能である。

【0062】

また、本実施形態では、保守支援者側端末２に１つのウェアラブル端末１が電気的に接続されている場合を例に挙げて説明したが、本発明はこれに限るものではない。保守支援者側端末２に複数のウェアラブル端末１が電気的に接続されている構成を採用することも可能である。
この場合、複数のウェアラブル端末１の撮像手段１２が同じマーカＭを撮像して同じ３次元領域ＴＡを特定する構成でもよいし、ウェアラブル端末１毎に、撮像すべきマーカＭを異なるものにしたり、特定する３次元領域ＴＡを異なるものにする構成を採用することも可能である。
また、保守支援者側端末２では、複数のウェアラブル端末１から送信された各加工画像を並べて同時に表示したり、或いは、表示する加工画像を切り替え可能にするなど、種々の態様を採用可能である。
さらに、ウェアラブル端末１が１つであっても複数であっても、ウェアラブル端末１に電気的に接続される保守支援者側端末２を複数用意することも可能である。

【0063】

さらに、本実施形態では、図２に示すように、保守対象Ｔに近接した領域を３次元領域ＴＡに設定しているが、本発明はこれに限るものではない。保守対象Ｔが存在しない領域であっても、機密情報に関わる装置Ｓが存在しないことが予め決まっている領域については、この領域が含まれるように、３次元領域ＴＡを広げることも可能である。また、３次元領域ＴＡは繋がった１つの領域に限るものではなく、複数の分離した領域を３次元領域ＴＡとして設定することも可能である。

【0064】

以上に説明した本実施形態に係る保守支援システム１００によれば、例えば、以下のような保守支援を行うことが可能である。

【0065】

（１）保守支援者側端末２に送信された加工画像を保守支援者が視認して、保守対象Ｔを構成する部品の番号を特定する。或いは、加工画像を視認しながら、ウェアラブル端末１のスピーカ４及びマイクロフォン５を用いて保守作業者と保守支援者とが会話し、保守対象Ｔを構成する部品の番号を特定する。或いは、上記会話の音声データに基づいて、保守支援者側端末２で保守対象Ｔを構成する部品の番号を自動的に特定する（例えば、ＡＩ技術を利用して自動認識する）。或いは、保守支援者側端末２で、送信された加工画像の画像データに基づき、例えばＡＩ技術を利用して保守対象Ｔを構成する部品の番号を自動的に特定する。上記の番号の特定に際しては、マーカに保守対象Ｔの識別情報が表わされており、この保守対象Ｔの識別情報に紐付けられた部品構成表（ＢＯＭ）に含まれる番号（例えば、パーツ番号やシリアル番号）を特定することが好ましい。

【0066】

そして、保守支援者側端末２に接続された在庫管理システムに手動で又は自動的にアクセスして、特定した番号に対応する部品の在庫や納期を確認し、その情報を保守支援者側端末２からウェアラブル端末１に取り付けられた通信手段３６に送信して、ヘッドマウントディスプレイ１３に表示する。
従来であれば、例えば、スピーカやマイクロフォンを用いた保守作業者と保守支援者との会話のみで保守対象Ｔを構成する部品のパーツ番号やシリアル番号を特定し、それを手書きでメモし、在庫管理システムに手動でアクセスして、キーボードでパーツ番号やシリアル番号を入力し、対応する部品の在庫や納期を確認する作業になっていた。この従来の作業では、部品のパーツ番号やシリアル番号の聞き取りや書き取りにおけるヒューマンエラーや、在庫管理システムへの番号入力時のヒューマンエラーが生じる可能性があった。また、手動であるため、保守支援に時間を要していた。
しかしながら、本実施形態に係る保守支援システム１００によれば、特に、部品のパーツ番号やシリアル番号を自動的に特定し、在庫管理システムに自動的にアクセスする構成を採用する場合、上記のヒューマンエラーが生じないし、保守支援に要する時間も短縮されるという利点が得られる。

【0067】

（２）上記（１）において、交換部品の手配を行った場合、保守支援者側端末２が交換前のパーツ番号やシリアル番号を転記した作業報告書を自動的に作成する。
上記の構成を採用することにより、ユーザーの業務や生産性の向上（保守支援以外の付加価値）に繋がる。また、交換周期部品のログデータ取りをして、次にいつ頃交換が必要になるかというリコメンド（予防保守）も行える、などの利点もある。

【0068】

なお、本実施形態では、加工画像を保守支援者側端末２に送信する態様について説明したが、必要に応じて、撮像画像をそのまま保守支援者側端末２に送信することも可能である。

【符号の説明】

【0069】

１・・・ウェアラブル端末
２・・・保守支援者側端末
３・・・制御信号処理手段
１２・・・撮像手段
１３・・・ヘッドマウントディスプレイ
３１・・・第１特定手段
３２・・・第２特定手段
３２ａ・・・距離画像センサ
３３・・・第３特定手段
３３ａ・・・慣性センサ
３４・・・第４特定手段
３５・・・加工画像生成手段
３６・・・通信手段
１００・・・保守支援システム
Ｍ・・・マーカ
Ｎ・・・電気通信回線
Ｓ・・・機密情報に関わる装置
Ｔ・・・保守対象
ＴＡ・・３次元領域

【図1】

【図2】

【図3】

【図4】