ホーム > 特許ランキング > ＳＰＰテクノロジーズ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022037675
(43)【公開日】2022-03-09
(54)【発明の名称】遠隔保守支援方法
(51)【国際特許分類】
G06Q 10/00 20120101AFI20220302BHJP
【ＦＩ】
G06Q10/00 300
【審査請求】有
【請求項の数】2
【出願形態】ＯＬ
(21)【出願番号】P 2020141925
(22)【出願日】2020-08-25
(71)【出願人】
【識別番号】511265154
【氏名又は名称】ＳＰＰテクノロジーズ株式会社
(74)【代理人】
【識別番号】110001748
【氏名又は名称】特許業務法人まこと国際特許事務所
(72)【発明者】
【氏名】辻岡 典洋
(72)【発明者】
【氏名】波部 剛士
(72)【発明者】
【氏名】花田 克司
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049CC15
(57)【要約】
【課題】保守作業者に対して情報漏洩に関する安心感を与えつつ、効率的に保守作業者を支援することが可能な遠隔保守支援方法を提供する。
【解決手段】本発明は、複数の保守対象候補Ｔをサーバ３に予め記憶させるステップと、記憶された複数の保守対象候補のうち、保守作業者が保守作業を行う保守対象を特定するステップと、サーバを介した保守作業者側端末２と保守支援者側端末１との双方向のデータ通信を行うか否かを判断するステップと、双方向のデータ通信を行うと判断した場合に、保守作業者側端末が取得した保守対象を含む撮像画像を構成する画素領域のうち、保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を保守作業者側端末が生成するステップと、保守作業者側端末から保守支援者側端末に送信された加工画像を保守支援者が目視して、保守作業者が行う保守対象の保守作業を支援するステップと、を含む。
【選択図】図２
【解決手段】本発明は、複数の保守対象候補Ｔをサーバ３に予め記憶させるステップと、記憶された複数の保守対象候補のうち、保守作業者が保守作業を行う保守対象を特定するステップと、サーバを介した保守作業者側端末２と保守支援者側端末１との双方向のデータ通信を行うか否かを判断するステップと、双方向のデータ通信を行うと判断した場合に、保守作業者側端末が取得した保守対象を含む撮像画像を構成する画素領域のうち、保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を保守作業者側端末が生成するステップと、保守作業者側端末から保守支援者側端末に送信された加工画像を保守支援者が目視して、保守作業者が行う保守対象の保守作業を支援するステップと、を含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
保守支援者が操作する保守支援者側端末と、前記保守支援者側端末に対して遠隔に配置され、保守作業者が操作する保守作業者側端末と、前記保守支援者側端末及び前記保守作業者側端末に電気的に接続されたサーバと、を用いて、前記保守作業者が行う保守対象の保守作業を支援する遠隔保守支援方法であって、
前記保守対象となり得る複数の保守対象候補を前記サーバに予め記憶させる第１ステップと、
前記第１ステップで記憶された前記複数の保守対象候補のうち、前記保守作業者が保守作業を行う前記保守対象を特定する第２ステップと、
前記サーバを介した前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を行うか否かを判断する第３ステップと、
前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守作業者側端末が取得した前記第２ステップで特定した前記保守対象を含む撮像画像を構成する画素領域のうち、前記保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を前記保守作業者側端末が生成する第４ステップと、
前記第４ステップで生成され、前記保守作業者側端末から前記保守支援者側端末に送信された前記加工画像を前記保守支援者が目視して、前記保守作業者が行う前記保守対象の保守作業を支援する第５ステップと、を含む、
ことを特徴とする遠隔保守支援方法。
前記保守対象となり得る複数の保守対象候補を前記サーバに予め記憶させる第１ステップと、
前記第１ステップで記憶された前記複数の保守対象候補のうち、前記保守作業者が保守作業を行う前記保守対象を特定する第２ステップと、
前記サーバを介した前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を行うか否かを判断する第３ステップと、
前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守作業者側端末が取得した前記第２ステップで特定した前記保守対象を含む撮像画像を構成する画素領域のうち、前記保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を前記保守作業者側端末が生成する第４ステップと、
前記第４ステップで生成され、前記保守作業者側端末から前記保守支援者側端末に送信された前記加工画像を前記保守支援者が目視して、前記保守作業者が行う前記保守対象の保守作業を支援する第５ステップと、を含む、
ことを特徴とする遠隔保守支援方法。
【請求項2】
前記保守作業者側端末は、撮像手段を具備し保守作業者が装着するウェアラブル端末である、
ことを特徴とする請求項１に記載の遠隔保守支援方法。
ことを特徴とする請求項１に記載の遠隔保守支援方法。
【請求項3】
前記ウェアラブル端末は、ディスプレイを具備するヘッドマウントディスプレイである、
ことを特徴とする請求項２に記載の遠隔保守支援方法。
ことを特徴とする請求項２に記載の遠隔保守支援方法。
【請求項4】
前記保守対象候補が産業用機器である、
ことを特徴とする請求項１から３の何れかに記載の遠隔保守支援方法。
ことを特徴とする請求項１から３の何れかに記載の遠隔保守支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、保守対象に対する保守作業者の保守作業を遠隔から支援する方法に関する。特に、本発明は、保守作業者に対して情報漏洩に関する安心感を与えつつ、効率的に保守作業者を支援することが可能な遠隔保守支援方法に関する。
【背景技術】
【0002】
従来、一般的に、産業用機器（例えば、基板処理装置）等の保守対象のトラブルが発生した場合、保守対象の設置現場に居る保守作業者が、トラブルの状況を確認した上で、保守対象の製造メーカ側の保守支援者に電話でトラブルの状況を伝え、保守支援者が電話によって保守作業者に各種の指示を出す対応を行っている。
上記の電話対応を行ってもトラブルが解決しない場合には、製造メーカ側の熟練作業者の予定が空いているタイミングで、保守対象の設置現場に熟練作業者を派遣する対応を行っている。
上記の電話対応を行ってもトラブルが解決しない場合には、製造メーカ側の熟練作業者の予定が空いているタイミングで、保守対象の設置現場に熟練作業者を派遣する対応を行っている。
【0003】
上記の電話対応の場合、口頭による意思疎通であるため、トラブルの状況が保守支援者に上手く伝わらなかったり、保守支援者の指示が保守作業者に上手く伝わらず、トラブルが解決できない場合がある。
また、上記の熟練作業者を派遣する対応の場合、即時の対応が難しいという問題がある。
また、上記の熟練作業者を派遣する対応の場合、即時の対応が難しいという問題がある。
【0004】
上記のような問題を解決するため、特許文献１には、保守作業者（第１作業者）の携帯端末（第１携帯端末）と、遠隔地で支援を行う保守支援者（第２作業者）の携帯端末（第２携帯端末）と、サーバと、を備えるシステムを用いた遠隔保守支援方法が提案されている。特許文献１に記載の方法では、サーバが、保守作業者がカメラを用いて撮像した撮像画像における保守対象以外の領域をマスキング処理して、マスキング画像を生成し、このマスキング画像を保守支援者の携帯端末に送信して、保守支援者の携帯端末に表示させている。
【0005】
特許文献１に記載の方法によれば、保守支援者が携帯端末に表示されたマスキング画像によって保守対象を目視できるため、トラブルの状況を把握し易く、電話対応のみで支援する場合に比べて、効率的に保守作業者を支援することができると考えられる。
【0006】
しかしながら、特許文献１に記載の方法では、サーバがマスキング処理を実行するため、保守作業者が保守対象以外の機密情報等の漏洩に関して十分な安心感を得られないという問題がある。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開２０１８－０３６８１２号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、上記従来技術の問題点を解決するためになされたものであり、保守作業者に対して情報漏洩に関する安心感を与えつつ、効率的に保守作業者を支援することが可能な遠隔保守支援方法を提供することを課題とする。
【課題を解決するための手段】
【0009】
前記課題を解決するため、本発明は、保守支援者が操作する保守支援者側端末と、前記保守支援者側端末に対して遠隔に配置され、保守作業者が操作する保守作業者側端末と、前記保守支援者側端末及び前記保守作業者側端末に電気的に接続されたサーバと、を用いて、前記保守作業者が行う保守対象の保守作業を支援する遠隔保守支援方法であって、以下の第１～第５ステップを含むことを特徴とする遠隔保守支援方法を提供する。
（１）第１ステップ：前記保守対象となり得る複数の保守対象候補を前記サーバに予め記憶させる。
（２）第２ステップ：前記第１ステップで記憶された前記複数の保守対象候補のうち、前記保守作業者が保守作業を行う前記保守対象を特定する。
（３）第３ステップ：前記サーバを介した前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を行うか否かを判断する。
（４）第４ステップ：前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守作業者側端末が取得した前記第２ステップで特定した前記保守対象を含む撮像画像を構成する画素領域のうち、前記保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を前記保守作業者側端末が生成する。
（５）第５ステップ：前記第４ステップで生成され、前記保守作業者側端末から前記保守支援者側端末に送信された前記加工画像を前記保守支援者が目視して、前記保守作業者が行う前記保守対象の保守作業を支援する。
（１）第１ステップ：前記保守対象となり得る複数の保守対象候補を前記サーバに予め記憶させる。
（２）第２ステップ：前記第１ステップで記憶された前記複数の保守対象候補のうち、前記保守作業者が保守作業を行う前記保守対象を特定する。
（３）第３ステップ：前記サーバを介した前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を行うか否かを判断する。
（４）第４ステップ：前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守作業者側端末が取得した前記第２ステップで特定した前記保守対象を含む撮像画像を構成する画素領域のうち、前記保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を前記保守作業者側端末が生成する。
（５）第５ステップ：前記第４ステップで生成され、前記保守作業者側端末から前記保守支援者側端末に送信された前記加工画像を前記保守支援者が目視して、前記保守作業者が行う前記保守対象の保守作業を支援する。
【0010】
本発明によれば、第１ステップ及び第２ステップを実行することで、複数の保守対象候補のうち、トラブルが生じて実際に保守作業を行う保守対象が特定される。
次に、第３ステップにおいて、サーバを介した保守作業者側端末と保守支援者側端末との双方向のデータ通信を行うか否かを判断する。双方向のデータ通信を行わなくても保守対象に生じたトラブルを解決できると判断した場合には、以下の第４ステップ及び第５ステップを実行することなく、例えば、従来と同様の電話対応等で保守作業者の保守作業を支援すればよい。
一方、第３ステップにおいて、サーバを介した保守作業者側端末と保守支援者側端末との双方向のデータ通信を行うと判断した場合（例えば、従来の電話対応等では保守対象に生じたトラブルを解決できないと判断した場合）、第４ステップにおいて、保守作業者側端末が取得した保守対象を含む撮像画像（第２ステップで特定した保守対象を含む撮像画像）を構成する画素領域のうち、保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を保守作業者側端末が生成する。このように、保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を、サーバではなく保守作業者側端末が生成するため、保守作業者に対して情報漏洩に関する安心感を与えることができる。
そして、第３ステップにおいて、サーバを介した保守作業者側端末と保守支援者側端末との双方向のデータ通信を行うと判断した場合、第５ステップにおいて、保守作業者側端末から保守支援者側端末に送信された加工画像を保守支援者が目視して、保守作業者が行う保守対象の保守作業を支援する。保守対象が写っている加工画像を保守支援者が目視できるため、保守対象のトラブルの状況を把握し易く、効率的に保守作業者を支援することができる。
以上のように、本発明によれば、保守作業者に対して情報漏洩に関する安心感を与えつつ、効率的に保守作業者を支援することが可能である。
なお、本発明における「撮像画像」及び「加工画像」は、静止画に限るものではなく、動画も含む概念である。
次に、第３ステップにおいて、サーバを介した保守作業者側端末と保守支援者側端末との双方向のデータ通信を行うか否かを判断する。双方向のデータ通信を行わなくても保守対象に生じたトラブルを解決できると判断した場合には、以下の第４ステップ及び第５ステップを実行することなく、例えば、従来と同様の電話対応等で保守作業者の保守作業を支援すればよい。
一方、第３ステップにおいて、サーバを介した保守作業者側端末と保守支援者側端末との双方向のデータ通信を行うと判断した場合（例えば、従来の電話対応等では保守対象に生じたトラブルを解決できないと判断した場合）、第４ステップにおいて、保守作業者側端末が取得した保守対象を含む撮像画像（第２ステップで特定した保守対象を含む撮像画像）を構成する画素領域のうち、保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を保守作業者側端末が生成する。このように、保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を、サーバではなく保守作業者側端末が生成するため、保守作業者に対して情報漏洩に関する安心感を与えることができる。
そして、第３ステップにおいて、サーバを介した保守作業者側端末と保守支援者側端末との双方向のデータ通信を行うと判断した場合、第５ステップにおいて、保守作業者側端末から保守支援者側端末に送信された加工画像を保守支援者が目視して、保守作業者が行う保守対象の保守作業を支援する。保守対象が写っている加工画像を保守支援者が目視できるため、保守対象のトラブルの状況を把握し易く、効率的に保守作業者を支援することができる。
以上のように、本発明によれば、保守作業者に対して情報漏洩に関する安心感を与えつつ、効率的に保守作業者を支援することが可能である。
なお、本発明における「撮像画像」及び「加工画像」は、静止画に限るものではなく、動画も含む概念である。
【0011】
好ましくは、前記保守作業者側端末は、撮像手段を具備し保守作業者が装着するウェアラブル端末である。
【0012】
上記の好ましい方法によれば、保守作業者側端末がタブレット型のコンピュータやスマートフォンである場合と異なり、保守作業者側端末（ウェアラブル端末）を保守作業者が手で持つ必要がないため、保守作業が容易になるという利点が得られる。また、保守作業者が移動すると、保守作業者側端末（ウェアラブル端末）も確実に移動するため、保守作業者の位置に応じて保守対象を含む撮像画像を確実に取得可能である。
【0013】
好ましくは、前記ウェアラブル端末は、ディスプレイを具備するヘッドマウントディスプレイである。
【0014】
上記の好ましい方法によれば、例えば、生成した加工画像を保守支援者側端末に送信する前にディスプレイに表示させることで、保守作業者に対して情報漏洩に関する安心感をより一層与えることができる。
【0015】
本発明は、前記保守対象候補が産業用機器である場合に好適に用いられる。
上記の好ましい方法における「産業用機器」には、一般社団法人日本産業機械工業会で産業機械として定義されている、鉱山機械、化学機械、環境装置、動力伝導装置、タンク、業務用洗濯機、ボイラ・原動機、プラスチック機械、風水力機械、運搬機械、製鉄機械等が含まれる。また、別の観点から、上記の好ましい方法における「産業用機器」には、有体物を製造する製造装置が含まれる。基板処理装置は、産業用機器の一種であり、処理済基板（例えば、エッチング処理を施した基板や、成膜処理を施した基板）を製造する点で、有体物を製造する製造装置の一種である。電子機器がサーバを介して電気的に接続されたＩＴシステムは、有体物を製造する製造装置に含まれず、産業用機器にも含まれない。
上記の好ましい方法における「産業用機器」には、一般社団法人日本産業機械工業会で産業機械として定義されている、鉱山機械、化学機械、環境装置、動力伝導装置、タンク、業務用洗濯機、ボイラ・原動機、プラスチック機械、風水力機械、運搬機械、製鉄機械等が含まれる。また、別の観点から、上記の好ましい方法における「産業用機器」には、有体物を製造する製造装置が含まれる。基板処理装置は、産業用機器の一種であり、処理済基板（例えば、エッチング処理を施した基板や、成膜処理を施した基板）を製造する点で、有体物を製造する製造装置の一種である。電子機器がサーバを介して電気的に接続されたＩＴシステムは、有体物を製造する製造装置に含まれず、産業用機器にも含まれない。
【発明の効果】
【0016】
本発明によれば、保守作業者に対して情報漏洩に関する安心感を与えつつ、効率的に保守作業者を支援することが可能である。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態に係る遠隔保守支援方法を実行するための遠隔保守支援システムの概略構成を模式的に示す図である。
【図2】本発明の一実施形態に係る遠隔保守支援方法の概略工程を示すワークフロー図である。
【発明を実施するための形態】
【0018】
以下、添付図面を参照しつつ、本発明の一実施形態に係る遠隔保守支援方法について、保守対象候補が基板処理装置等の産業用機器である場合を例に挙げて説明する。
最初に、本実施形態に係る遠隔保守支援方法を実行する際に用いられる遠隔保守支援システムの構成について説明する。
最初に、本実施形態に係る遠隔保守支援方法を実行する際に用いられる遠隔保守支援システムの構成について説明する。
【0019】
＜遠隔保守支援システム＞
図１は、本実施形態に係る遠隔保守支援方法を実行するための遠隔保守支援システムの概略構成を模式的に示す図である。図１（ａ）は全体構成図であり、図１（ｂ）は保守作業者側端末を示す図である。
図１（ａ）に示すように、本実施形態の遠隔保守支援システム１００は、保守支援者側端末１と、保守作業者側端末２と、サーバ３と、を備えている。
図１は、本実施形態に係る遠隔保守支援方法を実行するための遠隔保守支援システムの概略構成を模式的に示す図である。図１（ａ）は全体構成図であり、図１（ｂ）は保守作業者側端末を示す図である。
図１（ａ）に示すように、本実施形態の遠隔保守支援システム１００は、保守支援者側端末１と、保守作業者側端末２と、サーバ３と、を備えている。
【0020】
保守支援者側端末１は、保守支援者が操作する端末である。保守支援者側端末１としては、例えば、デスクトップ型のコンピュータを用いることができるが、これに限るものではなく、ラップトップ型のコンピュータ、タブレット型のコンピュータ、スマートフォン等、インターネット等の電気通信回線Ｎを通じてサーバ３と電気的に接続され、サーバ３と双方向にデータ通信可能である限りにおいて、種々の端末を用いることができる。保守支援者側端末１は、保守作業者側端末２との間で、画像データや音声データの双方向のデータ通信が可能となるように、モニタの他、撮像手段、マイクロフォン、スピーカ（図示せず）を具備する。
【0021】
保守作業者側端末２は、保守支援者側端末１に対して遠隔に配置され、保守対象候補Ｔの設置現場に居る保守作業者が操作する端末である。
図１（ｂ）に示すように、本実施形態では、保守作業者側端末２として、保守作業者が顔に装着する眼鏡型のウェアラブル端末（ヘッドマウントディスプレイ）が用いられている。保守作業者側端末２は、保守作業者が耳に掛けるフレーム２１を具備する。また、保守作業者側端末２は、フレーム２１の前側中央（保守作業者がフレーム２１を耳に掛けたときに保守作業者の眉間近傍に相当する位置）に撮像手段２２を具備する。本実施形態の撮像手段２２としては、カラー（ＲＧＢ）カメラが用いられている。そして、撮像手段２２の撮像方向（視線方向）は、保守作業者がフレーム２１を耳に掛けたときの保守作業者の眉間に正対する方向となるように設定されている。さらに、保守作業者側端末２は、フレーム２１の前側に取り付けられ、保守作業者がフレーム２１を耳に掛けたときに保守作業者の視界前方を覆うディスプレイ２３を具備する。本実施形態のディスプレイ２３としては、透過型のものが用いられている。したがい、ディスプレイ２３に何も表示しない場合には、通常の眼鏡と同じように使用することが可能である。後述のように、ディスプレイ２３に加工画像やガイダンスを表示させる場合、実像が見え難い又は見えない状態で表示させてもよいものの、保守作業者の安全を確保する上では、加工画像やガイダンスを半透明に表示させて、保守作業者の視界を遮らないようにすることが好ましい。
図１（ｂ）に示すように、本実施形態では、保守作業者側端末２として、保守作業者が顔に装着する眼鏡型のウェアラブル端末（ヘッドマウントディスプレイ）が用いられている。保守作業者側端末２は、保守作業者が耳に掛けるフレーム２１を具備する。また、保守作業者側端末２は、フレーム２１の前側中央（保守作業者がフレーム２１を耳に掛けたときに保守作業者の眉間近傍に相当する位置）に撮像手段２２を具備する。本実施形態の撮像手段２２としては、カラー（ＲＧＢ）カメラが用いられている。そして、撮像手段２２の撮像方向（視線方向）は、保守作業者がフレーム２１を耳に掛けたときの保守作業者の眉間に正対する方向となるように設定されている。さらに、保守作業者側端末２は、フレーム２１の前側に取り付けられ、保守作業者がフレーム２１を耳に掛けたときに保守作業者の視界前方を覆うディスプレイ２３を具備する。本実施形態のディスプレイ２３としては、透過型のものが用いられている。したがい、ディスプレイ２３に何も表示しない場合には、通常の眼鏡と同じように使用することが可能である。後述のように、ディスプレイ２３に加工画像やガイダンスを表示させる場合、実像が見え難い又は見えない状態で表示させてもよいものの、保守作業者の安全を確保する上では、加工画像やガイダンスを半透明に表示させて、保守作業者の視界を遮らないようにすることが好ましい。
【0022】
また、図１（ｂ）に示すように、本実施形態の保守作業者側端末２は、フレーム２１の側方に取り付けられたマイクロフォン２４及びスピーカ２５を具備する。
【0023】
さらに、図１（ｂ）に示すように、本実施形態の保守作業者側端末２は、フレーム２１の側方に取り付けられた制御信号処理手段２６を具備する。制御信号処理手段２６は、撮像手段２２、ディスプレイ２３、マイクロフォン２４及びスピーカ２５の各構成要素に電気的に接続されており、各構成要素を制御したり、各構成要素の出力信号を処理する機能を有する。また、制御信号処理手段２６は、電気通信回線Ｎを通じてサーバ３と電気的に接続され、サーバ３と双方向にデータ通信可能な通信手段（図示せず）を具備する。
制御信号処理手段２６は、主として、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、該メモリに記憶され、ＣＰＵに各種の動作を実行させるプログラムと、によって構成されている。また、制御信号処理手段２６の通信手段は、アンテナや、アンテナを動作させるプログラム等によって構成されている。
制御信号処理手段２６は、主として、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、該メモリに記憶され、ＣＰＵに各種の動作を実行させるプログラムと、によって構成されている。また、制御信号処理手段２６の通信手段は、アンテナや、アンテナを動作させるプログラム等によって構成されている。
【0024】
以上に説明したような構成を有する保守作業者側端末２は、例えば、マイクロソフト社製のスマートグラスである「HoloLens」（登録商標）を用い、これに改良を加えることで構成可能である。
なお、詳細な説明は割愛するが、保守作業者側端末２には、保守作業者側端末２の現在位置等を把握するために、「HoloLens」等が具備するものと同様の各種の構成要素を更に具備した構成とすることも可能である。これらの構成要素としては、例えば、両眼立体視（ステレオ視）等に用いるための撮像方向が互いに異なる複数の第２の撮像手段を例示できる。また、ＴｏＦ（Time ｏf Flight）方式によって視野内における被写体までの距離を測定し、被写体までの距離が各画素の濃度値で表わされた距離画像を取得する距離画像センサ（デプスカメラや３Ｄカメラともいう）を例示できる。さらに、３軸の加速度センサと、３軸の角速度センサ（ジャイロセンサ）と、３軸の地磁気（方位）センサとから構成された慣性センサを例示できる。
なお、詳細な説明は割愛するが、保守作業者側端末２には、保守作業者側端末２の現在位置等を把握するために、「HoloLens」等が具備するものと同様の各種の構成要素を更に具備した構成とすることも可能である。これらの構成要素としては、例えば、両眼立体視（ステレオ視）等に用いるための撮像方向が互いに異なる複数の第２の撮像手段を例示できる。また、ＴｏＦ（Time ｏf Flight）方式によって視野内における被写体までの距離を測定し、被写体までの距離が各画素の濃度値で表わされた距離画像を取得する距離画像センサ（デプスカメラや３Ｄカメラともいう）を例示できる。さらに、３軸の加速度センサと、３軸の角速度センサ（ジャイロセンサ）と、３軸の地磁気（方位）センサとから構成された慣性センサを例示できる。
【0025】
サーバ３は、電気通信回線Ｎを通じて保守支援者側端末１及び保守作業者側端末２に電気的に接続されており、保守支援者側端末１との間で、及び、保守作業者側端末２との間で、それぞれ双方向にデータ通信可能である。
サーバ３としては、保守支援者側端末１と同じ設置場所に設置されたサーバを用いてもよいし、クラウドサーバを用いることも可能である。
サーバ３としては、保守支援者側端末１と同じ設置場所に設置されたサーバを用いてもよいし、クラウドサーバを用いることも可能である。
【0026】
以下、以上に説明した概略構成を有する遠隔保守支援システム１００を用いた本実施形態に係る遠隔保守支援方法について説明する。
【0027】
＜本実施形態に係る遠隔保守支援方法＞
図２は、本実施形態に係る遠隔保守支援方法の概略工程を示すワークフロー図である。
図２に示すように、本実施形態に係る遠隔保守支援方法は、第１ステップＳ１と、第２ステップＳ２（具体的には、図２に示すＳ２１～Ｓ２４）と、第３ステップＳ３（具体的には、図２に示すＳ３１～Ｓ３５）と、第４ステップＳ４と、第５ステップＳ５（具体的には、図２に示すＳ５１～Ｓ５３）と、を含む。以下、各ステップＳ１～Ｓ５について、順に説明する。
図２は、本実施形態に係る遠隔保守支援方法の概略工程を示すワークフロー図である。
図２に示すように、本実施形態に係る遠隔保守支援方法は、第１ステップＳ１と、第２ステップＳ２（具体的には、図２に示すＳ２１～Ｓ２４）と、第３ステップＳ３（具体的には、図２に示すＳ３１～Ｓ３５）と、第４ステップＳ４と、第５ステップＳ５（具体的には、図２に示すＳ５１～Ｓ５３）と、を含む。以下、各ステップＳ１～Ｓ５について、順に説明する。
【0028】
［第１ステップＳ１］
第１ステップＳ１では、保守対象となり得る複数の保守対象候補をサーバ３に予め記憶させる。図１（ａ）に示す例では、３つの保守対象候補Ｔ（Ｔ１～Ｔ３）がサーバ３に予め記憶される。具体的には、各保守対象候補Ｔの識別子（装置番号等）がサーバ３に予め記憶される。サーバ３への記憶は、例えば、保守支援者が保守支援者側端末１を通じて各保守対象候補Ｔの識別子をサーバ３に送信することで実行可能である。或いは、保守作業者が保守作業者側端末２を通じて各保守対象候補Ｔの識別子をサーバ３に送信することで実行してもよい。
第１ステップＳ１では、保守対象となり得る複数の保守対象候補をサーバ３に予め記憶させる。図１（ａ）に示す例では、３つの保守対象候補Ｔ（Ｔ１～Ｔ３）がサーバ３に予め記憶される。具体的には、各保守対象候補Ｔの識別子（装置番号等）がサーバ３に予め記憶される。サーバ３への記憶は、例えば、保守支援者が保守支援者側端末１を通じて各保守対象候補Ｔの識別子をサーバ３に送信することで実行可能である。或いは、保守作業者が保守作業者側端末２を通じて各保守対象候補Ｔの識別子をサーバ３に送信することで実行してもよい。
【0029】
［第２ステップＳ２］
第２ステップＳ２では、第１ステップＳ１で記憶された複数の保守対象候補Ｔのうち、保守作業者が保守作業を行う保守対象を特定する。例えば、保守対象候補Ｔ１～Ｔ３のうち、保守対象候補Ｔ１が保守作業を行う保守対象として特定される（以下、適宜、「保守対象候補Ｔ１」を「保守対象Ｔ１」という）。
第２ステップＳ２では、第１ステップＳ１で記憶された複数の保守対象候補Ｔのうち、保守作業者が保守作業を行う保守対象を特定する。例えば、保守対象候補Ｔ１～Ｔ３のうち、保守対象候補Ｔ１が保守作業を行う保守対象として特定される（以下、適宜、「保守対象候補Ｔ１」を「保守対象Ｔ１」という）。
【0030】
具体的には、第２ステップＳ２では、保守作業者が、電話等（遠隔保守支援システム１００を構成する保守支援者側端末１、保守作業者側端末２及びサーバ３以外のツール）を用いて、保守対象Ｔ１の識別子（装置番号等）や、保守対象Ｔ１のトラブルの状況等を保守支援者に連絡する（図２のＳ２１）。
保守支援者は、保守作業者からの連絡を受信し（図２のＳ２２）、連絡の内容（電話での会話の内容等）に基づき、保守対象Ｔ１を特定する（図２のＳ２３）。そして、特定した保守対象Ｔ１の識別子を、例えば、保守支援者が保守支援者側端末１を通じてサーバ３に送信し、サーバ３がこれを記憶する（図２のＳ２４）。ただし、必ずしもこれに限られるものではなく、特定した保守対象Ｔの識別子を保守作業者が保守作業者側端末２を通じてサーバ３に送信して記憶させることも可能である。
保守支援者は、保守作業者からの連絡を受信し（図２のＳ２２）、連絡の内容（電話での会話の内容等）に基づき、保守対象Ｔ１を特定する（図２のＳ２３）。そして、特定した保守対象Ｔ１の識別子を、例えば、保守支援者が保守支援者側端末１を通じてサーバ３に送信し、サーバ３がこれを記憶する（図２のＳ２４）。ただし、必ずしもこれに限られるものではなく、特定した保守対象Ｔの識別子を保守作業者が保守作業者側端末２を通じてサーバ３に送信して記憶させることも可能である。
【0031】
［第３ステップＳ３］
第３ステップＳ３では、サーバ３を介した保守作業者側端末２と保守支援者側端末１との双方向のデータ通信を行うか否かを判断する。
具体的には、保守支援者が、受信した連絡の内容（電話での会話の内容等）（図２のＳ２２）に基づき、保守対象Ｔ１のトラブルを解決できるか否かを判断する（図２のＳ３１）。
第３ステップＳ３では、サーバ３を介した保守作業者側端末２と保守支援者側端末１との双方向のデータ通信を行うか否かを判断する。
具体的には、保守支援者が、受信した連絡の内容（電話での会話の内容等）（図２のＳ２２）に基づき、保守対象Ｔ１のトラブルを解決できるか否かを判断する（図２のＳ３１）。
【0032】
受信した連絡の内容だけではトラブルを解決できず、双方向のデータ通信を行う必要があると判断した場合（図２のＳ３１で「Ｎｏ」の場合）、保守支援者が、保守支援者側端末１を通じて、双方向のデータ通信（保守作業者側端末２と保守支援者側端末１との双方向のデータ通信）の許可を求めるリクエストをサーバ３に送信し、サーバ３がこれを受信する（図２のＳ３２）。ただし、必ずしもこれに限られるものではなく、保守作業者が、保守作業者側端末２を通じてリクエストをサーバ３に送信することも可能である。
なお、受信した連絡の内容だけでトラブルを解決できると判断した場合（図２のＳ３１で「Ｙｅｓ」の場合）、双方向のデータ通信を行うことなく、保守支援者が電話等で必要な支援を行いながら（図２のＳ５２）、保守作業者が保守作業を行う（図２のＳ５３）ことになる。図２では、図示の便宜上、Ｓ３１で「Ｙｅｓ」の場合にもＳ５２を実行するフローになっているが、この場合に実行するＳ５２及び後続のＳ５３は、後述の第４ステップＳ４で生成する加工画像を用いずに、電話等で保守支援者が支援を行い、保守作業者が保守作業を行う態様である。
なお、受信した連絡の内容だけでトラブルを解決できると判断した場合（図２のＳ３１で「Ｙｅｓ」の場合）、双方向のデータ通信を行うことなく、保守支援者が電話等で必要な支援を行いながら（図２のＳ５２）、保守作業者が保守作業を行う（図２のＳ５３）ことになる。図２では、図示の便宜上、Ｓ３１で「Ｙｅｓ」の場合にもＳ５２を実行するフローになっているが、この場合に実行するＳ５２及び後続のＳ５３は、後述の第４ステップＳ４で生成する加工画像を用いずに、電話等で保守支援者が支援を行い、保守作業者が保守作業を行う態様である。
【0033】
リクエストを受信したサーバ３（図２のＳ３２）は、保守作業者側端末２と保守支援者側端末１との双方向のデータ通信を許可する（図２のＳ３３）。これにより、以後、サーバ３を介した保守作業者側端末２と保守支援者側端末１との双方向のデータ通信が可能になる。サーバ３は、双方向のデータ通信を許可したことを示す信号を保守作業者側端末２及び保守支援者側端末１にそれぞれ送信し、保守作業者側端末２及び保守支援者側端末１がこれを受信する（図２のＳ３４、Ｓ３５）。これにより、保守作業者及び保守支援者は、双方向のデータ通信が可能になったことを知ることができる。
なお、第３ステップＳ３のＳ３４、Ｓ３５を実行する際に、保守作業者側端末２及び／又は保守支援者側端末１の電源が入っておらず、双方向のデータ通信を許可したことを示す信号をサーバ３から受信できない又は受信したことに気づかない可能性がある。したがい、保守作業者側端末２及び保守支援者側端末１以外のツールを用いて、サーバ３から電子メール等で保守作業者及び保守支援者に対して双方向のデータ通信を許可したことを連絡する方法を併用することが好ましい。これにより、保守作業者及び保守支援者は、双方向のデータ通信が可能になったことを確実に知ることができ、保守作業者側端末２及び／又は保守支援者側端末１の電源を入れて、その後の双方向のデータ通信を確実に実行することが可能である。なお、双方向のデータ通信の開始には、保守作業者及び保守支援者の都合の良い開始時刻を予め定める予約機能を設けてもよい。
なお、第３ステップＳ３のＳ３４、Ｓ３５を実行する際に、保守作業者側端末２及び／又は保守支援者側端末１の電源が入っておらず、双方向のデータ通信を許可したことを示す信号をサーバ３から受信できない又は受信したことに気づかない可能性がある。したがい、保守作業者側端末２及び保守支援者側端末１以外のツールを用いて、サーバ３から電子メール等で保守作業者及び保守支援者に対して双方向のデータ通信を許可したことを連絡する方法を併用することが好ましい。これにより、保守作業者及び保守支援者は、双方向のデータ通信が可能になったことを確実に知ることができ、保守作業者側端末２及び／又は保守支援者側端末１の電源を入れて、その後の双方向のデータ通信を確実に実行することが可能である。なお、双方向のデータ通信の開始には、保守作業者及び保守支援者の都合の良い開始時刻を予め定める予約機能を設けてもよい。
【0034】
第３ステップＳ３では、双方向のデータ通信を行うか否かを判断するだけでなく、双方向のデータ通信を行う必要があると判断した場合（図２のＳ３１で「Ｎｏ」の場合）に保守対象Ｔ１の状態を決定しておくことが好ましい。そして、後述の第５ステップＳ５において、上記の決定した状態で保守対象Ｔ１の保守作業を支援することが好ましい。保守対象Ｔ１の状態としては、例えば、保守対象Ｔ１がヒータやチャンバを備えた基板処理装置である場合、ヒータの電源をオフにした状態や、チャンバを大気開放した状態を例示できる。このように、支援する際の保守対象Ｔの状態を予め決定しておく（保守作業者に段取りしておいて貰う）ことで、効率的に保守作業者を支援することができる。
【0035】
［第４ステップＳ４］
第４ステップＳ４では、第３ステップＳ３で双方向のデータ通信を行うと判断した場合（具体的には、保守作業者側端末２が双方向のデータ通信を許可する信号を受信（図２のＳ３４）した場合）、保守作業者側端末２が、保守作業者側端末２で取得した保守対象Ｔ１を含む撮像画像を構成する画素領域のうち、保守対象Ｔ１以外の画素領域であるマスク画素領域を不可視にした加工画像を生成する。具体的には、保守作業者側端末２の撮像手段２２で保守対象Ｔ１を含む撮像画像を取得し、保守作業者側端末２の制御信号処理手段２６が、取得した撮像画像を構成する画素領域のうち、保守対象Ｔ１以外の画素領域であるマスク画素領域を不可視にした加工画像を生成する。マスク画素領域を不可視にした加工画像の生成方法としては、例えば、特開２０１７－２１１７６６号公報に記載の方法など、種々の方法を適用可能である。生成された加工画像は、必要に応じて、保守作業者側端末２のディスプレイ２３に表示させることが可能である。
なお、第４ステップＳ４における加工画像の生成は、リアルタイムで（保守作業者側端末２が双方向のデータ通信を許可する信号を受信し、なお且つ、保守作業者側端末２で保守対象Ｔ１を含む撮像画像を取得した時点からリアルタイムで）行うことが好ましい。「リアルタイム」とは、保守作業の支援を行う上で支障にならない程度の遅延を含む概念である。加工画像をリアルタイムで生成することにより、後述の第５ステップＳ５における保守作業者が行う保守作業を効率的に支援することが可能である。具体的には、保守作業者側端末２によってリアルタイムで生成され、保守支援者側端末１に遅滞なく表示された加工画像を保守支援者が目視できることで、音声データの双方向のデータ通信との時間的ズレを感じることなく、効率的な支援が可能である。
第４ステップＳ４では、第３ステップＳ３で双方向のデータ通信を行うと判断した場合（具体的には、保守作業者側端末２が双方向のデータ通信を許可する信号を受信（図２のＳ３４）した場合）、保守作業者側端末２が、保守作業者側端末２で取得した保守対象Ｔ１を含む撮像画像を構成する画素領域のうち、保守対象Ｔ１以外の画素領域であるマスク画素領域を不可視にした加工画像を生成する。具体的には、保守作業者側端末２の撮像手段２２で保守対象Ｔ１を含む撮像画像を取得し、保守作業者側端末２の制御信号処理手段２６が、取得した撮像画像を構成する画素領域のうち、保守対象Ｔ１以外の画素領域であるマスク画素領域を不可視にした加工画像を生成する。マスク画素領域を不可視にした加工画像の生成方法としては、例えば、特開２０１７－２１１７６６号公報に記載の方法など、種々の方法を適用可能である。生成された加工画像は、必要に応じて、保守作業者側端末２のディスプレイ２３に表示させることが可能である。
なお、第４ステップＳ４における加工画像の生成は、リアルタイムで（保守作業者側端末２が双方向のデータ通信を許可する信号を受信し、なお且つ、保守作業者側端末２で保守対象Ｔ１を含む撮像画像を取得した時点からリアルタイムで）行うことが好ましい。「リアルタイム」とは、保守作業の支援を行う上で支障にならない程度の遅延を含む概念である。加工画像をリアルタイムで生成することにより、後述の第５ステップＳ５における保守作業者が行う保守作業を効率的に支援することが可能である。具体的には、保守作業者側端末２によってリアルタイムで生成され、保守支援者側端末１に遅滞なく表示された加工画像を保守支援者が目視できることで、音声データの双方向のデータ通信との時間的ズレを感じることなく、効率的な支援が可能である。
【0036】
［第５ステップＳ５］
第５ステップＳ５では、第４ステップＳ４で生成され、保守作業者側端末２から保守支援者側端末１に送信された加工画像を保守支援者が目視して、保守作業者が行う保守対象の保守作業を支援する。
第５ステップＳ５では、第４ステップＳ４で生成され、保守作業者側端末２から保守支援者側端末１に送信された加工画像を保守支援者が目視して、保守作業者が行う保守対象の保守作業を支援する。
【0037】
具体的には、第５ステップＳ５では、保守作業者が、保守作業者側端末２を通じて、生成された加工画像を保守支援者側端末１に送信し、保守支援者側端末１がこれを受信する（図２のＳ５１）。より具体的には、保守作業者側端末２の制御信号処理手段２６で生成された加工画像が、制御信号処理手段２６の通信手段、電気通信回線Ｎを介して、サーバ３に送信され、更に電気通信回線Ｎを介して、保守支援者側端末１に送信される。
そして、保守支援者は、保守支援者側端末１で受信し、保守支援者側端末１のモニタに表示された加工画像を目視して、保守作業者が行う保守作業を支援し（図２のＳ５２）、保守作業者は、保守支援者の支援を受けながら保守作業を行う（図２のＳ５３）。
保守支援者の支援を受けながらの保守作業者の保守作業は、例えば、保守支援者側端末１のマイクロフォン及びスピーカと、保守作業者側端末２のマイクロフォン２４及びスピーカ２５とを用いた、保守支援者からの作業指示や保守作業者が実行した作業内容に関する音声データの双方向のデータ通信によって実行可能である。
そして、保守支援者は、保守支援者側端末１で受信し、保守支援者側端末１のモニタに表示された加工画像を目視して、保守作業者が行う保守作業を支援し（図２のＳ５２）、保守作業者は、保守支援者の支援を受けながら保守作業を行う（図２のＳ５３）。
保守支援者の支援を受けながらの保守作業者の保守作業は、例えば、保守支援者側端末１のマイクロフォン及びスピーカと、保守作業者側端末２のマイクロフォン２４及びスピーカ２５とを用いた、保守支援者からの作業指示や保守作業者が実行した作業内容に関する音声データの双方向のデータ通信によって実行可能である。
【0038】
以上に説明した本実施形態に係る遠隔保守支援方法によれば、第４ステップＳ４において、保守対象Ｔ１以外の画素領域であるマスク画素領域を不可視にした加工画像を、サーバ３ではなく保守作業者側端末２が生成するため、保守作業者に対して情報漏洩に関する安心感を与えることができる。また、第３ステップＳ３において、双方向のデータ通信を行うか否かを判断し、第５ステップＳ５において、必要な場合に保守対象Ｔ１が写っている加工画像を保守支援者が目視できるため、保守対象Ｔ１のトラブルの状況を把握し易く、効率的に保守作業者を支援することができる。このように、本実施形態に係る遠隔保守支援方法によれば、保守作業者に対して情報漏洩に関する安心感を与えつつ、効率的に保守作業者を支援することが可能である。
【0039】
なお、本実施形態では、保守作業者側端末２が保守作業者の顔に装着する眼鏡型のウェアラブル端末（ヘッドマウントディスプレイ）である場合を例に挙げて説明したが、本発明はこれに限るものではない。音声データや画像データのデータ通信が可能である限りにおいて、保守作業者側端末２として、保守作業者の身体の他の部位に装着するウェアラブル端末や、スマートフォンなどの単に携帯するだけの端末を用いることも可能である。
【0040】
また、本実施形態では、図１（ａ）に示すように、保守対象Ｔ１が単一である場合を例に挙げて説明したが、本発明はこれに限るものではなく、保守対象Ｔ１が複数である場合にも適用可能である。また、本実施形態では、図１（ａ）に示すように、保守支援者側端末１及び保守作業者側端末２がそれぞれ単一である場合を例に挙げて説明したが、本発明はこれに限るものでなく、保守支援者側端末１及び／又は保守作業者側端末２が複数である場合にも適用可能である。
【0041】
さらに、本実施形態では、第２ステップＳ２において、保守作業者から受信した連絡の内容（電話での会話の内容等）に基づき、保守対象Ｔ１を特定する（図２のＳ２３）場合を例に挙げて説明したが、本発明はこれに限るものではない。例えば、保守作業者から受信した連絡の内容に基づき、保守対象Ｔ１を特定する態様に代えて、サーバ３が保守作業者側端末２から送信された撮像画像に基づき、保守対象Ｔ１を特定する態様を採用することも可能である。具体的には、以下のような態様を採用することも可能である。まず、保守作業者が、保守作業者側端末２で保守対象Ｔ１を含む撮像画像を取得し、この撮像画像を保守作業者側端末２を通じて、サーバ３に送信する。具体的には、保守作業者側端末２の撮像手段２２で保守対象Ｔ１を含む撮像画像を取得し、保守作業者側端末２の制御信号処理手段２６の通信手段、電気通信回線Ｎを介して、サーバ３に送信される。そして、サーバ３が、保守作業者側端末２から送信された撮像画像に基づき、保守対象Ｔ１（保守対象Ｔ１の識別子）を特定し、これを記憶する。保守対象Ｔ１の特定方法としては、例えば、保守対象Ｔ１に付された保守対象識別用のマーカ（ＡＲマーカ、ＱＲコード（登録商標）等）を含むように保守作業者側端末２で撮像画像を取得し、サーバ３が、この撮像画像に所定の画像処理を施すことで、マーカに相当する画素領域を抽出し、この抽出した画素領域を解析することで、保守対象Ｔ１の識別子（装置番号等）を特定することが考えられる。ＡＲマーカ等のマーカに含まれる情報を解析する方法は公知であるため、ここでは詳細な説明を省略する。
或いは、第２ステップＳ２において、保守作業者から受信した連絡の内容で保守対象Ｔ１を特定できなかった場合に、上記と同様に、サーバ３が保守作業者側端末２から送信された撮像画像に基づき、保守対象Ｔ１を特定する態様を採用することも可能である。
或いは、第２ステップＳ２において、保守作業者から受信した連絡の内容で保守対象Ｔ１を特定できなかった場合に、上記と同様に、サーバ３が保守作業者側端末２から送信された撮像画像に基づき、保守対象Ｔ１を特定する態様を採用することも可能である。
【0042】
なお、本実施形態のように、保守対象候補Ｔが基板処理装置等の産業用機器である場合、保守対象がＩＴシステムである場合に比べて、以下の理由により、本実施形態の遠隔保守支援システム１００及びこれを用いた遠隔保守支援方法が好適に用いられる。
ＩＴシステムは、インターネット等の電気通信回線Ｎに接続されていることが一般的であるため、ＩＴシステムの状況を遠隔から把握し、必要に応じて遠隔から保守作業を支援することは比較的容易である。
これに対し、基板処理装置等の産業用機器は、セキュリティ上の理由等から、インターネット等の電気通信回線Ｎに直接接続されていないのが一般的である。したがい、保守対象候補Ｔ、ひいてはその中から特定される保守対象Ｔ１が産業用機器である場合、遠隔から保守作業の支援を行う際に、保守対象Ｔ１自体は、電気通信回線Ｎ、ひいてはサーバ３や保守支援者側端末１に電気的に接続されていないことを前提とする必要がある。
また、産業用機器は、機械要素を含み、その破損、腐食、振動、騒音などの状況を把握することが容易ではない。また、産業用機器が基板処理装置のように有体物を製造する製造装置である場合、トラブル発生時の有体物（基板など）の状況を把握することも容易ではない。
したがい、保守対象候補Ｔが産業用機器である場合、保守対象がＩＴシステムである場合に比べて、保守支援者が産業用機器の加工画像を目視しながら保守作業の支援を行うことができるという本実施形態の遠隔保守支援システム１００及びこれを用いた遠隔保守支援方法の利点が活かされ易い。
ＩＴシステムは、インターネット等の電気通信回線Ｎに接続されていることが一般的であるため、ＩＴシステムの状況を遠隔から把握し、必要に応じて遠隔から保守作業を支援することは比較的容易である。
これに対し、基板処理装置等の産業用機器は、セキュリティ上の理由等から、インターネット等の電気通信回線Ｎに直接接続されていないのが一般的である。したがい、保守対象候補Ｔ、ひいてはその中から特定される保守対象Ｔ１が産業用機器である場合、遠隔から保守作業の支援を行う際に、保守対象Ｔ１自体は、電気通信回線Ｎ、ひいてはサーバ３や保守支援者側端末１に電気的に接続されていないことを前提とする必要がある。
また、産業用機器は、機械要素を含み、その破損、腐食、振動、騒音などの状況を把握することが容易ではない。また、産業用機器が基板処理装置のように有体物を製造する製造装置である場合、トラブル発生時の有体物（基板など）の状況を把握することも容易ではない。
したがい、保守対象候補Ｔが産業用機器である場合、保守対象がＩＴシステムである場合に比べて、保守支援者が産業用機器の加工画像を目視しながら保守作業の支援を行うことができるという本実施形態の遠隔保守支援システム１００及びこれを用いた遠隔保守支援方法の利点が活かされ易い。
【符号の説明】
【0043】
１・・・保守支援者側端末
２・・・保守作業者側端末
３・・・サーバ
２１・・・フレーム
２２・・・撮像手段
２３・・・ディスプレイ
２４・・・マイクロフォン
２５・・・スピーカ
２６・・・制御信号処理手段
１００・・・遠隔保守支援システム
Ｎ・・・電気通信回線
Ｔ、Ｔ１、Ｔ２、Ｔ３・・・保守対象候補
２・・・保守作業者側端末
３・・・サーバ
２１・・・フレーム
２２・・・撮像手段
２３・・・ディスプレイ
２４・・・マイクロフォン
２５・・・スピーカ
２６・・・制御信号処理手段
１００・・・遠隔保守支援システム
Ｎ・・・電気通信回線
Ｔ、Ｔ１、Ｔ２、Ｔ３・・・保守対象候補
【図1】
【図2】
【手続補正書】
【提出日】2021-11-26
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
保守支援者が操作する保守支援者側端末と、前記保守支援者側端末に対して遠隔に配置され、保守作業者が操作する保守作業者側端末と、前記保守支援者側端末及び前記保守作業者側端末に電気通信回線を通じて電気的に接続されたサーバと、を用いて、前記保守作業者が行う保守対象の保守作業を支援する遠隔保守支援方法であって、
前記保守支援者又は前記保守作業者が、前記保守対象となり得る複数の保守対象候補を前記サーバに予め記憶させる第１ステップと、
前記保守支援者又は前記サーバが、前記第１ステップで記憶された前記複数の保守対象候補のうち、前記保守作業者が保守作業を行う前記保守対象を特定する第２ステップと、
前記保守支援者が、前記サーバを介した前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を行うか否かを判断する第３ステップと、
前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守作業者側端末が取得した、前記第２ステップで特定した前記保守対象を含む撮像画像を構成する画素領域のうち、前記保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を前記保守作業者側端末が生成する第４ステップと、
前記第４ステップで生成された前記加工画像を前記保守作業者側端末から前記保守支援者側端末に送信し、前記送信された前記加工画像を前記保守支援者が目視して、前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信によって、前記保守支援者が、前記保守作業者が行う前記保守対象の保守作業を支援する第５ステップと、を含む、
ことを特徴とする遠隔保守支援方法。
前記保守支援者又は前記保守作業者が、前記保守対象となり得る複数の保守対象候補を前記サーバに予め記憶させる第１ステップと、
前記保守支援者又は前記サーバが、前記第１ステップで記憶された前記複数の保守対象候補のうち、前記保守作業者が保守作業を行う前記保守対象を特定する第２ステップと、
前記保守支援者が、前記サーバを介した前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を行うか否かを判断する第３ステップと、
前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守作業者側端末が取得した、前記第２ステップで特定した前記保守対象を含む撮像画像を構成する画素領域のうち、前記保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を前記保守作業者側端末が生成する第４ステップと、
前記第４ステップで生成された前記加工画像を前記保守作業者側端末から前記保守支援者側端末に送信し、前記送信された前記加工画像を前記保守支援者が目視して、前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信によって、前記保守支援者が、前記保守作業者が行う前記保守対象の保守作業を支援する第５ステップと、を含む、
ことを特徴とする遠隔保守支援方法。
【請求項2】
保守支援者が操作する保守支援者側端末と、前記保守支援者側端末に対して遠隔に配置され、保守作業者が操作する保守作業者側端末と、前記保守支援者側端末及び前記保守作業者側端末に電気通信回線を通じて電気的に接続されたサーバと、を用いて、前記保守作業者が行う保守対象の保守作業を支援する遠隔保守支援方法であって、
前記保守支援者又は前記保守作業者が、前記保守対象となり得る複数の保守対象候補を前記サーバに予め記憶させる第１ステップと、
前記保守支援者が、前記保守支援者側端末、前記保守作業者端末側及び前記サーバ以外のツールを用いて、前記保守作業者から連絡を受信し、前記保守支援者が、受信した連絡の内容に基づき、前記第１ステップで記憶された前記複数の保守対象候補のうち、前記保守作業者が保守作業を行う前記保守対象を特定する第２ステップと、
前記保守支援者が、前記サーバを介した前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を行うか否かを判断する第３ステップと、
前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守作業者側端末が取得した、前記第２ステップで特定した前記保守対象を含む撮像画像を構成する画素領域のうち、前記保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を前記保守作業者側端末が生成する第４ステップと、
前記第４ステップで生成された前記加工画像を前記保守作業者側端末から前記保守支援者側端末に送信し、前記送信された前記加工画像を前記保守支援者が目視して、前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信によって、前記保守支援者が、前記保守作業者が行う前記保守対象の保守作業を支援する第５ステップと、を含む、
ことを特徴とする遠隔保守支援方法。
前記保守支援者又は前記保守作業者が、前記保守対象となり得る複数の保守対象候補を前記サーバに予め記憶させる第１ステップと、
前記保守支援者が、前記保守支援者側端末、前記保守作業者端末側及び前記サーバ以外のツールを用いて、前記保守作業者から連絡を受信し、前記保守支援者が、受信した連絡の内容に基づき、前記第１ステップで記憶された前記複数の保守対象候補のうち、前記保守作業者が保守作業を行う前記保守対象を特定する第２ステップと、
前記保守支援者が、前記サーバを介した前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を行うか否かを判断する第３ステップと、
前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守作業者側端末が取得した、前記第２ステップで特定した前記保守対象を含む撮像画像を構成する画素領域のうち、前記保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を前記保守作業者側端末が生成する第４ステップと、
前記第４ステップで生成された前記加工画像を前記保守作業者側端末から前記保守支援者側端末に送信し、前記送信された前記加工画像を前記保守支援者が目視して、前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信によって、前記保守支援者が、前記保守作業者が行う前記保守対象の保守作業を支援する第５ステップと、を含む、
ことを特徴とする遠隔保守支援方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【0009】
前記課題を解決するため、本発明は、保守支援者が操作する保守支援者側端末と、前記保守支援者側端末に対して遠隔に配置され、保守作業者が操作する保守作業者側端末と、前記保守支援者側端末及び前記保守作業者側端末に電気通信回線を通じて電気的に接続されたサーバと、を用いて、前記保守作業者が行う保守対象の保守作業を支援する遠隔保守支援方法であって、以下の第１～第５ステップを含むことを特徴とする遠隔保守支援方法を提供する。
（１）第１ステップ：前記保守支援者又は前記保守作業者が、前記保守対象となり得る複数の保守対象候補を前記サーバに予め記憶させる。
（２）第２ステップ：前記保守支援者又は前記サーバが、前記第１ステップで記憶された前記複数の保守対象候補のうち、前記保守作業者が保守作業を行う前記保守対象を特定する。
（３）第３ステップ：前記保守支援者が、前記サーバを介した前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を行うか否かを判断する。
（４）第４ステップ：前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守作業者側端末が取得した、前記第２ステップで特定した前記保守対象を含む撮像画像を構成する画素領域のうち、前記保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を前記保守作業者側端末が生成する。
（５）第５ステップ：前記第４ステップで生成された前記加工画像を前記保守作業者側端末から前記保守支援者側端末に送信し、前記送信された前記加工画像を前記保守支援者が目視して、前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信によって、前記保守支援者が、前記保守作業者が行う前記保守対象の保守作業を支援する。
また、前記課題を解決するため、本発明は、保守支援者が操作する保守支援者側端末と、前記保守支援者側端末に対して遠隔に配置され、保守作業者が操作する保守作業者側端末と、前記保守支援者側端末及び前記保守作業者側端末に電気通信回線を通じて電気的に接続されたサーバと、を用いて、前記保守作業者が行う保守対象の保守作業を支援する遠隔保守支援方法であって、以下の第１～第５ステップを含むことを特徴とする遠隔保守支援方法としても提供される。
（ａ）第１ステップ：前記保守支援者又は前記保守作業者が、前記保守対象となり得る複数の保守対象候補を前記サーバに予め記憶させる。
（ｂ）第２ステップ：前記保守支援者が、前記保守支援者側端末、前記保守作業者側端末及び前記サーバ以外のツールを用いて、前記保守作業者から連絡を受信し、前記保守支援者が、受信した連絡の内容に基づき、前記第１ステップで記憶された前記複数の保守対象候補のうち、前記保守作業者が保守作業を行う前記保守対象を特定する。
（ｃ）第３ステップ：前記保守支援者が、前記サーバを介した前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を行うか否かを判断する。
（ｄ）第４ステップ：前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守作業者側端末が取得した、前記第２ステップで特定した前記保守対象を含む撮像画像を構成する画素領域のうち、前記保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を前記保守作業者側端末が生成する。
（ｅ）第５ステップ：前記第４ステップで生成された前記加工画像を前記保守作業者側端末から前記保守支援者側端末に送信し、前記送信された前記加工画像を前記保守支援者が目視して、前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信によって、前記保守支援者が、前記保守作業者が行う前記保守対象の保守作業を支援する。
（１）第１ステップ：前記保守支援者又は前記保守作業者が、前記保守対象となり得る複数の保守対象候補を前記サーバに予め記憶させる。
（２）第２ステップ：前記保守支援者又は前記サーバが、前記第１ステップで記憶された前記複数の保守対象候補のうち、前記保守作業者が保守作業を行う前記保守対象を特定する。
（３）第３ステップ：前記保守支援者が、前記サーバを介した前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を行うか否かを判断する。
（４）第４ステップ：前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守作業者側端末が取得した、前記第２ステップで特定した前記保守対象を含む撮像画像を構成する画素領域のうち、前記保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を前記保守作業者側端末が生成する。
（５）第５ステップ：前記第４ステップで生成された前記加工画像を前記保守作業者側端末から前記保守支援者側端末に送信し、前記送信された前記加工画像を前記保守支援者が目視して、前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信によって、前記保守支援者が、前記保守作業者が行う前記保守対象の保守作業を支援する。
また、前記課題を解決するため、本発明は、保守支援者が操作する保守支援者側端末と、前記保守支援者側端末に対して遠隔に配置され、保守作業者が操作する保守作業者側端末と、前記保守支援者側端末及び前記保守作業者側端末に電気通信回線を通じて電気的に接続されたサーバと、を用いて、前記保守作業者が行う保守対象の保守作業を支援する遠隔保守支援方法であって、以下の第１～第５ステップを含むことを特徴とする遠隔保守支援方法としても提供される。
（ａ）第１ステップ：前記保守支援者又は前記保守作業者が、前記保守対象となり得る複数の保守対象候補を前記サーバに予め記憶させる。
（ｂ）第２ステップ：前記保守支援者が、前記保守支援者側端末、前記保守作業者側端末及び前記サーバ以外のツールを用いて、前記保守作業者から連絡を受信し、前記保守支援者が、受信した連絡の内容に基づき、前記第１ステップで記憶された前記複数の保守対象候補のうち、前記保守作業者が保守作業を行う前記保守対象を特定する。
（ｃ）第３ステップ：前記保守支援者が、前記サーバを介した前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を行うか否かを判断する。
（ｄ）第４ステップ：前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守作業者側端末が取得した、前記第２ステップで特定した前記保守対象を含む撮像画像を構成する画素領域のうち、前記保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を前記保守作業者側端末が生成する。
（ｅ）第５ステップ：前記第４ステップで生成された前記加工画像を前記保守作業者側端末から前記保守支援者側端末に送信し、前記送信された前記加工画像を前記保守支援者が目視して、前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信によって、前記保守支援者が、前記保守作業者が行う前記保守対象の保守作業を支援する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【0011】
好ましくは、前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守支援者が、前記保守支援者側端末を通じて、双方向のデータ通信の許可を求めるリクエストを前記サーバに送信するか、或いは、前記保守作業者が、前記保守作業者側端末を通じて前記リクエストを前記サーバに送信し、前記リクエストを受信した前記サーバが、前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を許可し、双方向のデータ通信を許可したことを示す信号を前記保守作業者側端末及び前記保守支援者側端末にそれぞれ送信する。
上記の好ましい方法において、より好ましくは、前記第４ステップにおいて、前記保守作業者側端末が前記双方向のデータ通信を許可したことを示す信号を受信し、なお且つ、前記保守作業者側端末で前記保守対象を含む撮像画像を取得した時点からリアルタイムで、前記保守作業者側端末が前記加工画像を生成する。
また、好ましくは、前記保守作業者側端末は、撮像手段を具備し保守作業者が装着するウェアラブル端末である。
上記の好ましい方法において、より好ましくは、前記第４ステップにおいて、前記保守作業者側端末が前記双方向のデータ通信を許可したことを示す信号を受信し、なお且つ、前記保守作業者側端末で前記保守対象を含む撮像画像を取得した時点からリアルタイムで、前記保守作業者側端末が前記加工画像を生成する。
また、好ましくは、前記保守作業者側端末は、撮像手段を具備し保守作業者が装着するウェアラブル端末である。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【0012】
上記最後の好ましい方法によれば、保守作業者側端末がタブレット型のコンピュータやスマートフォンである場合と異なり、保守作業者側端末（ウェアラブル端末）を保守作業者が手で持つ必要がないため、保守作業が容易になるという利点が得られる。また、保守作業者が移動すると、保守作業者側端末（ウェアラブル端末）も確実に移動するため、保守作業者の位置に応じて保守対象を含む撮像画像を確実に取得可能である。