特許 7606775 操作補助システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-18

(45)【発行日】2024-12-26

(54)【発明の名称】操作補助システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241219BHJP

   G06F 3/0481 20220101ALI20241219BHJP

   G06T 19/00 20110101ALI20241219BHJP

   G06T 7/00 20170101ALI20241219BHJP

   G06V 10/70 20220101ALI20241219BHJP

【ＦＩ】

G06F3/01 510

G06F3/0481

G06T19/00 600

G06T7/00 610

G06T7/00 350B

G06V10/70

【請求項の数】 17

(21)【出願番号】P 2023091383

(22)【出願日】2023-06-02

(65)【公開番号】P2024125978

(43)【公開日】2024-09-19

【審査請求日】2023-06-02

(31)【優先権主張番号】112108159

(32)【優先日】2023-03-06

(33)【優先権主張国・地域又は機関】TW

(73)【特許権者】

【識別番号】509047591

【氏名又は名称】國立臺灣大學

(74)【代理人】

【識別番号】100142804

【弁理士】

【氏名又は名称】大上 寛

(72)【発明者】

【氏名】覺文郁

(72)【発明者】

【氏名】謝東興

(72)【発明者】

【氏名】廖上▲かい▼

(72)【発明者】

【氏名】黄永全

(72)【発明者】

【氏名】王若▲へん▼

【審査官】桐山 愛世

(56)【参考文献】

【文献】特開２０２０－１３１３６１（ＪＰ，Ａ）

【文献】特開２０１８－０２９３４６（ＪＰ，Ａ）

【文献】特開２０２２－１４５７０７（ＪＰ，Ａ）

【文献】特開平１０－３２００９５（ＪＰ，Ａ）

【文献】特開２０２０－１５５０３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／７０

(57)【特許請求の範囲】

【請求項1】

被測定装置を操作できるガイド情報を提供することに用いられる操作補助システムであって、
ウェアラブルメガネを含み、前記被測定装置を観測することができ、現場ビデオを捕捉し、同時にサポートビデオを表示する使用者装置と、
前記被測定装置の多種のセンサー状態を監視することによって故障状態を判断することに用いられる知能監視装置と、
前記使用者装置と前記知能監視装置に連結し、前記故障状態に基づいて前記使用者装置にサポートビデオを提供することに用いられるサーバーと、
前記ガイド情報を生成するために使用される混合現実編集システムと、を含み、
前記混合現実編集システムは、
デバイスモデルを描画できるマンマシンインタフェースを含むオブジェクト描画モジュールと、
文字ファイルが編集可能なマンマシンインタフェースを含むファイル編集モジュールと、
プロセススクリプトが設計可能なマンマシンインタフェースを含むプロセス設計モジュールと、を含み、
前記使用者装置は、さらに、着用者に前記サポートビデオが前記被測定装置が位置する空間における特定の相対位置に表示することを感じさせるように設置されることを特徴とする、操作補助システム。

【請求項2】

前記サーバーを連結し、且つ特定の通信協定によって前記被測定装置を連結できるように設置される、前記被測定装置の状態情報を受信して前記使用者装置によって表示する、或は前記使用者装置が発送する制御指示を前記被測定装置に転送することに用いられる装置コントローラをさらに含み、
前記特定の通信協定は、オープンプラットフォーム通信統合アーキテクチャ（Ｏｐｅｎ Ｐｌａｔｆｏｒｍ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｉｆｉｅｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＯＰＣＵＡ）またはメッセージキューテレメトリトランスポート（Ｍｅｓｓａｇｅ Ｑｕｅｕｉｎｇ Ｔｅｌｅｍｅｔｒｙ Ｔｒａｎｓｐｏｒｔ、ＭＱＴＴ）プロトコルを含むことを特徴とする、請求項１に記載の操作補助システム。

【請求項3】

前記使用者装置は、さらに、前記現場ビデオを前記サーバーに送信できるように設置され、
前記サーバーは、さらに、映像識別機能が設置され、前記現場ビデオ中の前記被測定装置の映像を識別することによって前記被測定装置の型番または前記故障状態を判断することができることを特徴とする、請求項１に記載の操作補助システム。

【請求項4】

前記使用者装置が前記サポートビデオを表示する際に、インタラクティブに段階的に再生、リプレイ、巻き戻し、ジャンプ、関連ドキュメントの起動、表示位置または深さの変更、拡大縮小、または異なるサポートビデオを選択することができることを特徴とする、請求項１に記載の操作補助システム。

【請求項5】

前記知能監視装置は、さらに、前記被測定装置の電流、振動、温度、湿度及び構造物理状態を監視できるように設置され、
前記知能監視装置は、さらに、前記被測定装置の監視結果に基づいて機械学習を行うことによって前記故障状態を判断することができるように設置されることを特徴とする、請求項１に記載の操作補助システム。

【請求項6】

複数種類のデバイスモデルを格納できるように設置され、前記被測定装置のデバイスモデルを含むオブジェクトデータベースと、
特定のフォーマットの文字ファイルを格納できるように設置され、前記被測定装置の操作説明を含む文書データベースと、
複数のプロセススクリプトを格納できるように設置され、複数の操作状況において複数の被測定装置が対応する操作プロセスと操作プロセスごとのデバイスモデル及び文書ファイルとを定義するプロセスデータベースと、をさらに含むことを特徴とする、請求項１に記載の操作補助システム。

【請求項7】

前記サーバーは、前記オブジェクトデータベース、前記文書データベース、及び前記プロセスデータベースを連結し、前記故障状態に基づいて前記プロセスデータベース中のプロセススクリプトを実行し、前記オブジェクトデータベースと前記文書データベースを参照して前記サポートビデオを生成する処理モジュールを含むことを特徴とする、請求項６に記載の操作補助システム。

【請求項8】

前記混合現実編集システムは、前記ガイド情報の生成に必要な前記デバイスモデル、前記文字ファイル、または前記プロセススクリプトを抽出するために、前記オブジェクトデータベース、前記文書データベース、及び前記プロセスデータベースに連結することを特徴とする、請求項７に記載の操作補助システム。

【請求項9】

前記オブジェクトデータベースには、前記被測定装置の名称、仕様、製造番号、画像、及び２次元バーコードをさらに含み、
前記オブジェクト描画モジュールは、さらに前記被測定装置の名称、仕様、製造番号、画像、及び２次元バーコードを編集することができることを特徴とする、請求項８に記載の操作補助システム。

【請求項10】

前記文書データベースには、前記被測定装置の故障メッセージ、アラームコード、及びセンサーの状態記述をさらに含み、
前記ファイル編集モジュールは、さらに、前記被測定装置の故障メッセージ、アラームコード、及びセンサーの状態記述を編集することができることを特徴とする、請求項８に記載の操作補助システム。

【請求項11】

前記プロセスデータベースにおける前記プロセススクリプトには、連続する複数のステップの操作指示を含み、各操作指示は、指示文字、装置立体図、サンプルムービー、サンプルイメージ、及び文書ファイルのうちの１つ以上を含み、
前記プロセス設計モジュールは、前記プロセススクリプトの各操作指示を編集できるように設置されることを特徴とする、請求項８に記載の操作補助システム。

【請求項12】

前記サーバーに連結され、前記使用者装置が要求を出した時に、前記サーバーを介して前記使用者装置とのビデオ会議を確立し、前記使用者装置に前記ガイド情報を提供することに用いられる支援者装置と、
前記オブジェクト描画モジュール、前記ファイル編集モジュール、及び前記プロセス設計モジュールに連結され、前記ビデオ会議中に前記ガイド情報を即時に生成できるマンマシンインタフェースを提供することに用いられるオンラインコラボレーションモジュールと、をさらに含むことを特徴とする、請求項８に記載の操作補助システム。

【請求項13】

前記サーバーは、さらに、前記現場ビデオと前記ガイド情報とを複合現実画面に重ね合わせ、前記ビデオ会議に加入する複数の他の使用者装置に提供できるように設置されることを特徴とする、請求項１２に記載の操作補助システム。

【請求項14】

前記支援者装置は、前記ビデオ会議を通して前記使用者装置が捕捉した前記現場ビデオを取得し、
前記支援者装置は、前記オンラインコラボレーションモジュールを利用して仮想空間に前記ガイド情報をマーキングし、
前記ガイド情報は、前記オブジェクトデータベースにおけるデバイスモデル、矩形、円形、矢印、フリーブラシ、文字のうちの１つまたは複数を含むことを特徴とする、請求項１２に記載の操作補助システム。

【請求項15】

前記使用者装置は、さらに、前記現場ビデオの現場座標系及び深さ情報を感知できるように設置され、
前記オンラインコラボレーションモジュールは、さらに、前記ガイド情報をマーキングする際に位置及び深さ情報をカスタマイズできるように設置され、
前記使用者装置は、前記ビデオ会議を通して前記ガイド情報を受信し、かつ前記現場座標系と前記仮想空間の座標とを重ね合わせ、前記着用者に前記ガイド情報が現場空間における特定の相対位置に表示することを感じさせることを特徴とする、請求項１４に記載の操作補助システム。

【請求項16】

前記使用者装置は、さらに、前記現場座標系の参考点として、前記現場ビデオ中の前記被測定装置上の２次元バーコードを識別できるように設置されることを特徴とする、請求項１５に記載の操作補助システム。

【請求項17】

前記ビデオ会議終了時には、前記サーバーは、さらに、前記ビデオ会議の経過及び前記ガイド情報を新しいプロセススクリプトに変換してプロセスデータベースに格納することができるように設置され、
前記知能監視装置は、前記ビデオ会議中の前記被測定装置の各センサー数値変化を記録でき、機械学習アルゴリズムで故障状態変化を学習することを特徴とする、請求項１５に記載の操作補助システム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、遠隔支援システムに関し、特に、仮想現実技術を利用して遠隔支援操作をするシステムに関する。

【背景技術】

【0002】

現在、工場はますます設備の保全とメンテナンスに力を入れている。設備が故障した場合、故障が軽微な時に紙本の故障マニュアルを読んで修理し、故障が深刻な時にエンジニアが工場に入って修理してもらう必要があり、時間とコストが比較的に高い。特に、新型コロナウイルス流行後の時代には、エンジニアが正常に出張できなかったため、工場の技術資源が不足し、問題解決のスピードが低下し、企業が徐々に炭素削減問題を重視するようになった。そのため、どのように遠隔サポートを実現し、オンラインでお客様のトラブルと故障を解決するかは、解決すべき議題である。遠隔支援サービスを実現するためには複数の異なる分野の技術を整合する必要があり、モノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ、ＩＯＴ）、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、ＭＲ）、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）、及び第５世代（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ、５Ｇ）行動通信ネットワークなどを含み、技術結合の困難度は極めて高い。このため、複数の分野の技術統合の難しさを低減し、遠隔支援サービスを効果的に実現するシステムの開発が望まれている。
なお、従来、仮想現実技術を利用して遠隔支援操作をするシステムについて開示する文献は存在しない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

これを考慮して、本出願は、被測定装置を操作できるガイド情報を提供することに用いられる操作補助システムを提案している。本出願は、モノのインターネットＩＯＴ、人工知能ＡＩ、複合現実ＭＲ、拡張現実ＡＲ、第５世代５Ｇ行動通信ネットワークなどの技術分野を結合し、かつ解決方案を、現場データを収集することと、故障を診断して分析することと、ＡＲデジタルガイドで初歩的な排除を行うことと、ＭＲ遠隔の専門家の協力で進歩処理などを行うこと、との４つの部分に分けてそれぞれ処理する。

【課題を解決するための手段】

【0004】

本実施例の操作補助システムは、主に、少なくとも使用者装置と、知能監視装置と、サーバーと、を含む。使用者装置は、ウェアラブルメガネを含み、前記被測定装置を観測することができ、現場ビデオを捕捉し、同時にサポートビデオを表示する。知能監視装置は、前記被測定装置に連結することができ，前記被測定装置の多種のセンサー状態を監視することによって故障状態を判断することに用いられる。サーバーは、前記使用者装置と前記知能監視装置に連結して、前記故障状態に基づいて前記使用者装置にサポートビデオを提供する。また、前記使用者装置は、さらに、着用者に前記サポートビデオが前記被測定装置が位置する空間における特定の相対位置に表示することを感じさせるように設置される。

【0005】

さらなる実施例において、操作補助システムは、前記サーバーを連結して、且つ特定の通信協定によって前記被測定装置を連結できるように設置される、前記被測定装置の状態情報を受信して前記使用者装置によって表示する、或は前記使用者装置が発送する制御指示を前記被測定装置に転送することに用いられる装置コントローラをさらに含む。また、前記特定の通信協定は、オープンプラットフォーム通信統合アーキテクチャ（Ｏｐｅｎ Ｐｌａｔｆｏｒｍ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｉｆｉｅｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＯＰＣＵＡ）またはメッセージキューテレメトリトランスポート（Ｍｅｓｓａｇｅ Ｑｕｅｕｉｎｇ Ｔｅｌｅｍｅｔｒｙ Ｔｒａｎｓｐｏｒｔ、ＭＱＴＴ）プロトコルを含む。

【0006】

さらなる実施例において、前記使用者装置は、さらに前記現場ビデオを前記サーバーに送信できるように設置される。前記サーバーは、映像識別機能が設置され、前記現場ビデオ中の前記被測定装置の映像を識別することによって前記被測定装置の型番または前記故障状態を判断することができる。

【0007】

さらなる実施例において、前記使用者装置が前記サポートビデオを表示する際に、インタラクティブに段階的に再生、リプレイ、巻き戻し、ジャンプ、関連ドキュメントの起動、表示位置または深さの変更、拡大縮小、または異なるサポートビデオを選択することができる。

【0008】

さらなる実施例において、前記知能監視装置は、さらに前記被測定装置の電流、振動、温度、湿度及び構造物理状態を監視できるように設置される。前記知能監視装置は、さらに前記被測定装置の監視結果に基づいて機械学習を行うことによって前記故障状態を判断することができるように設置される。

【0009】

さらなる実施例において、操作補助システムは、オブジェクトデータベースと、文書データベースと、プロセスデータベースと、をさらに含む。オブジェクトデータベースは、複数種類のデバイスモデルを格納でき、前記被測定装置のデバイスモデルを含む。文書データベースは、特定のフォーマットの文字ファイルを格納でき、前記被測定装置の操作説明を含む。プロセスデータベースは、複数のプロセススクリプトを格納でき、複数の操作状況において複数の被測定装置が対応する操作プロセスと操作プロセスごとのデバイスモデル及び文書ファイルとを定義する。

【0010】

さらなる実施例において、前記サーバーは、前記オブジェクトデータベース、前記文書データベース、及び前記プロセスデータベースを連結し、前記故障状態に基づいて前記プロセスデータベース中のプロセススクリプトを実行し、前記オブジェクトデータベースと前記文書データベースを参照して前記サポートビデオを生成する処理モジュールを含む。
さらなる実施例において、前記操作補助システム前記オブジェクトデータベース、前記文書データベース、及び前記プロセスデータベースに連結する混合現実編集システムをさらに含む。前記混合現実編集システムは、オブジェクト描画モジュールと、ファイル編集モジュールと、プロセス設計モジュール、とを含む。オブジェクト描画モジュールは、デバイスモデルを描画できるマンマシンインタフェースを含む。ファイル編集モジュールは、文字ファイルが編集可能なマンマシンインタフェースを含む。プロセス設計モジュールは、プロセススクリプトが設計可能なマンマシンインタフェースを含む。

【0011】

さらなる実施例において、前記オブジェクトデータベースには、前記被測定装置の名称、仕様、製造番号、画像、及び２次元バーコードをさらに含む。前記オブジェクト描画モジュールは、さらに前記被測定装置の名称、仕様、製造番号、画像、及び２次元バーコードを編集することができる。

【0012】

さらなる実施例において、前記文書データベースには、前記被測定装置の故障メッセージ、アラームコード、及びセンサーの状態記述をさらに含む。ファイル編集モジュールは、さらに、前記被測定装置の故障メッセージ、アラームコード、及びセンサーの状態記述を編集することができる。

【0013】

さらなる実施例において、前記プロセスデータベースにおける前記プロセススクリプトには、連続する複数のステップの操作指示を含み、各操作指示は、指示文字、装置立体図、サンプルムービー、サンプルイメージ、及び文書ファイルのうちの１つ以上を含む。プロセス設計モジュールは、前記プロセススクリプトの各操作指示を編集できる。

【0014】

さらなる実施例において、操作補助システムは、前記サーバーに連結され、前記使用者装置が要求を出した時に、前記サーバーを介して前記使用者装置とのビデオ会議を確立し、前記使用者装置にガイド情報を提供することに用いられる支援者装置をさらに含む。操作補助システムは、前記オブジェクト描画モジュール、前記ファイル編集モジュール、及び前記プロセス設計モジュールに連結され、前記ビデオ会議中に前記ガイド情報を即時に生成できるマンマシンインタフェースを提供することに用いられるオンラインコラボレーションモジュールをさらに含む。

【0015】

さらなる実施例において、前記サーバーは、前記現場ビデオと前記ガイド情報とを複合現実画面に重ね合わせ、前記ビデオ会議に加入する複数の他の使用者装置に提供できる。

【0016】

さらなる実施例において、前記支援者装置は、前記ビデオ会議を通して前記使用者装置が捕捉した前記現場ビデオを取得する。前記支援者装置は、前記オンラインコラボレーションモジュールを利用して仮想空間に前記ガイド情報をマーキングする。前記ガイド情報は、前記オブジェクトデータベースにおけるデバイスモデル、矩形、円形、矢印、フリーブラシ、文字のうちの１つまたは複数を含む。

【0017】

さらなる実施例において、前記使用者装置は、さらに、前記現場ビデオの現場座標系及び深さ情報を感知できるように設置される。前記オンラインコラボレーションモジュールは、さらに、前記ガイド情報をマーキングする際に位置及び深さ情報をカスタマイズできるように設置される。前記使用者装置は、前記ビデオ会議を通して前記ガイド情報を受信し、かつ前記現場座標系と前記仮想空間の座標とを重ね合わせ、前記着用者に前記ガイド情報が前記現場空間における特定の相対位置に表示することを感じさせる。

【0018】

さらなる実施例において、前記使用者装置は、さらに、前記現場座標系の参考点として、前記現場ビデオ中の前記被測定装置上の２次元バーコードを識別できるように設置される。

【0019】

さらなる実施例において、前記ビデオ会議終了時には、前記サーバーは、さらに、前記ビデオ会議の経過及び前記ガイド情報を新しいプロセススクリプトに変換してプロセスデータベースに格納することができるように設置される。前記知能監視装置は、前記ビデオ会議中の前記被測定装置の各センサー数値変化を記録でき、機械学習アルゴリズムで故障状態変化を学習する。

【発明の効果】

【0020】

本発明によれば、現場データを採集でき、かつ故障診断分析を行い、ガイド情報を提供して使用者に補助して測定装置を操作する操作補助システムを提供することができる。

【図面の簡単な説明】

【0021】

【図1】本願実施例の操作補助システムのアーキテクチャ図である。

【図2】本願実施例のサーバーのアーキテクチャを示す図である。

【図3】本願実施例の混合現実編集システムのアーキテクチャを示す図である。

【図4】本願の一つの実施例の遠隔支援方法のプロセス図である。

【図5】本願の他の実施例の遠隔支援方法のプロセス図である。

【図6】本願の他の実施例的操作補助システムのアーキテクチャを示す図である。

【発明を実施するための形態】

【0022】

以下に、本願の実施形態における式と併せて、本願の実施形態における技術的スキームが明確かつ完全に説明される。明らかに、説明される実施形態は本実施形態の一部であり、すべての実施形態ではない。本願の実施例に基づいて、当業者が創造的な労働なしに取得した他のすべての実施例は、本願の保護の範囲内にある。

【0023】

図１は、本願実施例の操作補助システム１００のアーキテクチャ図である。本実施例の操作補助システム１００は、使用者（図示せず）が使用者装置１１０を通して被測定装置１３０を操作することに便利であり、メーカーのカスタマーサービス担当者の現場指導を必要とせずに、ガイド情報を得ることができる。本実施例では、被測定装置１３０は、実際には、手動操作を必要とする、または検査すべき任意のハードウェア製品を指すことができ、一般的には、工場において、様々な機械、器具、または装置として理解されることができる。通常、被測定装置１３０は、特定の送信プロトコルをサポートするいくつかの業界共通の送信インタフェースと、基本的な検知データを提供するいくつかの基本的なセンサー要素とを内蔵する。特定のデータ型は、ここでは制限されない。本願実施例は、被測定装置１３０自身が提供できるデータに基づいて、後続の相関分析処理を合理的に行うことができる。

【0024】

本実施例における使用者装置１１０は、基本的に、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）を有する１つのウェアラブルメガネであってもよい。使用者装置１１０は透過式ディスプレイを備え、被測定装置１３０を直接観測するとともに、サーバー２００から提供されるサポートビデオを表示することができ、ヘッドアップディスプレイ（ｈｅａｄ－ｕｐ ｄｉｓｐｌａｙ、ＨＵＤ）のような効果を奏する。これにより、使用者は操作被測定装置１３０を操作しながら、サポートビデオの授業を参考にして指導を受けることが容易になる。使用者装置１１０は、また、１つまたは複数の撮影レンズおよびマイクロホンを備え、現場ビデオを捕捉するために使用されてもよい。本実施例において言及される現場ビデオは、映像信号に加えて、ライブキャプチャされた音声信号を含むことができることは言うまでもない。

【0025】

本実施例における使用者装置１１０は、複合現実クライアント（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ Ｃｌｉｅｎｔ、ＭＲ Ｃｌｉｅｎｔ）とも呼ばれる。使用者装置１１０によって、使用者は、少なくとも標準プロセスデジタルガイダンス、ＭＲ遠隔コラボレーション、ＩＯＴ情報検知、インテリジェント検出および認識という機能を得ることができる。

【0026】

標準プロセスデジタルガイダンスの機能を以下に説明する。サーバー２００は、知能監視装置１４０、装置コントローラ１５０または使用者装置１１０の使用者入力を透過して、被測定装置１３０の故障状況を知ることができる。被測定装置１３０（テーブル）が警報を発するか、または、知能監視装置１４０から障害メッセージが発信されると、サーバー２００は、ＬＩＮＥまたはＴｅｌｅｇｒａｍなどの通信ソフトウェアを介してメッセージを使用者に通知することができる。このとき現場にいる使用者は、使用者装置１１０を介してサーバー２００に接続することができる。サーバー２００は、オブジェクトデータベース２３０と、文書データベース２４０とプロセスデータベース２５０とをクエリして、事前に保存された対応するトラブルシューティング教示プロセスを見つけ出し、それらを使用者装置１１０に再生することができる。これにより、使用者は、サーバー２００が使用者装置１１０に提供した案内情報に基づいて、徐々にそのようにしてトラブルを排除することができる。この方式では問題を解決できない場合、専門家モードを行って、直接にサーバー２００を通して一人の遠隔サービススタッフを呼んで、オンラインで教えることができる。専門家モードでは、サービスマンは、支援者装置１２０を操作し、サーバー２００を介して使用者装置１１０に接続され、ＭＲ遠隔コラボレーションを行って使用者を支援することができる。以上のように、サーバー２００が使用者を支援する方式は、無人モードであっても、専門家モードであってもよい。

【0027】

ＭＲ遠隔コラボレーションの機能を以下に説明する。使用者装置１１０は、サーバー２００と支援者装置１２０とを介して音声通話、遠隔マーキング、遠隔コラボレーション機能を行うことができる。支援者装置１２０は、通常、遠隔に位置する装置の専門家またはカスタマーサービス担当者によって操作され、手動で支援サービスを提供する。使用者装置１１０は、支援者装置１２０から提供されたテキスト、グラフィック、ムービー、ＰＤＦなどのデータ、さらには遠隔地の専門家のコンピュータデスクトップのデータを表示することができる。これにより、使用者装置１１０の使用者は、問題解決に必要な各種情報を効果的に得ることができる。使用者装置１１０は、さらに、装着者に前記サポートビデオが前記被測定装置が位置する空間における特定の相対位置に表示することを感じさせるように設置される。換言すれば、使用者装置１１０は、仮想画面が適切な位置に重ね合わされているのを使用者が現実画面で同時に見ることができるように、複合現実の技術を実現する。

【0028】

ＩＯＴ情報検知の機能を以下に説明する。使用者装置１１０は、ＩＯＴ通信プロトコルを介して被測定装置１３０の情報を閲覧したり、被測定装置１３０を制御したりすることができる。例えば、操作補助システム１００は、サーバー２００及び被測定装置１３０に連結し、ＩＯＴ通信プロトコルを介してそれらの間に情報を送信する装置コントローラ１５０をさらに含んでもよい。装置コントローラ１５０は、前記被測定装置１３０の状態情報をＩＯＴ通信プロトコルで受信し、サーバー２００によってフォーマット変換して前記使用者装置１１０に表示することができる。装置コントローラ１５０は、使用者装置1１０によって出された制御指示を被測定装置１３０に転送することもできる。本実施例では、前記特定の通信協定は、オープンプラットフォーム通信統合アーキテクチャ（Ｏｐｅｎ Ｐｌａｔｆｏｒｍ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｉｆｉｅｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＯＰＣＵＡ）またはメッセージキューテレメトリトランスポート（Ｍｅｓｓａｇｅ Ｑｕｅｕｉｎｇ Ｔｅｌｅｍｅｔｒｙ Ｔｒａｎｓｐｏｒｔ、ＭＱＴＴ）プロトコルであってもよい。換言すれば、本願の操作補助システム１００は、使用者装置１１０がサーバー２００を介して被測定装置１３０の機器情報を読み取り、被測定装置１３０を制御することができる。

【0029】

図１では、操作補助システム１００は、被測定装置１３０に連結して被測定装置１３０内の複数のセンサー状態を監視することによって故障状態を判断することに用いられる知能監視装置１４０をさらに含む。例えば、知能監視装置１４０は、被測定装置１３０の電流、振動、温度、湿度、及び構造物理状態を監視し、被測定装置１３０の監視結果に基づいて機械学習を行い、前記故障状態を判断することができる。本実施例では、は、人工知能または機械学習能力を備えたノード装置であってもよく、産業用コンピュータにアプリケーションチップを組み込んで構成され、被測定装置１３０から検出された種々のデータを収集する。知能監視装置１４０は、時間がかかる従来のモデリング方法に代えて、ハイパーパラメータ自動調整機能を組み込むこともできる。これにより、知能監視装置１４０は、モデリング全体の効率およびツールと関連するゼロコンポーネントの健康寿命予診システムの精度を向上させることができるだけでなく、生産ラインの故障によるライン全体の停止の発生率を低減することができる。さらなる応用形態では、知能監視装置１４０は、第５世代移動通信ネットワークをサポートするように設計されてもよく、関連するシステムベンダーと直接接続してＡＩモジュールの無線アップデート（Ｏｖｅｒ ｔｈｅ Ａｉｒ、ＯＴＡ）を行い、エンド使用者が自らアップデートを維持できないという問題を克服する。

【0030】

サーバー２００は、本願実施例の操作補助システム１００の動作コアであり、動作時には、使用者装置１１０と知能監視装置１４０とに連結される。サーバー２００の基本機能は以下のように記述されている。知能監視装置１４０が故障状態をサーバー２００時に返却すると、サーバー２００は前記故障状態に応じて問題を解決できるサポートビデオを使用者装置１１０に提供する。使用者が学習しやすいように、使用者装置１１０が前記サポートビデオを表示する時に、使用者装置１１０からフィードバックされた再生コマンドを受け取ることもでき、サポートビデオの再生方式にインタラクティブ性を持たせることができる。例如，サーバー２００は、インタラクティブに段階的に再生、リプレイ、巻き戻し、ジャンプ、関連ドキュメントの起動、表示位置または深さの変更、拡大縮小又はその他のサポートビデオの選択などの再生コマンドをサポートする。操作補助システム１００は、通常、上述の対話型操作のために、ジェスチャ認識機能、スティック、トラックパッド、キーボード、またはマウスなどのマシンマシンタフェーを備えてもよい。

【0031】

図２は、本願実施例のサーバー２００のアーキテクチャを示す図である。サーバー２００自体は、ハードシステム、あるいは特定の作業システムやソフトを実行するコンピュータと理解できる。実際には、サーバー２００は、少なくともＴＣＰおよびＵＤＰ通信プルートコールをサポートする通信モジュール２２０を含むことができ、有線または無線ネットワークに限定されない。このうちＴＣＰ通信プロットコールは、主に、サーバー２００と使用者装置１１０との間の接続ハンドオーバ、メッセージング（ダイヤル、切断、受信、マッチングリングなど）、リポジトリ格納を処理するために用いられる。ＵＤＰ通信プロトコルは、リアルタイムのビデオ、音声送信等に使用することができ、デバイス情報変換プラットフォームを含み、デバイス障害情報を使用者装置１１０を通して表示することができる。

【0032】

使用者装置１１０とサーバー２００との間の接続線は、無線ネットワーク、有線ネットワーク、または他の専用インタフェースであってもよい。使用者装置１１０は、カメラが捉えた現場の映像を前記サーバー２００に送信することができる。サーバー２００は、通信モジュール２２０を介して前記現場の映像を受信した後、処理モジュール２１０で解析処理を行う。サーバー２００では映像認識機能を実装し、由処理モジュール２１０ではオブジェクトデータベース２３０のデータを参照して、前記現場の映像中の被測定装置１３０の映像を認識し、被測定装置１３０の型式や前記故障状態を判断する。例えば、使用者装置１１０は瞬時にスライスデータをサーバー２００に送信した後、処理モジュール２１０は深層学習アルゴリズム（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ、ＹＯＬＯ）を用いてモデル分析を行い、被測定装置１３０の型番や故障に関する情報を判断した後、分析結果を文字またはスライス方式で使用者装置１１０に返信して表示する。本実施例で述べた処理モジュール２１０は、プロセッサ、コンピュータチップ、またはアプリケーション特定チップが、メモリと協働してソフトウェアまたはストラットを実行し、サーバー２００を駆動して上記機能を全て実現するものと理解される。

【0033】

サーバー２００の機能を完備するために、サーバー２００には、オブジェクトデータベース２３０と、文書データベース２４０とプロセスデータベース２５０とが設置されている。各データベースの機能は以下のように記述される。

【0034】

オブジェクトデータベース２３０は、数種類のデバイスモデルを格納することができる。本実施例では、デバイスモデルは、円形、立方体、角錐体、平面、曲面などの様々な形状の立体オブジェクト単体とすることができる実際には、市販されている種々の異なるタイプの被測定装置１３０は、複数の立体物単体の組み合わせに分解することができる。これらの立体物体単体の組み合わせにより、使用者は、被測定装置１３０の動作原理を理解しやすい参照画像を生成することができる。オブジェクトデータベース２３０におけるデバイスモデルは、オリジナルのデータが揃っていれば、被測定装置１３０のシミュレーションモデルも含めることができる。さらなる実施例において、サーバー２００における処理モジュール２１０は、使用者装置１１０から提供される現場ビデオ映像を介して、被測定装置１３０のシミュレーションモデルを作成し、オブジェクトデータベース２３０に格納する。

【0035】

文書データベース２４０は、前記被測定装置１３０の操作手順を含む特定の書式の文字ファイルを格納することができる。文書データベース２４０は、知られているさまざまな教育文書や手順説明を集め、サポートビデオを提供する際の素材として利用できる。文字ファイルのフォーマットは、既知のｄｏｃ、ｐｄｆやｔｘｔに限定されない。

【0036】

プロセスデータベース２５０は、複数のプロセススクリプトを格納することができ、複数の操作状況において複数の被測定装置が対応する操作プロセスと、操作プロセスごとのデバイスモデル及び文書ファイルを定義する。実際に、プロセススクリプトは、主に、特定の障害状況を解決するために必要な複数のステップを説明するために使用される。各ステップには、通常、テキスト、グラフィック、立体オブジェクトモード、サウンド、ムービーが含まれる。そのため、プロセススクリプトは、はハイパーファイルフォーマット（ＨＴＴＰ）、マルチファンクションマークアップ言語（ＸＭＬ）、又はその他の一般的な記述方法を使用でき、オブジェクトデータベース２３０と文書データベース２４０の各物件ファイルを外部リンクで一つのスクリプトファイルにまとめ、処理モジュール２１０の実行時には、インタラクティブ式のサポトベデオが生成され、使用者装置１１０に対応させて使用者に表示させる。

【0037】

以上のように、サーバー２００における処理モジュール２１０は、オブジェクトデータベース２３０と、文書データベース２４０と、プロセスデータベース２５０とに連結する。サーバー２００が障害状態に応じてプロセスデータベース２５０のうちの１つのプロセススクリプトを実行する場合は、前記オブジェクトデータベース２３０と前記文書データベース２４０を参照して前記サポートビデオを生成する。補足説明は、本実施例におけるプロセススクリプトは、一連の命令の組み合わせとみなすことができ、複数のステップと、各ステップで表示される画面、コンテンツ、または音声を定義する。サポートビデオは、前記の前記一連の命令が実行された結果である。ＭＲ技術と組み合わせることで、本願のサポートビデオは立体物の動きや解体、部品の細部まで表現でき、使用者が操作方法を学ぶのに便利な補助ツールである。

【0038】

図３は、本願実施例の混合現実編集システム３００のアーキテクチャを示す図である。混合現実編集システム３００の実作上の位置付けは、独立したハードウェアであってもよいし、特定のソフトウェアを実行するコンピュータであってもよい。混合現実編集システム３００は、サーバー２００とは独立した１つの装置であってもよいし、サーバー２００に統合された１つのモジュールであってもよい。混合現実編集システム３００の主な目的は、サーバー２００の作動に必要な各種物件、ファイル、プリントサービスを提供し、かつ使用者装置１１０側の使用者と支援者装置１２０側のサービス担当者がオンラインでの仮想現実のインタラクションを行うことに用いられる即時動作可能なマンマシンインタフェースを提供する。

【0039】

換言すれば、混合現実編集システム３００は、混合仮想現実世界が関与する事物を編集できるマンマシンインタフェースと理解することができ、作動時に、フル機能を得るために、オブジェクトデータベース２３０と文書データベース２４０とプロセスデータベース２５０とを組み合わせる。混合現実編集システム３００は、編集機能の要求に応じて、例如、オブジェクト描画モジュール３０２、ファイル編集モジュール３０４、及びプロセス設計モジュール３０６など、いくつかのモジュールに大別できる。オブジェクト描画モジュール３０２は、デバイスモデルを描画できるマンマシンインタフェースを含む。ファイル編集モジュール３０４は、文字ファイルを編集可能なマンマシンインタフェースを含む。プロセス設計モジュール３０６は、プロセススクリプトを設計可能なマンマシンインタフェースを含む。

【0040】

前記オブジェクトデータベース２３０は、各種基本デバイスモデルの他、被測定装置１３０に関する情報、例えば、名称、仕様、製造番号、図面、及び２次元バーコードを格納することができる。これらの情報は、オブジェクト描画モジュール３０２によって作成される。すなわち、オブジェクト描画モジュール３０２は、被測定装置１３０の名称、仕様、製造番号、グラフィック、及び２次元バーコードを編集するために使用することができる。

【0041】

本実施例では、オブジェクト描画モジュール３０２は、２Ｄモデルだけでなく３Ｄモデルも描画できる。２Ｄは、一般的な矩形、円形、矢印の基本図などの基本図です。３Ｄモデルは、ｆｂｘ、ｏｂｊファイルフォーマットであってもよい。使用者や専門家がオブジェクト描画モジュール３０２を用いて各種デバイスモデルを描画すると、サーバー２００を通じてオブジェクトデータベース２３０に格納することができる。

【0042】

図２に示す文書データベース２４０は、各種教示文書の収集に加えて、被測定装置１３０に関するアプリケーションコード、例えば故障メッセージ、警報コード、及びセンサー状態記述の収集にも使用できる。文書データベース２４０で収集されたこれらのメッセージは、也可由図３のファイル編集モジュール３０４によっても作成、修正、及び削除を含めて管理することもできる。使用者又は専門家がファイル編集モジュール３０４を用いて被測定装置１３０の故障メッセージ、警報コード、及びセンサー状態記述を編集した後、サーバー２００を通じて文書データベース２４０に格納する。これらのデータは、その後の被測定装置１３０に関する動作において、読み取られて利用されることができる。例えば、専門家は、支援者装置１２０を利用してサーバー２００に接続し、操作ファイル編集モジュール３０４を操作して自由に机の故障修理の情報、設備センサー、及びコントローラの情報を編集し、各ステップの故障を分解して文字、画像、ビデオ、ＰＬＣビットなどを入力し、それらを文書データベース２４０に格納する。

【0043】

図２に示すプロセスデータベース２５０におけるプロセススクリプトは、連続する複数のステップの操作指示を含み、各操作指示は、指示文字、装置立体図、サンプルムービー、サンプルイメージ、及び文書ファイルのうちの１つ以上を含む。これらのメッセージは、図３のプロセス設計モジュール３０６にオブジェクト描画モジュール３０２とファイル編集モジュール３０４を組み合わせてハイパーリンクで編集することによって生成することができる。例えば、被測定装置１３０の専門家やカスタマーサービス担当者は、事前に混合現実編集システム３００を用いて標準操作プロセス（Ｓｔａｎｄａｒｄ Ｏｐｅｒａｔｉｏｎ Ｐｒｏｃｅｄｕｒｅ、ＳＯＰ）、コンソールトラブルシューティング情報、およびデバイスセンサーとコントローラ情報を編集することができる。編集で得られた成果は、さらに対応してサーバー２００におけるオブジェクトデータベース２３０、文書データベース２４０、及びプロセスデータベース２５０に格納される。被測定装置１３０の一人の専門家が支援者装置１２０を操作する時に、ＭＲウェアラブル装置を組み合わせて行ってもよい。被測定装置１３０の専門家は、支援者装置１２０を用いてサーバー２００に接続すると、オンラインで混合現実編集システム３００にアクセスすることができる。被測定装置１３０の専門家は、支援者装置１２０を介して使用者装置１１０の使用者にサービスを提供する際に、ＭＲメガネのカメラとマイクを用いて、使用者と映像・音声通信を行う。支援者装置１２０には、音声と映像コンテンツとを直列化または逆直列化し、サーバー２００を介して使用者装置１１０に送信することに用いられるビデオ会議関連ＡＰＩが含まれていてもよい。オンラインビデオ会議またはビデオ会議の詳細については、既知の技術を参照することができる。しかし、本発明のオンラインビデオ会議は、また複合現実機能を結合する。

【0044】

複合現実機能を実現するために、混合現実編集システム３００は、実時間インタラクションのためのマンマシンツールとして、１つのオンラインコラボレーションモジュール３０８を提供する。実際に、本実施例的オンラインコラボレーションモジュール３０８は、様々な描画可能な素材を即座に提供するために、オブジェクト描画モジュール３０２、ファイル編集モジュール３０４、及びプロセス設計モジュール３０６を呼び出して、連携して機能を実行することができる。混合現実編集システム３００がオブジェクトデータベース２３０、文書データベース２４０、及びプロセスデータベース２５０にオンライン接続されれば、より高度な編集機能が提供されることが理解できる。以上のように、ビデオ会議において、オンラインコラボレーションモジュール３０８は、前記ガイド情報を即座に生成できるマンマシンインタフェースを提供する。マンマシンインタフェースの外観デザインやレイアウトについては、使用者の慣れを考慮し、広く知られている様々な美術編集ソフトウェアのデザインを参照してカスタマイズし、操作インタフェースの学習障害を軽減する。

【0045】

被測定装置１３０の専門家は、支援者装置１２０を操作して使用者装置１１０とインタラクションする際に、ＭＲメガネを介してオンラインコラボレーションモジュール３０８を操作し、使用者が捉えた現場画面を即座に遠隔マーキングリングすることができる。使用者が使用者装置１１０を利用して支援者装置１２０側の専門家に問い合わせると、使用者装置１１０の表示インタフェース上で専門家の遠隔からのマーキング情報を見ることができる。また、本願に導入された複合現実技術により、専門家が描画した内容は、使用者装置１１０の現物と重ねて一種の混合仮想現実とすることができ、使用者が授業内容を理解しやすくすることができる。

【0046】

遠隔マーキングのプロセスの一例を以下に示す。まず、使用者装置１１０の使用者は、サーバー２００を介してオンラインサービスや遠隔の専門家を呼び出し、オンライン会議を確立して被測定装置１３０の操作案内を行うように要求する。支援者装置１２０は、ネットワークを介してサーバー２００に接続可能である。使用者装置１１０がビデオ会議要求を出すと、サーバー２００は、使用者装置１１０と遠隔の専門家が使用する装置である支援者装置１２０とをメディア接続してビデオ会議を確立する。遠隔の専門家は、ビデオ会議を介して、支援者装置１２０を利用して、使用者装置１１０にガイド情報を提供することができる。

【0047】

支援者装置１２０は、前記使用者装置１１０が捕捉した前記現場ビデオを前記ビデオ会議を介して取得し、そして、遠隔の専門家がオンラインコラボレーションモジュール３０８を用いて仮想空間に前記ガイド情報をマーキングすることができる。前記ガイド情報には、オブジェクトデータベース２３０のデバイスムデルを含めることができ、また、例えば、長方形、円形、矢印、フリーブラシ、文字などのさまざまなプリセットの基本テンプレートであってもよい。専門家は支援者装置１２０を用いる時に、混合現実編集システム３００を介してオブジェクトデータベース２３０から加入したい物件を探し出し、使用者装置１１０に表示したい位置をドラッグで指定する。別の実施例では、遠隔の専門家が、オンラインコラボレーションモジュール３０８を介して、仮想空間内の所定の位置に立体デバイスモデルを配置し、ズーム倍率を調整し、回転角度を調整した後、使用者に提示したいガイド情報を生成してサーバー２００にアップロードすることができる。したがって、サーバー２００にアップロードされた情報には、立体デバイスモデルそのもののほか、その位置座標、回転角度および縮尺も含まれる。

【0048】

オンライン専門家が使用者装置１１０の現場にいないため、支援者装置１２０が表示する画面は、遠隔の専門家が現場ビデオに正確にガイド情報をマーキングするために、前記仮想空間と現場ビデオとを重ね合わせた一種の複合現実画面である。複合現実のアプリケーションを実現するために、まず、使用者装置１１０が捕捉した映像画面が、ＡＰＩを介してサーバー２００に送信される。使用者装置１１０のカメラは、立体カメラとして設計することができ、感知された現場ビデオは、現場座標系と深さ情報とを含むことができる。これにより、支援者装置１２０が現場ビデオを表示する際にも、立体的な映像を提示することができる。遠隔の専門家がオンラインコラボレーションモジュール３０８を用いて前記ガイド情報をマピニングする場合も、前記現場座標系に対応する仮想空間に描画することとして理解することができ、描画する物の位置と深さは自由に調整することができる。例えば、遠隔の専門家が混合現実編集システム３００を用いて遠隔マーキング機能を実作する場合、サーバー２００は使用者装置１１０のカメラマトリクスの位置データによってＲＡＹアルゴリズムを組み合わせることにより、専門家がマーキングした画面内容に深さ情報を付与し、３次元立体マーキング効果を実現することができる。最後に、支援者装置１２０を使用する遠隔の専門家やカスタマーサービス担当者は、混合現実編集システム３００から入力されたガイド情報により、使用者装置１１０の画面に表示することができる。例えば、前記ビデオ会議に参加する使用者装置１１０は、サーバー２００を介して支援者装置１２０から前記ガイド情報を受信し、前記現場座標系と前記仮想空間の座標とを重ね合わせ、前記着用者に前記ガイド情報が前記現場空間における特定の相対位置に表示することを感じさせる。

【0049】

さらなる実施例において、ビデオ会議では、多数の人が同時に接続して音声通話、遠隔マーキング、遠隔コラボレーション機能を共同で行うことができ、同時に専門家から送られてきた文字、図、動画、ＰＤＦなどのデータをメガネによって見ることもできる。

【0050】

さらなる実施例において、サーバー２００はさらに、敵対的生成ネットワーク （Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ、ＧＡＮ） と組み合わせて、遠隔の専門家が支援者装置１２０を通して入力した指導経験をＡＩロボットに訓練することができる。ＡＩロボットは、適切な訓練を経て、基本的な状況において、遠隔の専門家に代わってオンラインで使用者と対話したり、インタラクションしたり、ガイド情報を描画したりして、被測定装置１３０の問題の排除に協力することができる。これに対して、使用者はＡＩロボットと対話したときに、操作に対するフィードバックを与え、ＡＩロボットがより多くの経験を積むことを支援することができ、サーバー２００のサービス能力は日増しに高まる。

【0051】

使用者がいる現場空間と遠隔の専門家が作業する仮想空間をシームレスに複合現実に融合するために、本発明は定位点の概念を提出する。各被測定装置１３０上の特定の位置には、１つまたは複数の特定のシンボル、例えば２次元バーコードが表示され得る。使用者装置１１０のカメラが現場ビデオを捉えた後、被測定装置１３０上の２次元バーコードを認識すれば、被測定装置１３０の型番を知ることができ、現場空間のための座標系を確立することができる。使用者装置１１０は、被測定装置１３０上の２次元バーコード位置により、前記座標系の相対参照点または原点を決定することができる。複合現実の画面重ね合わせを行う場合、使用者装置１１０は、現場空間の座標系に基づいて仮想空間との重ね合わせ方式を決定することができる。

【0052】

図４は、本願実施例の１つの遠隔支援方法のプロセス図である。図１の操作補助システム１００は、専門家モードで動作可能であり、支援者装置１２０がサーバー２００を介して使用者装置１１０にオンライン支援サービスを提供する。

【0053】

まず、プロセス４０２では、使用者装置１１０からサーバー２００に対して遠隔支援要求が出される。前記遠隔支援要求は、被測定装置１３０に関する情報、例えば、型番、故障状況、及び各種センサーデータを含んでもよい。

【0054】

プロセス４０４では、サーバー２００が前記遠隔支援要求を受信すると、支援者装置１２０に対して接続確立要求を行う。サーバー２００は、常時、複数の支援者装置１２０と接続状態、すなわち、複数の遠隔の専門家がオンラインに待機している。また、サーバー２００は、前記遠隔支援要求を受信すると、その中の付加情報に基づいて、オンラインの該当する支援者装置１２０の１つを結合して、遠隔支援接続を確立することができる。

【0055】

プロセス４０６では、サーバー２００からの接続要求を受けた支援者装置１２０がビデオ会議に参加し、支援者装置１２０の操作者が使用者装置１１０の使用者とインタラクションする。

【0056】

プロセス４０８では、使用者装置１１０のカメラとマイクが使用者側の現場画面を捕捉する。使用者装置１１０は、着用式ＭＲ装置であってもよく、捕捉された現場画面は、使用者がいる現場にある被測定装置１３０を含んでもよい。使用者装置１１０のカメラが立体検出機能、例えば光学レーダーを有する場合、生成される現場画面は、深さ情報を有するパノラマ画像であり得る。

【0057】

プロセス４１０において、使用者装置１１０は、捕捉した現場画面をサーバー２００に送信する。使用者装置１１０がサーバー２００に送信する情報は、音声、または被測定装置１３０に関する付加的な情報、例えば、被測定装置１３０上の２次元バーコードを含んでいてもよい。

【0058】

プロセス４１２では、使用者装置１１０から送信された現場画面をサーバー２００が受信する。サーバー２００は、現場画面を初歩的に認識して、被測定装置１３０の仕様や故障状況を判断してもよい。

【0059】

プロセス４１４では、サーバー２００が使用者装置１１０の現場画面を支援者装置１２０に送信する。また、サーバー２００は、現場画面を認識した結果を支援者装置に送信したり、使用者装置１１０がサーバー２００に提供する追加情報を送信して、支援者装置１２０の操作者が使用者装置１１０側の実際の状況を理解できるようにすることもできる。

【0060】

プロセス４１６では、支援者装置１２０がサーバー２００からの現場画面を受信し、支援者装置１２０側のディスプレイに表示する。支援者装置１２０は、ＭＲ装着装置又はＶＲ装着装置であってもよく、支援者装置１２０側の操作者に使用者装置１１０側のライブパノラマ画面を知覚させる。

【0061】

プロセス４１８では、支援者装置１２０の操作者が見た現場画面に基づいて、図３の混合現実編集システム３００を用いて遠隔マーキングする。遠隔マーキングによる情報は、使用者装置１１０側の使用者の問題解決を支援するガイド情報である。遠隔の専門家がこのビデオ会議を通して提供する内容には、音声対話やオンラインで送信される他の文書ファイルも含まれることが理解できる。

【0062】

プロセス４２０では、サーバー２００が支援者装置１２０からのガイド情報を受信し、使用者装置１１０に転送する。

【0063】

プロセス４２２において、使用者装置１１０は、サーバー２００が転送してきたガイド情報を受信する。ガイド情報の内容は、図３の実施例で述べたように、仮想空間に描画されたデバイスモデル、グラフィック、文字、及び音声とすることができる。

【0064】

プロセス４２４では、使用者装置１１０がガイド情報を現場画面上に混在させて表示し、複合現実効果を形成している。

【0065】

プロセス４２６では、サーバー２００は、ビデオ会議中に、ガイド情報を新しいプロセススクリプトに変換し、プロセスデータベース２５０に格納することもできる。当日後にサーバー２００で同様のトラブルが発生した場合は、直ちにプロセスデータベース２５０から既存のプロスポーツクリプトを呼び出して使用者に学習させ、支援者装置１２０側の人件費を節約する。

【0066】

図５は、本願の他の実施例の遠隔支援方法のプロセス図である。使用者が被測定装置１３０を操作することが困難な場合には、遠隔の専門家に依頼してオンライン指導を行なわず、既存のオンラインプロセス指導の提供をサーバー２００に直接的に依頼してもよい。サーバー２００で十分な知識量が蓄積された後は、将来的には知能オンラインプロセス指導が人工プロセス指導に取って代わるだろう。図５のプロセスを以下に説明する。

【0067】

まず、プロセス４０２では、使用者装置１１０からサーバー２００に対して遠隔支援要求が出される。前記遠隔支援要求は、被測定装置１３０に関する情報、例えば、型番、故障状況、及び各種センサーデータを含んでもよい。

【0068】

プロセス４０２と同時に、知能監視装置１４０がプロセス５０２を実行し、被測定装置１３０を監視して監視情報をサーバー２００にアップロードする。被測定装置１３０自体は、通常、感知器およびＩＯＴプロトコルをサポートする送信インタフェースを内蔵しており、様々な感知状態および実行コードを知能監視装置１４０に提供することができる。知能監視装置１４０は、より詳細な被測定装置１３０の動作情報を収集するためのより多くのタイプの検知装置をさらに含むことができる。これらの監視情報はサーバー２００に故障状況の判断根拠として提供することができる。なお、知能監視装置１４０自体は、知能的な学習能力を含んでいてもよく、監視情報に基づいて被測定装置１３０の故障状況を自発的に判断してサーバー２００に返信する。

【0069】

プロセス５０４では、サーバー２００が使用者装置１１０からの遠隔支援要求を受信すると、知能監視装置１４０から提供された監視情報に基づいてプロセスデータベース２５０における対応するプロセススクリプトを検索する。

【0070】

プロセス４０８から４１２は、図４の実施例に似ているので、ここでは説明を省略する。

【0071】

プロセス５１４は、プロセス４１２に接続して稼働し、サーバー２００はプロセスデータベース２５０で見つかったプロセススクリプトに基づいて、ガイド情報を生成する。実際に、プロセススクリプトは、複数のステップで表示すべき文字、図形、音声を記述するマークアップ言語で作成でき、オブジェクトデータベース２３０、文書データベース２４０、プロセスデータベース２５０に格納されている各種素材を参照できる。ガイド情報は、サーバー２００における処理モジュール２１０がプロセススクリプトに基づいて合成したビデオであってもよく、プロセススクリプトで参照される各種の文字、図形、音声が含まれている。ガイド情報は、３次元立体深さ情報を備えていてもよく、使用者装置１１０においてパノラマ映像方式で提示される。

【0072】

プロセス５１６では、サーバー２００がガイド情報を使用者装置１１０に送信する。

【0073】

プロセス４２２から４２４は、図４の実施例に似ているので、ここでは説明を省略する。

【0074】

派生的な実施例では、使用者装置１１０がガイド情報を再生する機能は、使用者のインタラクションを受けることができる。すなわち、使用者は再生中に指示を入力し、ガイド情報を逐次再生、一時停止、または再生させることができる。さらに、使用者は、再生中に情報をフィードバックして、サーバー２００に被測定装置１３０の修復経験を学習させることもできる。なお、知能監視装置１４０は、使用者が被測定装置１３０を操作している間も、被測定装置１３０の各種の感知数値変化を継続的に監視し、修復状況に合わせて機械学習能力を継続的に拡充する素材となる。

【0075】

図６は本願の他の実施例の操作補助システム６００のアエクキテクチャを示す図である。そのアアーキテクチャスピンドルは、使用者装置１１０と、サーバー２００と、支援者装置１２０とで構成されている。図１の操作補助システム１００は一種の分散フレーム式である。本実施例の操作補助システム６００では、混合現実編集システム３００は、サーバー２００の一部に統合され、オンライン・アプリケーション・サービスとして支援者装置１２０に提供される。図１に示す知能監視装置１４０は、サーバー２００の一部に統合され、ＩＯＴ通信プロトコルを介して被測定装置１３０に接続されてもよい。

【0076】

他の派生的な実施例では、図１中の装置コントローラ１５０は、実際に知能監視装置１４０の一部とすることができる。知能監視装置１４０は、被測定装置１３０に対して双方向通信を行い、センサー情報を受信する一方、制御命令を送信することができる。

【0077】

他の派生的な実施例では、知能監視装置１４０は、被測定装置１３０に統合され、ＩＯＴ通信プロトコルまたは５Ｇ行動ネットワーク通信プロトコルを介して、サーバー２００と通信可能である。

【0078】

これに加えて、操作補助システム６００を操作するアーキテクチャにおいて、サーバー２００は、複数の使用者装置１１０、または複数の支援者装置１２０に同時に接続されてもよい。サーバー２００は、複数の使用者装置１１０に対して同時に同一オンライン指導を行うことができる。１つまたは複数の支援者装置１２０の操作者は、１つまたは複数の使用者装置１１０を同時にオンライン指導することもできる。被測定装置１３０を操作していない使用者は、使用者装置１１０を介してオンライン会議に参加し、他の人の複合現実画面を見て、そこから学ぶこともできる。換言すれば、サーバー２００は、さらに、被測定装置１３０の現場ビデオと前記ガイド情報とを１つの複合現実画面に重ね合わせ、前記ビデオ会議に参加する複数の他の使用者装置に提供することができる。

【0079】

操作補助システム６００の実作では、サーバー２００自身が基本的なプロセス指導機能を備えている。使用者装置１１０の使用者が問題に遭遇した場合には、まずサーバー２００に支援者装置１２０を使用せずに指導プロセスの提供を要求することができる。使用者装置１１０の使用者は、サーバー２００によって提供された情報が問題を解決するのに十分でない場合には、サーバー２００を介して遠隔の専門家に呼びかけて、支援者装置１２０を使用してオンラインで問題解決を支援する。

【0080】

以上のように、本願が提案する操作補助システム１００には、次のイノベーションのアイデアが含まれる。操作補助システム１００には、知能監視装置１４０が統合されており、被測定装置１３０の故障診断、閾値設定、異常警報通知を行うことができる。知能監視装置１４０の設置によっても、故障診断情報を即時に送信することができる。本実施例で設計されたアーキテクチャは、拡張可能な柔軟性を持ち、サードパーティシステムへの迅速な統合を可能にする。図３の実施例では、操作者が１つのＡＲプロセスを１０分で素早く編集できる便利なマンマシンインタフェースを提案している。使用者装置１１０、サーバー２００と被測定装置１３０との間では、標準通信プロトコルＭＱＴＴとＯＰＣＵＡで通信を行い、実作コストを低減し、将来の拡張システムとの適合性を高める。

【0081】

また、本願の操作補助システム１００は、ＩＯＴ、ＴＣＰ、ＶＲなど異なる分野の技術を幅広くカバーするため、サーバー２００は関連機器の標準通信プロトコル変換プラットフォームの役割を果たし、情報の連結をスムーズにする。本実施例のサーバー２００は、使用者装置１１０及び１４０から提供される情報を介して、データベースから被測定装置１３０に対応する故障ＳＯＰ処理プロセスをインテリジェントに選別することができる。サーバー２００は、今日の有名なクラウドプラットフォームに統合され、最小限のコストでデータアクセスを最大化することができます。本願のサーバー２００はまた、設計可能なＳＯＰプロセスとＩＯＴ情報の混合現実編集システム３００を統合し、機能弾性が被測定装置１３０の種類に応じて無限に延びるようにしている。

【0082】

本願の操作補助システム１００は、ビデオ通話機能と遠隔マーキング機能を複合現実技術に統合し、前例のないものである。さらに派生した実施例では、操作補助システム１００の各要素は、５Ｇ動作通信ネットワークに連結し、オフィス又は研究室に限定されることなく、屋外、現場、都会又は田舎の隅々まで、適用可能な場所を拡張することができる。

【0083】

本願の操作補助システム１００は、次のような効果が期待できる。操作補助システム１００が提供するサービスは、故障による部品生産コストの損耗及び定期的な巡回検査の人力消耗を有効に低減できる。知能監視装置１４０の設置によって、紙本プロセスを低減し、大量の手書きを減らし、且つ自動に感知情報を雲端或は地端に記録する。知能監視装置１４０は部品の管理をインテリジェント化し、情報に基づいて故障原因を判断することができる。サーバー２００は、支援者装置１２０と組み合わせることにより、出張コストを削減し、移動を回避することができる。サーバー２００には各種のデータベースが作成されているので、使用者は被測定装置１３０に関する情報、例えば生産履歴を素早く閲覧することも容易である。本発明の操作補助システム１００は、複合現実技術を統合しているため、被測定装置１３０をメンテナンスするための技術ハードルが著しく低下し、メンテナンス効率を効果的に加速し、輸送安全係数を向上させ、製品サービス中断率を低下させることができる。操作補助システム１００を使用して故障解決を行う過程において、サーバー２００はＡＩ技術を採用して即時映像を判読したり写真を撮影したりして、複雑なデータを快速に識別できる。

【0084】

本発明が応用できる産業範囲もかなり広い。例えば、製造業は駐在点（ｏｎ－ｓｉｔｅ）を必要とする産業である。工場の技術支援人材が不足すれば、問題解決のスピードが落ちる。ここ数年来、政府は絶えず環境保護責任管理（ＥＳＧ）を提唱し、工場の維持管理のハードルを更に高めさせた。本発明はＩＯＴ、ＡＩ、ＭＲ/ＡＲと５Ｇ行動通信ネットワークが提出する操作補助システム１００を結合して、メーカーが各項の長、短期目標をより速く達成することに協力できる。装着型設備を結合するソリューションはメーカーの効率を大幅に上昇させ、出張コストを低下させ、人材育成の速度を増加させ、さらに服の販売と人材育成で発生する可能性のあるカーボンフットプリントを低下させる。ＩＯＴおよびＡＩ技術を導入した知能監視装置１４０もまた、エネルギー消費を低減するのに役立つ。メーカーは監視を通じて現在の効能を理解し、方針を制定してエネルギー密集作業を改善することができる。本発明は、操作補助システム１００のアーキテクチャによって、メーカーがＥＳＧの潮流に追随することを助け、産業効率を向上させ、かつコスト支出を減少させることが期待される。

【0085】

本発明の操作補助システム１００は、デジタル精密アフターサービス応用にも適用できる。例えば、あるメーカーの工作機械産業のアフターサービスコストは総コストの２０%以上に達する。本発明の操作補助システム１００を採用すれば、アフターサービスを購入するコストを大幅に総コストの１０%以下に下げることができる。

【0086】

本発明の操作補助システム１００は、風力発電関連産業、例えば海洋風力発電施設の遠隔パトロール作業にも適用可能である。画像認識と音声入力の機能により、巡回検査員の所要時間は元の２時間から１時間ぐらいまで下がり、巡回検査のメンテナンス効率は著しく向上した。

【0087】

本願の知能監視装置１４０は、電気通信事業者と協力して、収集したデータと診断結果を電気通信事業者のクラウドプラットフォームにアップロードすることができる。前記クラウドプラットフォームはさらにすべての情報を各操作補助システム１００中の各使用者装置１１０に送ることができる。言い換えれば、サーバー２００はクラウドプラットフォームに配置することができ、Ｒｅｓｔｆｕｌ ＡＰＩを操作補助システム１００中の他のデバイスに提供して遠隔直列接続を行う。最後に、操作補助システム１００の販売は、前記電気通信事業者が提供する販路をそのまま利用して、様々な産業に流通させることも可能である。

【0088】

本明細書において、用語「含む」、「含める」、またはそれらの任意の他の変形は、非排他的な「含む」をカバーすることを意図し、したがって、一連の要素を含のプロセス、方法、物品または装置は、それらの要素だけでなく、明示的に列挙されていない他の要素も含み、またはそのようなプロセス、方法、物品または装置に固有の要素も含む。これ以上の制限がない限り、「...を含む」によって限定された要素は、前記要素を含むプロセス、方法、物品または装置にさらに別の同じ要素が存在することを排除しない。

【0089】

上記は、図面と併せて本願の実施例について説明したが、本願は、上述した具体的な実施方式に限定されるものではなく、上述した具体的な実施方式は、単なる例示であって、限定的なものではなく、当業者であれば、本願の教示によって、本願の趣旨および特許請求の範囲によって保護される範囲から逸脱しない限りにおいて、多くの態様を作成することができ、いずれも本願の保護に属するものである。

【符号の説明】

【0090】

１００ 操作補助システム
１１０ 使用者装置
１２０ 支援者装置
１３０ 被測定装置
１４０ 知能監視装置
１５０ 装置コントローラ
２００ サーバー
２１０ 処理モジュール
２２０ 通信モジュール
２３０ オブジェクトデータベース
２４０ 文書データベース
２５０ プロセスデータベース
３００ 混合現実編集システム
３０２ オブジェクト描画モジュール
３０４ ファイル編集モジュール
３０６ プロセス設計モジュール
３０８ オンラインコラボレーションモジュール
４０２～４２６ プロセス
５０４～５１６ プロセス
６００ 操作補助システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】