(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-04-21
(54)【発明の名称】複合現実と機械学習技術によるQCSスキャナの360°支援
(51)【国際特許分類】
G06Q 50/04 20120101AFI20220414BHJP
G05B 23/02 20060101ALI20220414BHJP
G06N 20/00 20190101ALI20220414BHJP
【FI】
G06Q50/04
G05B23/02 Z
G06N20/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021553357
(86)(22)【出願日】2020-03-06
(85)【翻訳文提出日】2021-09-08
(86)【国際出願番号】 CA2020050300
(87)【国際公開番号】W WO2020181365
(87)【国際公開日】2020-09-17
(32)【優先日】2019-03-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】508322831
【氏名又は名称】ハネウェル・リミテッド
(74)【代理人】
【識別番号】100118902
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100162846
【氏名又は名称】大牧 綾子
(72)【発明者】
【氏名】ランケハヌマイアフ、パヴァン トゥムクル
(72)【発明者】
【氏名】グプタ、シャイレンドラ クマール
(72)【発明者】
【氏名】ジャヤラマン、センティルクマール
(72)【発明者】
【氏名】クマール、アジャイ
【テーマコード(参考)】
3C223
5L049
【Fターム(参考)】
3C223AA01
3C223BA03
3C223CC02
3C223DD03
3C223FF26
3C223FF42
3C223FF52
3C223FF53
3C223GG01
3C223HH02
5L049CC03
(57)【要約】
【解決手段】 光学センサ、ディスプレイ、チャットボット、クラウドサービス、並びに光学センサとディスプレイへと動作可能に接続されたプロセッサを使用して、複合現実と機械学習技術により品質管理スキャナに360°の支援を提供する機器、方法及び非一時的な機械可読媒体、プロセッサは、光学センサでフィールド機器の問題を特定、検出して、ディスプレイによりフィールド機器の場所とスキャナ部までユーザを誘導し、問題を解決させる手順又は処置を実行するために、産業プロセス制御オートメーションシステムのフィールド機器に関連するサーバから診断情報を受信し、更に、クラウドサーバに接続して、設置、試運転、及び年間保守契約、並びに品質管理システムのトレーニングのモジュールを取得する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ユーザ、システム及びリモートサポート間の対話式通信用のチャトボットアプリケーションを使用する方法(700、701)であって、
産業プロセス制御オートメーションシステム(100)のフィールド機器(310)に関連するサーバ(425)から診断情報を受信するステップ(710)と、
前記診断情報に基づいて前記フィールド機器の問題を特定するステップ(715)と、
光学センサ(102a)を使用して、前記特定された問題に対応するフィールド機器を検出するステップ(720)と、
ディスプレイ(208)を使用して、前記問題に関わる前記フィールド機器の場所とスキャナ部までユーザを誘導するステップ(725)と、
前記ディスプレイを使用して、前記問題を解決するのに必要な手順又は処置を提供するステップ(730)と、
クラウドサーバ(430)でユーザに接続して、選択したペルソナに従って、設置、試運転、及び年間保守契約(AMC)、並びに品質管理システム(QCS)のトレーニングのモジュール(530-545)を取得するステップ(810)と、を含む、方法(700、701)。
【請求項2】
前記フィールド機器は品質管理システム(QCS)スキャナである、請求項1に記載の方法。
【請求項3】
前記必要な手順又は処置が前記問題を解決しない場合、前記方法は、
機械学習サーバ上のクラウドベースサービスに前記問題の詳細情報を提供するステップ(750)と、
前記機械学習サーバから、同様のフィールド機器の過去の履歴に基づく関連ソリューションを受信するステップ(755)と、を更に含む、請求項1に記載の方法。
【請求項4】
前記関連ソリューションが前記問題を解決しない場合、前記方法は、
前記機械学習サーバに対象分野の専門家に接続するように要求するステップ(765)と、
前記対象分野の専門家から前記問題を解決するための専門家レポートを受信するステップ(775)と、を更に含む、請求項3に記載の方法。
【請求項5】
前記方法は、前記光学センサから前記対象分野の専門家にライブフィードを提供するステップ(770)を更に含む、請求項4に記載の方法。
【請求項6】
前記方法は、前記対象分野の専門家から、前記問題を解決するための指示を受け取るステップ(775)であって、前記指示には、前記ライブフィード内の構成要素の識別情報が含まれる、ステップ(775)と、
前記指示における特定操作に対応して特定された前記構成要素上のマーカをディスプレイに表示するステップと、を更に含む、請求項5に記載の方法。
【請求項7】
前記方法は、機械学習サーバにより、前記必要な手順又は処置に基づいて、問題種別と解決手順を記録するステップ(780)を更に含む、請求項1に記載の方法。
【請求項8】
機器(200)であって、
光学センサ(102a)と、
ディスプレイ(208)と、
前記光学センサ及び前記ディスプレイに動作可能に接続されたプロセッサ(202)であって、請求項1~7に記載の方法を実行するように構成されている、プロセッサ(202)と、を含む、機器(200)。
【請求項9】
実行可能命令で符号化された非一時的機械可読媒体(212)であって、前記命令は、実行時、1つ以上のプロセッサ(202)に、請求項1~7に記載の方法を実行させる、非一時的機械可読媒体(212)。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、全般に、自律稼働型産業プラントに関する。具体的には、本開示は、複合現実(MR)と機械学習技術による品質管理システム(QCS)スキャナの360°支援用のシステム及び方法に関する。
【発明の概要】
【発明が解決しようとする課題】
【0002】
QCSスキャナの設置、更新、保守には、放射線源を扱う一連の操作手順による精確な作業を伴い、誤りが起こってはならないので、熟練した領域知識が求められる。QCSスキャナを扱う専門知識のある業界の人々は年を取り、定年を迎える中にある。新たなTAC及びサービス領域は、能力ギャップ及び専門知識の欠如により、QCSスキャナをサポートする上での困難に直面している。QCSスキャナのトラブル対応には、想定される問題を正確に絞り込み、この想定される問題を解決するための領域知識が欠かせない。また、問題の是正に要する時間は、分野の専門知識によって異なる場合もある。QCSスキャナのトレーニングには、トレーニング用の物理的スキャナと物理的環境での時間が必要となる。
【0003】
本開示は、複合現実(MR)と機械学習技術によるQCSスキャナの360°支援用のシステム及び方法を提供する。
【0004】
第1実施形態において、機器は、複合現実(MR)と機械学習技術によるQCSスキャナの360°支援を提供する。この機器は、光学センサ、ディスプレイ及び光学センサとディスプレイへと動作可能に接続するプロセッサを含む。プロセッサは、産業プロセス制御オートメーションシステムのフィールド機器に関連するサーバから診断情報を受信し、この診断情報に基づいてフィールド機器の問題を特定し、光学センサを使用して、特定された問題に対応するフィールド機器を検出し、ディスプレイを使用して、問題に関連するフィールド機器の場所とスキャナ部までユーザをガイドし、更に、ディスプレイを使用して、問題を解決するのに必要な手順又は処置を提供する。
【0005】
第2実施形態において、方法は、複合現実(MR)と機械学習技術によるQCSスキャナの360°支援を提供する。方法は、産業プロセス制御オートメーションシステムのフィールド機器に関連するサーバから診断情報を受信するステップと、この診断情報に基づいてフィールド機器の問題を特定するステップと、光学センサを使用して、特定された問題に対応するフィールド機器を検出するステップと、ディスプレイを使用して、問題に関連するフィールド機器の場所とスキャナ部までユーザをガイドするステップと、更に、ディスプレイを使用して、問題を解決するのに必要な手順又は処置を提供するステップとを含む。
【0006】
第3実施形態において、非一時的媒体は、複合現実(MR)と機械学習技術によるQCSスキャナの360°支援を提供する。命令は、1つ以上のプロセッサに対して、産業プロセス制御オートメーションシステムのフィールド機器に関連するサーバから診断情報を受信するステップと、この診断情報に基づいてフィールド機器の問題を特定するステップと、光学センサを使用して、特定された問題に対応するフィールド機器を検出するステップと、ディスプレイを使用して、問題に関連するフィールド機器の場所とスキャナ部までユーザをガイドするステップと、更に、ディスプレイを使用して、問題を解決するのに必要な手順又は処置を提供するステップとを実行させる。
【0007】
当業者には、以下の図、説明、及び請求項から他の技術的特徴が容易に明らかになるであろう。
【図面の簡単な説明】
【0008】
ここでは、本開示をより完全に理解するために、添付の図面と共に以下の説明を参照する。
【0009】
【
図1】
図1は、本開示に係わる一例の産業プロセス制御オートメーションシステムを示す図である。
【0010】
【
図2】
図2は、本開示に係わる複合現実(MR)と機械学習技術によるQCSスキャナの360°支援用の一例の装置を示す図である。
【0011】
【
図3】
図3は、本開示に係わる複合現実(MR)と機械学習技術によるQCSスキャナの360°支援用の一例のQCSスキャナシステムを示す図である。
【0012】
【
図4】
図4は、本開示の実施形態に係わる拡張現実、チャットボット及び機械学習技術による一例のQCSスキャナのトラブル対応手法を示す図である。
【0013】
【
図5】
図5は、本開示の実施形態に係わる拡張現実及びチャットボット技術による一例のQCSスキャナトレーニングを示す図である。
【0014】
【
図6】
図6は、本開示の実施形態に係わる拡張現実及びチャットボット技術によるQCSスキャナの一例の設置、試運転及びAMCを示す図である。
【0015】
【
図7A】
図7Aは、本開示の実施形態に係わる拡張現実、チャットボット及び機械学習技術によるQCSスキャナ問題のトラブル対応に関する一例の流れ図である。
【
図7B】
図7Bは、本開示の実施形態に係わる拡張現実、チャットボット及び機械学習技術によるQCSスキャナ問題のトラブル対応に関する一例の流れ図である。
【0016】
【
図8A】
図8Aは、本開示の実施形態に係わる設置と試運転に関する一例の流れ図である。
【
図8B】
図8Bは、本開示の実施形態に係わる設置と試運転に関する一例の流れ図である。
【発明を実施するための形態】
【0017】
以下で検討する
図1~
図8B、及び本特許文献で本開示の原則について説明するために使用される様々な実施形態は、例示のみを目的としており、いかなる方法においても本発明の範囲を制限するものとして解釈されるべきではない。当業者であれば、本開示の原理が何らかの種類の好適に配置されたデバイス又はシステムで実施できることを理解するであろう。
【0018】
図1は、本開示に係わる一例の産業用プロセス制御オートメーションシステム100を示す。
図1に示すように、システム100は、少なくとも1つの製品又は他の材料の製造又は加工を容易にする様々な構成要素を含む。例えば、システム100は、1つ以上の産業プラント内の構成要素の制御を容易にするために使用され得る。各プラントは、少なくとも1つの製品又は他の材料を製造するための1つ以上の製造設備など1つ以上の加工設備(又はその1つ以上の部分)を示す。一般に、各プラントは、1つ以上の産業プロセスを実施可能であり、個別に、又は総じてプロセスシステムと称する場合がある。プロセスシステムは、1つ以上の製品又は他の材料を何らかの方法で加工するように構成されている、任意のシステム又はその一部を概ね示す。
【0019】
図1では、システム100は、1つ以上のセンサ102a及び1つ以上のアクチュエータ102bを含む。センサ102a及びアクチュエータ102bは、多種多様な機能のいずれかを実行し得る、プロセスシステム内の構成要素を示す。例えば、センサ102aは、圧力、温度、流量、坪量、水分、灰分、キャリパなど、プロセスシステム内の多種多様な特性を測定することができる。更に、アクチュエータ102bは、プロセスシステムの多種多様な特性を変えることもできる。センサ102aはそれぞれ、プロセスシステム内の1つ以上の特性を測定するための任意の好適な構造を含む。アクチュエータ102bはそれぞれ、プロセスシステム内の1つ以上の条件で動作する、又はこれらに影響を及ぼすための任意の好適な構造を含む。
【0020】
少なくとも1つのネットワーク104が、センサ102a及びアクチュエータ102bに結合されている。ネットワーク104は、センサ102a及びアクチュエータ102bとの相互作用を容易にする。例えば、ネットワーク104は、センサ102aからの測定データを伝送し、アクチュエータ102bに制御信号を供給できる。ネットワーク104は、任意の好適なネットワーク又はネットワークの組み合わせを示し得る。具体的な例として、ネットワーク104は、少なくとも1つのイーサネットネットワーク、電気信号ネットワーク(HART又はFOUNDATION FIELDBUSネットワーク等)、空気圧制御信号ネットワーク、又は他の任意の、若しくは新たな種類(複数可)のネットワークに相当し得る。
【0021】
システム100はまた、様々なコントローラ106を含む。コントローラ106は、1つ以上の産業プロセスを制御するために、様々な機能を実行するようにシステム100内で使用され得る。例えば、第1組のコントローラ106が、1つ以上のセンサ102aからの測定値を使用して、1つ以上のアクチュエータ102bの動作を制御できる。第2組のコントローラ106を使用して、第1組のコントローラによって実行される制御ロジック又は他の動作を最適化できる。第3組のコントローラ106を使用して、新たな機能を実行可能である。
【0022】
コントローラ106は、システム内で階層状に配置されることが多い。例えば、様々なコントローラ106を使用して、個々のアクチュエータ、機械を形成するアクチュエータの集合、ユニットを形成する機械の集合、プラントを形成するユニットの集合、並びに企業を形成するプラントの集合を制御可能である。コントローラ106の階層配置の特定例は、プロセス制御の「パデュー」モデルとして定義される。種々の階層レベルのコントローラ106は、1つ以上のネットワーク108、並びに関連するスイッチ、ファイアウォール、及び他の構成要素を介して通信することができる。
【0023】
各コントローラ106は、産業プロセスの1つ以上の態様を制御するための任意の好適な構造を含む。コントローラ106の少なくとも一部は、例えば、比例積分微分(PID)コントローラ、あるいは、ロバスト多変数予測制御技術(RMPCT)コントローラ又はモデル予測制御又は他の高度な予測制御を実装する他の種類のコントローラなどの多変数コントローラを示し得る。特定の例として、各コントローラ106は、リアルタイムオペレーティングシステム、WINDOWSオペレーティングシステム、又は他のオペレーティングシステムを実行しているコンピューティングデバイスに相当し得る。
【0024】
コントローラ106及びシステム100の他の構成要素に対するオペレータのアクセス及び対話は、様々なオペレータコンソール110を介して行うことができる。各オペレータコンソール110は、オペレータに情報を提供し、オペレータから情報を受信するために使用可能である。例えば、各オペレータコンソール110は、産業プロセスに関連する様々なプロセス変数と警告、アラーム、又は他の状態の値など、産業プロセスの現状態を特定する情報をオペレータに提供することができる。更に、各オペレータコンソール110は、コントローラ106によって制御されるプロセス変数、又は、コントローラ106が産業プロセスを制御する方法を変更するか、若しくは作用する他の情報のための、設定点又は制御モードを受信することなどによって、産業プロセスを制御する方法に影響を及ぼす情報を受信できる。
【0025】
複数のオペレータコンソール110は、一緒にグループ化され、1つ以上の制御室112で使用できる。各制御室112は、任意の好適な配置で任意の数のオペレータコンソール110を含み得る。幾つかの実施形態において、複数の制御室112を使用して、各制御室112が産業プラントの別個の部品を管理するために使用されるオペレータコンソール110を包含する場合など、産業プラントを制御することができる。
【0026】
各オペレータコンソール110は、オペレータに情報を表示し、オペレータと対話するための任意の好適な構造を含む。例えば、各オペレータコンソール110は、1つ以上のプロセッサ、マイクロプロセッサ、マイクロコントローラ、フィールドプログラマブルゲートアレイ、特定用途向け集積回路、別個の論理デバイス、又は他の処理若しくは制御装置等の1つ以上の処理装置114を含められる。更に、各オペレータコンソール110は、処理装置(複数可)114によって使用、生成、又は収集された命令及びデータを記憶する1つ以上のメモリ116を含められる。各オペレータコンソール110は、1つ以上のイーサネットインターフェイス又は無線トランシーバ等の、少なくとも1つの有線又は無線ネットワークを介した通信を支援する1つ以上のネットワークインターフェイス118も含むことができる。
【0027】
本開示によれば、複合現実(MR)と機械学習技術によるQCSスキャナの360°支援用の技術が、提供されている。システム100の1つ以上の構成要素(例えば、オペレータコンソール110)は、この技術に関連する1つ以上の操作を実行するように構成可能である。
【0028】
図1は産業プロセス制御オートメーションシステム100の一例を示すが、
図1には、様々な変更が加えられ得る。例えば、産業用制御及び自動化システムは、多種多様な構成で提供される。
図1に示されるシステム100は、圧力センサが使用され得る動作環境の一例を示すことを意図している。
【0029】
図2は、本開示に係わる複合現実(MR)と機械学習技術によるQCSスキャナの360°支援用の一例の装置を示す。具体的には、
図2は、例示的なコンピューティングデバイス200を示す。幾つかの実施形態において、コンピューティングデバイス200は、オペレータステーション、サーバ、リモートサーバ若しくは装置、又はモバイルデバイスに相当し得る。コンピューティングデバイス200は、アプリケーションを実行するために使用することができる。説明を容易にするために、コンピューティングデバイス200は、
図1のシステム100で使用されるものとして述べているが、この装置は、他の任意の適切なシステム(産業プロセス制御オートメーションに関連するか否かを問わない)で使用可能である。
【0030】
図2で見られるように、コンピューティングデバイス200は、少なくとも1つのプロセッサ202、少なくとも1つのストレージデバイス204、少なくとも1つの通信ユニット206、並びに少なくとも1つの入力/出力(I/O)ユニット208を含む。各プロセッサ202は、メモリ210内にロードできる命令等の、命令を実行可能である。各プロセッサ202は、1つ以上のマイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又は個別の回路等の任意の好適な処理装置である。
【0031】
メモリ210及び固定記憶域212は、情報(データ、プログラムコード、及び/又は一時的、若しくは永続的な他の適切な情報等)を格納し、検索を支援するように構成された任意の構造(複数可)に相当するストレージデバイス204の例である。メモリ210は、ランダムアクセスメモリ、又は任意の他の好適な揮発性若しくは不揮発性ストレージデバイス(複数可)に相当し得る。固定記憶域212は、読み取り専用メモリ、ハードドライブ、フラッシュメモリ、又は光ディスク等、データの長期保存をサポートする1つ以上の構成要素又は装置を含んでもよい。
【0032】
通信ユニット206は、他のシステム又はデバイスとの通信をサポートする。例えば、通信ユニット206は、少なくとも1つの有線又は無線ネットワークを介した通信を支援する少なくとも1つのネットワークインターフェイスカード、若しくは無線トランシーバを含められる。通信ユニット206は、任意の好適な物理的又は無線通信リンク(複数)を通じた通信をサポート可能である。
【0033】
I/Oユニット208は、データの入出力を可能にする。例えば、I/Oユニット208は、キーボード、マウス、キーパッド、タッチスクリーン、ジェスチャ制御、画像処理、又は他の適切な入力装置を通じたユーザ入力用の接続を提供できる。更に、I/Oユニット208は、ディスプレイ、プリンタ又は他の好適な出力装置へと出力を送信できる。
【0034】
図3は、本開示に係わる複合現実(MR)と機械学習技術によるQCSスキャナ310の360°支援用の一例のQCSスキャナシステム300を示す図である。
図3で示す例示的なQCSスキャナシステム300の実施形態は、例示のみを目的としている。
図3は、本開示の範囲を任意の特定実装形態に限定するものではない。
【0035】
QCSスキャナシステム300は、複合現実(MR)(拡張現実(AR)/仮想現実(VR)、機械学習、及び潜在的な問題を解決するチャットボットソリューションを提供する。MRを使用することで、QCSスキャナの設置及び更新のための対話式ガイダンスで物理的条件を拡張することにより、QCSシステム300の試運転がより安全で簡単に、更に、使い勝手が向上する。
【0036】
QCSシステム300は、QCSスキャナの診断メッセージと障害情報をHoloLens 305と統合する。QCSシステム300は、ローカル/集中型ソリューションセンタから、トラブル対応用の対話式チャットボットと機械学習を可能にするソリューションを受信する。
【0037】
QCSシステムは、VRとARでQCSスキャナの仮想トレーニングを作成し、このトレーニングにより、トレーニングと物理ハードウェアの総コストが抑えられる。QCSシステムは、危険環境下での放射線源の安全な取り扱いに関する指示を提供する。QCSシステムは、スキャナ構成要素の模倣物を作成し、これにより、配線詳細、機器位置識別情報、チェックポイント等に関する詳細情報が得られる。
【0038】
ARソリューションは、トラブル対応用のリアルタイムデータを備えた拡張物理スキャナを提供する。ARソリューションは、QCSスキャナをインストールするための順を追った段取りを強化する。ARソリューションは、リアルタイムのスキャナ状態をアップロードできる。
【0039】
機械学習及びチャットボット315は、機械とエキスパートチャンタとの対話式のライブチャットセッションにより、過去のデータに基づいて簡単にトラブル対応するための解決策を提供する。機械学習及びチャットボット315は、将来の使用に備えて問題とその解決手順を記録できる。
【0040】
VRソリューションでは、高価な物理構成要素にアクセスすることなく、QCSスキャナの設置と試運転を実践するための代替手段を提供できる。VRソリューションは、トラブル対応の実際のシステムトレーニング等のQCSスキャナシナリオを模擬化でき、QCSシステムのライブ状態とヒントを表示できる。
【0041】
QCSスキャナの「360°支援」という語句は、QCSスキャナの全体的なサポートを称する。サポートに関するQCSスキャナの主要モジュールは、以下の4つである:モジュール1:処理中のQCSスキャナの問題のトラブル対応;モジュール2:トレーニング;モジュール3:QCSスキャナの設置と試運転;並びに、モジュール4:年次メンテナンス/定期チェック。プロセスで標準化され、期限付きの、予測可能で確実なものを実現するために、QCSスキャナサポートについて述べたモジュールは全て、様々な技術/技術の組み合わせ、及びアプローチを必要とする。
【0042】
図4は、本開示の実施形態に係わる拡張現実、チャットボット及び機械学習技術による一例のQCSスキャナのトラブル対応手法400を示す。
図4で示す例示的なQCSスキャナトラブル対応手法400の実施形態は、例示のみを目的としている。
図4は、本開示の範囲を何らかの特定の実装形態に限定するものではない。
【0043】
QCSトラブル対応手法400には、HoloLens 405、チャットボット410、問題識別415、eDocumentation 420、機械学習サーバ425、並びにエキスパートサポート430が含まれる。HoloLens 405は、リモートアシスタント用にスキャナをビデオストリーミングすることもできるスキャナバージョンに基づいて、QCSスキャナとその内部部品、仮想配線レイアウト、接続識別情報、スキャナ機械部品の識別情報等を特定するために作られたホログラフィックコンピュータである。
【0044】
チャットボット410は、ユーザからの音声入力を受け入れ、ユーザが必要な操作を実行するようガイドするのに必要な出力を提供する、対話式の音声ベースチャットボット技術を提供できる。
【0045】
問題識別415は、HoloLensをQCSサーバ及びQCSスキャナと統合して、診断情報に基づいてスキャナ関連診断を提供することを伴う。HoloLensは、ユーザを問題発生地点又はスキャナ部品へと誘導し、問題解決のために実行する手順又は処置を提供できる。
【0046】
eDocumentation 420は、HoloLensがオブジェクトを特定し、オブジェクトに関する情報、例えば、配線図、機械接続、試験点等を提供できるようにする。eDocumentationは、チャットボットを援用してユーザが求める文書の受信も可能とすることで、検索時間とデータ可用性が削減され、ユーザ体験が向上する。HoloLensは、フィールド機器に関連するオブジェクトを特定できる。ユーザは、HoloLensがオーディオセンサを使用するか、又は外部装置から受信するコマンドを提供できる。HoloLensは、特定されたオブジェクトの文書種別に対応する文書を表示する。
【0047】
機械学習サーバ425は、問題の重要度に基づいて問題を解決するのに提供されるクラウドサービスである。ユーザは、チャットボットで機械学習サーバに接続し、解決策を要求し、過去に同様の問題が発生したことに基づいて解決策を提供し、更に、システムが将来、より確実で正確な解決策を提供可能とする、現問題を解決するために実行された手順工程を記録できる。
【0048】
エキスパートサポート430は、機械学習サーバが問題を解決することができず、ユーザが専門家の支援を必要とする場合に使用される。HoloLensは、機械学習サーバに利用できる専門家に接続するように要求できる。専門家とつながると、専門家は問題を解決するために実際に問題を見せながら、問題について説明できる。問題が解決されると、機械学習サーバは問題を解決するために実行された手順を記録できる。
【0049】
図5は、本開示の実施形態に係わる拡張現実及びチャットボット技術による一例のQCSスキャナトレーニングシステム500を示す。
図5で示す例示的なQCSスキャナトレーニング500の実施形態は、例示のみを目的としている。
図5は、本開示の範囲を何らかの特定の実装形態に限定するものではない。
【0050】
QCSトレーニング500には、チャットボット510を備えたHoloLens 505、クラウドベースのeDocument&ビデオトレーニング515とクラウドベースの仮想トレーニングモジュール520を備えるクラウドベースのトレーニングマニュアル、並びに仮想トレーニング525が含まれる。
【0051】
ウェアラブル又はHoloLens 505は、仮想QCSスキャナを画像形成可能とする仮想世界でQCSスキャナを模擬化できるホログラフィックコンピュータである。HoloLens 505は、物理スキャナの見え方を示し、実際のスキャナを稼働させる前に、種々の構成要素(センサ、機構、ハードウェア及びソフトウェア構成等)のユーザ学習を支援するために仮想的に画像化できる内部部品を示すことができる。
【0052】
チャットボット510は、ユーザからの音声入力を受け入れ、問題解決に必要な処置を実行するようユーザをガイドするために必要な出力を提供可能とする、対話式の音声ベースチャットボットである。
【0053】
クラウドベースのeDocument&ビデオトレーニング515では、QCSスキャナの基礎入門と産業利用を網羅することができる。クラウドベースの仮想トレーニングモジュール520は、QCSスキャナ、センサ、機構、ハードウェアとソフトウェア構成、取り扱い、サービス、並びにトラブル対応に関する知見に対応できる。トレーニングモジュールの例には、設置と試運転モジュール530、QCSアプリケーションモジュール535、トラブルシューティングモジュール540、AMC&サービスモジュール545等があり得る。
【0054】
ユーザがHoloLensを着用し、クラウドベースのトレーニングモジュールに接続する際、仮想トレーニング525を使用する。HoloLensは、トレーニングモジュールのペルソナを選択する。仮想現実を使用することにより、チャットボットユーザは、物理スキャナを使用したり、スキャナにアクセスしたりすることなく、プラントシナリオの使用状況を試運転、トラブル対応、見ることができる。
【0055】
図6は、本開示の実施形態に係わる拡張現実及びチャットボット技術によるQCSスキャナの一例の設置、試運転及びAMCシステム600を示す。
図6で示すQCSスキャナの例示的システム600の実施形態は、例示のみを目的としている。
図6は、本開示の範囲を何らかの特定の実装形態に限定するものではない。
【0056】
QCSスキャナのシステム600には、設置、試運転、及び年間保守契約(AMC)が含まれる。システム600は、チャットボット610を備えたHoloLens 605、クラウドベースの設置&AMCモジュール615、設置と試運転620、エキスパートサポート625、並びにAMCアクティビティ630を含む。
【0057】
HoloLens 605は、現場位置を特定し、QCSスキャナを設置するための前提条件と確認事項を提供するために作成されたホログラフィックコンピュータである。HoloLens 605は、拡張現実を使用して、QCSスキャナ、種々のセンサ、並びに内部部品の設置と試運転中にユーザをガイドできる。HoloLensでは、リモートアシスタントで専門家のアドバイスを受けることができる。
【0058】
チャットボット610は、ユーザからの音声入力を受け入れ、問題解決に必要な処置を実行するようユーザをガイドするために必要な出力を提供可能とする、対話式の音声ベースチャットボットである。
【0059】
クラウドベースの設置&AMCモジュール615は、サブモジュールへと大まかに分類されるクラウドからの要件に基づいてアクセスすることができる様々なモジュールを含む。サブモジュールは、様々なバージョンのQCSスキャナをサポートするためのインストールモジュール635、QCSセンサモジュール640、QCSソフトウェアインストール及び構成モジュール645、QCSスキャナモジュール650用のAMCアクティビティ等を含む。
【0060】
設置と試運転620は、クラウドサービスに接続するHoloLensを含む。HoloLensは、試運転に使用可能なQCSスキャナバージョンとセンサを選択する。設置と試運転620は、QCSスキャナを本格起動するためのソフトウェアインストール及び構成と共に、QCSスキャナを試運転するための段階を追った手順でHoloLensをガイドできる。
【0061】
エキスパートサポート625は、ユーザがプロセスの一部、又はQCSスキャナの問題を理解できない場合、設置、試運転、及びAMCに関する専門家の支援をHoloLensに提供できる。HoloLensは、HoloLensのユーザと会話している際、専門家とつながり、QCSスキャナの様子を提供できる。専門家はHoloLensを制御して、構成要素をユーザに見せることができる。このようにすることで、専門家は問題を解決するステップ又は手順をより適切に説明できる。
【0062】
AMCアクティビティ630は、AMCチェックリストを作成可能とする顧客記録システムに基づいている。AMCアクティビティ630は、HoloLensを制御して、技師が動作中のアクティビティ及びコメントに関するレポートを収集可能にするACMアクティビティを実行するよう、ユーザをガイドできる。HoloLensは、顧客とユーザレコードに関するAMCアクティビティの最終レポートを生成できる。
【0063】
図7A及び
図7Bは、本開示の実施形態に係わる拡張現実、チャットボット及び機械学習技術によるQCSスキャナ問題のトラブル対応に関する例示的方法700、701を示す。例えば、
図7A及び7Bで記載の方法は、
図2のコンピューティングデバイス200と併せて実行可能である。
【0064】
操作705において、コンピューティングデバイス200は、QCSスキャナの問題を検出できる。幾つかの実施形態では、コンピューティングデバイス200による問題検出は、産業プロセス制御オートメーションシステムにおいて、QCSスキャナ等のフィールド機器に関連するサーバから診断情報を受信することを含む。フィールド機器の問題には、フィールド機器が適切な動作要件で機能しない原因となる誤動作が含まれる。
【0065】
操作710において、コンピューティングデバイス200は、QCSサーバに接続し、想定される問題のリストを受信可能である。想定される問題のリストには、特定機械自体で、又は装置種別のよく使用される誤動作リストから特定された典型的な問題が含まれ得る。
【0066】
操作715において、コンピューティングデバイス200は、想定される問題リストから想定される問題を選択する音声コマンドを受信することができる。想定される問題リストは、ディスプレイに表示することも、音声出力としてユーザに提供することもできる。幾つかの実施形態において、コンピューティングデバイス200は、診断情報に基づいてフィールド機器の問題を特定できる。
【0067】
操作720において、コンピューティングデバイス200は、HoloLens上の光学センサを使用してQCSスキャナを取り込むことができる。コンピューティングデバイス200は、光学センサで特定された問題に対応するフィールド機器を検出可能である。フィールド機器が取り込まれ、検出されると、コンピューティングデバイスは特定された問題に対応する特定の構成要素を特定できる。
【0068】
操作725において、コンピューティングデバイス200は、QCSスキャナの想定される問題に関連する構成要素に対応するHoloLensのディスプレイ上に指示を表示することができる。コンピューティングデバイス200は、ディスプレイを使用して、問題に関わるフィールド機器の場所とスキャナ部までユーザを誘導することができる。
【0069】
操作730において、コンピューティングデバイス200は、問題を解決するための関連文書と手順を求める要求を音声コマンドで受信することができる。コンピューティングデバイス200は、問題を解決するために必要な手順又は処置を提供することができる。必要な手順又は処置は、ディスプレイに表示できる。手順のステップに関連する特定の構成要素は、関連文書と共にディスプレイ上で強調表示されるか、又は記録され得る。コンピューティングデバイス200は、強調表示又は記録された構成要素から離れるように、関連文書をディスプレイ上に表示可能である。
【0070】
操作735において、コンピューティングデバイス200は、問題が解決されたかどうかを判定可能である。問題が解決されたら、コンピューティングデバイス200は操作780に進む。問題が解決されなかった場合、コンピューティングデバイス200は操作740に進む。
【0071】
操作740において、コンピューティングデバイス200は、問題が解決されなかったことを検出できる。コンピューティングデバイス200は、QCSサーバから動作データを受信し、フィールド機器が依然として効率的に動作していないことを判定することができる。
【0072】
操作745において、コンピューティングデバイス200は、想定される問題について支援を強化するために、HoloLensを機械学習サーバ上のクラウドベースサービスに接続することができる。クラウドベースサービスは、特定構成要素へと直接関連付けることができる。
【0073】
操作750において、コンピューティングデバイス200は、チャットボットサービスを使用して、問題に関する詳細情報を機械学習サーバへと提供することができる。詳細情報は、コンピューティングデバイス200が取り込んだ情報と共に、QCSサーバからのフィールド機器の情報を含むことができる。コンピューティングデバイスで取り込まれた情報には、光学センサからキャプチャされたライブフィード又はフレーム、ユーザから取り込まれた音声、問題を修正するために使用されるプロセスのディスプレイから取り込まれたフレーム等が含まれ得る。
【0074】
操作755において、コンピューティングデバイス200は、機械学習サーバからの過去の履歴に基づいて、問題に関連する解決策を受け取ることができる。過去の履歴には、過去にフィールド機器から解決された問題、及び同じ種類の他のフィールド機器が含まれる。機械学習サーバは、すべての入力データ、又は様々な代替オプションに基づいて最適な解決策を提供できる。
【0075】
操作760において、コンピューティングデバイス200は、その問題が解決されたかどうかを判定可能である。問題が解決されたら、コンピューティングデバイス200は操作780に進む。問題が解決されなかった場合、コンピューティングデバイス200は操作765に進む。
【0076】
操作765において、コンピュータデバイス200は、機械学習サーバに、技術支援センタ(TAC)センタの対象分野の専門家へとつなぐように要求することができる。対象分野の専門家は、特定種類のフィールド機器を使用した経験のある人物、又は特定の問題に対処した人物であってよい。
【0077】
操作770において、コンピューティングデバイス200は、問題の詳細情報、及びHoloLensの光学センサからのライブフィードを対象分野の専門家に提供することができる。対象分野の専門家は、ライブに接続するか、又はフィールド機器に関連する関連情報を送信できる。
【0078】
操作775において、コンピューティングデバイス200は、問題を解決する専門家レポートを対象分野の専門家から受信することができる。専門家レポートには、問題を解決するための手順を追った指示が含まれ得る。各ステップでは、それぞれのステップに対応する種々の構成要素を強調表示したり、又は特定用マーカをディスプレイに付けたりすることも可能である。
【0079】
操作780において、コンピューティングデバイス200は、問題種別と解決手順を機械学習サーバに記録することができる。問題種別と解決手順は、特定構成要素又は構成要素の集合体に関連している場合もあれば、フィールド機器の誤動作に関連している場合もある。操作785において、コンピューティングデバイス200は、問題が解決されたことを判定できる。
【0080】
図7A及び
図7Bが複合現実(MR)及び機械学習技術によるQCSスキャナ用の360°支援方法700、701の一例を示しているが、
図7には様々な変更を加えることができる。例えば、
図7に示す種々のステップは、重複してもよく、並行して生じてもよく、異なる順序で生じてもよく、又は任意の回数生じてもよい。
【0081】
図8A及び
図8Bは、本開示の実施形態に係わる設置と試運転に関する一例の流れ図を示す。例えば、
図8A及び
図8Bで記載の方法は、
図6の設置、試運転及びAMCシステム600と併せて実行可能である。
【0082】
操作805において、設置、試運転及びAMCシステム600は、QCSスキャナの設置、試運転及びAMCシステムを開始することができる。
【0083】
操作810において、設置、試運転及びAMCシステム600は、ウェアラブルデバイスから、設置、試運転及びAMC用のペルソナを取得するためにクラウドサーバに接続することができる。
【0084】
操作815において、設置、試運転及びAMCシステム600は、設置と試運転のペルソナが選択されているかどうかを決定できる。
【0085】
操作820において、設置、試運転及びAMCシステム600は、ウェアラブルデバイス向け音声コマンドを使用して、QCSスキャナのサポートバージョンで必須とされるインストールモジュールをクラウドサーバに要求することができる。
【0086】
操作825において、設置、試運転及びAMCシステム600は、QCSスキャナとセンサのサポート済みハードウェアとソフトウェアのインストールのリストを取得できる。
【0087】
操作830において、設置、試運転及びAMCシステム600は、ウェアラブル向けの音声コマンドを使用して、QCSスキャナインストールモジュール、QCSセンサモジュール、並びにQCSソフトウェアインストール構成モジュールを含む、必須モジュールをクラウドサーバに要求することができる。
【0088】
操作835において、設置、試運転及びAMCシステム600は、クラウドサーバから、ウェアラブルデバイスへのQCSスキャナの設置と試運転で実施されるのに必要な一連の手順を受け取ることができる。
【0089】
操作840において、設置、試運転及びAMCシステム600は、指示から設置と試運転を実施し、ウェアラブルデバイス上で結果を評価することができる。
【0090】
操作845において、設置、試運転及びAMCシステム600は、ユーザが指示、又は1組の指示を実行できるかどうかを判定できる。
【0091】
操作850において、設置、試運転及びAMCシステム600は、ライブ映像での対話式チャットによって問題を解決するよう、対象分野の専門家からの支援を受けることができる。
【0092】
操作855において、設置、試運転及びAMCシステム600は、AMCモジュールを選択することができる。
【0093】
操作860において、設置、試運転及びAMCシステム600は、ウェアラブルデバイス向け音声コマンドを使用して、QCSスキャナのバージョンに基づいてAMCレコードとチェックリストをクラウドサーバに要求できる。
【0094】
操作865において、設置、試運転及びAMCシステム600は、AMC用に選択したQCSスキャナのリストチェックリストを受け取ることができる。
【0095】
操作870において、設置、試運転及びAMCシステム600は、クラウドサーバから、ウェアラブルデバイスのAMC QCSスキャナについて実行するのに必要な一連の手順を受け取ることができる。
【0096】
操作875において、設置、試運転及びAMCシステム600は、この指示からAMCを実行し、ウェアラブルデバイスで結果を評価できる。
【0097】
操作880において、設置、試運転及びAMCシステム600は、ユーザが命令、又は1組の命令を実行できるかどうかを判定できる。
【0098】
操作885において、設置、試運転及びAMCシステム600は、ライブ映像での対話式チャットによって問題を解決するよう、対象分野の専門家からの支援を受けることができる。
【0099】
図8A及び
図8Bが複合現実(MR)及び機械学習技術によるQCSスキャナ用の360°支援方法800、801の一例を示しているが、
図8には様々な変更を加えることができる。例えば、
図8に示す種々のステップは、重複してもよく、並行して生じてもよく、異なる順序で生じてもよく、又は任意の回数生じてもよい。
【0100】
本特許文献を通じて使用される特定の単語及び語句の定義を説明することは有益となろう。「送信する(transmit)」、「受信する(receive)」、「通信する(communicate)」という語句、及びそれらの派生語には、直接通信と間接通信の双方の意味が含まれる。「含む(include)」及び「含む(comprise)」という用語並びにその派生語は、限定的ではない包含を意味する。「又は」という用語は、包括的であり、「及び/又は」を意味する。「~と関連付けられる」という語句、並びにその派生語は、含むこと、中に含まれること、相互接続すること、包含すること、中に包含されること、相互に接続すること、相互に結合すること、通信可能であること、協調すること、交互配置すること、並列すること、近接すること、相互に結び付けられること、有すること、属性を有すること、相互に関係を有することなどを含むことを意味してもよい。「~のうちの少なくとも1つ」という語句は、項目のリストと共に使用される場合、リストされている項目の1つ以上の様々な組み合わせが使用されてもよく、リスト内の1つの項目のみが必要とされ得ることを意味する。例えば、「A、B、及びCの少なくとも1つ」は、A、B、C、A及びB、A及びC、B及びC、並びにA及びB及びCという組み合わせのいずれかを含む。
【0101】
本開示は、特定の実施形態及び一般に関連する方法について記載してきたが、これらの実施形態及び方法の改変及び変更は、当業者に明らかであろう。したがって、例示の実施形態の上記の説明は、本開示を定義又は制約することはない。他の変更、代替、及び改変はまた、添付の特許請求の範囲により定義される本開示の趣旨及び範囲を逸脱しない範囲で可能である。
【手続補正書】
【提出日】2021-09-08
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ユーザ、システム及びリモートサポート間の対話式通信用のチャトボットアプリケーションを使用する方法(700、701)であって、
産業プロセス制御オートメーションシステム(100)のフィールド機器(310)に関連するサーバ(425)から診断情報を受信するステップ(710)と、
前記診断情報に基づいて前記フィールド機器の問題を特定するステップ(715)と、
光学センサ(102a)を使用して、前記特定された問題に対応するフィールド機器を検出するステップ(720)と、
ディスプレイ(208)を使用して、前記問題に関わる前記フィールド機器の場所とスキャナ部までユーザを誘導するステップ(725)と、
前記ディスプレイを使用して、前記問題を解決するのに必要な手順又は処置を提供するステップ(730)と、
クラウドサーバ(430)でユーザに接続して、選択したペルソナに従って、設置、試運転、及び年間保守契約(AMC)、並びに品質管理システム(QCS)のトレーニングのモジュール(530-545)を取得するステップ(810)と、を含む、方法(700、701)。
【請求項2】
ユーザ、システム及びリモートサポート間の対話式通信用のチャトボットアプリケーションを使用する方法(700、701)であって、
産業プロセス制御オートメーションシステム(100)のフィールド機器(310)に関連するサーバ(425)から診断情報を受信するステップ(710)と、
前記診断情報に基づいて前記フィールド機器の問題を特定するステップ(715)と、
光学センサ(102a)を使用して、前記特定された問題に対応するフィールド機器を検出するステップ(720)と、
ディスプレイ(208)を使用して、前記問題に関わる前記フィールド機器の場所とスキャナ部までユーザを誘導するステップ(725)と、
前記ディスプレイを使用して、前記問題を解決するのに必要な手順又は処置を提供するステップ(730)と、
前記必要な手順又は処置が前記問題を解決しない場合、
機械学習サーバ上のクラウドベースサービスに前記問題の詳細情報を提供するステップ(750)と、
前記機械学習サーバから、同様のフィールド機器の過去の履歴に基づく関連ソリューションを受信するステップ(755)と、を含む、方法(700、701)。
【請求項3】
機器(200)であって、
光学センサ(102a)と、
ディスプレイ(208)と、
前記光学センサ(102a)及び前記ディスプレイ(208)に動作可能に接続されたプロセッサ(202)と、を含み、前記プロセッサは、
産業プロセス制御オートメーションシステム(100)のフィールド機器(310)に関連するサーバ(425)から診断情報を受信するステップ(710)と、
前記診断情報に基づいて前記フィールド機器の問題を特定するステップ(715)と、
前記光学センサ(102a)を使用して、前記特定された問題に対応する前記フィールド機器を検出するステップ(720)と、
前記ディスプレイ(208)を使用して、前記問題に関わる前記フィールド機器の場所とスキャナ部までユーザを誘導するステップ(725)と、
前記ディスプレイ(208)を使用して、前記問題を解決するための前記必要な手順又は処置を提供するステップ(730)と、
クラウドサーバ(430)でユーザに接続して、選択したペルソナに従って、設置、試運転、及び年間保守契約(AMC)、並びに品質管理システム(QCS)のトレーニングのモジュール(530-545)を取得するステップ(810)と、を実行するよう構成される、機器(200)。
【国際調査報告】