(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-04
(45)【発行日】2024-10-15
(54)【発明の名称】産業プラント用の仮想アシスタントを制御するための方法
(51)【国際特許分類】
G05B 23/02 20060101AFI20241007BHJP
G06Q 50/04 20120101ALI20241007BHJP
【FI】
G05B23/02 G
G06Q50/04
(21)【出願番号】P 2023514445
(86)(22)【出願日】2021-09-02
(86)【国際出願番号】 EP2021074210
(87)【国際公開番号】W WO2022069142
(87)【国際公開日】2022-04-07
【審査請求日】2023-03-01
(32)【優先日】2020-10-02
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】505056845
【氏名又は名称】アーベーベー・シュバイツ・アーゲー
【氏名又は名称原語表記】ABB Schweiz AG
【住所又は居所原語表記】Bruggerstrasse 66, 5400 Baden, Switzerland
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】シュミット、ベネディクト
(72)【発明者】
【氏名】ゲルトラー、マルコ
(72)【発明者】
【氏名】マックジー、シルビア
(72)【発明者】
【氏名】ロドリゲス、パブロ
(72)【発明者】
【氏名】クレッパー、ベンヤミン
(72)【発明者】
【氏名】コトリワラ、アルザム・ムザッファー
(72)【発明者】
【氏名】リー、ヌオ
【審査官】今井 貞雄
(56)【参考文献】
【文献】特開2020-095719(JP,A)
【文献】特開2015-203936(JP,A)
【文献】特開2001-075636(JP,A)
【文献】特開2014-203307(JP,A)
【文献】特開2013-008092(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G05B 23/02
(57)【特許請求の範囲】
【請求項1】
産業プラント用の仮想アシスタント(10)を制御するための方法であって、
入力インターフェース(20)によって、情報要求(Ir)を受け取ること(S10)と、ここにおいて、前記情報要求(Ir)は、前記産業プラントの少なくとも一部に関する情報を受け取るための少なくとも1つの要求を備え、
制御ユニット(30)によって、受け取られた前記情報要求(Ir)を使用して、モデル仕様(Ms)を決定すること(S20)と、
モデルマネージャ(40)によって、前記モデル仕様(Ms)を使用して、機械学習モデル(M)を決定すること(S30)と、
ここにおいて、前記機械学習モデル(M)を決定することは、前記モデル仕様(Ms)を使用して、適切な機械学習モデルがモデルデータベースに格納されているかどうかをチェックすることを備え、
適切な機械学習モデルが前記モデルデータベースに格納されていないと決定された場合、
autoMLプロセスを使用して機械学習モデル候補を生成することと、
前記機械学習モデル候補のモデル品質をテストすることと、
前記モデル品質が許容可能である場合、前記機械学習モデル候補を使用して、前記機械学習モデル(M)を決定することと、を備え、
前記制御ユニット(30)によって、決定された前記機械学習モデル(M)を使用して、前記情報要求(Ir)に対する応答(R)を提供すること(S40)と、
を備える方法。
【請求項2】
前記制御ユニット(30)によって、受け取られた前記情報要求(Ir)を使用して、情報インテント(I)を識別すること(S50)と、
前記情報インテント(I)を使用して、前記モデル仕様(Ms)を決定することと、 を備える、請求項1に記載の方法。
【請求項3】
適切な機械学習モデルが前記モデルデータベースに格納されていると決定された場合、前記方法は、
格納された前記機械学習モデルを使用することによって、前記情報要求(Ir)に対する前記応答(R)を決定するステップ
を備える、請求項
1に記載の方法。
【請求項4】
前記情報要求(Ir)に対する前記応答を
提供することは、
前記制御ユニット(30)によって、モデル入力を提供することと、ここにおいて、前記モデル入力は、前記情報インテント(I)を使用することによって決定され、
前記モデル入力を前記機械学習モデル(M)に入力することによって、前記応答(R)を決定することと、
を備える、請求項
2に記載の方法。
【請求項5】
適切な機械学習モデルが前記モデルデータベースに格納されていないと決定された場合、前記方法は、
ユーザ(U)に遅延応答を提供する
ことを
更に備える、請求項
1に記載の方法。
【請求項6】
前記モデル品質が許容可能でない場合、
前記方法は、モデル生成の不成功
をユーザ(U)に知らせる
ことを更に備える、
請求項
1に記載の方法。
【請求項7】
前記情報インテントを識別することは、
前記情報要求を、機械が理解可能なフォーマットに変換すること
を備える、請求項
2に記載の方法。
【請求項8】
前記応答(R)を提供することは、
決定された前記応答を、ユーザが理解可能なフォーマットに変換すること
を備える、請求項1~
7のいずれか一項に記載の方法。
【請求項9】
ある時間期間にわたってユーザアクションを収集することと、
前記ユーザアクションを分析し、それによって、前記ユーザアクションのパターンを認識することと、
前記情報インテント(I)を、認識された前記パターンに関連付けることと、
認識された前記パターンを使用して、情報要求の前記情報インテント(I)を予測することと、
を備える、請求項
2に記載の方法。
【請求項10】
前記ユーザアクションを分析するステップは、所定の頻度で繰り返される、請求項
9に記載の方法。
【請求項11】
所望の情報インテントに関する意味情報を受け取ることと、
受け取られた前記意味情報を使用して、前記
所望の情報インテントを決定することと、
を備える、請求項
2に記載の方法。
【請求項12】
請求項1~
11のいずれか一項に記載の方法を実行するように構成された仮想アシスタント。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、産業プラント用の仮想アシスタントを制御するための方法及び仮想アシスタントに関する。
【背景技術】
【0002】
典型的に、プラント操作は、今日、高度に自動化されたアクティビティである。依然として、様々な状況が人間の介入を必要とし、これは、保守/サポート手順、効率/品質を向上させるための介入、又はプロセスにおける異常に対処するための介入を含む。
【0003】
これらの状況は、情報要件(information requirements)を有し、即ち、操作員は、データ及び特に予測を必要とする。どのデータ及び予測が必要とされるかは、通常、システムの設計及び初期構成時には予見できない。それぞれのデータ解析及び予測の自動生成を可能にするためのメカニズムが必要とされる。
【0004】
操作員は、情報ニーズを有し、これは、制御システムの設計時には予見できないものである。
【0005】
これらのニーズは、操作中に出現し、時系列値の推定、様々なタイプのパターンマッチングの異なるデータタイプに対する異常検出を備え得る。このタイプのデータ解析は、特に、モデルを選択し、それぞれの選択肢を生成するために、解析の専門知識と、時には労力とを必要とする傾向があるので、高度なものと考えられ得る。トポロジ情報及びアセット識別子が、センサ及びそれぞれの履歴データに関連して設定される必要がある、プラントのセットアップでは、このアクティビティは困難である。
【0006】
複雑さの結果は、情報ニーズが、典型的に、現在の状況に対する解析モデルのマッチングに基づく予測に対してマッチせず(not matched against)、主に、センサデータのライフストリームに適用される経験や直感によって解決されるということである。
【0007】
産業用途用の仮想アシスタントが操作員を支援するために使用されるが、上述の問題は解決されていない。
【発明の概要】
【0008】
従って、本発明の目的は、産業プラント用の仮想アシスタントを制御するための改善された方法を提供することである。この目的は、請求項1に記載の方法及び請求項15に記載の仮想アシスタントによって達成される。
【0009】
更なる好ましい実施形態は、従属特許請求項から明らかである。
【0010】
本発明によれば、産業プラント用の仮想アシスタントを制御するための方法が、入力インターフェースによって、情報要求を受け取ることを備え、ここにおいて、情報要求は、産業プラントの少なくとも一部に関する情報を受け取るための少なくとも1つの要求を備える。方法は、制御ユニットによって、受け取られた情報要求を使用して、モデル仕様を決定することを更に備える。方法は、モデルマネージャによって、モデル仕様を使用して、機械学習モデルを決定することを更に備える。方法は、制御ユニットによって、決定された機械学習モデルを使用して、情報要求に対する応答を提供することを更に備える。
【0011】
好ましくは、入力インターフェースは、自然言語インターフェース及び/又は動的ユーザインターフェースを備える。換言すれば、仮想アシスタントは、ユーザの自然言語で、又はグラフィックユーザインターフェース(GUI)を介して入力された、ユーザからの情報要求を受け取る。
【0012】
ユーザの情報要求に対する応答は、好ましくは、産業プラントの少なくとも一部のプロセス変数値、イベント、及び/又は警告を備える。
【0013】
従って、仮想アシスタントを制御するための改善された方法が提供される。
【0014】
好ましい実施形態では、方法は、制御ユニットによって、受け取られた情報要求を使用して、情報インテントを識別することと、情報インテントを使用して、モデル仕様を決定することと、を備える。
【0015】
結果として、機械学習モデルは、情報インテントに基づいて決定される。
【0016】
本明細書で使用される場合、「情報インテント(information intent)」という用語は、ユーザがそれにより仮想アシスタントへの要求を定式化する(formulates)インテントに関する。情報インテントは、好ましくは、要求オプションを備える。要求オプションは、好ましくは、所定の要求オプションである。更に、情報インテントは、好ましくは、形式化されたインテントの宣言(formalized declaration of intent)を備える。加えて、情報インテントは、好ましくは、指定された応答予想(specified response expectation)を備える。
【0017】
好ましくは、情報インテントは、対処されるべき産業プラントのプラント構成要素と、そのプラント構成要素に関連した情報ニーズと、を示す。例えば、情報インテントは、特定の位置、例えば特定のセクタにおける、特定のプラント構成要素、例えばタンクの今後の挙動の情報をカバーする。例えば、ユーザは、「セクタAB123内のタンクの今後の挙動について教えて」と言うことによって、情報インテントを仮想アシスタントに入力する。他の例は、「セクタABC123内のタンクがいつ20%の充填レベルに達するかを推定せよ」、「プラントセグメントB内の温度が50℃に達するまでの時間を予測せよ」を備える。
【0018】
加えて、情報インテントは、好ましくは、片付けなければならないタスクのリストを備える。特に、そのようなタスクのリストは、チェックされなければならない複雑な前提条件(preconditions)を含み得る。
【0019】
好ましくは、情報インテントを使用して、モデル仕様を決定することは、情報インテントをモデル仕様に分解することを備える。
【0020】
好ましくは、モデル入力を決定することは、産業プラントのトポロジ情報と、情報インテントとを使用して、産業プラントのプラント構成要素を、産業プラントのそれぞれのセンサにマッピングすることを備える。換言すれば、トポロジ情報は、応答を決定するために読み出される必要があるセンサを見つけるために使用される。
【0021】
本明細書で使用される場合、「モデル仕様」という用語は、機械学習モデルの機能(function)に関する。換言すれば、モデル仕様は、情報インテントに対する応答を決定できるようになるために必要とされる、機械学習モデルの技術的要件を示す。
【0022】
要求しているユーザのインテントを考慮することは、仮想アシスタントによって提供される状況認識を向上させることによって、ユーザによるより良好な操作を可能にする。
【0023】
好ましくは、ユーザには、情報インテントを使用して、情報要求に関するデータ解析及び/又は予測が提供される。
【0024】
従って、仮想アシスタントを制御するための改善された方法が提供される。
【0025】
好ましい実施形態では、機械学習モデルを決定することは、モデル仕様を使用して、適切な機械学習モデルがモデルデータベースに格納されているかどうかをチェックすることを備える。
【0026】
換言すれば、モデル仕様に基づいて、モデル仕様を満たし、従って、特に、情報インテントを考慮して、情報要求に対する応答を決定するために使用され得る、モデルマネージャからの機械学習モデルを要求する要求が生成される。
【0027】
本明細書で使用される場合、「適切な機械学習モデル」という用語は、特に、情報インテントを考慮して、情報要求に対する応答を決定するために使用され得る機械学習モデルに関する。
【0028】
従って、仮想アシスタントを制御するための改善された方法が提供される。
【0029】
好ましい実施形態では、適切な機械学習モデルがモデルデータベースに格納されていると決定された場合、方法は、格納された機械学習モデルを使用することによって、情報要求に対する応答を決定するステップを備える。
【0030】
結果として、ユーザの情報要求は、リアルタイムで応答され得る。
【0031】
従って、仮想アシスタントを制御するための改善された方法が提供される。
【0032】
好ましい実施形態では、情報要求に対する応答を決定することは、制御ユニットによって、モデル入力を提供することと、ここにおいて、モデル入力は、情報インテントを使用することによって決定され、モデル入力を機械学習モデルに入力することによって、応答を決定することと、を備える。
【0033】
好ましい実施形態では、適切な機械学習モデルがモデルデータベースに格納されていないと決定された場合、方法は、ユーザに遅延応答を提供するステップを備える。
【0034】
好ましくは、遅延応答は、推定された遅延時間を備える。このようにして、ユーザは、自身の情報要求に対する応答をどのくらい待たなければならないかをリアルタイムで知らされ得る。
【0035】
従って、仮想アシスタントを制御するための改善された方法が提供される。
【0036】
好ましい実施形態では、適切な機械学習モデルがモデルデータベースに格納されていないと決定された場合、方法は、autoMLパイプラインによって、情報インテントを使用して、機械学習モデル候補を決定することと、機械学習モデル候補のモデル品質をテストすることと、モデル品質が許容可能である場合、機械学習モデル候補を使用して、機械学習モデルを決定することと、モデル品質が許容可能でない場合、モデル生成の不成功をユーザに知らせることと、のステップを備える。
【0037】
換言すれば、autoMLパイプラインによって、機械学習モデル候補のためのパラメータ化(parametrization)が、情報インテントを使用して決定される。
【0038】
好ましくは、モデルデータベース内の機械学習モデルは、特に、それらの機能に関してタグ付けされている。換言すれば、モデル仕様は、モデルデータベース内の機械学習モデルのタグと比較される。
【0039】
換言すれば、autoMLパイプラインの使用は、提供された情報インテントに直接依存する。例えば、情報インテントは、特定の機械学習モデルが使用される頻度、及び/又は時間依存性、換言すれば、特定の機械学習モデルが特定の時間枠において使用される頻度の情報を備える。
【0040】
情報インテントに基づく機械学習モデルの自動生成は、さもなければ時間のかかる手動の対話を必要とする、対話の自動化を可能にすることを可能にする。
【0041】
従って、仮想アシスタントを制御するための改善された方法が提供される。
【0042】
好ましい実施形態では、情報インテントを識別することは、情報要求を、機械が理解可能なフォーマットに変換することを備える。
【0043】
換言すれば、情報インテントを分解することは、情報要求を、機械が理解可能なフォーマットに変換することを備える。例えば、情報要求がユーザの自然言語の形式である場合、ユーザの自然言語は、制御ユニットが処理することができる、機械が理解可能なフォーマットに変換される。
【0044】
従って、仮想アシスタントを制御するための改善された方法が提供される。
【0045】
好ましい実施形態では、応答を提供することは、決定された応答を、ユーザが理解可能なフォーマットに変換することを備える。
【0046】
従って、仮想アシスタントを制御するための改善された方法が提供される。
【0047】
好ましい実施形態では、方法は、セッションマネージャによって、追跡されたアクションに関するユーザアクション情報と、個別ユーザのコンテキスト情報と、を決定するステップと、セッションマネージャによって、受け取られたユーザアクション情報を使用して、個別ユーザ情報を決定するステップと、状態マネージャによって、個別ユーザ情報に基づいて、サービスランドスケープ情報を要求するステップと、状態マネージャによって、受け取られたサービスランドスケープ情報を使用して、グローバル情報(global information)を決定するステップと、セッションマネージャによって、グローバル情報を使用して、ユーザに対する応答を決定するステップと、を備える。
【0048】
好ましくは、決定された個別ユーザ情報は、状態マネージャに提供される。
【0049】
好ましくは、決定されたグローバル情報は、セッションマネージャに提供される。
【0050】
好ましくは、セッションマネージャは、ユーザアクション情報を決定するために、個別ユーザのユーザアクション及びコンテキスト情報を追跡する。
【0051】
好ましくは、ユーザアクション情報は、ユーザの情報要求を備える。
【0052】
ユーザアクション情報は、好ましくは、入力インターフェースを介して受け取られる。
【0053】
本明細書で使用される場合、「グローバル情報」という用語は、産業プラントの進行中のプロセス、ワークフロー、タスク、及びアクションに関する情報を備える。これは、例えば、位置、ユーザの関連付けられた役割、アクティブユーザ、プロセスの基礎となる目標、進捗要件、規制、操作手順、安全規制、他のシステムへの依存性、影響及びリスク分析を含む。グローバル情報は、グローバルに共有され、単一のユーザに直接関連付けられない。好ましくは、グローバル情報は、状態マネージャによって管理される。
【0054】
本明細書で使用される場合、「個別ユーザ情報」という用語は、個別ユーザのアクション及び/又はコンテキスト情報を備える。個別ユーザ情報は、個人化され、常に厳密に1人のユーザに属する。好ましくは、個別ユーザ情報は、セッションマネージャによって追跡される。コンテキスト情報は、好ましくは、ユーザの一般的なコンテキスト、例えば、ユーザの操作上の役割に関する情報を備える。
【0055】
好ましくは、セッションマネージャ及び状態マネージャは、個別ユーザの自身の操作上の役割及びアクティビティへの関与への関連付けによりリンクされる。
【0056】
好ましくは、ユーザによってトリガされたアクション及び要求は、個別ユーザ情報、又は換言すれば、セッションマネージャの状態を更新することになる。
【0057】
好ましくは、仮想アシスタントは、情報要求を、機械が理解可能なフォーマットに変換するステップと、関連する必要な技術的クエリを準備及び実行するステップと、入ってくる結果(incoming results)を処理及び集約するステップと、機械により生成された応答を、ユーザにとって表現可能な応答(epresentable for the user)に変換するステップと、を処理する。
【0058】
個別ユーザ情報、特に、個別ユーザ情報における変更が、状態マネージャに提供される。この個別ユーザ情報の伝播は、セッションマネージャに影響を及ぼす。換言すれば、個別ユーザ情報は、グローバル情報を決定するために使用される。例えば、ユーザが、一般に個別ユーザ情報によって示される安全関連タスクを実行するとき、この個別ユーザ情報は、グローバル情報を調整するためにセッションマネージャに関連があり、この場合、別のユーザの安全関連タスクのエリア内の他のユーザに警告を与える。換言すれば、個別ユーザ情報及びセッションマネージャのステータスの更新は、好ましくは、状態マネージャ、従って、グローバル情報における更新をトリガする。更に好ましくは、状態マネージャにおける更新は、好ましくは、セッションマネージャ、従って、全ての関連付けられたユーザについての個別ユーザ情報の更新をトリガする。
【0059】
既存のアシスタントシステムは、複数のユーザによって操作され得るが、単一の対話の間は、単一の個人に焦点が置かれる。個人のコンテキストは、疎に(sparsely)使用される。最も頻繁に使用される情報は、個人的な選好及び設定、位置、並びに関連付けられた技術システムについての識別である。まれに、天候又は休暇シーズン等の環境情報が考慮される。従って、アシスタントは、通常、より大きな(社会的)構成体(constructs)、並びに他の個人及びシステムの関与を認識していない。更に、アシスタントシステムは、通常、所定のデータベースからの情報を配信すること及び選択された所定のサービスへの委譲(delegation)に焦点を合わせるので、要求者の根底にある動機、完全性及び満足度の程度、並びに他のユーザに対する影響は、決して評価されず、将来のアクションに組み込まれない。
【0060】
グローバル情報及び個別ユーザ情報を考慮に入れることは、透明性、追跡可能性(traceability)、安全性及び適合性を保証しながら、異なるユーザ及び/又はシステム間の改善されたコラボレーションを可能にする。
【0061】
更に、仮想アシスタントは、パーソナルアシスタントの有用性及び快適さを作業場に提供する。
【0062】
従って、仮想アシスタントを制御するための改善された方法が提供される。
【0063】
好ましい実施形態では、個別ユーザ情報を決定することは、個別ユーザのアクション及びコンテキスト情報を追跡することを備える。
【0064】
従って、仮想アシスタントを制御するための改善された方法が提供される。
【0065】
好ましい実施形態では、方法は、ある時間期間にわたってユーザアクションを収集することと、ユーザアクションを分析し、それによって、ユーザアクションのパターンを認識することと、認識されたパターンを使用して、予測される情報インテントを決定することと、予測される情報インテントを使用して、予測される機械学習モデルを決定することと、予測される情報インテントを使用して、予測される応答を決定することと、を備える。
【0066】
従って、仮想アシスタントを制御するための改善された方法が提供される。
【0067】
好ましい実施形態では、ユーザアクションを分析するステップは、所定の頻度で繰り返される。
【0068】
従って、仮想アシスタントを制御するための改善された方法が提供される。
【0069】
好ましい実施形態では、方法は、所望の情報インテントについての意味情報(semantic information)を受け取るステップと、受け取られた意味情報を使用して、情報インテントを決定するステップと、を備える。
【0070】
好ましくは、受け取られた意味情報を使用することによって、情報インテントを決定することは、ユーザによって、仮想アシスタントに情報インテントを教示することを備える。
【0071】
仮想アシスタントは、自然言語インターフェースを通じて話しかけられ(addressed)得るので、仮想アシスタントがユーザ対話から情報インテントを導出することができないことが時々起こる。この場合、ユーザは、自身の質問を言い換えるか、又は異なる入力インターフェースを使用して、所望の情報を得るか、又はコマンドを実行依頼することを強いられる。他の場合には、仮想アシスタントは、ユーザの情報インテントを導出することは可能であり得るが、応答が、不十分であり得るか、又は誤っていることさえあり得る。このような仮想アシスタントの典型的なユーザは、新しい情報インテントを、仮想アシスタントによって使用される情報インテントデータベースにどのように定式化して入力するかを知らない。
【0072】
結果として、仮想アシスタントは、新しい情報インテントを作成することに関する情報インテントを認識している。新しい情報インテントを作成する情報インテントがユーザによってトリガされると、仮想アシスタントは、特定のワークフローを通じてユーザを誘導し、インテントの名前、キーワード、所望のアクション、条件、及び必要なコンテキスト等、情報インテントについての必要な情報を収集する。
【0073】
加えて、仮想アシスタントは、フィードバック情報インテントに関する情報インテントを認識している。このフィードバック情報インテントは、好ましくは、「それは間違っている」という一言で、ユーザによってトリガされる。フィードバック情報インテントは、仮想アシスタントにおけるワークフローをトリガし、エラーが正確にはどこで発生したかをユーザに尋ね、ユーザの追加入力に応じて、提供された応答について責任を負う機械学習モデルの再トレーニングを開始する。代替として、ユーザのフィードバックは、対応するサービスに転送される。
【0074】
機械学習モデルのモデル品質を評価するとき、モデル品質が比較的低いスコアを有していた場合、仮想アシスタントは、ユーザにフィードバック情報インテントについて積極的に(proactively)尋ねるように構成される。例えば、仮想アシスタントは、ユーザに「弁123をチェックしますか?」と尋ねる。
【0075】
好ましくは、情報インテントについての必要な情報は、情報インテントの名前、ユーザがイベントを発話するために使用する典型的なフレーズ、重要なキーワード、実行されるアクション、例えば、新しい解析サービスを実行すること若しくは定義されるワークフローに従うこと、既知の情報インテントの組合せ、情報インテントについての有効なコンテキスト、及び/又は仮想アシスタントによって与えられるべき応答テキストを備える。
【0076】
好ましくは、フィードバック情報インテントは、音響的な誤解、誤ったフレーズインテントマッチング(wrong phrase intent matching)、及び/又は情報検索サービスの結果におけるエラーを備える。
【0077】
好ましくは、仮想アシスタントは、ユーザに対してインテントエディタを提供し、ここにおいて、ユーザは、所望の情報インテントを挿入し得る。
【0078】
従って、仮想アシスタントは、ユーザによる異なる挙動の新しい情報インテントであると考えられる能力で強化される。更に、ユーザは、不適切な回答の場合にフィードバックを与えることができる。
【0079】
一態様によれば、仮想アシスタントは、本明細書で説明されるような方法を実行するように構成される。
【0080】
好ましくは、仮想アシスタントは、モデルスコアラを備え、これは、機械学習モデル候補のモデル品質が許容可能であるかどうかを決定するように構成される。
【0081】
好ましくは、プログラムがコンピュータによって実行されると、コンピュータに、本明細書で説明される方法を実行させる命令を備えるコンピュータプログラムが提供される。
【0082】
好ましくは、本明細書で説明されるような、コンピュータプログラムを記憶したコンピュータ可読データキャリアが提供される。
【0083】
本発明の主題が、添付の図面に例示される好ましい例示的な実施形態を参照して、以下の本文においてより詳細に説明される。
【図面の簡単な説明】
【0084】
【
図2】
図2は、仮想アシスタントを制御するための方法の概略図を示す。
【
図3】
図3は、仮想アシスタントを制御するための方法の別の概略図を示す。
【
図4】
図4は、仮想アシスタントの別の概略図を示す。
【
図5】
図5は、仮想アシスタントの別の概略図を示す。
【
図6】
図6は、仮想アシスタントを制御するための方法の別の概略図を示す。
【発明を実施するための形態】
【0085】
図面において使用されている参照符号及びそれらの意味は、参照符号のリストにおいて要約形式で列挙されている。原則として、図中では、同一の部分には同じ参照符号が付与されている。
【0086】
好ましくは、機能モジュール及び/又は構成メカニズムは、それぞれ、プログラムされたソフトウェアモジュール又は手順として実装されるが、当業者であれば、機能モジュール及び/又は構成メカニズムが、ハードウェアにおいて完全又は部分的に実装され得ることを理解されよう。
【0087】
図1は、特に産業プラントで使用される仮想アシスタント10を示す。換言すれば、産業プラントの操作員であるユーザUは、産業プラント内での自身の作業における支援として、仮想アシスタント10を使用する。例えば、ユーザUは、仮想アシスタント10に、ある特定の弁の圧力のような、ある特定のプロセス変数値を要求する。仮想アシスタント10は、入力インターフェース20と、制御ユニット30と、モデルマネージャ40と、を備える。ユーザUは、情報要求Irを仮想アシスタント10に、具体的には、入力インターフェース20に入力する。入力インターフェース20は、グラフィックユーザインターフェース(GUI)を備え得る。この場合、ユーザUは、GUIによって提供される複数の選択肢のうちの少なくとも1つを選択することによって、自身の情報要求を仮想アシスタント10に入力する。代替として、入力インターフェース20は、言語インターフェースを備える。この場合、ユーザUは、単に、自身の情報要求Irを自然言語において定式化する。例えば、ユーザUは、仮想アシスタント10に「弁123における圧力はどれくらい高いか?」と尋ねる。入力インターフェース20は、いずれの場合も、ユーザUの入力を、制御ユニットが処理し得る、機械が理解可能なフォーマットに変換する。
【0088】
結果として、ユーザの情報要求Irは、入力インターフェース20を通じて、制御ユニット30に伝播される。制御ユニット30は、情報要求Irを処理し、それによって、受け取られた情報要求Irを使用して、モデル仕様Msを決定する。換言すれば、制御ユニット30は、情報要求Irに対する応答Rを決定できるようになるために、機械学習モデルMがどのような仕様を有するべきかを決定する。
【0089】
モデル仕様Msは、モデルマネージャ40に提供される。モデルマネージャ40は、提供されたモデル仕様Msを使用して、適切な機械学習モデルMを決定する。換言すれば、モデルマネージャ40は、機械学習モデルMのための適切なパラメータ化を決定する。提供された例示的な場合において、モデルマネージャ40は、特定の弁の圧力に関する情報要求Irに対する応答Rを提供することができる機械学習モデルMを提供する。
【0090】
結果として、決定された機械学習モデルMが、制御ユニット30に提供される。制御ユニット30は、情報要求Irに対する応答Rを決定するために、機械学習モデルMを使用する。従って、制御ユニット30は、機械学習モデルMへの必要な入力を決定し、特に、産業プラントのトポロジ情報を使用して、産業プラントの機器をそれぞれのセンサにマッピングする。換言すれば、制御ユニット30は、関連する実在のセンサ(the relevant real-life sensors)のセンサ出力を、機械学習モデルMのそれぞれの入力にマッピングする。
【0091】
次いで、応答Rは、入力インターフェース20に提供され、これはまた、応答Rを自然言語フォーマットに変換するように構成されている。例えば、仮想アシスタント10は、入力インターフェース20を使用して、ユーザUが情報要求Irを入力するために使用したのと同じ言語で、ユーザUに直接応答Rを提供するように構成されている。
【0092】
図2は、仮想アシスタント10を制御するための方法の概略図を示す。
【0093】
第1のステップS10において、入力インターフェースが、情報要求Irを受け取り、ここにおいて、情報要求Irは、産業プラントの少なくとも一部に関する情報を受け取るための少なくとも1つの要求を備える。第2のステップS20において、制御ユニット30が、受け取られた情報要求Irを使用して、モデル仕様Msを受け取る。第3のステップS30において、モデルマネージャ40が、モデル仕様Msを使用して、機械学習モデルMを決定する。第4のステップS40において、制御ユニット30は、決定された機械学習モデルMを使用して、情報要求Irに対する応答Rを提供する。
【0094】
図3は、仮想アシスタント10の制御方法の別の概略図を示す。
【0095】
図2の方法とは対照的に、更なるステップS50において、制御ユニット30は、受け取られた情報要求Irを使用して、情報インテントIを識別する。情報インテントIに基づいて、モデル仕様Msが決定される。情報インテントIは、モデル仕様Msの決定に対して、追加の深さの層を提供する。
【0096】
加えて、機械学習モデルMを決定するステップS30が更に特定される。更なるステップS60において、モデルデータベースが、情報要求Irに対する応答Rを決定するために使用されることができる適切な機械学習モデルMについてチェックされる。モデル仕様Msに従う適切な機械学習モデルMが、モデルデータベースに存在すると決定された場合、機械学習モデルMは、制御ユニット30に提供される。説明されたように、ステップS40において、制御ユニット30は、決定された機械学習モデルMを使用して、情報要求Irに対する応答Rを提供する。
【0097】
モデル仕様Msに従う適切な機械学習モデルMがモデルデータベースに存在しないと決定された場合、更なるステップS70において、ユーザUは、遅延について知らされる。同時に、更なるステップS80において、自動機械学習(autoML)プロセスが、モデル仕様Msに従う適切な機械学習モデルMを生成するために開始される。この潜在的な機械学習モデルは、機械学習モデル候補Mcと呼ばれる。
【0098】
更なるステップS90において、機械学習モデル候補Mcのモデル品質がテストされる。機械学習モデル候補Mcのモデル品質が適切である場合。更なるステップS100において、機械学習モデル候補Mcが許容可能なモデル品質を有すると決定された場合、方法は、更なるステップS110にジャンプし、ここで、機械学習モデル候補Mcは、更なる機械学習モデルMとしてモデルデータベースに格納される。次いで、方法はステップS40にジャンプし、ここで、制御ユニット30は、決定された機械学習モデルMを使用して、情報要求Irに対する応答Rを提供する。
【0099】
更なるステップS100において、機械学習モデル候補Mcが許容可能なモデル品質を有していないと決定された場合、方法は、更なるステップS120にジャンプし、ここで、ユーザUは、機械学習モデルの生成の不成功、従って、方法の失敗について知らされる。従って、ユーザUは、自身の情報要求Irに対する応答Rが期待できないことを知らされる。従って、ユーザUは、仮想アシスタント10によって、いかなる応答Rも与えられ得ないこと受け入れなければならないか、又は別の情報要求Irを再試行しなければならない。別の情報要求Irは、最初の情報要求Irを言い換えることによって可能であり得る。
【0100】
図4は、仮想アシスタント10の別の概略図を示す。
図1の仮想アシスタント10と比較して、モデルマネージャ40は、アドホックモデル生成器50及び自動機械学習(autoML)パイプライン60によって拡張される。autoMLパイプライン60は、データ選択器61と、モデル選択器62と、モデル生成器63と、モデル評価器64と、を備える。
【0101】
適切な機械学習モデルMがモデルデータベースにおいて利用可能でない場合、アドホックモデル生成器50は、新しい機械学習モデルMを決定する。アドホックモデル生成器50は、リアルタイムで新しい機械学習モデルMを決定する。
【0102】
機械学習モデルMの生成は、autoMLパイプラインによってサポートされる。モデル仕様Msに基づいて、データ選択器61、モデル選択器62、及びモデル生成器63は、機械学習モデルMを決定する。次いで、機械学習モデルMは、機械学習モデルMが情報要求Irに対する応答Rを決定するのに適していることを確認するために、モデル評価器64によって評価される。決定された機械学習モデルMは、autoMLパイプラインから、モデル生成器50及びモデルマネージャ40を通じて、制御ユニット30に伝播される。
【0103】
図5は、仮想アシスタント10の別の概略図を示す。既に説明された仮想アシスタント10と比較して、制御ユニット30は、セッションマネージャ31及び状態マネージャ32によって拡張される。セッションマネージャ31は、個別ユーザUのアクション及びコンテキスト情報を追跡する。セッションマネージャ31によってユーザUに関連付けられた情報は、個人化され、常に厳密に1人のユーザUに属する。この情報は、個別ユーザ情報Iuと呼ばれる。状態マネージャ32は、グローバル情報Igと呼ばれる、ユーザの進行中のプロセス、ワークフロー、タスク、及びアクションを管理する。これは、例えば、ユーザの位置、ユーザに関連付けられた役割、アクティブユーザ、基礎となる目標、進捗、要件規制、操作手順、安全規制、他のシステムへの依存性、影響及びリスク分析を備える。この情報は、グローバルに共有され、単一のユーザUに関連付けられていない。
【0104】
セッションマネージャ31は、ユーザアクション情報Iaを受け取る。ユーザアクション情報Iaは、例えば、入力インターフェース20上で受け取られる。しかしながら、ユーザアクション情報Iaは、別のチャネル上でも受け取られ得る。セッションマネージャ31は、受け取られたユーザアクション情報Iaを使用して、個別ユーザ情報Iuを決定する。換言すれば、セッションマネージャ31は、特定のユーザアクション情報Iaを、特定のユーザUに関連付ける。個別ユーザ情報Iuは、状態マネージャ32に提供される。状態マネージャ32は、サービスランドスケープ70にサービスランドスケープ情報Ilを要求するランドスケープ要求を実行するために、個別ユーザ情報Iuを使用する。サービスランドスケープ70は、ユーザUに関連するセクションにおける産業プラントの構造に関する。換言すれば、サービスランドスケープ70は、ユーザUに関連する産業プラントの全てのエンティティ及びそれらの相互接続並びにそれらの状態のインジケーションである。状態マネージャ32は、グローバル情報Igを決定するために、受け取られたサービスランドスケープ情報Ilを使用する。結果として、セッションマネージャ31は、ユーザに対する応答Rを決定するために、グローバル情報Igを使用する。
【0105】
危険な操作の例では、ユーザUは、特定の位置でタスクを開始し、仮想アシスタント10を介してその位置を報告する。セッションマネージャ31は、ユーザUの状態を更新し、それぞれの個別ユーザ情報Iuを状態マネージャ32に伝播する。状態マネージャ32は、ユーザUの位置と、ユーザのアクティビティの開始と、を備える個別ユーザ情報Iuを受け取る。状態マネージャ32は、その位置で起こり得る潜在的な危険な状況をチェックし、その位置のステータスの更新を継続するために、モニタを起動する。更に、状態マネージャ32は、サービスランドスケープ70におけるグローバルモニタの報告を要求する。この場合、サービスランドスケープ70のサービスランドスケープ情報Ilは、人間、従って、ユーザUに対する安全規制に抵触する異常を報告する。状態マネージャ32における監視タスクは、入ってくるサービスランドスケープ情報Ilに反応し、所定の位置内の全ての関連付けられたユーザを識別する。また、状態マネージャ32は、もしあれば(if available)、反応するためのガイドライン(guidelines)を収集し、セッションマネージャ31に警告を発行する。この警告は、状態マネージャ32からセッションマネージャ31に提供されるグローバル情報Igの一部である。セッションマネージャ31は、警告を受け取り、ユーザUに、ユーザUの現在の位置の状況について能動的に(actively)知らせる。例えば、タスクが終了するか、又はユーザUが異なる位置に移動した場合、これは、開始位置に対するモニタを暗示的に終了させ、従って、不必要な通知を回避することになる。例えば、ユーザUが前もって何らかのタスクを開始するインテントを仮想アシスタント10に既に知らせている場合、仮想アシスタントは、アクションの開始が実際に開始される前に、その位置をチェックし得る。
【0106】
危険な操作の別の例では、ユーザUは、特定の位置でタスクを開始することを意図する。その位置へと向かう途中で、異常が観察される。ユーザUの現在位置のステータスについて、仮想アシスタント10に対するユーザUの情報要求Irが発行される。セッションマネージャ31は、ユーザの状態を更新し、個別ユーザ情報を状態マネージャ32に伝播する。状態マネージャ32は、その位置のサービスランドスケープ情報Ilを要求する、グローバルモニタにおけるルックアップを要求する。この要求は、異常な状態を返さない。ユーザは、制御室内の別の人間による検証を要求する。現在の状況の視覚的及び聴覚的な情報が、別の人間のその状況の説明と一緒にバンドリングされ、個別ユーザ情報Iuとして転送される。状態マネージャ32は、情報要求Irを個別ユーザ情報Iuと共に制御室内の操作員に提供する。状況は、手動で評価され、グローバル情報Igが、手動評価に基づいて、状態マネージャ32のために決定される。更なる例では、複数の操作員が、この要求を証明し得る場合、その全員が通知されることになる。一旦1人の操作員がタスクに対して能動的に取り組むと、他の操作員に対する通知は、除去されるか、又は進行中の作業としてマークされる。安全性リスクがある場合、仮想アシスタント10は、関連付けられたエリア内のユーザにも知らせる。仮想アシスタント10は、セッションマネージャ31の助けを借りて、応答及び警告が同じイベントに属することを検証するので、元の要求者は、1つの通知のみを得ることになる。
【0107】
図6は、仮想アシスタントを制御するための方法の別の概略図を示す。ステップZ10において、ユーザUのユーザアクションが、所定の時間期間にわたって収集される。更なるステップZ20において、ユーザアクションのパターンを認識するために、ユーザアクションが分析される。更なるステップZ30において、ユーザアクションのパターンが識別されたかどうかが決定される。パターンが識別されていない場合、方法は、ステップZ20に戻る。パターンが識別された場合、関連情報インテントIは、認識されたパターンに関連付けられる。換言すれば、どの情報インテントIが、決定された認識されたパターンに関連するかが決定される。更なるステップZ40において、情報インテントI及び関連付けられた認識されたパターンが、インテントデータベースに格納される。これにより、将来、格納されたパターンが情報要求において認識された場合、関連付けられた情報インテントIが予測され得る。これを行うことにより、ショートカットが、情報インテントIに対して学習され得るか、又はユーザに対する次のアクションが、認識されたパターンに基づいて提案され得る。
【0108】
[参照符号のリスト]
10 仮想アシスタント
20 入力インターフェース
30 制御ユニット
31 セッションマネージャ
32 状態マネージャ
40 モデルマネージャ
50 アドホックモデル生成器
60 autoMLパイプライン
61 データ選択器
62 モデル選択器
63 モデル生成器
64 モデル評価器
70 サービスランドスケープ
Ir 情報要求
Ms モデル仕様
M 機械学習モデル
R 応答
Mr モデル要求
U ユーザ
Iu 個別ユーザ情報
Ig グローバル情報
Ia ユーザアクション情報
Rl ランドスケープ要求
Il サービスランドスケープ情報
I 情報インテント
Mc 機械学習モデル候補
S10 情報要求を受け取る
S20 モデル仕様を決定する
S30 機械学習モデルを決定する
S40 情報要求に対する応答を提供する
S50 情報インテントを識別する
S60 適切な機械学習モデルについてモデルデータベースをチェックする
S70 遅延についてユーザに知らせる
S80 機械学習モデル候補を生成する
S90 機械学習モデル候補をテストする
S100 モデル品質が許容可能である
S110 機械学習モデル候補を格納する
S120 失敗をユーザに知らせる
Z10 ユーザアクションを収集する
Z20 ユーザアクションを分析する
Z30 パターンが識別されるかどうかを決定する
Z40 パターン及び情報インテントを格納する
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
産業プラント用の仮想アシスタント(10)を制御するための方法であって、
入力インターフェース(20)によって、情報要求(Ir)を受け取ること(S10)と、ここにおいて、前記情報要求(Ir)は、前記産業プラントの少なくとも一部に関する情報を受け取るための少なくとも1つの要求を備え、
制御ユニット(30)によって、受け取られた前記情報要求(Ir)を使用して、モデル仕様(Ms)を決定すること(S20)と、
モデルマネージャ(40)によって、前記モデル仕様(Ms)を使用して、機械学習モデル(M)を決定すること(S30)と、
前記制御ユニット(30)によって、決定された前記機械学習モデル(M)を使用して、前記情報要求(Ir)に対する応答(R)を提供すること(S40)と、
を備える方法。
[C2]
前記制御ユニット(30)によって、受け取られた前記情報要求(Ir)を使用して、情報インテント(I)を識別すること(S50)と、
前記情報インテント(I)を使用して、前記モデル仕様(Ms)を決定することと、 を備える、C1に記載の方法。
[C3]
前記機械学習モデル(M)を決定することは、
前記モデル仕様(Ms)を使用して、適切な機械学習モデルがモデルデータベースに格納されているかどうかをチェックすること
を備える、C1又は2に記載の方法。
[C4]
適切な機械学習モデルが前記モデルデータベースに格納されていると決定された場合、前記方法は、
格納された前記機械学習モデルを使用することによって、前記情報要求(Ir)に対する前記応答(R)を決定するステップ
を備える、C1~3のいずれか一項に記載の方法。
[C5]
前記情報要求(Ir)に対する前記応答を決定することは、
前記制御ユニット(30)によって、モデル入力を提供することと、ここにおいて、前記モデル入力は、前記情報インテント(I)を使用することによって決定され、
前記モデル入力を前記機械学習モデル(M)に入力することによって、前記応答(R)を決定することと、
を備える、C1~4のいずれか一項に記載の方法。
[C6]
適切な機械学習モデルが前記モデルデータベースに格納されていないと決定された場合、前記方法は、
ユーザ(U)に遅延応答を提供するステップ
を備える、C1~5のいずれか一項に記載の方法。
[C7]
autoMLパイプライン(60)によって、前記情報インテント(I)を使用して、機械学習モデル候補を決定することと、
前記機械学習モデル候補のモデル品質をテストすることと、
前記モデル品質が許容可能である場合、前記機械学習モデル候補を使用して、前記機械学習モデル(M)を決定することと、
前記モデル品質が許容可能でない場合、モデル生成の不成功を前記ユーザ(U)に知らせることと、
を備える、C6に記載の方法。
[C8]
情報インテントを識別することは、
前記情報要求を、機械が理解可能なフォーマットに変換すること
を備える、C1~7のいずれか一項に記載の方法。
[C9]
前記応答(R)を提供することは、
決定された前記応答を、ユーザが理解可能なフォーマットに変換すること
を備える、C1~8のいずれか一項に記載の方法。
[C10]
セッションマネージャ(31)によって、追跡されたアクションに関するユーザアクション情報(Ia)と、個別ユーザのコンテキスト情報と、を決定することと、
前記セッションマネージャ(31)によって、受け取られた前記ユーザアクション情報(Ia)を使用して、個別ユーザ情報(Iu)を決定することと、
状態マネージャ(32)によって、前記個別ユーザ情報(Iu)に基づいて、サービスランドスケープ情報(Il)を要求することと、
前記状態マネージャ(32)によって、受け取られた前記サービスランドスケープ情報(Il)を使用して、グローバル情報(Ig)を決定することと、
前記セッションマネージャ(31)によって、前記グローバル情報(Ig)を使用して、前記ユーザ(U)に対する応答(R)を決定することと、
を備える、C1~9のいずれか一項に記載の方法。
[C11]
個別ユーザ情報(Iu)を決定することは、
個別ユーザのアクション及びコンテキスト情報を追跡すること
を備える、C1~10のいずれか一項に記載の方法。
[C12]
ある時間期間にわたってユーザアクションを収集することと、
前記ユーザアクションを分析し、それによって、前記ユーザアクションのパターンを認識することと、
情報インテント(I)を、認識された前記パターンに関連付けることと、
認識された前記パターンを使用して、情報要求の前記情報インテント(I)を予測することと、
を備える、C1~11のいずれか一項に記載の方法。
[C13]
前記ユーザアクションを分析するステップは、所定の頻度で繰り返される、C12に記載の方法。
[C14]
所望の情報インテントに関する意味情報を受け取ることと、
受け取られた前記意味情報を使用して、前記情報インテントを決定することと、
を備える、C1~13のいずれか一項に記載の方法。
[C15]
C1~14のいずれか一項に記載の方法を実行するように構成された仮想アシスタント。