知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024153954
(43)【公開日】2024-10-30
(54)【発明の名称】データ処理装置およびプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20241023BHJP
G05B 19/18 20060101ALI20241023BHJP
【ＦＩ】
G06N20/00 130
G05B19/18 W
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021113695
(22)【出願日】2021-07-08
(71)【出願人】
【識別番号】515130201
【氏名又は名称】株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】伊藤 克哉
(72)【発明者】
【氏名】佐藤 元紀
【テーマコード（参考）】
3C269
【Ｆターム（参考）】
3C269AB01
3C269BB12
3C269MN44
3C269QE37
(57)【要約】
【課題】異常原因の推論精度を向上させるための技術を提供する。
【解決手段】データ処理装置は、少なくとも１つのメモリと、少なくとも１つのプロセッサと、を有し、異常発生時の装置において測定されたデータに対して前記少なくとも１つのプロセッサは、当該異常の原因が特定の原因であることを示す肯定ラベルを付与することも、当該異常の原因が前記特定の原因でないことを示す否定ラベルを付与することも、実行可能に構成される。
【選択図】図１
【解決手段】データ処理装置は、少なくとも１つのメモリと、少なくとも１つのプロセッサと、を有し、異常発生時の装置において測定されたデータに対して前記少なくとも１つのプロセッサは、当該異常の原因が特定の原因であることを示す肯定ラベルを付与することも、当該異常の原因が前記特定の原因でないことを示す否定ラベルを付与することも、実行可能に構成される。
【選択図】図１
【特許請求の範囲】
【請求項1】
少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を有し、
異常発生時の装置において測定されたデータに対して前記少なくとも１つのプロセッサは、当該異常の原因が特定の原因であることを示す肯定ラベルを付与することも、当該異常の原因が前記特定の原因でないことを示す否定ラベルを付与することも、実行可能に構成される、
データ処理装置。
少なくとも１つのプロセッサと、を有し、
異常発生時の装置において測定されたデータに対して前記少なくとも１つのプロセッサは、当該異常の原因が特定の原因であることを示す肯定ラベルを付与することも、当該異常の原因が前記特定の原因でないことを示す否定ラベルを付与することも、実行可能に構成される、
データ処理装置。
【請求項2】
前記肯定ラベル又は前記否定ラベルを含むラベルの付与が行われたデータは、訓練用データセットとして訓練モデルを訓練するために用いられる、請求項１に記載のデータ処理装置。
【請求項3】
前記少なくとも１つのプロセッサは、更に、
生成された訓練用データセットにおいて、否定ラベルを肯定ラベルに変更し、変更した肯定ラベルが付与されたデータを含む訓練用データセットを用いて、訓練モデルを訓練すること、
を実行可能に構成される、請求項２に記載のデータ処理装置。
生成された訓練用データセットにおいて、否定ラベルを肯定ラベルに変更し、変更した肯定ラベルが付与されたデータを含む訓練用データセットを用いて、訓練モデルを訓練すること、
を実行可能に構成される、請求項２に記載のデータ処理装置。
【請求項4】
前記少なくとも１つのプロセッサは、更に、
生成された訓練用データセットを、肯定ラベルが付与されたデータにより構成される肯定訓練用データセットと、否定ラベルが付与されたデータにより構成される否定訓練用データセットとに分類することと、
前記肯定訓練用データセットに含まれるデータを入力することで、肯定ラベルが出力されるように訓練モデルを訓練し、前記否定訓練用データセットに含まれるデータを入力することで、否定ラベルが出力されるように訓練モデルを訓練することと、
を実行可能に構成される、請求項２又は３に記載のデータ処理装置。
生成された訓練用データセットを、肯定ラベルが付与されたデータにより構成される肯定訓練用データセットと、否定ラベルが付与されたデータにより構成される否定訓練用データセットとに分類することと、
前記肯定訓練用データセットに含まれるデータを入力することで、肯定ラベルが出力されるように訓練モデルを訓練し、前記否定訓練用データセットに含まれるデータを入力することで、否定ラベルが出力されるように訓練モデルを訓練することと、
を実行可能に構成される、請求項２又は３に記載のデータ処理装置。
【請求項5】
前記肯定訓練用データセットに含まれるデータを入力することで算出される潜在変数から、入力したデータが復元され、かつ、肯定ラベルが出力されるように、訓練モデルを訓練し、前記否定訓練用データセットに含まれるデータを入力することで算出される潜在変数から、入力したデータが復元され、かつ、否定ラベルが出力されるように、訓練モデルを訓練する、請求項４に記載のデータ処理装置。
【請求項6】
前記少なくとも１つのプロセッサは、更に、
生成された訓練用データセットにおいて、異常の原因が同じ肯定ラベルがそれぞれ付与されたデータのペアにより構成される第１の部分訓練用データセットと、異常の原因が異なる肯定ラベルがそれぞれ付与されたデータのペア、または、異常の原因が異なる肯定ラベル及び否定ラベルがそれぞれ付与されたデータのペアにより構成される第２の部分訓練用データセットとを生成することと、
前記第１の部分訓練用データセットに含まれるデータを入力した場合に、入力したデータが復元され、かつ、算出される潜在変数の類似度が高くなるように訓練モデルを訓練し、前記第２の部分訓練用データセットに含まれるデータを入力した場合に、入力されたデータが復元され、かつ、算出される潜在変数の類似度が低くなるように訓練モデルを訓練することと、
を実行可能に構成される、請求項２に記載のデータ処理装置。
生成された訓練用データセットにおいて、異常の原因が同じ肯定ラベルがそれぞれ付与されたデータのペアにより構成される第１の部分訓練用データセットと、異常の原因が異なる肯定ラベルがそれぞれ付与されたデータのペア、または、異常の原因が異なる肯定ラベル及び否定ラベルがそれぞれ付与されたデータのペアにより構成される第２の部分訓練用データセットとを生成することと、
前記第１の部分訓練用データセットに含まれるデータを入力した場合に、入力したデータが復元され、かつ、算出される潜在変数の類似度が高くなるように訓練モデルを訓練し、前記第２の部分訓練用データセットに含まれるデータを入力した場合に、入力されたデータが復元され、かつ、算出される潜在変数の類似度が低くなるように訓練モデルを訓練することと、
を実行可能に構成される、請求項２に記載のデータ処理装置。
【請求項7】
前記少なくとも１つのプロセッサは、異常の原因が前記特定の原因でないことを示す否定ラベルを、異常の原因が前記特定の原因であることを示す前記肯定ラベルに基づいて、自動的に生成する、請求項１に記載のデータ処理装置。
【請求項8】
少なくとも１つのプロセッサに、
異常発生時の装置において測定されたデータに対して、当該異常の原因が特定の原因であることを示す肯定ラベルを付与することも、当該異常の原因が前記特定の原因でないことを示す否定ラベルを付与することも、実行可能にさせるための、プログラム。
異常発生時の装置において測定されたデータに対して、当該異常の原因が特定の原因であることを示す肯定ラベルを付与することも、当該異常の原因が前記特定の原因でないことを示す否定ラベルを付与することも、実行可能にさせるための、プログラム。
【請求項9】
前記肯定ラベル又は前記否定ラベルを含むラベルの付与が行われたデータは、訓練用データセットとして訓練モデルを訓練するために用いられる、請求項８に記載のプログラム。
【請求項10】
少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を有し、
前記少なくとも１つのプロセッサは、
異常発生時に監視対象の装置において測定されたデータであって、異常の原因が特定されたデータには、異常の原因を示す肯定ラベルが付与され、異常の原因が特定の原因でないことが特定されたデータには、異常の原因が前記特定の原因でないことを示す否定ラベルが付与された訓練用データセットを用いて訓練された訓練済みモデルに、推論対象のデータを入力し、
前記訓練済みモデルから出力されるデータに基づいて前記推論対象のデータの異常の原因が推論される、
データ処理装置。
少なくとも１つのプロセッサと、を有し、
前記少なくとも１つのプロセッサは、
異常発生時に監視対象の装置において測定されたデータであって、異常の原因が特定されたデータには、異常の原因を示す肯定ラベルが付与され、異常の原因が特定の原因でないことが特定されたデータには、異常の原因が前記特定の原因でないことを示す否定ラベルが付与された訓練用データセットを用いて訓練された訓練済みモデルに、推論対象のデータを入力し、
前記訓練済みモデルから出力されるデータに基づいて前記推論対象のデータの異常の原因が推論される、
データ処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、データ処理装置およびプログラムに関する。
【背景技術】
【0002】
監視対象の装置（例えば、工作機械等）から取得した時系列のセンサデータを入力データとし、該装置において発生した異常の原因を示すラベルを正解データとして訓練モデルを訓練し、異常の原因を推論する推論技術が知られている。当該推論技術によれば、あらゆる異常の原因について訓練モデルを訓練することで、高い推論精度を実現することができる。
【0003】
一方で、監視対象の装置によっては、異常の原因が一意に特定できない場合や、訓練時に発生しなかった異常が発生する場合もあり、このような場合には、十分な推論精度を得ることが難しい。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２０－１４１３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は、異常原因の推論精度を向上させるための技術を提供する。
【課題を解決するための手段】
【0006】
本開示の一態様によるデータ処理装置は、例えば、以下のような構成を有する。即ち、
少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を有し、
異常発生時の装置において測定されたデータに対して前記少なくとも１つのプロセッサは、当該異常の原因が特定の原因であることを示す肯定ラベルを付与することも、当該異常の原因が前記特定の原因でないことを示す否定ラベルを付与することも、実行可能に構成される。
少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を有し、
異常発生時の装置において測定されたデータに対して前記少なくとも１つのプロセッサは、当該異常の原因が特定の原因であることを示す肯定ラベルを付与することも、当該異常の原因が前記特定の原因でないことを示す否定ラベルを付与することも、実行可能に構成される。
【図面の簡単な説明】
【0007】
【図1】異常原因推論システムのシステム構成の一例を示す図である。
【図2】訓練装置または推論装置のハードウェア構成の一例を示す図である。
【図3A】ラベル付与部の処理の具体例を示す図である。
【図3B】ラベル付与部のユーザインタフェースの一例を示す図である。
【図4】訓練部の処理の具体例を示す第１の図である。
【図5】推論部の処理の具体例を示す第１の図である。
【図6】異常原因推論処理の流れを示す第１のフローチャートである。
【図7】訓練部の処理の具体例を示す第２の図である。
【図8】訓練部の処理の具体例を示す第３の図である。
【図9】推論部の処理の具体例を示す第２の図である。
【図10】異常原因推論処理の流れを示す第２のフローチャートである。
【図11】訓練部の処理の具体例を示す第４の図である。
【図12】部分訓練用データセットの一例を示す第１の図である。
【図13】訓練部の処理の具体例を示す第５の図である。
【図14】部分訓練用データセットの一例を示す第２の図である。
【図15】比較／更新部において用いられる関数の一例を示す図である。
【図16】推論部の処理の具体例を示す第３の図である。
【図17】異常原因推論処理の流れを示す第３のフローチャートである。
【発明を実施するための形態】
【0008】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0009】
［第１の実施形態］
＜異常原因推論システムのシステム構成＞
はじめに、第１の実施形態に係る訓練装置または推論装置を備える異常原因推論システムのシステム構成について説明する。図１は、異常原因推論システムのシステム構成の一例を示す図である。
＜異常原因推論システムのシステム構成＞
はじめに、第１の実施形態に係る訓練装置または推論装置を備える異常原因推論システムのシステム構成について説明する。図１は、異常原因推論システムのシステム構成の一例を示す図である。
【0010】
このうち、図１（ａ）は、訓練フェーズにおける異常原因推論システム１００Ａのシステム構成の一例である。図１（ａ）に示すように、訓練フェーズにおける異常原因推論システム１００Ａには、工作機械１１０と、訓練装置１２０とが含まれる。訓練装置１２０はデータ処理装置でもある。
【0011】
工作機械１１０は、監視対象の装置であり、稼働中、各部の状態を示す時系列のセンサデータを測定して、訓練装置１２０に送信する。
【0012】
訓練装置１２０には、訓練プログラムがインストールされており、訓練フェーズにおいては、当該プログラムが実行されることで、訓練装置１２０は、ラベル付与部１２１、訓練部１２２として機能する。
【0013】
ラベル付与部１２１は付与部の一例であり、不図示のユーザからの指示に基づいて、時系列データ格納部１２３から、異常発生時に測定された所定の時間範囲の時系列のセンサデータを順次読み出し、異常原因を示すラベルを付与する。なお、時系列データ格納部１２３には、工作機械１１０から送信された、工作機械１１０の各部の状態を示す時系列のセンサデータが、予め格納されているものとする。
【0014】
また、ラベル付与部１２１は、ラベルを付与した時系列のセンサデータを、訓練用データセットとして、訓練用データ格納部１２４に格納する。
【0015】
訓練部１２２は、訓練用データ格納部１２４から、訓練用データセットを読み出し、読み出した訓練用データセットを用いて、訓練モデルを訓練する。なお、訓練部１２２により訓練された訓練済みのモデルは、推論装置１３０に通知される。
【0016】
一方、図１（ｂ）は、推論フェーズにおける異常原因推論システム１００Ｂのシステム構成の一例である。図１（ｂ）に示すように、推論フェーズにおける異常原因推論システム１００Ｂには、工作機械１１０と、推論装置１３０とが含まれる。推論装置１３０はデータ処理装置でもある。
【0017】
このうち、工作機械１１０は、図１（ａ）と同じであるため、説明を割愛する。推論装置１３０には、推論プログラムがインストールされており、推論フェーズにおいては、当該プログラムが実行されることで、推論装置１３０は、推論部１３１として機能する。
【0018】
推論部１３１には、訓練フェーズにおいて訓練部１２２により訓練された訓練済みモデルが適用される。また、推論部１３１は、時系列データ格納部１３２から、時系列データを読み出し、読み出した時系列データを訓練済みモデルに入力することで訓練済みモデルを実行させて、異常原因推論結果を出力する。なお、モデルに入力される時系列データは、当該時系列データに対して高速フーリエ変換（ＦＦＴ）を行って得られるデータや、当該時系列データに対して他の前処理を行って得られるデータでもよい。
【0019】
＜訓練装置または推論装置のハードウェア構成＞
次に、訓練装置１２０または推論装置１３０のハードウェア構成について説明する。図２は、訓練装置または推論装置のハードウェア構成の一例を示す図である。図２に示すように、訓練装置１２０または推論装置１３０は、構成要素として、プロセッサ２０１、主記憶装置（メモリ）２０２、補助記憶装置２０３、ネットワークインタフェース２０４、デバイスインタフェース２０５を有する。訓練装置１２０または推論装置１３０は、これらの構成要素がバス２０６を介して接続されたコンピュータとして実現される。
次に、訓練装置１２０または推論装置１３０のハードウェア構成について説明する。図２は、訓練装置または推論装置のハードウェア構成の一例を示す図である。図２に示すように、訓練装置１２０または推論装置１３０は、構成要素として、プロセッサ２０１、主記憶装置（メモリ）２０２、補助記憶装置２０３、ネットワークインタフェース２０４、デバイスインタフェース２０５を有する。訓練装置１２０または推論装置１３０は、これらの構成要素がバス２０６を介して接続されたコンピュータとして実現される。
【0020】
なお、図２の例では、訓練装置１２０または推論装置１３０が、各構成要素を１個ずつ備えるものとして示しているが、訓練装置１２０または推論装置１３０は、同じ構成要素を複数備えていてもよい。また、図２の例では、１台の訓練装置１２０または推論装置１３０が示されているが、訓練プログラムまたは推論プログラムが複数台の訓練装置または推論装置にインストールされて、当該複数台の訓練装置または推論装置それぞれが訓練プログラムまたは推論プログラムの同一のまたは異なる一部の処理を実行するように構成してもよい。この場合、訓練装置または推論装置それぞれがネットワークインタフェース２０４等を介して通信することで全体の処理を実行する分散コンピューティングの形態をとってもよい。つまり、訓練装置１２０または推論装置１３０は、１または複数の記憶装置に記憶された命令を１台または複数台のコンピュータが実行することで機能を実現するシステムとして構成されてもよい。また、工作機械１１０から送信された各種データをクラウド上に設けられた１台または複数台の訓練装置または推論装置で処理し、処理結果を顧客に送信する構成であってもよい。
【0021】
訓練装置１２０または推論装置１３０の各種演算は、１または複数のプロセッサを用いて、または、通信ネットワーク２１０を介して通信する複数台の訓練装置または推論装置を用いて並列処理で実行されてもよい。また、各種演算は、プロセッサ２０１内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部または全部は、通信ネットワーク２１０を介して訓練装置１２０または推論装置１３０と通信可能なクラウド上に設けられた外部装置２２０（プロセッサ及び記憶装置の少なくとも一方）により実行されてもよい。このように、訓練装置１２０または推論装置１３０は、１台または複数台のコンピュータによる並列コンピューティングの形態をとってもよい。
【0022】
プロセッサ２０１は、電子回路（処理回路、Processing circuit、Processing circuitry、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、又はＡＳＩＣ等）であってもよい。また、プロセッサ２０１は、専用の処理回路を含む半導体装置等であってもよい。なお、プロセッサ２０１は、電子論理素子を用いた電子回路に限定されるものではなく、光論理素子を用いた光回路により実現されてもよい。また、プロセッサ２０１は、量子コンピューティングに基づく演算機能を含むものであってもよい。
【0023】
プロセッサ２０１は、訓練装置１２０または推論装置１３０の内部構成の各装置等から入力された各種データや命令に基づいて各種演算を行い、演算結果や制御信号を各装置等に出力する。プロセッサ２０１は、ＯＳ（Operating System）や、アプリケーション等を実行することにより、訓練装置１２０または推論装置１３０が備える各構成要素を制御する。
【0024】
また、プロセッサ２０１は、１チップ上に配置された１又は複数の電子回路を指してもよいし、２つ以上のチップあるいはデバイス上に配置された１又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。
【0025】
主記憶装置２０２は、プロセッサ２０１が実行する命令及び各種データ等を記憶する記憶装置であり、主記憶装置２０２に記憶された各種データがプロセッサ２０１により読み出される。補助記憶装置２０３は、主記憶装置２０２以外の記憶装置である。なお、これらの記憶装置は、各種データを格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ、不揮発性メモリのいずれでもよい。訓練装置１２０または推論装置１３０において各種データを保存するための記憶装置は、主記憶装置２０２又は補助記憶装置２０３により実現されてもよく、プロセッサ２０１に内蔵される内蔵メモリにより実現されてもよい。
【0026】
また、１つの主記憶装置２０２に対して、複数のプロセッサ２０１が接続（結合）されてもよいし、単数のプロセッサ２０１が接続されてもよい。あるいは、１つのプロセッサ２０１に対して、複数の主記憶装置２０２が接続（結合）されてもよい。訓練装置１２０または推論装置１３０が、少なくとも１つの主記憶装置２０２と、この少なくとも１つの主記憶装置２０２に接続（結合）される複数のプロセッサ２０１とで構成される場合、複数のプロセッサ２０１のうち少なくとも１つのプロセッサが、少なくとも１つの主記憶装置２０２に接続（結合）される構成を含んでもよい。また、複数台の訓練装置１２０または推論装置１３０に含まれる主記憶装置２０２とプロセッサ２０１とによって、この構成が実現されてもよい。さらに、主記憶装置２０２がプロセッサと一体になっている構成（例えば、Ｌ１キャッシュ、Ｌ２キャッシュを含むキャッシュメモリ）を含んでもよい。
【0027】
ネットワークインタフェース２０４は、無線又は有線により、通信ネットワーク２１０に接続するためのインタフェースである。ネットワークインタフェース２０４には、既存の通信規格に適合したもの等、適切なインタフェースが用いられる。ネットワークインタフェース２０４により、通信ネットワーク２１０を介して接続された工作機械１１０やその他の外部装置２２０と各種データのやり取りが行われてもよい。なお、通信ネットワーク２１０は、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、ＰＡＮ（Personal Area Network）等のいずれか、又は、それらの組み合わせであってもよく、コンピュータと工作機械１１０やその他の外部装置２２０との間で情報のやり取りが行われるものであればよい。ＷＡＮの一例としてインタネット等があり、ＬＡＮの一例としてＩＥＥＥ８０２．１１やイーサネット等があり、ＰＡＮの一例としてＢｌｕｅｔｏｏｔｈ（登録商標が）やＮＦＣ（Near Field Communication）等がある。
【0028】
デバイスインタフェース２０５は、外部装置２３０と直接接続するＵＳＢ等のインタフェースである。
【0029】
外部装置２３０はコンピュータと接続されている装置である。外部装置２３０は、一例として、入力装置であってもよい。入力装置は、例えば、カメラ、マイクロフォン、モーションキャプチャ、各種センサ、キーボード、マウス、又はタッチパネル等のデバイスであり、取得した情報をコンピュータに与える。また、パーソナルコンピュータ、タブレット端末、又はスマートフォン等の入力部とメモリとプロセッサとを備えるデバイス等であってもよい。
【0030】
また、外部装置２３０は、一例として、出力装置であってもよい。出力装置は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、ＰＤＰ（Plasma Display Panel）、又は有機ＥＬ（Electro Luminescence）パネル等の表示装置であってもよいし、音声等を出力するスピーカ等であってもよい。また、パーソナルコンピュータ、タブレット端末、又はスマートフォン等の出力部とメモリとプロセッサとを備えるデバイス等であってもよい。
【0031】
また、外部装置２３０は、記憶装置（メモリ）であってもよい。例えば、外部装置２３０はネットワークストレージ等であってもよく、外部装置２３０はＨＤＤ等のストレージであってもよい。
【0032】
また、外部装置２３０は、訓練装置１２０または推論装置１３０の構成要素の一部の機能を有する装置でもよい。つまり、コンピュータは、外部装置２３０の処理結果の一部又は全部を送信または受信してもよい。
【0033】
＜ラベル付与部の処理の具体例＞
次に、ラベル付与部１２１の処理の具体例を示す図である。図３Ａは、ラベル付与部の処理の具体例を示す図である。図３Ａに示すように、ラベル付与部１２１は、不図示のユーザからの指示に基づいて、時系列データ格納部１２３から、所定の時間範囲の時系列のセンサデータを順次読み出す。
次に、ラベル付与部１２１の処理の具体例を示す図である。図３Ａは、ラベル付与部の処理の具体例を示す図である。図３Ａに示すように、ラベル付与部１２１は、不図示のユーザからの指示に基づいて、時系列データ格納部１２３から、所定の時間範囲の時系列のセンサデータを順次読み出す。
【0034】
図３Ａにおいて時系列データ３００は、ラベル付与部１２１が時系列データ格納部１２３から読み出す時系列データの一例である。図３Ａに示すように、時系列データ３００には、情報の項目として、少なくとも"識別子"、"データ"、"ラベル"が含まれる。
【0035】
"識別子"には、異常発生時に測定された所定の時間範囲の時系列のセンサデータを識別する識別子が格納される。"データ"には、異常発生時に測定された所定の時間範囲の時系列のセンサデータが読み出され、格納される。図３Ａの例は、所定の時間範囲の時系列のセンサデータとして、「波形データ１ａ」、「波形データ２ａ」、「波形データ３ａ」、・・・「波形データｎａ」が読み出され、格納された様子を示している。
【0036】
"ラベル"には、ラベル付与部１２１において付与されるラベルが格納される。時系列データ３００は、ラベル付与部１２１によってラベルが付与される前の時系列データであるため、"ラベル"の項目は空欄となっている。
【0037】
ラベル付与部１２１は、時系列データ３００の"データ"に格納されている時系列のセンサデータに、異常原因を示すラベルを付与する。なお、本実施形態では、説明の簡略化のため、工作機械１１０において発生する異常のうち、原因が特定されている異常は３種類であるとし、それぞれ、「異常Ｘ」、「異常Ｙ」、「異常Ｚ」と称す。
【0038】
このため、ラベル付与部１２１では、異常原因が特定されている場合には、ラベルとして、
・「異常Ｘである」、
・「異常Ｙである」、
・「異常Ｚである」、
等の異常の原因が特定の異常原因であることを示す肯定ラベルが付与可能である。また、本実施形態に係る訓練装置１２０の場合、ラベル付与部１２１は、異常原因が特定されていない場合には、肯定ラベルに加えて、
・「異常Ｘではない」、
・「異常Ｙではない」、
・「異常Ｚではない」、
等の否定ラベル（既に特定されている特定の異常原因でないことを示すラベル）も付与可能であるとする。
・「異常Ｘである」、
・「異常Ｙである」、
・「異常Ｚである」、
等の異常の原因が特定の異常原因であることを示す肯定ラベルが付与可能である。また、本実施形態に係る訓練装置１２０の場合、ラベル付与部１２１は、異常原因が特定されていない場合には、肯定ラベルに加えて、
・「異常Ｘではない」、
・「異常Ｙではない」、
・「異常Ｚではない」、
等の否定ラベル（既に特定されている特定の異常原因でないことを示すラベル）も付与可能であるとする。
【0039】
否定ラベルは、この他、「異常Ｘでも異常Ｙでもない」というような、既に特定されている複数の特定の異常原因のいずれでもないことを示すラベルを含んでもよい。すなわち、否定ラベルは、１つの特定の異常原因でないこと示すラベルであっても、２以上の特定の異常原因のいずれでもないことを示すラベルであってもよい。なお、例えば「異常Ｘでも異常Ｙでもない」ことを示すラベルは、「異常Ｘでない」ことも示すので、特定の異常Ｘでないことを示すラベルに概念的に含まれ、同様に、特定の異常Ｙでないことを示すラベルに概念的に含まれる。このように、２以上の特定の異常原因のいずれでもないことを示すラベルは、その２以上の特定の異常原因のうちの１つの特定の異常原因でないことも示すため、１つの特定の異常原因でないことを示すラベルでもある。
【0040】
ラベル付与部１２１は、各肯定ラベルの論理否定をとることで、これら否定ラベルを肯定ラベルから自動的に生成してもよいし、複数の否定ラベルを組み合わせて複数の異常原因のいずれでもないことを示す否定ラベルを自動的に生成してもよい。ラベル付与部１２１は、自動的に生成された否定ラベルを、後述のラベル選択エリアに表示してもよい。
【0041】
図３Ａの訓練用データセット３１０は、「波形データ１ａ」にラベル＝「異常Ｘである」が付与され、「波形データ２ａ」にラベル＝「異常Ｙである」が付与され、「波形データ３ａ」にラベル＝「異常Ｘではない」が付与された様子を示している。また、図３Ａの訓練用データセット３１０は、「波形データｎａ」にラベル＝「異常Ｙではない」が付与された様子を示している。
【0042】
続いて、ラベル付与部１２１がラベルを付与する際に、ユーザに提供する表示画面について説明する。図３Ｂは、ラベル付与部１２１のユーザインタフェースの一例を示す図である。この図３Ｂは、「センサデータ１」という名前の時系列のセンサデータに対してラベルを付与する様子を示す。
【0043】
図３Ｂに示すように、表示画面３２０は、複数のラベルを表示し、ユーザからのラベル選択を受け付けるラベル選択エリアを含む。本実施形態のラベル選択エリアは、肯定ラベルを表示するエリア３２１－１と、否定ラベルを表示するエリア３２１－２とを含む。表示画面３２０は、ラベル付与対象であるセンサデータが取得された機器名や期間（開始時刻、終了時刻）を含んでもよい。ユーザは、表示画面３２０を介して時系列のセンサデータから異常発生時に測定された所定の時間範囲の時系列のセンサデータを読み出し、対応する異常原因を入力する。これにより、ラベル付与部１２１は、入力された異常原因を示すラベルを、異常発生時に測定された所定の時間範囲の時系列のセンサデータに付与する。
【0044】
ラベル選択エリアは、工作機械１１０内の異常が発生した箇所や異常の症状（つまり、異常原因に対応するラベル）を指定するためのチェックボックスを含む。上述したように、本実施形態において異常原因は３種類であり、付与可能なラベルは６種類であることから、「異常Ｘである」、「異常Ｙである」、「異常Ｚである」、「異常Ｘではない」、「異常Ｙではない」、「異常Ｚではない」の６つのラベルが表示される。各否定ラベルは、ラベル付与部１２１が各肯定ラベルの論理否定をとることで自動的に生成したものでもよい。訓練部はこれらラベルを「Ｘ」、「Ｙ」、「Ｚ」、「ＮＯＴＸ」、「ＮＯＴＹ」、「ＮＯＴＺ」として扱う。ユーザは、センサデータに付与したいラベル（異常原因）を、これら複数のラベルの中から選択し、設定ボタンを押す。これにより、ラベル付与部１２１では、選択されたいずれかのラベルを付与することができる。図３Ｂでは、ラベル「異常Ｚではない」が選択されているため、そのチェックボックスがオンとなっている。
【0045】
なお、本実施形態のラベル選択は、複数のラベル選択を許容する。すなわち、ラベル「異常Ｘである」とラベル「異常Ｙである」の選択によって、ラベル付与部１２１は、センサデータにラベル「異常」Ｘか異常Ｙである」という意味のラベルを付与してもよい。また同様に、ラベル「異常Ｙではない」とラベル「異常Ｚではない」の選択によって、ラベル付与部１２１は、センサデータにラベル「異常Ｙでも異常Ｚでもない」という意味のラベルを付与してもよい。また、本実施形態のラベル選択は、上述の肯定ラベルおよび否定ラベルの他、異常の原因が不明であることを示す不明ラベルをセンサデータに対して付与してもよい。不明ラベルが付与されたセンサデータは、後述の訓練モデル４２２の訓練に用いなくてもよいし、後述のように不明ラベルを肯定ラベルに置き換える等して訓練に用いてもよい。
【0046】
＜訓練部の処理の具体例＞
次に、訓練部１２２の処理の具体例について説明する。図４は、訓練部の処理の具体例を示す第１の図である。図４に示すように、訓練部１２２は、肯定ラベル生成部４２１、訓練モデル４２２、比較／更新部４２３を有する。
次に、訓練部１２２の処理の具体例について説明する。図４は、訓練部の処理の具体例を示す第１の図である。図４に示すように、訓練部１２２は、肯定ラベル生成部４２１、訓練モデル４２２、比較／更新部４２３を有する。
【0047】
肯定ラベル生成部４２１は、訓練用データ格納部１２４から、訓練用データセット３１０を読み出し、訓練用データセット３１０に基づいて、拡張訓練用データセット４１０を生成する。
【0048】
具体的には、肯定ラベル生成部４２１は、訓練用データセット３１０に含まれる"ラベル"のうち、否定ラベルを抽出し、肯定ラベルに変更する。すなわち、肯定ラベル生成部４２１は、否定ラベルが付与されていた訓練用データに、否定ラベルに代えて、対応する１以上の肯定ラベルを付与しなおす。例えば、否定ラベルとして、「波形データ３ａ」に付与された「異常Ｘではない」を抽出した場合、肯定ラベル生成部４２１では、肯定ラベルとして、「異常Ｙである」と、「異常Ｚである」とを生成し、「波形データ３ａ」に付与する。また、否定ラベルとして、「波形データｎａ」に付与された「異常Ｙではない」を抽出した場合、肯定ラベル生成部４２１では、肯定ラベルとして、「異常Ｘである」と、「異常Ｚである」とを生成し、「波形データｎａ」に付与する。また、肯定ラベル生成部４２１は、訓練用データセット３１０に含まれる"ラベル"のうち、不明ラベルを抽出し、肯定ラベルに変更してもよい。すなわち、肯定ラベル生成部４２１は、不明ラベルが付与されていた訓練用データに、不明ラベルに代えて、各肯定ラベルを付与しなおしてもよい。例えば、肯定ラベル生成部４２１は、肯定ラベルとして、「異常Ｘである」と、「異常Ｙである」と、「異常Ｚである」とを生成し、不明ラベルが付与されていた波形データに付与してもよい。
【0049】
これにより、拡張訓練用データセット４１０に含まれる"ラベル"を、全て肯定ラベルに変更することができる。
【0050】
また、肯定ラベル生成部４２１は、生成した拡張訓練用データセット４１０のうち、"データ"に格納された時系列のセンサデータを訓練モデル４２２に入力するとともに、"ラベル"に格納された肯定ラベルを、比較／更新部４２３に入力する。
【0051】
訓練モデル４２２は、例えば、ＣＮＮ（Convolutional Neural Network）により構成され、時系列のセンサデータを入力として処理を実行し、出力データを出力する。本実施形態において、訓練モデル４２２が出力する出力データは、異常Ｘの確率、異常Ｙの確率、異常Ｚの確率である。
【0052】
比較／更新部４２３は、訓練モデル４２２から出力された出力データと、拡張訓練用データセット４１０の"ラベル"に格納された肯定ラベルとを比較し、誤差を算出する。また、比較／更新部４２３は、算出した誤差に基づいて、訓練モデル４２２のモデルパラメータを更新する。
【0053】
なお、比較／更新部４２３では、例えば、「波形データ１ａ」が入力されることで訓練モデル４２２から出力される出力データのうち、異常Ｘの確率が、１．０に近づくように、訓練モデル４２２のモデルパラメータを更新する。
【0054】
同様に、比較／更新部４２３では、例えば、「波形データ２ａ」が入力されることで訓練モデル４２２から出力される出力データのうち、異常Ｙの確率が、１．０に近づくように、訓練モデル４２２のモデルパラメータを更新する。
【0055】
また、比較／更新部４２３では、例えば、「波形データ３ａ」が入力されることで訓練モデル４２２から出力される出力データのうち、
・異常Ｙの確率が、１．０に近づくように、訓練モデル４２２のモデルパラメータを更新した後、
・異常Ｚの確率が、１．０に近づくように、訓練モデル４２２のモデルパラメータを更新する。
・異常Ｙの確率が、１．０に近づくように、訓練モデル４２２のモデルパラメータを更新した後、
・異常Ｚの確率が、１．０に近づくように、訓練モデル４２２のモデルパラメータを更新する。
【0056】
同様に、比較／更新部４２３では、例えば、「波形データｎａ」が入力されることで訓練モデル４２２から出力される出力データのうち、
・異常Ｘの確率が、１．０に近づくように、訓練モデル４２２のモデルパラメータを更新した後、
・異常Ｚの確率が、１．０に近づくように、訓練モデル４２２のモデルパラメータを更新する。
・異常Ｘの確率が、１．０に近づくように、訓練モデル４２２のモデルパラメータを更新した後、
・異常Ｚの確率が、１．０に近づくように、訓練モデル４２２のモデルパラメータを更新する。
【0057】
ただし、比較／更新部４２３によるモデルパラメータの更新方法はこれに限定されない。例えば、「波形データ３ａ」の場合、比較／更新部４２３では、訓練モデル４２２から出力される出力データのうち、異常Ｙの確率及び異常Ｚの確率が、それぞれ、０．５に近づくように、訓練モデル４２２のモデルパラメータを更新してもよい。
【0058】
同様に、「波形データｎａ」の場合、比較／更新部４２３では、訓練モデル４２２から出力される出力データのうち、異常Ｘの確率及び異常Ｚの確率が、それぞれ、０．５に近づくように、訓練モデル４２２のモデルパラメータを更新してもよい。
【0059】
＜推論部の処理の具体例＞
次に、推論部１３１の処理の具体例について説明する。図５は、推論部の処理の具体例を示す第１の図である。図５に示すように、推論部１３１は、訓練済みモデル５２１、出力部５２２を有する。
次に、推論部１３１の処理の具体例について説明する。図５は、推論部の処理の具体例を示す第１の図である。図５に示すように、推論部１３１は、訓練済みモデル５２１、出力部５２２を有する。
【0060】
訓練済みモデル５２１は、訓練フェーズにおいて、訓練部１２２が拡張訓練用データセット４１０を用いて訓練モデル４２２を訓練することで生成されたモデルである。推論部１３１が、時系列データ格納部１３２に格納されている時系列のセンサデータを読み出し、推論用データ５１０として、訓練済みモデル５２１に入力することで、訓練済みモデル５２１は、異常原因を推論する。
【0061】
なお、図５に示すように、推論用データ５１０には、情報の項目として、少なくとも"識別子"、"データ"が含まれる。"識別子"には、異常原因の推論対象となる時系列のセンサデータを識別する識別子が格納される。また、"データ"には、異常原因の推論対象となる時系列のセンサデータが格納される。
【0062】
図５の例は、推論部１３１が、推論用データ５１０の"データ"に含まれる、「波形データ１ｂ」、「波形データ２ｂ」、「波形データ３ｂ」、・・・「波形データｎｂ」を、順次、訓練済みモデル５２１に入力した様子を示している。
【0063】
出力部５２２は、訓練済みモデル５２１より出力された異常原因推論結果を、推論結果データ５３０として出力する。図５に示すように、推論結果データ５３０には、推論用データ５１０の情報の項目に、"異常原因推論結果"が付加され、出力部５２２より出力された異常原因推論結果が格納される。
【0064】
図５の例は、「波形データ１ｂ」の異常原因が「異常Ｘである」と推論され、「波形データ２ｂ」の異常原因が「異常Ｙである」と推論され、「波形データ３ｂ」の異常原因が「異常Ｙである」と推論された様子を示している。また、図５の例は、「波形データｎｂ」の異常原因が「異常Ｚである」と推論された様子を示している。
【0065】
＜異常原因推論処理の流れ＞
次に、異常原因推論システム１００Ａ、１００Ｂによる異常原因推論処理の流れについて説明する。図６は、異常原因推論処理の流れを示す第１のフローチャートであり、訓練フェーズにおいては、ステップＳ６０１～Ｓ６０６が実行され、推論フェーズにおいては、ステップＳ６０７～Ｓ６１０が実行される。
次に、異常原因推論システム１００Ａ、１００Ｂによる異常原因推論処理の流れについて説明する。図６は、異常原因推論処理の流れを示す第１のフローチャートであり、訓練フェーズにおいては、ステップＳ６０１～Ｓ６０６が実行され、推論フェーズにおいては、ステップＳ６０７～Ｓ６１０が実行される。
【0066】
ステップＳ６０１において、訓練装置１２０は、工作機械１１０より異常発生時に測定された所定の時間範囲の時系列のセンサデータを取得する。
【0067】
ステップＳ６０２において、訓練装置１２０は、取得した時系列のセンサデータに、異常原因を示すラベルを付与し、訓練用データセットを生成する。
【0068】
ステップＳ６０３において、訓練装置１２０は、生成した訓練用データセットにおいて、否定ラベルを肯定ラベルに変更し、拡張訓練用データセットを生成する。
【0069】
ステップＳ６０４において、訓練装置１２０は、生成した拡張訓練用データセットを用いて、訓練モデルを訓練する。
【0070】
ステップＳ６０５において、訓練装置１２０は、訓練処理の終了条件が成立したか否かを判定する。ステップＳ６０５において、訓練処理の終了条件が成立していないと判定した場合には（ステップＳ６０５においてＮＯの場合には）、ステップＳ６０４に戻り、訓練処理を継続する。
【0071】
一方、ステップＳ６０５において、訓練処理の終了条件が成立したと判定した場合には（ステップＳ６０５においてＹＥＳの場合には）、ステップＳ６０６に進む。
【0072】
ステップＳ６０６において、訓練装置１２０は、生成した訓練済みモデルを、推論装置１３０に送信する。
【0073】
続いて、ステップＳ６０７において、推論装置１３０は、工作機械１１０より推論対象の時系列のセンサデータを取得する。
【0074】
ステップＳ６０８において、推論装置１３０は、取得した時系列のセンサデータを推論用データとして、訓練済みモデルに入力することで、異常原因を推論する。
【0075】
ステップＳ６０９において、推論装置１３０は、異常原因推論結果を出力する。
【0076】
ステップＳ６１０において、推論装置１３０は、推論処理を終了するか否かを判定し、推論処理を継続すると判定した場合には（ステップＳ６１０においてＮＯの場合には）、ステップＳ６０７に戻る。
【0077】
一方、ステップＳ６１０において、推論処理を終了すると判定した場合には（ステップＳ６１０においてＹＥＳの場合には）、異常原因推論処理を終了する。
【0078】
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る訓練装置１２０は、
・異常発生時に監視対象の工作機械１１０において測定された時系列のセンサデータを取得する。
・取得した時系列のセンサデータに対して、異常原因が特定されている場合には、異常原因を示す肯定ラベルを付与し、異常原因が特定されていない場合には、既に特定されている異常原因のいずれかでないことを示す否定ラベルを付与する。
・否定ラベルが付与された時系列のセンサデータについて、肯定ラベルに変更してから訓練モデルを訓練する。
以上の説明から明らかなように、第１の実施形態に係る訓練装置１２０は、
・異常発生時に監視対象の工作機械１１０において測定された時系列のセンサデータを取得する。
・取得した時系列のセンサデータに対して、異常原因が特定されている場合には、異常原因を示す肯定ラベルを付与し、異常原因が特定されていない場合には、既に特定されている異常原因のいずれかでないことを示す否定ラベルを付与する。
・否定ラベルが付与された時系列のセンサデータについて、肯定ラベルに変更してから訓練モデルを訓練する。
【0079】
これにより、第１の実施形態に係る訓練装置１２０によれば、異常原因がわからない時系列のセンサデータについても訓練することが可能になる。
【0080】
また、第１の実施形態に係る推論装置１３０は、
・否定ラベルが付与された時系列のセンサデータを肯定ラベルに変更して訓練された訓練済みモデルに、新たに時系列のセンサデータを入力し、異常原因推論結果を出力する。
・否定ラベルが付与された時系列のセンサデータを肯定ラベルに変更して訓練された訓練済みモデルに、新たに時系列のセンサデータを入力し、異常原因推論結果を出力する。
【0081】
これにより、第１の実施形態に係る推論装置１３０によれば、訓練時に発生しなかった異常が発生した際の時系列のセンサデータが入力された場合でも、異常原因を精度よく推論することが可能となる。
【0082】
つまり、第１の実施形態によれば、異常原因の推論精度を向上させることができる。
【0083】
［第２の実施形態］
上記第１の実施形態では、訓練用データセット３１０に含まれる否定ラベルを、複数の肯定ラベルに変更し、時系列のセンサデータを入力した際の各肯定ラベルの確率が適切な値になるように、訓練モデルを訓練する場合について説明した。これに対して、第２の実施形態では、訓練用データセット３１０に含まれる各ラベル（肯定ラベル、否定ラベル）の確率がそれぞれ適切な値になるように、訓練モデルを訓練する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
上記第１の実施形態では、訓練用データセット３１０に含まれる否定ラベルを、複数の肯定ラベルに変更し、時系列のセンサデータを入力した際の各肯定ラベルの確率が適切な値になるように、訓練モデルを訓練する場合について説明した。これに対して、第２の実施形態では、訓練用データセット３１０に含まれる各ラベル（肯定ラベル、否定ラベル）の確率がそれぞれ適切な値になるように、訓練モデルを訓練する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【0084】
＜訓練部の処理の具体例＞
はじめに、第２の実施形態に係る訓練装置１２０の訓練部１２２の処理の具体例について説明する。第２の実施形態に係る訓練装置１２０の訓練部１２２では、訓練用データセット３１０に含まれる肯定ラベルに基づいて訓練モデルを訓練する場合と、訓練用データセット３１０に含まれる否定ラベルに基づいて訓練モデルを訓練する場合とにわけて処理を行う。
はじめに、第２の実施形態に係る訓練装置１２０の訓練部１２２の処理の具体例について説明する。第２の実施形態に係る訓練装置１２０の訓練部１２２では、訓練用データセット３１０に含まれる肯定ラベルに基づいて訓練モデルを訓練する場合と、訓練用データセット３１０に含まれる否定ラベルに基づいて訓練モデルを訓練する場合とにわけて処理を行う。
【0085】
図７は、訓練部の処理の具体例を示す第２の図であり、訓練用データセット３１０に含まれる肯定ラベルに基づいて訓練モデルを訓練する場合の処理の具体例を示す図である。図７に示すように、訓練部１２２は、分類部７２１、訓練モデル７２２、比較／更新部７２３を有する。
【0086】
分類部７２１は、訓練用データ格納部１２４から、訓練用データセット３１０を読み出すと、読み出した訓練用データセット３１０に基づいて、肯定訓練用データセット７１０を生成する。
【0087】
具体的には、分類部７２１は、訓練用データセット３１０に含まれる"ラベル"のうち、肯定ラベルを抽出し、対応する"識別子"及び"データ"とともに、肯定訓練用データセット７１０に格納する。図７の例は、肯定ラベルとして「波形データ１ａ」に付与された「異常Ｘである」と、「波形データ２ａ」に付与された「異常Ｙである」とが抽出され、肯定訓練用データセット７１０に格納された様子を示している。
【0088】
また、分類部７２１は、生成した肯定訓練用データセット７１０のうち、"データ"に格納された時系列のセンサデータを訓練モデル７２２及び比較／更新部７２３に入力するとともに、"ラベル"に格納された肯定ラベルを、比較／更新部７２３に入力する。
【0089】
訓練モデル７２２は、例えば、Ａｕｔｏｅｎｃｏｄｅｒにより構成される。訓練モデル７２２は、時系列のセンサデータを入力として処理を実行することで潜在変数（ｚ）を算出し、算出した潜在変数に基づいて、
・復元した時系列のセンサデータ（ｚ→ｘ'）と、
・各異常原因（異常Ｘである、異常Ｙである、異常Ｚである）の確率（ｚ→Ｘ，ｚ→Ｙ，ｚ→Ｚ）と、
・各異常原因（異常Ｘではない、異常Ｙではない、異常Ｚではない）の確率（ｚ→ＮＯＴＸ、ｚ→ＮＯＴＹ、ｚ→ＮＯＴＺ）と、
を出力する。
・復元した時系列のセンサデータ（ｚ→ｘ'）と、
・各異常原因（異常Ｘである、異常Ｙである、異常Ｚである）の確率（ｚ→Ｘ，ｚ→Ｙ，ｚ→Ｚ）と、
・各異常原因（異常Ｘではない、異常Ｙではない、異常Ｚではない）の確率（ｚ→ＮＯＴＸ、ｚ→ＮＯＴＹ、ｚ→ＮＯＴＺ）と、
を出力する。
【0090】
比較／更新部７２３は、訓練モデル７２２から出力された、
・復元された時系列のセンサデータ（ｚ→ｘ'）と、
・肯定訓練用データセット７１０のうち、"データ"に格納された時系列のセンサデータと、
を比較する。また、比較／更新部７２３は、訓練モデル７２２から出力された、
・各異常原因（異常Ｘである、異常Ｙである、異常Ｚである）の確率（ｚ→Ｘ，ｚ→Ｙ，ｚ→Ｚ）と、
・肯定訓練用データセット７１０のうち、"ラベル"に格納された肯定ラベルと、
を比較する。
・復元された時系列のセンサデータ（ｚ→ｘ'）と、
・肯定訓練用データセット７１０のうち、"データ"に格納された時系列のセンサデータと、
を比較する。また、比較／更新部７２３は、訓練モデル７２２から出力された、
・各異常原因（異常Ｘである、異常Ｙである、異常Ｚである）の確率（ｚ→Ｘ，ｚ→Ｙ，ｚ→Ｚ）と、
・肯定訓練用データセット７１０のうち、"ラベル"に格納された肯定ラベルと、
を比較する。
【0091】
更に、比較／更新部７２３は、それぞれの比較の結果に基づいて誤差を算出し、算出した誤差に基づいて、訓練モデル７２２のモデルパラメータを更新する。
【0092】
なお、比較／更新部７２３では、例えば、「波形データ１ａ」が入力された場合、訓練モデル７２２から出力される、
・復元された時系列のセンサデータが「波形データ１ａ」に近づくように、かつ、
・「異常Ｘである」の確率が１．０に近づくように、
訓練モデル７２２のモデルパラメータを更新する。
・復元された時系列のセンサデータが「波形データ１ａ」に近づくように、かつ、
・「異常Ｘである」の確率が１．０に近づくように、
訓練モデル７２２のモデルパラメータを更新する。
【0093】
同様に、比較／更新部７２３では、例えば、「波形データ２ａ」が入力された場合、訓練モデル７２２から出力される、
・復元された時系列のセンサデータが「波形データ２ａ」に近づくように、かつ、
・「異常Ｙである」の確率が１．０に近づくように、
訓練モデル７２２のモデルパラメータを更新する。
・復元された時系列のセンサデータが「波形データ２ａ」に近づくように、かつ、
・「異常Ｙである」の確率が１．０に近づくように、
訓練モデル７２２のモデルパラメータを更新する。
【0094】
一方、図８は、訓練部の処理の具体例を示す第３の図であり、訓練用データセット３１０に含まれる否定ラベルに基づいて訓練モデルを訓練する場合の処理の具体例を示す図である。図８に示すように、訓練部１２２は、分類部８２１、訓練モデル７２２、比較／更新部８２３を有する。
【0095】
分類部８２１は、訓練用データ格納部１２４から、訓練用データセット３１０を読み出すと、読み出した訓練用データセット３１０に基づいて、否定訓練用データセット８１０を生成する。
【0096】
具体的には、分類部８２１は、訓練用データセット３１０に含まれる"ラベル"のうち、否定ラベルを抽出し、対応する"識別子"及び"データ"とともに、否定訓練用データセット８１０に格納する。図８の例は、否定ラベルとして「波形データ３ａ」に付与された「異常Ｘではない」と、「波形データｎａ」に付与された「異常Ｙではない」とが抽出され、否定訓練用データセット８１０に格納された様子を示している。
【0097】
また、分類部８２１は、生成した否定訓練用データセット８１０のうち、"データ"に格納された時系列のセンサデータを訓練モデル７２２及び比較／更新部８２３に入力するとともに、"ラベル"に格納された否定ラベルを、比較／更新部８２３に入力する。
【0098】
訓練モデル７２２は、図７を用いて説明したように、例えば、Ａｕｔｏｅｎｃｏｄｅｒにより構成される。訓練モデル７２２は、時系列のセンサデータを入力として処理を実行することで潜在変数（ｚ）を算出し、算出した潜在変数に基づいて、
・復元した時系列のセンサデータ（ｚ→ｘ'）と、
・各異常原因（異常Ｘである、異常Ｙである、異常Ｚである）の確率（ｚ→Ｘ，ｚ→Ｙ，ｚ→Ｚ）と、
・各異常原因（異常Ｘではない、異常Ｙではない、異常Ｚではない）の確率（ｚ→ＮＯＴＸ，ｚ→ＮＯＴＹ，ｚ→ＮＯＴＺ）と、
を出力する。
・復元した時系列のセンサデータ（ｚ→ｘ'）と、
・各異常原因（異常Ｘである、異常Ｙである、異常Ｚである）の確率（ｚ→Ｘ，ｚ→Ｙ，ｚ→Ｚ）と、
・各異常原因（異常Ｘではない、異常Ｙではない、異常Ｚではない）の確率（ｚ→ＮＯＴＸ，ｚ→ＮＯＴＹ，ｚ→ＮＯＴＺ）と、
を出力する。
【0099】
比較／更新部８２３は、訓練モデル７２２から出力された、
・復元された時系列のセンサデータ（ｚ→ｘ'）と、
・否定訓練用データセット８１０のうち、"データ"に格納された時系列のセンサデータと、
を比較する。また、比較／更新部８２３は、
・訓練モデル７２２から出力された、各異常原因（異常Ｘではない、異常Ｙではない、異常Ｚではない）の確率（ｚ→ＮＯＴＸ，ｚ→ＮＯＴＹ，ｚ→ＮＯＴＺ）と、
・否定訓練用データセット８１０のうち、"ラベル"に格納された否定ラベルと、
を比較する。更に、比較／更新部８２３は、それぞれの比較の結果に基づいて誤差を算出し、算出した誤差に基づいて、訓練モデル７２２のモデルパラメータを更新する。
・復元された時系列のセンサデータ（ｚ→ｘ'）と、
・否定訓練用データセット８１０のうち、"データ"に格納された時系列のセンサデータと、
を比較する。また、比較／更新部８２３は、
・訓練モデル７２２から出力された、各異常原因（異常Ｘではない、異常Ｙではない、異常Ｚではない）の確率（ｚ→ＮＯＴＸ，ｚ→ＮＯＴＹ，ｚ→ＮＯＴＺ）と、
・否定訓練用データセット８１０のうち、"ラベル"に格納された否定ラベルと、
を比較する。更に、比較／更新部８２３は、それぞれの比較の結果に基づいて誤差を算出し、算出した誤差に基づいて、訓練モデル７２２のモデルパラメータを更新する。
【0100】
なお、比較／更新部８２３では、例えば、「波形データ３ａ」が入力された場合、訓練モデル７２２から出力される、
・復元された時系列のセンサデータが「波形データ３ａ」に近づくように、かつ、
・「異常Ｘではない」の確率が１．０に近づくように、
訓練モデル７２２のモデルパラメータを更新する。
・復元された時系列のセンサデータが「波形データ３ａ」に近づくように、かつ、
・「異常Ｘではない」の確率が１．０に近づくように、
訓練モデル７２２のモデルパラメータを更新する。
【0101】
同様に、比較／更新部８２３では、例えば、「波形データｎａ」が入力された場合、訓練モデル７２２から出力される、
・復元された時系列のセンサデータが、「波形データｎａ」に近づくように、かつ、
・「異常Ｙではない」の確率が１．０に近づくように、
訓練モデル７２２のモデルパラメータを更新する。
・復元された時系列のセンサデータが、「波形データｎａ」に近づくように、かつ、
・「異常Ｙではない」の確率が１．０に近づくように、
訓練モデル７２２のモデルパラメータを更新する。
【0102】
なお、上記説明では、訓練用データセット３１０を、肯定訓練用データセット７１０と否定訓練用データセット８１０とに分けたうえで、それぞれを用いて、順次、訓練モデル７２２を訓練する場合について説明した。しかしながら、訓練モデル７２２の訓練方法はこれに限定されず、肯定訓練用データセット７１０と否定訓練用データセット８１０とに分けることなく、訓練用データセット３１０を用いて訓練モデル７２２を訓練してもよい。
【0103】
＜推論部の処理の具体例＞
次に、推論部１３１の処理の具体例について説明する。図９は、推論部の処理の具体例を示す第２の図である。図９に示すように、推論部１３１は、訓練済みモデル９２１、出力部９２２を有する。
次に、推論部１３１の処理の具体例について説明する。図９は、推論部の処理の具体例を示す第２の図である。図９に示すように、推論部１３１は、訓練済みモデル９２１、出力部９２２を有する。
【0104】
訓練済みモデル９２１は、訓練フェーズにおいて、訓練部１２２が肯定訓練用データセット７１０及び否定訓練用データセット８１０を用いて訓練モデル７２２を訓練することで生成されたモデルである。推論部１３１は、時系列データ格納部１３２に格納されている時系列のセンサデータを読み出し、推論用データ５１０として、訓練済みモデル９２１に入力する。これにより、訓練済みモデル９２１は、復元した時系列のセンサデータを出力する。また、訓練済みモデル９２１は、各異常原因（異常Ｘである、異常Ｘではない、異常Ｙである、異常Ｙではない、異常Ｚである、異常Ｚではない）の確率（ｚ→Ｘ，ｚ→ＮＯＴＸ，ｚ→Ｙ，ｚ→ＮＯＴＹ，ｚ→Ｚ，ｚ→ＮＯＴＺ）を出力する。
【0105】
出力部９２２は、訓練済みモデル９２１により出力された各異常原因の確率のうち、最大の確率を示す異常原因を、異常原因推論結果として、推論結果データ５３０を出力する。
【0106】
図９の例は、「波形データ１ｂ」の異常原因推論結果として「異常Ｘである」が出力され、「波形データ２ｂ」の異常原因推論結果として「異常Ｙである」が出力され、「波形データ３ｂ」の異常原因推論結果として「異常Ｘではない」が出力された様子を示している。また、図９の例は、「波形データｎｂ」の異常原因推論結果として「異常Ｙではない」が出力された様子を示している。
【0107】
＜異常原因推論処理の流れ＞
次に、異常原因推論システム１００Ａ、１００Ｂによる異常原因推論処理の流れについて説明する。図１０は、異常原因推論処理の流れを示す第２のフローチャートである。図６を用いて説明した第１のフローチャートとの相違点は、ステップＳ１００１～Ｓ１００３である。
次に、異常原因推論システム１００Ａ、１００Ｂによる異常原因推論処理の流れについて説明する。図１０は、異常原因推論処理の流れを示す第２のフローチャートである。図６を用いて説明した第１のフローチャートとの相違点は、ステップＳ１００１～Ｓ１００３である。
【0108】
ステップＳ１００１において、訓練装置１２０は、生成した訓練用データセットにおいて、肯定ラベルを抽出し、肯定訓練用データセットを生成する。
【0109】
ステップＳ１００２において、訓練装置１２０は、生成した訓練用データセットにおいて、否定ラベルを抽出し、否定訓練用データセットを生成する。
【0110】
ステップＳ１００３において、訓練装置１２０は、生成した肯定訓練用データセット及び否定訓練用データセットを用いて、訓練モデルを訓練する。
【0111】
＜まとめ＞
以上の説明から明らかなように、第２の実施形態に係る訓練装置１２０は、
・肯定ラベルが付与された時系列のセンサデータと、否定ラベルが付与された時系列のセンサデータとを含む訓練用データセットを読み出し、肯定訓練用データセット及び否定訓練用データセットに分類する。
・肯定訓練用データセットに含まれる時系列のセンサデータを入力することで潜在変数を算出し、算出した潜在変数から、入力した時系列のセンサデータを復元して出力するとともに、肯定ラベルを出力する訓練モデルを訓練する。
・否定訓練用データセットに含まれる時系列のセンサデータを入力することで潜在変数を算出し、算出した潜在変数から、入力した時系列のセンサデータを復元して出力するとともに、否定ラベルを出力する訓練モデルを訓練する。
以上の説明から明らかなように、第２の実施形態に係る訓練装置１２０は、
・肯定ラベルが付与された時系列のセンサデータと、否定ラベルが付与された時系列のセンサデータとを含む訓練用データセットを読み出し、肯定訓練用データセット及び否定訓練用データセットに分類する。
・肯定訓練用データセットに含まれる時系列のセンサデータを入力することで潜在変数を算出し、算出した潜在変数から、入力した時系列のセンサデータを復元して出力するとともに、肯定ラベルを出力する訓練モデルを訓練する。
・否定訓練用データセットに含まれる時系列のセンサデータを入力することで潜在変数を算出し、算出した潜在変数から、入力した時系列のセンサデータを復元して出力するとともに、否定ラベルを出力する訓練モデルを訓練する。
【0112】
これにより、第１の実施形態に係る訓練装置１２０によれば、異常原因がわからない時系列のセンサデータについても訓練することが可能になる。
【0113】
また、第２の実施形態に係る推論装置１３０は、
・肯定訓練用データセット及び否定訓練用データセットを用いて訓練された訓練済みモデルに、新たに時系列のセンサデータを入力し、異常原因推論結果を出力する。
・肯定訓練用データセット及び否定訓練用データセットを用いて訓練された訓練済みモデルに、新たに時系列のセンサデータを入力し、異常原因推論結果を出力する。
【0114】
これにより、第２の実施形態に係る推論装置１３０によれば、訓練時に発生しなかった異常が発生した際の時系列のセンサデータが入力された場合でも、異常原因を精度よく推論することが可能となる。
【0115】
つまり、第２の実施形態によれば、異常原因の推論精度を向上させることができる。
【0116】
［第３の実施形態］
上記第１及び第２の実施形態では、訓練済みモデルより出力される各異常原因の確率に基づいて、異常原因推論結果を出力する構成とした。これに対して、第３の実施形態では、訓練済みモデルより潜在変数を抽出し、いずれの異常原因の潜在変数に類似するかを判定することで、異常原因推論結果を出力する構成とする。以下、第３の実施形態について、上記第１及び第２の実施形態との相違点を中心に説明する。なお、不明ラベルが付与されたセンサデータは、訓練モデル１１２２の訓練に用いなくても、後述のように各部分訓練用データセットに含めることで訓練に用いてもよい。不明ラベルが付与されたセンサデータの訓練モデル１１２２の訓練への利用の仕方は目的に応じて選択すればよい。
上記第１及び第２の実施形態では、訓練済みモデルより出力される各異常原因の確率に基づいて、異常原因推論結果を出力する構成とした。これに対して、第３の実施形態では、訓練済みモデルより潜在変数を抽出し、いずれの異常原因の潜在変数に類似するかを判定することで、異常原因推論結果を出力する構成とする。以下、第３の実施形態について、上記第１及び第２の実施形態との相違点を中心に説明する。なお、不明ラベルが付与されたセンサデータは、訓練モデル１１２２の訓練に用いなくても、後述のように各部分訓練用データセットに含めることで訓練に用いてもよい。不明ラベルが付与されたセンサデータの訓練モデル１１２２の訓練への利用の仕方は目的に応じて選択すればよい。
【0117】
＜訓練部の処理の具体例＞
はじめに、第３の実施形態に係る訓練装置１２０の訓練部１２２の処理の具体例について説明する。図１１は、訓練部の処理の具体例を示す第４の図である。図１１に示すように、訓練部１２２は、部分ラベル生成部１１２１、訓練モデル１１２２、類似度関数算出部１１２３、比較／更新部１１２４を有する。
はじめに、第３の実施形態に係る訓練装置１２０の訓練部１２２の処理の具体例について説明する。図１１は、訓練部の処理の具体例を示す第４の図である。図１１に示すように、訓練部１２２は、部分ラベル生成部１１２１、訓練モデル１１２２、類似度関数算出部１１２３、比較／更新部１１２４を有する。
【0118】
部分ラベル生成部１１２１は、訓練用データセット３１０に含まれる"ラベル"のうち、肯定ラベルであって、かつ、同じ異常原因を示すラベルが付与された時系列のセンサデータを抽出し、部分訓練用データセット１１１０＿１～１１１０＿３を生成する。なお、部分訓練用データセット１１１０＿１～１１１０＿３の詳細は、図１２を用いて後述する。
【0119】
また、部分ラベル生成部１１２１は、生成した部分訓練用データセットのうち、"データ"に格納された時系列のセンサデータのペアを抽出し、訓練モデル１１２２に順次入力するとともに、比較／更新部１１２４に順次入力する。また、部分ラベル生成部１１２１は、生成した部分訓練用データセットのうち、"ラベル"に格納された肯定ラベルを、比較／更新部１１２４に入力する。なお、図１１の例では、部分訓練用データセットの"データ"に格納された時系列のセンサデータのうち、抽出された時系列のセンサデータのペアの一方をｘ＿ｉ、他方をｘ＿ｊと表している。
【0120】
訓練モデル１１２２は、時系列のセンサデータｘ＿ｉ、時系列のセンサデータｘ＿ｊが順次入力されると、潜在変数（ｘ＿ｉ→ｚ＿ｉ）、潜在変数（ｘ＿ｊ→ｚ＿ｊ）のペアを算出する。また、訓練モデル１１２２は、時系列のセンサデータｘ＿ｉ、時系列のセンサデータｘ＿ｊが順次入力されると、復元した時系列のセンサデータ（ｚ＿ｉ→ｘ'＿ｉ）、復元した時系列のセンサデータ（ｚ＿ｊ→ｘ'＿ｊ）を順次出力する。
【0121】
類似度関数算出部１１２３は、訓練モデル１１２２より潜在変数（ｘ＿ｉ→ｚ＿ｉ）、潜在変数（ｘ＿ｊ→ｚ＿ｊ）のペアを抽出し、類似度を算出する。本実施形態の類似度は、２つの潜在変数（ベクトル）が類似するほど１に近づき、相違するほど０に近づくように設計されるが、一例であることに注意されたい。また、類似度関数算出部１１２３は、算出した類似度を比較／更新部１１２４に出力する。
【0122】
比較／更新部１１２４は、部分訓練用データセットの"ラベル"に格納された異常原因を示すラベルが同じである場合、正解データとして、類似度が"１"であると認識する。また、比較／更新部１１２４は、類似度関数算出部１１２３から出力された類似度と、正解データの類似度とを比較する。
【0123】
また、比較／更新部１１２４は、
・訓練モデル１１２２から出力された、復元された時系列のセンサデータ（ｚ＿ｉ→ｘ'＿ｉ）、復元された時系列のセンサデータ（ｚ＿ｊ→ｘ'＿ｊ）と、
・部分訓練用データセットのうち、"データ"に格納された時系列のセンサデータのペアと、
を比較する。更に、比較／更新部１１２４は、それぞれの比較の結果に基づいて誤差を算出し、算出した誤差に基づいて、訓練モデル１１２２のモデルパラメータを更新する。
・訓練モデル１１２２から出力された、復元された時系列のセンサデータ（ｚ＿ｉ→ｘ'＿ｉ）、復元された時系列のセンサデータ（ｚ＿ｊ→ｘ'＿ｊ）と、
・部分訓練用データセットのうち、"データ"に格納された時系列のセンサデータのペアと、
を比較する。更に、比較／更新部１１２４は、それぞれの比較の結果に基づいて誤差を算出し、算出した誤差に基づいて、訓練モデル１１２２のモデルパラメータを更新する。
【0124】
なお、比較／更新部１１２４では、例えば、「波形データ１ａ」、「波形データ５ａ」が順次入力され、訓練モデル１１２２から順次出力される、
・潜在変数（ｘ＿ｉ→ｚ＿ｉ）と潜在変数（ｘ＿ｊ→ｚ＿ｊ）との類似度が"１"に近づくように、かつ、
・復元された時系列のセンサデータ（ｚ＿ｉ→ｘ'＿ｉ）、復元された時系列のセンサデータ（ｚ＿ｊ→ｘ'＿ｊ）が、それぞれ、元の「波形データ１ａ」、「波形データ５ａ」に近づくように、
訓練モデル１１２２のモデルパラメータを更新する。
・潜在変数（ｘ＿ｉ→ｚ＿ｉ）と潜在変数（ｘ＿ｊ→ｚ＿ｊ）との類似度が"１"に近づくように、かつ、
・復元された時系列のセンサデータ（ｚ＿ｉ→ｘ'＿ｉ）、復元された時系列のセンサデータ（ｚ＿ｊ→ｘ'＿ｊ）が、それぞれ、元の「波形データ１ａ」、「波形データ５ａ」に近づくように、
訓練モデル１１２２のモデルパラメータを更新する。
【0125】
図１２は、部分訓練用データセットの一例を示す第１の図である。図１２の例は、部分ラベル生成部１１２１により、部分訓練用データセット１１１０＿１～１１１０＿３（第１の部分訓練用データセットの一例）が生成された様子を示している。
【0126】
このうち、部分訓練用データセット１１１０＿１は、肯定ラベルであって、かつ、ラベル＝「異常Ｘである」が付与された時系列のセンサデータが抽出されることで生成された部分訓練用データセットを示している。この部分訓練用データセット１１１０＿１は、不明ラベルが付与されたセンサデータを含んでもよい。
【0127】
同様に、部分訓練用データセット１１１０＿２は、肯定ラベルであって、かつ、ラベル＝「異常Ｙである」が付与された時系列のセンサデータが抽出されることで生成された部分訓練用データセットを示している。この部分訓練用データセット１１１０＿２は、不明ラベルが付与されたセンサデータを含んでもよい。
【0128】
同様に、部分訓練用データセット１１１０＿３は、肯定ラベルであって、かつ、ラベル＝「異常Ｚである」が付与された時系列のセンサデータが抽出されることで生成された部分訓練用データセットを示している。この部分訓練用データセット１１１０＿３は、不明ラベルが付与されたセンサデータを含んでもよい。
【0129】
【0130】
部分ラベル生成部１３２１は、訓練用データセット３１０に含まれる"ラベル"のうち、異なる異常原因を示すラベルが付与された時系列のセンサデータのペアを抽出し、部分訓練用データセット１３１０＿１～１３１０＿６を生成する。なお、部分訓練用データセット１３１０＿１～１３１０＿６の詳細は、図１４を用いて後述する。
【0131】
また、部分ラベル生成部１３２１は、生成した部分訓練用データセットのうち、"データ"に格納された時系列のセンサデータのペア（ｘ＿ｉ、ｘ＿ｊ）を訓練モデル１１２２に順次入力するとともに、比較／更新部１１２４に順次入力する。また、部分ラベル生成部１３２１は、生成した部分訓練用データセットのうち、"ラベル"に格納された異常原因を示すラベルを、比較／更新部１１２４に入力する。
【0132】
訓練モデル１１２２は、時系列のセンサデータｘ＿ｉ、時系列のセンサデータｘ＿ｊが順次入力されると、潜在変数（ｘ＿ｉ→ｚ＿ｉ）、潜在変数（ｘ＿ｊ→ｚ＿ｊ）のペアを算出する。また、訓練モデル１１２２は、時系列のセンサデータｘ＿ｉ、時系列のセンサデータｘ＿ｊが順次入力されると、復元した時系列のセンサデータ（ｚ＿ｉ→ｘ'＿ｉ）、復元した時系列のセンサデータ（ｚ＿ｊ→ｘ'＿ｊ）を順次出力する。
【0133】
類似度関数算出部１１２３は、訓練モデル１１２２より潜在変数（ｘ＿ｉ→ｚ＿ｉ）、潜在変数（ｘ＿ｊ→ｚ＿ｊ）のペアを抽出し、類似度を算出する。また、類似度関数算出部１１２３は、算出した類似度を比較／更新部１１２４に出力する。
【0134】
比較／更新部１１２４は、部分訓練用データセットの"ラベル"に格納された異常原因を示すラベルが異なる場合、正解データとして、類似度が"０"であると認識する。また、比較／更新部１１２４は、類似度関数算出部１１２３から出力された類似度と、正解データの類似度とを比較する。
【0135】
また、比較／更新部１１２４は、
・訓練モデル１１２２から出力された、復元された時系列のセンサデータ（ｚ＿ｉ→ｘ'＿ｉ）、復元された時系列のセンサデータ（ｚ＿ｊ→ｘ'＿ｊ）と、
・部分訓練用データセットのうち、"データ"に格納された時系列のセンサデータのペアと
を比較する。更に、比較／更新部１１２４は、それぞれの比較の結果に基づいて誤差を算出し、算出した誤差に基づいて、訓練モデル１１２２のモデルパラメータを更新する。
・訓練モデル１１２２から出力された、復元された時系列のセンサデータ（ｚ＿ｉ→ｘ'＿ｉ）、復元された時系列のセンサデータ（ｚ＿ｊ→ｘ'＿ｊ）と、
・部分訓練用データセットのうち、"データ"に格納された時系列のセンサデータのペアと
を比較する。更に、比較／更新部１１２４は、それぞれの比較の結果に基づいて誤差を算出し、算出した誤差に基づいて、訓練モデル１１２２のモデルパラメータを更新する。
【0136】
なお、比較／更新部１１２４では、例えば、「波形データ１ａ」、「波形データ３ａ」が順次入力され、訓練モデル１１２２から順次出力される、
・潜在変数（ｘ＿ｉ→ｚ＿ｉ）と潜在変数（ｘ＿ｊ→ｚ＿ｊ）との類似度が"０"に近づくように、かつ、
・復元された時系列のセンサデータ（ｚ＿ｉ→ｘ'＿ｉ）、復元された時系列のセンサデータ（ｚ＿ｊ→ｘ'＿ｊ）が、それぞれ、元の「波形データ１ａ」、「波形データ３ａ」に近づくように、
訓練モデル１１２２のモデルパラメータを更新する。
・潜在変数（ｘ＿ｉ→ｚ＿ｉ）と潜在変数（ｘ＿ｊ→ｚ＿ｊ）との類似度が"０"に近づくように、かつ、
・復元された時系列のセンサデータ（ｚ＿ｉ→ｘ'＿ｉ）、復元された時系列のセンサデータ（ｚ＿ｊ→ｘ'＿ｊ）が、それぞれ、元の「波形データ１ａ」、「波形データ３ａ」に近づくように、
訓練モデル１１２２のモデルパラメータを更新する。
【0137】
図１４は、部分訓練用データセットの一例を示す第２の図である。図１４の例は、部分ラベル生成部１３２１により、部分訓練用データセット１３１０＿１～１３１０＿６（第２の部分訓練用データセットの一例）が生成された様子を示している。
【0138】
このうち、部分訓練用データセット１３１０＿１は、肯定ラベル＝「異常Ｘである」と、否定ラベル＝「異常Ｘではない」がそれぞれ付与された時系列のセンサデータのペアが抽出されることで生成された部分訓練用データセットを示している。この部分訓練用データセット１３１０＿１は、不明ラベルが付与されたセンサデータを含んでもよい。
【0139】
同様に、部分訓練用データセット１３１０＿２は、肯定ラベル＝「異常Ｙである」と、否定ラベル＝「異常Ｙではない」がそれぞれ付与された時系列のセンサデータのペアが抽出されることで生成された部分訓練用データセットを示している。この部分訓練用データセット１３１０＿２は、不明ラベルが付与されたセンサデータを含んでもよい。
【0140】
同様に、部分訓練用データセット１３１０＿３は、肯定ラベル＝「異常Ｚである」と、否定ラベル＝「異常Ｚではない」がそれぞれ付与された時系列のセンサデータのペアが抽出されることで生成された部分訓練用データセットを示している。この部分訓練用データセット１３１０＿３は、不明ラベルが付与されたセンサデータを含んでもよい。
【0141】
同様に、部分訓練用データセット１３１０＿４は、肯定ラベル＝「異常Ｘである」と、肯定ラベル＝「異常Ｙである」がそれぞれ付与された時系列のセンサデータのペアが抽出されることで生成された部分訓練用データセットを示している。この部分訓練用データセット１３１０＿４は、不明ラベルが付与されたセンサデータを含んでもよい。
【0142】
同様に、部分訓練用データセット１３１０＿５は、肯定ラベル＝「異常Ｘである」と、肯定ラベル＝「異常Ｚである」がそれぞれ付与された時系列のセンサデータのペアが抽出されることで生成された部分訓練用データセットを示している。この部分訓練用データセット１３１０＿５は、不明ラベルが付与されたセンサデータを含んでもよい。
【0143】
同様に、部分訓練用データセット１３１０＿６は、肯定ラベル＝「異常Ｙである」と、肯定ラベル＝「異常Ｚである」がそれぞれ付与された時系列のセンサデータのペアが抽出有れることで生成された部分訓練用データセットを示している。この部分訓練用データセット１３１０＿６は、不明ラベルが付与されたセンサデータを含んでもよい。
【0144】
なお、図１４の例では、紙面の関係上、時系列のセンサデータのペアを３ペアずつ示しているが、時系列のセンサデータのペアは、３ペア以上であってもよいことはいうまでもない。
【0145】
＜比較／更新部の具体例＞
次に、図１１及び図１３の訓練部１２２に含まれる比較／更新部１１２４の詳細について説明する。図１１及び図１３で説明したとおり、訓練部１２２は、類似度関数算出部１１２３から出力される類似度と、部分訓練用データセットの"ラベル"に基づいて認識した正解データとを比較する。
次に、図１１及び図１３の訓練部１２２に含まれる比較／更新部１１２４の詳細について説明する。図１１及び図１３で説明したとおり、訓練部１２２は、類似度関数算出部１１２３から出力される類似度と、部分訓練用データセットの"ラベル"に基づいて認識した正解データとを比較する。
【0146】
ここで、比較／更新部１１２４では、類似度関数算出部１１２３から出力される類似度を、高い（１）か、低い（０）かという２値分類問題に帰着させることで、損失関数として、２値分類で用いられる２値クロスエントロピーを適用する。
【0147】
訓練モデル１１２２より出力される潜在変数（ｘ＿ｉ→ｚ＿ｉ）と潜在変数（ｘ＿ｊ→ｚ＿ｊ）との類似度をｓｉｇｍｏｉｄ（ｔ）とし（ｔはη－｜ｚ＿ｉ－ｚ＿ｊ｜、ηは例えば２．０などの定数）、正解データをｙ＿ｉｊ（異常原因が同じであれば"１"、異常原因が異なれば"０"）とすると、本実施形態の損失関数は、下式１により表すことができる。
（式１）
損失関数＝－（ｙ＿ｉｊ×ｌｏｇ（ｓｉｇｍｏｉｄ（ｔ））＋（１－ｙ＿ｉｊ）×ｌｏｇ（ｓｉｇｍｏｉｄ（－ｔ）））
なお、ｌｏｇ（ｓｉｇｍｏｉｄ（ｘ））は、図１５に示すような、ｌｏｇ（１／（１＋ｅｘｐ（―ｘ）））で定義される関数である。図１５は、比較／更新部において用いられる関数の一例を示す図であり、横軸に入力（ｘ）を、縦軸に出力（ｌｏｇ（ｓｉｇｍｏｉｄ（ｘ）））を表している。なお、上式１は、損失関数の一例である。損失関数は、同じ異常原因に分類されるべきセンサデータｘ＿ｉ、ｘ＿ｊの潜在変数ｚ＿ｉ、ｚ＿ｊが類似するときには小さな値を持ち、相違するときには大きな値を持ち、異なる異常原因に分類されるべきセンサデータｘ＿ｉ、ｘ＿ｊの潜在変数ｚ＿ｉ、ｚ＿ｊが類似するときには大きな値を持ち、相違するときには小さな値を持つように設計されればよい。
（式１）
損失関数＝－（ｙ＿ｉｊ×ｌｏｇ（ｓｉｇｍｏｉｄ（ｔ））＋（１－ｙ＿ｉｊ）×ｌｏｇ（ｓｉｇｍｏｉｄ（－ｔ）））
なお、ｌｏｇ（ｓｉｇｍｏｉｄ（ｘ））は、図１５に示すような、ｌｏｇ（１／（１＋ｅｘｐ（―ｘ）））で定義される関数である。図１５は、比較／更新部において用いられる関数の一例を示す図であり、横軸に入力（ｘ）を、縦軸に出力（ｌｏｇ（ｓｉｇｍｏｉｄ（ｘ）））を表している。なお、上式１は、損失関数の一例である。損失関数は、同じ異常原因に分類されるべきセンサデータｘ＿ｉ、ｘ＿ｊの潜在変数ｚ＿ｉ、ｚ＿ｊが類似するときには小さな値を持ち、相違するときには大きな値を持ち、異なる異常原因に分類されるべきセンサデータｘ＿ｉ、ｘ＿ｊの潜在変数ｚ＿ｉ、ｚ＿ｊが類似するときには大きな値を持ち、相違するときには小さな値を持つように設計されればよい。
【0148】
＜推論部の処理の具体例＞
次に、第３の実施形態に係る推論装置１３０の推論部１３１の処理の具体例について説明する。図１６は、推論部の処理の具体例を示す第３の図である。図１６に示すように、推論部１３１は、訓練済みモデル１６２１、判定部１６２２を有する。
次に、第３の実施形態に係る推論装置１３０の推論部１３１の処理の具体例について説明する。図１６は、推論部の処理の具体例を示す第３の図である。図１６に示すように、推論部１３１は、訓練済みモデル１６２１、判定部１６２２を有する。
【0149】
訓練済みモデル１６２１は、訓練部１２２が部分訓練用データセット１１１０＿１～１１１０＿３、１３１０＿１～１３１０＿６を用いて処理を実行することで生成されたモデルである。推論部１３１が、時系列データ格納部１３２に格納されている時系列のセンサデータを読み出し、推論用データ５１０として、訓練済みモデル１６２１に入力することで、訓練済みモデル１６２１は、潜在変数（ｘ→ｚ）を算出する。
【0150】
判定部１６２２は、訓練済みモデル１６２１より抽出された潜在変数（ｘ→ｚ）が、潜在空間１６１０のいずれの位置にプロットされるかを判定する。なお、潜在空間１６１０には、異常原因が特定された時系列のセンサデータの潜在変数が分布しており、判定部１６２２では、プロットした位置が、いずれの異常原因が分布している位置に近いかを判定することで、異常原因を特定する。また、判定部１６２２は、特定した異常原因を、異常原因推論結果として出力する。
【0151】
なお、判定部１６２２による異常原因の特定方法は任意である。例えば、予め訓練用データセット３１０を訓練済みモデル１６２１に入力することで、潜在変数（ｘ→ｚ）を潜在空間１６１０にプロットし、異常原因ごとにクラスタリングを行ってもよい。そして、判定部１６２２は、推論用データ５１０が訓練済みモデル１６２１に入力されることで抽出される潜在変数（ｘ→ｚ）が、いずれのクラスに分類されるかを判定することで異常原因を特定してもよい。
【0152】
＜異常原因推論処理の流れ＞
次に、異常原因推論システム１００Ａ、１００Ｂによる異常原因推論処理の流れについて説明する。図１７は、異常原因推論処理の流れを示す第３のフローチャートである。図６を用いて説明した第１のフローチャートとの相違点は、ステップＳ１７０１～Ｓ１７０３、Ｓ１７０４～Ｓ１７０５である。
次に、異常原因推論システム１００Ａ、１００Ｂによる異常原因推論処理の流れについて説明する。図１７は、異常原因推論処理の流れを示す第３のフローチャートである。図６を用いて説明した第１のフローチャートとの相違点は、ステップＳ１７０１～Ｓ１７０３、Ｓ１７０４～Ｓ１７０５である。
【0153】
ステップＳ１７０１において、訓練装置１２０は、生成した訓練用データセットから、同じ異常原因を示すラベルが付与された時系列のセンサデータ、または、異なる異常原因を示すラベルが付与された時系列のセンサデータを抽出する。また、訓練装置１２０は、抽出した時系列のセンサデータに基づいて、部分訓練用データセットを生成する。
【0154】
ステップＳ１７０２において、訓練装置１２０は、生成した部分訓練用データセットを用いて、潜在変数の類似度が、所定の類似度に近づくように、かつ、復元された時系列のセンサデータが入力された時系列のセンサデータに近づくように訓練モデルを訓練する。
【0155】
ステップＳ１７０３において、訓練装置１２０は、訓練処理の終了条件が成立したか否かを判定する。ステップＳ１７０３において、訓練処理の終了条件が成立していないと判定した場合には（ステップＳ１７０３においてＮＯの場合には）、ステップＳ１７０２に戻り、訓練処理を継続する。
【0156】
一方、ステップＳ１７０３において、訓練処理の終了条件が成立したと判定した場合には（ステップＳ１７０３においてＹＥＳの場合には）、ステップＳ６０６に進む。
【0157】
ステップＳ１７０４において、推論装置１３０は、取得した時系列のセンサデータを推論用データとして、訓練済みモデルに入力することで、潜在変数を算出する。
【0158】
ステップＳ１７０５において、推論装置１３０は、算出した潜在変数がプロットされる潜在空間内の位置に応じて、異常原因を特定する。
【0159】
＜まとめ＞
以上の説明から明らかなように、第３の実施形態に係る訓練装置１２０は、
・訓練用データセットを読み出し、同じ異常原因を示すラベルが付与された時系列データと、異なる異常原因を示すラベルが付与された時系列データとを含む、部分訓練用データセットを生成する。
・部分訓練用データセットに含まれる時系列のセンサデータを入力することで潜在変数のペアを算出し、算出した潜在変数のペアの類似度が、部分訓練用データセットに応じた正解データに近づくように、訓練モデルを訓練する。
以上の説明から明らかなように、第３の実施形態に係る訓練装置１２０は、
・訓練用データセットを読み出し、同じ異常原因を示すラベルが付与された時系列データと、異なる異常原因を示すラベルが付与された時系列データとを含む、部分訓練用データセットを生成する。
・部分訓練用データセットに含まれる時系列のセンサデータを入力することで潜在変数のペアを算出し、算出した潜在変数のペアの類似度が、部分訓練用データセットに応じた正解データに近づくように、訓練モデルを訓練する。
【0160】
これにより、第１の実施形態に係る訓練装置１２０によれば、異常原因がわからない時系列のセンサデータについても訓練することが可能になる。
【0161】
また、第３の実施形態に係る推論装置１３０は、
・部分訓練用データセットを用いて訓練された訓練済みモデルに、新たに時系列のセンサデータを入力し、潜在変数を算出する。
・算出した潜在変数が、潜在空間のいずれの位置にプロットされるかに基づいて、異常原因を特定する。
・部分訓練用データセットを用いて訓練された訓練済みモデルに、新たに時系列のセンサデータを入力し、潜在変数を算出する。
・算出した潜在変数が、潜在空間のいずれの位置にプロットされるかに基づいて、異常原因を特定する。
【0162】
これにより、第３の実施形態に係る推論装置１３０によれば、訓練時に発生しなかった異常が発生した際の時系列のセンサデータが入力された場合でも、異常原因を精度よく推論することが可能となる。
【0163】
つまり、第３の実施形態によれば、異常原因の推論精度を向上させることができる。
【0164】
［その他の実施形態］
本明細書（請求項を含む）において、「ａ、ｂおよびｃの少なくとも１つ（一方）」又は「ａ、ｂ又はｃの少なくとも１つ（一方）」の表現（同様な表現を含む）が用いられる場合は、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ、又はａ－ｂ－ｃのいずれかを含む。また、ａ－ａ、ａ－ｂ－ｂ、ａ－ａ－ｂ－ｂ－ｃ－ｃ等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、ａ－ｂ－ｃ－ｄのようにｄを有する等、列挙された要素（ａ、ｂ及びｃ）以外の他の要素を加えることも含む。
本明細書（請求項を含む）において、「ａ、ｂおよびｃの少なくとも１つ（一方）」又は「ａ、ｂ又はｃの少なくとも１つ（一方）」の表現（同様な表現を含む）が用いられる場合は、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ、又はａ－ｂ－ｃのいずれかを含む。また、ａ－ａ、ａ－ｂ－ｂ、ａ－ａ－ｂ－ｂ－ｃ－ｃ等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、ａ－ｂ－ｃ－ｄのようにｄを有する等、列挙された要素（ａ、ｂ及びｃ）以外の他の要素を加えることも含む。
【0165】
また、本明細書（請求項を含む）において、「データを入力として／データに基づいて／に従って／に応じて」等の表現（同様な表現を含む）が用いられる場合は、特に断りがない場合、各種データそのものを入力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を入力として用いる場合を含む。また「データに基づいて／に従って／に応じて」何らかの結果が得られる旨が記載されている場合、当該データのみに基づいて当該結果が得られる場合を含むとともに、当該データ以外の他のデータ、原因、条件、及び／又は状態等にも影響を受けて当該結果が得られる場合をも含み得る。また、「データを出力する」旨が記載されている場合、特に断りがない場合、各種データそのものを出力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を出力とする場合も含む。
【0166】
また、本明細書（請求項を含む）において、「接続される（connected）」及び「結合される（coupled）」との用語が用いられる場合は、直接的な接続／結合、間接的な接続／結合、電気的（electrically）な接続／結合、通信的（communicatively）な接続／結合、機能的（operatively）な接続／結合、物理的（physically）な接続／結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続／結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。
【0167】
また、本明細書（請求項を含む）において、「ＡがＢするよう構成される（A configured to B）」との表現が用いられる場合は、要素Ａの物理的構造が、動作Ｂを実行可能な構成を有するとともに、要素Ａの恒常的（permanent）又は一時的（temporary）な設定（setting/configuration）が、動作Ｂを実際に実行するように設定（configured/set）されていることを含んでよい。例えば、要素Ａが汎用プロセッサである場合、当該プロセッサが動作Ｂを実行可能なハードウェア構成を有するとともに、恒常的（permanent）又は一時的（temporary）なプログラム（命令）の設定により、動作Ｂを実際に実行するように設定（configured）されていればよい。また、要素Ａが専用プロセッサ又は専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造が動作Ｂを実際に実行するように構築（implemented）されていればよい。
【0168】
また、本明細書（請求項を含む）において、含有又は所有を意味する用語（例えば、「含む（comprising/including）」及び「有する（having）」等）が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、open-endedな用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。
【0169】
また、本明細書（請求項を含む）において、ある箇所において「１つ又は複数（one or more）」又は「少なくとも１つ（at least one）」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）が用いられているとしても、後者の表現が「１つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）は、必ずしも特定の数に限定されないものとして解釈されるべきである。
【0170】
また、本明細書において、ある実施例の有する特定の構成について特定の効果（advantage/result）が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の１つ又は複数の実施例についても当該効果が得られると理解されるべきである。但し当該効果の有無は、一般に種々の原因、条件、及び／又は状態等に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の原因、条件、及び／又は状態等が満たされたときに実施例に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。
【0171】
また、本明細書（請求項を含む）において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書（請求項を含む）において、「１又は複数のハードウェアが第１の処理を行い、前記１又は複数のハードウェアが第２の処理を行う」等の表現が用いられている場合、第１の処理を行うハードウェアと第２の処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第１の処理を行うハードウェア及び第２の処理を行うハードウェアが、前記１又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、又は、電子回路を含む装置等を含んでよい。
【0172】
また、本明細書（請求項を含む）において、複数の記憶装置（メモリ）がデータの記憶を行う場合、複数の記憶装置（メモリ）のうち個々の記憶装置（メモリ）は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。
【0173】
以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において種々の追加、変更、置き換え及び部分的削除等が可能である。例えば、前述した全ての実施形態において、説明に用いた数値は、一例として示したものであり、これらに限られるものではない。また、実施形態における各動作の順序は、一例として示したものであり、これらに限られるものではない。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】