特開 2024-174571 指標計算装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024174571

(43)【公開日】2024-12-17

(54)【発明の名称】指標計算装置、方法及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241210BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023092464

(22)【出願日】2023-06-05

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110001737

【氏名又は名称】弁理士法人スズエ国際特許事務所

(72)【発明者】

【氏名】新田 佳菜

(72)【発明者】

【氏名】村田 由香里

(57)【要約】

【課題】学習データ群と運用データ群とのずれを検知することを支援する指標計算装置、方法及びプログラムを提供することにある。
【解決手段】実施形態に係る指標計算装置は、取得手段と、作成手段と、計算手段と、判定手段と、出力手段とを具備する。取得手段は、学習データ群と運用データ群とを取得する。作成手段は、第１階級数に従って、学習データ群の第１ヒストグラムと、運用データ群の第２ヒストグラムとを作成する。計算手段は、第１及び第２ヒストグラムに基づいて指標を計算する。出力手段は、判定手段によって指標が収束したと判定された場合、指標を出力する。判定手段によって指標が収束していないと判定された場合、第２階級数に従って第１及び第２ヒストグラムが再度作成され、再度作成された第１及び第２ヒストグラムに基づいて指標が再度計算される。
【選択図】図７

【特許請求の範囲】

【請求項1】

機械学習モデルを生成するために用いられた複数のデータを含む学習データ群と、予測値を得るために前記機械学習モデルに入力される複数のデータを含む運用データ群とを取得する取得手段と、
第１階級数に従って、前記取得された学習データ群に含まれる複数のデータの分布を表す第１ヒストグラムと、前記取得された運用データ群に含まれる複数のデータの分布を表す第２ヒストグラムとを作成する作成手段と、
前記作成された第１及び第２ヒストグラムに基づいて、前記学習データ群と前記運用データ群との類似性を表す指標を計算する計算手段と、
前記計算された指標が収束したかを判定する判定手段と、
前記計算された指標が収束したと判定された場合、当該指標を出力する出力手段と
を具備し、
前記計算された指標が収束していないと判定された場合、前記第１階級数を増加させた第２階級数に従って前記第１及び第２ヒストグラムが再度作成され、前記再度作成された第１及び第２ヒストグラムに基づいて前記指標が再度計算される
指標計算装置。

【請求項2】

前記出力された指標は、表示装置に表示される請求項１記載の指標計算装置。

【請求項3】

前記出力手段は、前記階級数毎に計算された指標を出力し、
前記階級数毎に計算された指標は、グラフ形式で表示装置に表示される
請求項１記載の指標計算装置。

【請求項4】

前記出力された指標に基づいて前記学習データ群と前記運用データ群とのずれを検知する検知手段を更に具備し、
前記検知結果は、表示装置に表示される
請求項１記載の指標計算装置。

【請求項5】

前記取得手段は、ユーザによって指定された閾値を含む収束条件を取得し、
前記判定手段は、前記計算された指標の変化量が前記取得された収束条件に含まれる閾値未満である場合に当該指標が収束したと判定する
請求項１記載の指標計算装置。

【請求項6】

前記学習データ群に含まれる複数のデータ及び前記運用データ群に含まれる複数のデータのうちの外れ値を処理する処理手段を更に具備し、
前記作成手段は、前記外れ値の処理結果に基づいて、前記第１及び第２ヒストグラムを作成する
請求項１記載の指標計算装置。

【請求項7】

前記学習データ群及び前記運用データ群の各々は、複数の第１種別のデータ及び複数の第２種別のデータを含み、
前記第１ヒストグラムは、前記学習データ群に含まれる複数の第１種別のデータの分布を表す第３ヒストグラム及び前記学習データ群に含まれる複数の第２種別のデータの分布を表す第４ヒストグラムを含み、
前記第２ヒストグラムは、前記運用データ群に含まれる複数の第１種別のデータの分布を表す第５ヒストグラム及び前記運用データ群に含まれる複数の第２種別のデータの分布を表す第６ヒストグラムを含み、
前記指標は、前記第３及び第５ヒストグラムに基づいて計算された第１指標と前記第４及び第６ヒストグラムに基づいて計算された第２指標とを含み、
前記出力手段は、前記第１及び第２指標を含む指標が収束したと判定された場合に、当該第１及び第２指標を出力する
請求項１記載の指標計算装置。

【請求項8】

前記指標は、ＪＳＤ（Jensen-Shannon Divergence）を含む請求項１～７のいずれか一項に記載の指標計算装置。

【請求項9】

機械学習モデルを生成するために用いられた複数のデータを含む学習データ群と、予測値を得るために前記機械学習モデルに入力される複数のデータを含む運用データ群とを取得するステップと、
第１階級数に従って、前記取得された学習データ群に含まれる複数のデータの分布を表す第１ヒストグラムと、前記取得された運用データ群に含まれる複数のデータの分布を表す第２ヒストグラムとを作成するステップと、
前記作成された第１及び第２ヒストグラムに基づいて、前記学習データ群と前記運用データ群との類似性を表す指標を計算するステップと、
前記計算された指標が収束したかを判定するステップと、
前記計算された指標が収束したと判定された場合、当該指標を出力するステップと
を具備し、
前記計算された指標が収束していないと判定された場合、前記第１階級数を増加させた第２階級数に従って前記第１及び第２ヒストグラムが再度作成され、前記再度作成された第１及び第２ヒストグラムに基づいて前記指標が再度計算される
方法。

【請求項10】

コンピュータに、
機械学習モデルを生成するために用いられた複数のデータを含む学習データ群と、予測値を得るために前記機械学習モデルに入力される複数のデータを含む運用データ群とを取得するステップと、
第１階級数に従って、前記取得された学習データ群に含まれる複数のデータの分布を表す第１ヒストグラムと、前記取得された運用データ群に含まれる複数のデータの分布を表す第２ヒストグラムとを作成するステップと、
前記作成された第１及び第２ヒストグラムに基づいて、前記学習データ群と前記運用データ群との類似性を表す指標を計算するステップと、
前記計算された指標が収束したかを判定するステップと、
前記計算された指標が収束したと判定された場合、当該指標を出力するステップと
を実行させ、
前記計算された指標が収束していないと判定された場合、前記第１階級数を増加させた第２階級数に従って前記第１及び第２ヒストグラムが再度作成され、前記再度作成された第１及び第２ヒストグラムに基づいて前記指標が再度計算される
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、指標計算装置、方法及びプログラムに関する。

【背景技術】

【0002】

近年では、人工知能（ＡＩ：Artificial Intelligence）を搭載したシステムを運用することが知られている。

【0003】

このようなシステムは例えば機械学習（ディープラーニング）等の技術に基づいて予め用意された複数のデータを学習することによって生成された機械学習モデルを有し、当該機械学習モデルは、当該システムの運用時に得られる複数のデータの各々が入力されることによって当該データに基づく予測値を出力することができる。

【0004】

しかしながら、例えば時間の経過等に応じて、システムの運用時に機械学習モデルに入力される複数のデータ（以下、運用データ群と表記）の分布が機械学習モデルを生成するために用いられた複数のデータ（以下、学習データ群と表記）の分布とずれてしまう現象（以下、データドリフトと表記）が発生すると、当該機械学習モデルから出力すされる予測値の精度が低下する可能性がある。

【0005】

このような予測値の精度の低下は機械学習モデルが新たな学習データ群を学習することによって抑制することが可能であるが、このように予測値の精度の低下を抑制するためには、上記したデータドリフトの発生（つまり、学習データ群と運用データ群とのずれ）を適切に検知することができる仕組みが必要である。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２１－１９３４９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

そこで、本願発明が解決しようとする課題は、学習データ群と運用データ群とのずれを検知するために用いられる指標計算装置、方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

実施形態に係る指標計算装置は、取得手段と、作成手段と、計算手段と、判定手段と、出力手段とを具備する。前記取得手段は、機械学習モデルを生成するために用いられた複数のデータを含む学習データ群と、予測値を得るために前記機械学習モデルに入力される複数のデータを含む運用データ群とを取得する。前記作成手段は、第１階級数に従って、前記取得された学習データ群に含まれる複数のデータの分布を表す第１ヒストグラムと、前記取得された運用データ群に含まれる複数のデータの分布を表す第２ヒストグラムとを作成する。前記計算手段は、前記作成された第１及び第２ヒストグラムに基づいて、前記学習データ群と前記運用データ群との類似性を表す指標を計算する。前記判定手段は、前記計算された指標が収束したかを判定する。前記出力手段は、前記計算された指標が収束したと判定された場合、当該指標を出力する。前記計算された指標が収束していないと判定された場合、前記第１階級数を増加させた第２階級数に従って前記第１及び第２ヒストグラムが再度作成され、前記再度作成された第１及び第２ヒストグラムに基づいて前記指標が再度計算される。

【図面の簡単な説明】

【0009】

【図1】ＡＩを搭載したシステムの概要を示す図。

【図2】ＪＳＤの概要について説明するための図。

【図3】異なる階級数に従って作成される学習データ群に含まれる複数のデータの分布を表すヒストグラムの一例を示す図。

【図4】異なる階級数に従って作成される運用データ群に含まれる複数のデータの分布を表すヒストグラムの一例を示す図。

【図5】階級数に応じて計算されるＪＳＤについて説明するための図。

【図6】第１実施形態に係る指標計算装置の概要について説明するための図。

【図7】指標計算装置の機能構成の一例を示すブロック図。

【図8】指標計算装置のハードウェア構成の一例を示す図。

【図9】指標計算装置の処理手順の一例を示すフローチャート。

【図10】学習データ群及び運用データ群の一例を示す図。

【図11】階級数毎に計算された指標を表すグラフの一例を示す図。

【図12】第２実施形態に係る指標計算装置の機能構成の一例を示すブロック図。

【図13】指標計算装置の処理手順の一例を示すフローチャート。

【図14】学習データ群及び運用データ群の一例を示す図。

【図15】階級数毎に計算された第１及び第２指標を表すグラフの一例を示す図。

【発明を実施するための形態】

【0010】

以下、図面を参照して、各実施形態について説明する。
（第１実施形態）
まず、第１実施形態について説明する。ここで、図１は、ＡＩ（人工知能）を搭載したシステムの概要を示している。

【0011】

図１に示すシステムは例えば機械学習等の技術に基づいて学習データ群を学習することによって生成された機械学習モデルを有し、当該機械学習モデルは、当該システムの運用時に得られた運用データ群の各々が入力されることによって当該データに基づく予測値を出力する。

【0012】

なお、上記した学習データ群及び運用データ群は、例えばセンサによって連続的に計測された複数のデータ（時系列の数値データ）等を含む。

【0013】

このようなシステムにおいては、例えば学習データ群に含まれる複数のデータと同程度の運用データ群が機械学習モデルに入力されることによって、精度の高い予測値を出力することができる。

【0014】

一方、時間の経過に応じて運用データ群に含まれる複数のデータの分布が学習データ群に含まれる複数のデータの分布とずれてしまう現象（データドリフト）が発生すると、当該機械学習モデルから出力される予測値の精度（機械学習モデルの予測精度）が低下する可能性がある。

【0015】

換言すれば、時間経過によるデータドリフトの発生（データの分布の変動）により、機械学習モデルにおける良好な予測精度が不良になる可能性がある。

【0016】

そこで、上記した学習データ群と運用データ群との類似性を表す指標を計算し、当該指標に基づいてデータドリフトの発生（学習データ群と運用データ群とのずれ）を検知することが考えられる。このようにデータドリフトの発生が検出された場合には、運用データ群と傾向が類似する新たな学習データ群を機械学習モデルに再度学習させることによって当該機械学習モデルの予測精度を向上させることができる。

【0017】

ところで、本実施形態においては学習データ群と運用データ群との類似性を数値で表すような指標を想定しており、当該指標としては、例えばＪＳＤ（Jensen-Shannon Divergence）を用いることができる。ＪＳＤは、２つの複数のデータの分布を表すヒストグラム間の差異（距離）に基づいて計算される指標である。

【0018】

ここで、図２を参照して、ＪＳＤの概要について説明する。図２においては、２つのヒストグラムと当該２つのヒストグラムに基づいて計算されるＪＳＤとの関係性が示されている。

【0019】

図２に示すように、ＪＳＤは、例えば２つのヒストグラムが重なる面積に応じて値が異なる。換言すれば、ＪＳＤは、複数のデータの分布が類似する場合に小さな値をとり、当該複数のデータの分布が異なる場合に大きな値をとる指標であるといえる。

【0020】

このようなＪＳＤ（値）を上記した学習データ群と運用データ群との類似性を表す指標として用いることによって、例えば当該指標が閾値を超えるような場合にデータドリフトの発生を検知することができると考えられる。

【0021】

ここで、上記したＪＳＤは２つのヒストグラムに基づいて計算される指標であるが、当該ヒストグラムは、それぞれ数値の範囲が割り当てられた複数の階級を横軸に設定し、当該各階級に該当するデータ数（度数）を縦軸に表すことによって作成される。すなわち、横軸に設定される数値の範囲（つまり、階級数）を変化させることによって異なるヒストグラムが作成される。

【0022】

なお、図３は、異なる階級数に従って作成される学習データ群に含まれる複数のデータの分布を表すヒストグラムの一例を示している。具体的には、図３の左側は、例えば学習データ群に含まれる複数のデータの最小値から最大値までの範囲を５個の数値の範囲に分割する（つまり、階級数＝５を設定する）ことによって作成されるヒストグラムを示している。図３の右側は、学習データ群に含まれる複数のデータの最小値から最大値までの範囲を５０個の数値の範囲に分割する（つまり、階級数＝５０を設定する）ことによって作成されるヒストグラムを示している。図３に示すように、ヒストグラムによって表される複数のデータの分布は、設定される階級数に応じて異なる。

【0023】

また、図４は、異なる階級数に従って作成される運用データ群に含まれる複数のデータの分布を表すヒストグラムの一例を示している。具体的には、図４の左側は、運用データ群に含まれる複数のデータの最小値から最大値までの範囲を５個の数値の範囲に分割する（つまり、階級数＝５を設定する）ことによって作成されるヒストグラムを示している。図４の右側は、運用データ群に含まれる複数のデータの最小値から最大値までの範囲を５０個の数値の範囲に分割する（つまり、階級＝５０を設定する）ことによって作成されるヒストグラムを示している。

【0024】

図３及び図４に示すように異なる階級数が設定されることによって異なるヒストグラムが作成されるが、例えば図５に示すように、図３及び図４の左側に示す階級数＝５に従って作成された２つのヒストグラムに基づいて計算されるＪＳＤは０．２３であり、図３及び図４の右側に示す階級数＝５０に従って作成された２つのヒストグラムに基づいて計算されるＪＳＤは０．３３である。すなわち、上記したＪＳＤのような学習データ群と運用データ群との類似性を表す指標は、ヒストグラムを作成するために設定される階級数に依存する（つまり、当該階級数に応じて値が異なる）。

【0025】

一般に、上記したＪＳＤのような指標は予め設定された階級数に従って作成されたヒストグラムに基づいて計算される場合が多いが、全てのデータに適した階級数はない。すなわち、予め設定された階級数に従って作成されたヒストグラムは、学習データ群及び運用データ群に含まれる複数のデータの分布を適切に表していない可能性がある。よって、このようなヒストグラムに基づいて計算される指標は、学習データ群と運用データ群との類似性を正しく反映していない場合があり、上記したデータドリフトの発生を検知するために適切であるとは限らない。

【0026】

そこで、本実施形態においては、学習データ群及び運用データ群の特徴に合わせて当該学習データ群と運用データ群との類似性を表す指標の計算方法を最適化する指標計算装置を提供する。

【0027】

以下、図６を参照して、本実施形態に係る指標計算装置の概要について説明する。図６に示すように、本実施形態においては、学習データ群に含まれる複数のデータの分布を表すヒストグラム及び運用データ群に含まれる複数のデータの分布を表すヒストグラムに基づく指標（例えば、ＪＳＤ）を、当該ヒストグラムを作成する際に設定される階級数を変化させながら計算する。図６においては、階級数を５から５０まで段階的に増加させながら作成されたヒストグラム及び当該ヒストグラムに基づいて計算された指標が示されている。

【0028】

本実施形態においては、上記したように階級数を増加させながら計算される指標も同様に増加する点に着目し、当該指標の収束値をデータドリフトの発生の検知に利用する。

【0029】

図７は、本実施形態に係る指標計算装置の機能構成の一例を示すブロック図である。図７に示すように、指標計算装置１０は、取得部１１、外れ値処理部１２、指標計算部１３、指標評価部１４、階級数設定部１５及び表示処理部１６を含む。

【0030】

取得部１１は、上記した学習データ群及び運用データ群を取得する。また、取得部１１は、後述するように指標が収束したか否かを判定するために用いられる条件（以下、収束条件と表記）を取得する。

【0031】

上記した取得部１１によって取得された学習データ群及び運用データ群は複数のデータを含み、外れ値処理部１２は、当該複数のデータのうちの外れ値を処理する。なお、外れ値処理部１２によって実行される処理は、例えば予め定められた数値の範囲に該当しない値（データ）を外れ値とみなし、当該外れ値を当該数値の範囲に該当するデータとなるように修正するクリッピングと称される処理を含む。

【0032】

指標計算部１３は、上記した外れ値処理部１２によって外れ値が処理された学習データ群に含まれる複数のデータの分布を表すヒストグラム（以下、学習データ群のヒストグラムと表記）を作成する。また、指標計算部１３は、上記した外れ値処理部１２によって外れ値が処理された運用データ群に含まれる複数のデータの分布を表すヒストグラム（以下、運用データ群のヒストグラムと表記）を作成する。なお、学習データ群及び運用データ群のヒストグラムは、例えば同一の階級数に従って作成される。

【0033】

更に、指標計算部１３は、作成された学習データ群及び運用データ群のヒストグラムに基づいて、学習データ群と運用データ群との類似性を表す指標（例えば、ＪＳＤ）を計算する。

【0034】

指標評価部１４は、指標計算部１３によって計算された指標を評価し、上記した取得部１１によって取得された収束条件に基づいて当該指標が収束したか否かを判定する。

【0035】

指標が収束していないと判定された場合、階級数設定部１５は、上記した指標計算部１３によってヒストグラムが作成された際の階級数を増加させた新たな階級数を設定する。このように階級数設定部１５によって新たな階級数が設定された場合、指標計算部１３は、当該階級数に従って学習データ群及び運用データ群のヒストグラムを再度作成し、当該作成された学習データ群及び運用データ群のヒストグラムに基づいて指標を再度計算する。

【0036】

指標が収束したと判定された場合、指標評価部１４から表示処理部１６に当該指標（収束値）が出力される。表示処理部１６は、指標評価部１４から出力された指標（収束値）を表示する。

【0037】

図８は、図７に示す指標計算装置１０のハードウェア構成の一例を示す。図８に示すように、指標計算装置１０は、ＣＰＵ１０１、不揮発性メモリ１０２、主メモリ１０３、通信装置１０４、入力装置１０５及び表示装置１０６等を備える。

【0038】

ＣＰＵ１０１は、指標計算装置１０内の各コンポーネントの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０２から主メモリ１０３にロードされる様々なプログラムを実行する。このプログラムには、オペレーティングシステム及び上記した指標を計算するためのプログラム（以下、指標計算プログラムと表記）等が含まれる。

【0039】

通信装置１０４は、例えば指標計算装置１０とは異なる外部装置との通信を実行するように構成されている。入力装置１０５は、各種情報を入力するように構成され、例えばマウス及びキーボード等を含む。表示装置１０６は、各種情報を表示するように構成され、例えばディスプレイ等を含む。

【0040】

なお、図８においては不揮発性メモリ１０２及び主メモリ１０３のみが示されているが、指標計算装置１０は、例えばＨＤＤ（Hard Disk Drive）及びＳＳＤ（Solid State Drive）等の他の記憶装置を更に備えていてもよい。また、指標計算装置１０は、図８に示されていない他の装置を備えていてもよい。

【0041】

本実施形態において、図７に示す各部１１～１６の一部または全ては、図８に示すＣＰＵ１０１に上記した指標計算プログラムを実行させること、すなわち、ソフトウェアによって実現されるものとする。この指標計算プログラムは、ネットワークを介して指標計算装置１０にダウンロードされてもよいし、記憶媒体に格納されて頒布されてもよい。また、各部１１～１６の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアを組み合わせた構成によって実現されてもよい。

【0042】

次に、図９のフローチャートを参照して、本実施形態に係る指標計算装置１０の処理手順の一例について説明する。なお、図９に示す処理は、例えば上記したシステムの運用時にデータドリフトの発生を検知する（モニタリングする）ために定期的に実行される。

【0043】

まず、取得部１１は、学習データ群、運用データ群及び収束条件を取得（入力）する（ステップＳ１）。

【0044】

ここで、例えばプラントにおいて稼働する設備（機器）に取り付けられたセンサによって連続的に計測された複数のデータ（当該センサから収集された時系列の数値データ）を含む学習データ群を学習することによって生成された機械学習モデルを有するシステムを運用する場合を想定する。なお、このようなシステムにおいて、機械学習モデルは、学習データ群と同様の運用データ群に含まれる複数のデータの各々を入力することによって、センサが取り付けられている設備の異常度等を予測値として出力するように構築されているものとする。

【0045】

この場合、ステップＳ１においては、例えば図１０に示すような学習データ群及び運用データ群が取得される。図１０に示すように、学習データ群及び運用データ群は、それぞれ例えば日時毎にセンサによって計測された数値データを含む。なお、学習データ群及び運用データ群は、例えば指標計算装置１０の外部に設けられているサーバ装置等から取得（受信）されてもよいし、当該指標計算装置１０に設けられているデータベース等の格納部（図示せず）から取得されてもよい。

【0046】

また、ステップＳ１においては、例えば「階級数増加に伴うＪＳＤの変化量が０．００１未満」のような収束条件が取得される。すなわち、ステップＳ１において取得される収束条件には、閾値（ここでは、０．００１）が含まれる。なお、収束条件（に含まれる閾値）は、指標計算装置１０内に予め保持されていてもよいし、例えばユーザが入力装置１０５を操作することによって指定（入力）されてもよい。

【0047】

次に、外れ値処理部１２は、ステップＳ１において取得された学習データ群及び運用データ群に含まれる複数のデータのうちの外れ値を処理する（ステップＳ２）。この場合、外れ値処理部１２は、学習データ群及び運用データ群に含まれる複数のデータ（数値データ）のうち、予め定められた数値の範囲に該当しないデータを外れ値として特定し、当該データを当該数値の範囲に該当するデータとなるように修正する。具体的には、外れ値は、例えば予め定められた数値の範囲の最大値及び最小値のうちの近い値となるように修正される。ここでは、外れ値を修正する処理が実行されるものとして説明したが、ステップＳ２においては、当該外れ値として特定されたデータを学習データ群及び運用データ群から除外するような処理が実行されてもよい。

【0048】

以下の説明においては、ステップＳ２において外れ値が処理された学習データ群及び運用データ群を、単に学習データ群及び運用データ群と称する。

【0049】

ここで、指標計算部１３内には例えば初期値に相当する階級数が予め設定（保持）されており、当該指標計算部１３は、当該階級数（初期値）に従って学習データ群及び運用データ群のヒストグラムを作成する（ステップＳ３）。ステップＳ３においては、上記したように階級数によって定められる複数の数値の範囲の各々を横軸に設定し、当該複数の数値の範囲の各々に該当するデータ数を縦軸に表すことによって、学習データ群及び運用データ群のヒストグラムを作成する。

【0050】

次に、指標計算部１３は、ステップＳ３において作成された学習データ群及び運用データ群のヒストグラムに基づいて、当該学習データ群と当該運用データ群との類似性（差異）を表す指標を計算する（ステップＳ４）。

【0051】

なお、ステップＳ４における指標の計算には、例えば以下の式（１）～（３）が用いられる。

【数1】

【0052】

ステップＳ４の処理が実行されると、階級数設定部１５は、上記したステップＳ３においてヒストグラムが作成された際の階級数（初期値）に所定の値（増分）を加算することによって得られる新たな階級数を設定する（ステップＳ５）。なお、ステップＳ５において階級数（初期値）に加算される値は、当該ステップＳ５の処理が実行される回数（指標計算の試行回数）に応じて増加するものとする。

【0053】

この場合、指標計算部１３は、ステップＳ５において設定された階級数に従って学習データ群及び運用データ群のヒストグラムを作成する（ステップＳ６）。

【0054】

次に、指標計算部１３は、ステップＳ６において作成された学習データ群及び運用データ群のヒストグラムに基づいて指標を計算する（ステップＳ７）。

【0055】

なお、ステップＳ６及びＳ７の処理は、階級数が異なる点以外は上記したステップＳ３及びＳ４の処理と同様である。

【0056】

ステップＳ７の処理が実行されると、指標評価部１４は、ステップＳ４において計算された指標及びステップＳ７において計算された指標に基づいて、当該指標がステップＳ１において取得された収束条件を満たすか否かを判定する（ステップＳ８）。この場合、指標評価部１４は、ステップＳ４において計算された指標とステップＳ７において計算された指標との差分（つまり、指標の変化量）を計算し、当該差分が収束条件に含まれる閾値未満である場合に、指標が収束条件を満たすと判定する。一方、指標評価部１４は、計算された差分が収束条件に含まれる閾値未満でない場合に、指標が収束条件を満たさないと判定する。

【0057】

指標が収束条件を満たさないと判定された場合（ステップＳ８のＮＯ）、当該指標が収束していないとみなし、ステップＳ５に戻って処理が繰り返される。このように繰り返されるステップＳ５においては、少なくとも前回のステップＳ５において設定された階級数よりも多い階級数が設定される。

【0058】

一方、指標が収束条件を満たすと判定された場合（ステップＳ８のＹＥＳ）、指標評価部１４は、指標が収束したとみなし、ステップＳ７において計算された指標を収束値として出力する（ステップＳ９）。

【0059】

ステップＳ９の処理が実行された場合、例えば表示処理部１６は、当該ステップＳ９において指標評価部１４から出力された指標（収束値）を表示装置１０６に表示することができる。

【0060】

なお、ここではステップＳ９において指標評価部１４が収束値である指標を出力するものとして説明したが、当該指標評価部１４は、例えばステップＳ４及びＳ７において計算された全ての指標（つまり、階級数毎に計算された指標）を出力する構成であってもよい。この場合、表示処理部１６は、図１１に示すような指標評価部１４から出力された階級数毎に計算された指標（階級数の各々に応じた指標）を表すグラフを作成し、当該作成されたグラフを表示することができる。ここでは階級数の各々に応じた指標を表すグラフが表示される（つまり、各階級数に応じた指標がグラフ形式で表示される）ものとして説明したが、当該各階級数に応じた指標は、表のような他の形式で表示されてもよい。

【0061】

更に、表示処理部１６は、例えば指標評価部１４から出力された指標（収束値）に基づいてデータドリフトの発生（学習データ群と運用データ群とのずれ）を検知する検知部（図示せず）を含み、当該検知部による検知結果を表示する構成であってもよい。具体的には、指標評価部１４から出力された指標が例えばＪＳＤであるものとすると、表示処理部１６は、当該ＪＳＤが閾値を超えている（つまり、データドリフトが発生しているとみなすことができる程度にＪＳＤが高い値である）場合にデータドリフトの発生を検知することができる。

【0062】

また、上記したステップＳ９において指標評価部１４から出力された指標は、例えば指標計算装置１０の外部装置に送信され、当該外部装置において表示されてもよいし、当該外部装置において実行される処理等に用いられてもよい。

【0063】

上記したように本実施形態においては、機械学習モデルを生成するために用いられた複数のデータを含む学習データ群と、予測値を得るために当該機械学習モデルに入力される複数のデータを含む運用データ群とを取得し、第１階級数に従って、当該取得された学習データ群のヒストグラム（第１ヒストグラム）と、当該取得された運用データ群のヒストグラム（第２ヒストグラム）とを作成し、当該作成された学習データ群及び運用データ群のヒストグラムに基づいて、学習データ群と運用データ群との類似性を表す指標を計算する。本実施形態においては、このように計算された指標が収束したと判定された場合に、当該指標（収束値）が出力される。また、本実施形態においては、このように計算された指標が収束していないと判定された場合に、第１階級数を増加させた第２階級数に従って学習データ群及び運用データ群のヒストグラムが再度作成され、当該再度作成された学習データ群及び運用データ群のヒストグラムに基づいて指標が再度計算される。換言すれば、本実施形態に係る指標計算装置１０は、収束するまで階級数を増加させながら指標を計算するように動作する。

【0064】

本実施形態においては、上記した構成により計算された適切な指標を用いて学習データ群と運用データ群とのずれ（データドリフトの発生）を検知することが可能となる。

【0065】

ここで、上記したように本実施形態における指標がＪＳＤである場合、当該ＪＳＤは、図６において説明したように階級数の増加に伴って増加する。本実施形態においては、このような階級数に応じて増加するＪＳＤの収束値を出力する構成であり、当該収束値は学習データ群と運用データ群とのずれを表すＪＳＤの最大値に相当するため、データドリフトの発生の検知漏れの可能性を低減することができる。

【0066】

具体的に図６を参照して説明すると、例えば予め定められた階級数に従って計算されたＪＳＤが０．３０以上である場合にデータドリフトの発生を検知する場合を想定する。この場合、例えば予め定められた階級数＝１１に従って計算されるＪＳＤは０．２９であり、このようなＪＳＤによればデータドリフトの発生は検知されない。これに対して、本実施形態においては階級数を増加させながらＪＳＤを計算することによって階級数＝５０に従って計算されるＪＳＤの収束値である０．３３を出力する構成であるため、当該ＪＳＤによりデータドリフトの発生を検知することができる。

【0067】

換言すれば、上記したように単に予め定められた階級数に従って指標を計算する構成においては、学習データ群及び運用データ群によっては当該階級数で複数のデータの分布を適切に表現することができていない可能性があるとともに、このように計算された指標が学習データ群と運用データ群とのずれを正しく反映できているのか（つまり、当該指標の妥当性）をユーザが判断することができない。

【0068】

しかしながら、本実施形態においては、階級数を増加させながら計算される指標の収束値（複数のデータの分布を適切に表現していると推測される階級数に従って計算された指標）が出力されるため、ユーザは当該指標の妥当性を判断する必要がない。

【0069】

なお、本実施形態においては、上記したように出力された指標を表示装置１０６に表示することができる。このような構成によれば、ユーザは、表示装置１０６に表示された指標を確認することによって、データドリフトの発生を検知（判断）することが可能となる。

【0070】

また、本実施形態においては、例えば階級数毎に計算された指標がグラフ形式で表示装置１０６に表示されてもよい。このような構成によれば、階級数毎に計算された指標の推移を可視化することが可能となるため、ユーザは、より適切にデータドリフトの発生を検知することができる可能性がある。

【0071】

更に、本実施形態は、上記した指標に基づいてデータドリフトの発生（学習データ群と運用データ群とのずれ）が自動的に検知され、当該検知結果が表示装置１０６に表示される構成であってもよい。このような構成によれば、例えば指標に基づいてデータドリフトの発生を判断する知識をユーザが有していないような場合であっても、当該ユーザはデータドリフトの発生を把握（認識）することができる。

【0072】

また、本実施形態においては、例えばユーザによって指定された閾値を含む収束条件を取得し、計算された指標の変化量（差分）が当該収束条件に含まれる閾値未満である場合に当該指標が収束したと判定する。本実施形態においては、このような構成により、指標の収束を適切に判定し、当該指標の収束値を出力することが可能となる。

【0073】

更に、本実施形態においては学習データ群及び運用データ群のヒストグラムに基づいて指標が計算されるが、当該学習データ群に含まれる複数のデータ及び当該運用データ群に含まれる複数のデータのうちの外れ値は、当該ヒストグラムに影響を与える場合がある。換言すれば、例えば外れ値に相当するデータが学習データ群及び運用データ群に混入した場合、このような学習データ群及び運用データ群のヒストグラムは指標の計算に適切でない場合がある。このため、本実施形態においては、学習データ群に含まれる複数のデータ及び運用データ群に含まれる複数のデータのうちの外れ値を処理し、当該外れ値の処理結果に基づいて学習データ群及び運用データ群のヒストグラムを作成する。本実施形態においては、このような構成により、外れ値の影響を緩和し、適切なヒストグラムの作成及び精度の高い指標の計算を実現することができる。

【0074】

なお、本実施形態においては外れ値を処理するものとして説明したが、例えば学習データ群及び運用データ群に外れ値が混入する可能性が低いことが想定される状況下においては、外れ値に対する処理（つまり、図９に示すステップＳ２の処理）は省略されても構わない。

【0075】

また、本実施形態においては学習データ群と運用データ群との類似性を表す指標として主にＪＳＤについて説明したが、当該指標は、学習データ群のヒストグラム（学習データ群に含まれる複数のデータの分布）及び運用データ群のヒストグラム（運用データ群に含まれる複数のデータの分布）に基づいて計算されるものであればよく、当該分布間の乖離度または類似度に相当する値であっても構わない。具体的には、指標は、ＫＬＤ（Kullback-Leibler Divergence）等であってもよい。

【0076】

（第２実施形態）
次に、第２実施形態について説明する。前述した第１実施形態においては学習データ群及び運用データ群に含まれるデータの種別が１つである場合を想定しているが、本実施形態は、学習データ群及び運用データ群に含まれるデータの種別が２つである点で、当該第１実施形態とは異なる。

【0077】

図１２は、本実施形態に係る指標計算装置の機能構成の一例を示すブロック図である。図１２においては、前述した図７と同様の部分には同一参照符号を付して、その詳しい説明を省略する。ここでは、前述した図７と異なる部分について主に述べる。

【0078】

図１２に示すように、指標計算装置１０は、指標合計部１７を含む。なお、指標合計部１７は、各部１１～１６と同様に、ソフトウェアによって実現されてもよし、ハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアを組み合わせた構成によって実現されてもよい。

【0079】

ここで、本実施形態において取得部１１によって取得される学習データ群及び運用データ群は、例えば複数の第１種別データ及び複数の第２種別データを含むものとする。なお、第１種別データとは例えば第１センサによって計測されたデータであり、第２種別データとは例えば第１センサとは異なる第２センサによって計測されたデータである。

【0080】

また、本実施形態において指標計算部１３によって作成される学習データ群のヒストグラムは、取得部１１によって取得された学習データ群（外れ値処理部１２によって外れ値が処理された学習データ群）に含まれる複数の第１種別データの分布を表すヒストグラム及び当該学習データ群に含まれる複数の第２種別データの分布を表すヒストグラムを含む。

【0081】

同様に、本実施形態において指標計算部１３によって作成される運用データ群のヒストグラムは、取得部１１によって取得された運用データ群（外れ値処理部１２によって外れ値が処理された運用データ群）に含まれる複数の第１種別データの分布を表すヒストグラム及び当該運用データ群に含まれる複数の第２種別データの分布を表すヒストグラムを含む。

【0082】

更に、本実施形態において指標計算部１３によって計算される指標は、上記した学習データ群のヒストグラム及び運用データ群のヒストグラムに基づいて計算されるデータの種別毎の指標を含む。

【0083】

指標合計部１７は、指標計算部１３によって計算されたデータの種別毎の指標を合計する。

【0084】

本実施形態において指標評価部１４は、指標合計部１７によってデータの種別毎の指標が合計された結果に対して収束条件を適用し、当該指標が収束したか否かを判定する。

【0085】

なお、本実施形態において指標が収束したと判定された場合、指標評価部１４から表示処理部１６にデータの種別毎の指標（収束値）が出力される。

【0086】

ここでは本実施形態に係る指標計算装置１０の機能構成について説明したが、本実施形態における指標計算装置１０のハードウェア構成は前述した第１実施形態と同様であるため、当該ハードウェア構成については、適宜、図８を用いて説明する。

【0087】

次に、図１３のフローチャートを参照して、本実施形態に係る指標計算装置１０の処理手順の一例について説明する。なお、図１３に示す処理は、前述した図９に示す処理と同様に、例えば上記したシステムの運用時にデータドリフトの発生を検知する（モニタリングする）ために定期的に実行される。

【0088】

まず、取得部１１は、学習データ群、運用データ群及び収束条件を取得する（ステップＳ１１）。

【0089】

ここでは、例えばプラントにおいて稼働する設備（機器）に取り付けられた第１センサによって連続的に計測された複数の第１種別データ及び第２センサによって連続的に計測された複数の第２種別データを含む学習データ群を学習することによって機械学習モデルが生成されており、当該機械学習モデルは、学習データ群と同様の運用データ群に含まれる複数の第１種別データの各々及び複数の第２種別データの各々（つまり、対応する第１及び第２種別データのセット）を入力することによって、当該設備の異常度等を予測値として出力するように構築されているものとする。

【0090】

この場合、ステップＳ１１においては、例えば図１４に示すような学習データ群及び運用データ群が取得される。なお、図１４において第１センサに対応づけられている数値データが日時毎に当該第１センサによって計測された第１種別データに相当し、第２センサに対応づけられている数値データが日時毎に当該第２センサによって計測された第２種別データに相当する。

【0091】

また、ステップＳ１１においては、前述した第１実施形態と同様に、閾値を含む収束条件が取得される。

【0092】

ステップＳ１１の処理が実行されると、前述した図９に示すステップＳ２の処理に相当するステップＳ１２の処理が実行される。

【0093】

以下の説明においては、ステップＳ１２において外れ値が処理された学習データ群及び運用データ群を、単に学習データ群及び運用データ群と称する。

【0094】

次に、指標計算部１３は、前述した第１実施形態において説明した初期値に相当する階級数に従って、データの種別毎に、学習データ群及び運用データ群のヒストグラムを作成する（ステップＳ１３）。ステップＳ１３においては、学習データ群に含まれる複数の第１種別データの分布を表すヒストグラム（以下、学習データ群の第１ヒストグラムと表記）、学習データ群に含まれる複数の第２種別データの分布を表すヒストグラム（以下、学習データ群の第２ヒストグラムと表記）、運用データ群に含まれる複数の第１種別データの分布を表すヒストグラム（以下、運用データ群の第１ヒストグラムと表記）及び運用データ群に含まれる複数の第２種別データの分布を表すヒストグラム（以下、運用データ群の第２ヒストグラムと表記）が作成される。

【0095】

ステップＳ１３の処理が実行されると、指標計算部１３は、当該ステップＳ１３において作成された学習データ群の第１及び第２ヒストグラムと運用データ群の第１及び第２ヒストグラムとに基づいて、データの種別毎に指標を計算する（ステップＳ１４）。ステップＳ１４においては、学習データ群の第１ヒストグラム及び運用データ群の第１ヒストグラムに基づいて指標（以下、第１指標と表記）が計算され、学習データ群の第２ヒストグラム及び運用データ群の第２ヒストグラムに基づいて指標（以下、第２指標と表記）が計算される。

【0096】

なお、上記したステップＳ１３及びＳ１４の処理は、ヒストグラムの作成及び指標の計算がデータの種別毎に実行される点以外は前述した図９に示すステップＳ３及びＳ４の処理に相当するため、ここではその詳しい説明を省略する。

【0097】

次に、指標合計部１７は、ステップＳ１４において計算された第１及び第２指標を合計する（ステップＳ１５）。

【0098】

ステップＳ１５の処理が実行されると、前述した図９に示すステップＳ５の処理に相当するステップＳ１６の処理が実行される。

【0099】

この場合、指標計算部１３は、ステップＳ１６において設定された階級数に従って、データの種別毎に、学習データ群及び運用データ群のヒストグラムを作成する（ステップＳ１７）。

【0100】

次に、指標計算部１３は、ステップＳ１７において作成された学習データ群及び運用データ群のヒストグラムに基づいて、データの種別毎に指標を計算する（ステップＳ１８）。

【0101】

なお、ステップＳ１７及びＳ１８の処理は、階級数が異なる点以外は上記したステップＳ１３及びＳ１４の処理と同様である。すなわち、ステップＳ１７においては、学習データ群の第１及び第２ヒストグラムと、運用データ群の第１及び第２ヒストグラムとが作成される。また、ステップＳ１８においては、第１及び第２指標が計算される。

【0102】

次に、指標合計部１７は、ステップＳ１８において計算された第１及び第２指標を合計する（ステップＳ１９）。

【0103】

ステップＳ１９の処理が実行されると、指標評価部１４は、ステップＳ１５において第１及び第２指標が合計された結果（以下、第１指標合計値と表記）及びステップＳ１９において第１及び第２指標が合計された結果（以下、第２指標合計値と表記）に基づいて、指標（第１及び第２指標）がステップＳ１１において取得された収束条件を満たすか否かを判定する（ステップＳ２０）。この場合、指標評価部１４は、第１指標合計値と第２指標合計値との差分（つまり、指標合計値の変化量）を計算し、当該差分が収束条件に含まれる閾値未満である場合に、指標が収束条件を満たすと判定する。一方、指標評価部１４は、計算された差分が収束条件に含まれる閾値未満でない場合に、指標が収束条件を満たさないと判定する。

【0104】

なお、上記したように異なる種別のデータを含むデータ群でヒストグラム（度数分布）を作成する場合、当該種別間で階級数を一律に揃えることが好ましいと考えられる。このため、本実施形態においては、同一の階級数に従ってデータの種別毎に作成されたヒストグラムに基づいて計算された第１及び第２指標の合計値に対して収束条件を適用する構成を採用する。

【0105】

指標が収束条件を満たさないと判定された場合（ステップＳ２０のＮＯ）、当該指標が収束していないとみなし、ステップＳ１６に戻って処理が繰り返される。このように繰り返されるステップＳ１６においては、少なくとも前回のステップＳ１６において設定された階級数よりも多い階級数が設定される。

【0106】

一方、指標が収束条件を満たすと判定された場合（ステップＳ２０のＹＥＳ）、指標評価部１４は、当該指標が収束したとみなし、データの種別毎に指標を出力する（ステップＳ２１）。具体的には、ステップＳ２１においては、上記したステップＳ１８において計算された第１及び第２指標が収束値として出力される。

【0107】

ステップＳ２１の処理が実行された場合、例えば表示処理部１６は、当該ステップＳ２１において出力された第１及び第２指標を表示装置１０６に表示することができる。

【0108】

また、指標評価部１４が例えばステップＳ１４及びＳ１８において計算された全ての指標（つまり、階級数毎に計算された第１及び第２指標）を出力する構成である場合、表示処理部１６は、図１５に示すような階級数毎に計算された第１指標を表すグラフ及び階級毎に計算された第２指標を表すグラフ（つまり、データの種別毎のグラフ）を作成し、当該作成されたグラフを表示してもよい。なお、図１５においては第１及び第２指標の各々に対して作成された２つのグラフが別々に示されているが、表示処理部１６は、当該２つのグラフを重ねて表示するようにしてもよい。

【0109】

更に、表示処理部１６は、例えば指標評価部１４から出力された第１及び第２指標（収束値）に基づいてデータドリフトの発生（学習データ群と運用データ群とのずれ）を検知する検知部（図示せず）を含み、当該検知部による検知結果を表示する構成であってもよい。具体的には、指標評価部１４から出力された第１及び第２指標がＪＳＤであるものとすると、表示処理部１６は、当該第１及び第２指標の少なくとも一方が閾値を超えている場合にデータドリフトの発生を検知することができる。なお、データドリフトの発生は、第１及び第２指標の合計値または平均値のような代表値が閾値を超えている場合に検知されてもよい。

【0110】

また、上記したステップＳ２１において指標評価部１４から出力された第１及び第２指標は、例えば指標計算装置１０の外部装置に送信され、当該外部装置において表示されてもよいし、当該外部装置において実行される処理等に用いられてもよい。

【0111】

なお、上記した図１３においては第１及び第２指標の合計値に対して収束条件が適用されるものとして説明したが、例えば第１及び第２指標の各々に対して収束条件を適用してもよい。この場合、第１及び第２指標の一方が収束条件を満たすと判定された場合にステップＳ２１の処理が実行されてもよいし、当該第１及び第２指標の両方が収束条件を満たすと判定された場合にステップＳ２１の処理が実行されてもよい。すなわち、本実施形態においては、上記した第１及び第２指標を含む指標が収束したと判定された場合に当該第１及び第２指標が出力される構成であればよい。

【0112】

上記したように本実施形態において、学習データ群及び運用データ群の各々は、複数の第１種別データ及び複数の第２種別データを含む。この場合、学習データ群のヒストグラムは、学習データ群の第１ヒストグラム（学習データ群に含まれる複数の第１種別データの分布を表す第３ヒストグラム）及び学習データ群の第２ヒストグラム（学習データ群に含まれる複数の第２種別データの分布を表す第４ヒストグラム）を含む。また、運用データ群のヒストグラムは、運用データ群の第１ヒストグラム（運用データ群に含まれる複数の第１種別データの分布を表す第５ヒストグラム）及び運用データ群の第２ヒストグラム（運用データ群に含まれる複数の第２種別データの分布を表す第６ヒストグラム）を含む。更に、本実施形態における指標は、上記した学習データ群の第１ヒストグラム及び運用データ群の第１ヒストグラムに基づいて計算された第１指標と、学習データ群の第２ヒストグラム及び運用データ群の第２ヒストグラムに基づいて計算された第２指標とを含み、当該第１及び第２指標を含む指標が収束したと判定された場合に、当該第１及び第２指標が出力される。

【0113】

本実施形態においては、上記した構成により、例えば第１実施形態に係る指標計算装置１０を種別が異なるデータを含むデータセット（学習データ群及び運用データ群）に適用可能なように拡張することができる。

【0114】

なお、本実施形態においては、学習データ群及び運用データ群に含まれるデータの種別が２つであるものとして説明したが、当該データの種別は３つ以上であっても構わない。

【0115】

以上述べた少なくとも１つの実施形態によれば、学習データ群と運用データ群とのずれを検知することを支援する指標計算装置、方法及びプログラムを提供することができる。

【0116】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0117】

１０…指標計算装置、１１…取得部、１２…外れ値処理部、１３…指標計算部、１４…指標評価部、１５…階級数設定部、１６…表示処理部、１７…指標合計部、１０１…ＣＰＵ、１０２…不揮発性メモリ、１０３…主メモリ、１０４…通信装置、１０５…入力装置、１０６…表示装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】