(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024173154
(43)【公開日】2024-12-12
(54)【発明の名称】データ分類システム、データ分類方法、及びプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20241205BHJP
【FI】
G06N20/00
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023091382
(22)【出願日】2023-06-02
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100206081
【弁理士】
【氏名又は名称】片岡 央
(74)【代理人】
【識別番号】100188673
【弁理士】
【氏名又は名称】成田 友紀
(74)【代理人】
【識別番号】100188891
【弁理士】
【氏名又は名称】丹野 拓人
(72)【発明者】
【氏名】劉 柬言
(57)【要約】
【課題】計算量の増大を抑制しつつ、未知のクラスに対応させてデータを適切に分類する。
【解決手段】データ分類システムは、少なくとも1つのクラスの正常データに対する特徴量の抽出及び異常検知を行う第1学習済みモデルを用いて、分類対象データの未対応データ異常を検知する異常検知処理と、異常検知処理の処理結果に基づいて、分類対象データを少なくとも正常データのクラスに分類する分類処理とを実行するデータ分類処理部と、異常検知処理の処理結果に基づいて、分類対象データを未知のクラスであると判定する未知クラス判定部と、分類対象データを未知のクラスであると判定した場合に、未知のクラスである分類対象データ及び正常データに基づいて、第1学習済みモデルを再学習するとともに、正常データに対する特徴量に基づいて、分類対象データを、正常データのクラスに分類する第2学習済みモデルを新規学習又は再学習する再学習処理部とを備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
分類対象データを分類クラスに分類するデータ分類処理部であって、
少なくとも1つのクラスの正常データに基づく初期学習処理により生成された前記正常データに対する特徴量の抽出及び異常検知を行う第1学習済みモデルを用いて、前記分類対象データがクラス分類するデータとして未対応のデータである未対応データ異常を検知する異常検知処理と、
前記異常検知処理の処理結果に基づいて、前記分類対象データを少なくとも前記正常データのクラスに分類する分類処理と
を実行するデータ分類処理部と、
前記異常検知処理の処理結果に基づいて、前記分類対象データを未知のクラスであると判定する未知クラス判定部と、
前記未知クラス判定部が前記分類対象データを前記未知のクラスであると判定した場合に、前記未知のクラスである前記分類対象データ及び前記正常データに基づいて、前記第1学習済みモデルを再学習するとともに、前記正常データに対する特徴量に基づいて、前記分類対象データを、前記正常データのクラスに分類する第2学習済みモデルを新規学習又は再学習する再学習処理部と
を備えるデータ分類システム。
【請求項2】
前記再学習処理部は、前記第2学習済みモデルが存在しない場合に、前記第2学習済みモデルを新規学習し、
前記データ分類処理部は、前記分類処理において、前記第2学習済みモデルが存在する場合に、前記第2学習済みモデルを用いて、前記分類対象データを、前記正常データのクラスに分類する
請求項1に記載のデータ分類システム。
【請求項3】
前記再学習処理部は、
前記未知のクラスである前記分類対象データが、前記正常データに分類され、且つ、前記第2学習済みモデルが存在しない場合に、前記第2学習済みモデルを新規学習し、
前記未知のクラスである前記分類対象データが、前記正常データに分類され、且つ、前記第2学習済みモデルが存在する場合に、前記第2学習済みモデルを再学習し、
前記未知のクラスである前記分類対象データが、異常データに分類される場合に、少なくとも1つのクラスの前記異常データに基づいて、前記異常データに対する特徴量の抽出及び異常検知を行う第3学習済みモデルを新規学習する
請求項2に記載のデータ分類システム。
【請求項4】
前記異常検知処理には、前記正常データの異常検知を行う前記第1学習済みモデルを用いて、前記分類対象データが前記正常データとして未対応のデータである異常を検知する第1異常検知処理と、前記異常データの異常検知を行う前記第3学習済みモデルを用いて、前記分類対象データが前記異常データとして未対応のデータである異常を検知する第2異常検知処理とが含まれ、
前記分類処理には、前記分類対象データを、前記正常データのクラスに分類する第1分類処理と、前記分類対象データを、前記異常データのクラスに分類する第2分類処理とが含まれ、
前記データ分類処理部は、
前記第2学習済みモデルが存在し、前記第1異常検知処理により前記未対応データ異常が検知されなかった場合に、前記第1分類処理として、前記第2学習済みモデルを用いて、前記分類対象データを、前記正常データのクラスに分類し、
前記第1異常検知処理により前記未対応データ異常が検知された場合に、前記第2分類処理として、前記第2異常検知処理の処理結果に基づいて、前記分類対象データを前記異常データのクラスに分類し、
前記再学習処理部は、
前記未知のクラスである前記分類対象データが、前記異常データに分類された場合に、前記未知のクラスである前記分類対象データ及び前記異常データに基づいて、前記第3学習済みモデルを再学習するとともに、前記正常データに対する特徴量に基づいて、前記分類対象データを、前記異常データのクラスに分類する第4学習済みモデルを新規学習又は再学習する
請求項3に記載のデータ分類システム。
【請求項5】
前記再学習処理部は、
前記未知のクラスである前記分類対象データが、前記異常データに分類され、且つ、前記第4学習済みモデルが存在しない場合に、前記第4学習済みモデルを新規学習し、
前記未知のクラスである前記分類対象データが、前記異常データに分類され、且つ、前記第4学習済みモデルが存在する場合に、前記第4学習済みモデルを再学習し、
前記データ分類処理部は、
前記第2分類処理において、前記第4学習済みモデルが存在し、前記第2異常検知処理により前記未対応データ異常が検知されなかった場合に、前記第4学習済みモデルを用いて、前記分類対象データを、前記異常データのクラスに分類する
請求項4に記載のデータ分類システム。
【請求項6】
前記未知クラス判定部は、
前記第1異常検知処理において、前記分類対象データに前記未対応データ異常が検知され、且つ、前記第3学習済みモデルが存在しない場合に、当該分類対象データを前記未知のクラスであると判定する
請求項5に記載のデータ分類システム。
【請求項7】
前記未知クラス判定部は、
前記第1異常検知処理及び前記第2異常検知処理の両方において、前記分類対象データに前記未対応データ異常が検知され場合に、当該分類対象データを前記未知のクラスであると判定する
請求項6に記載のデータ分類システム。
【請求項8】
前記未知クラス判定部は、
前記第1異常検知処理において、前記分類対象データに前記未対応データ異常が検知され、且つ、前記第2分類処理において分類された前記異常データのクラスが、クラス判定閾値以下である場合に、当該分類対象データを前記未知のクラスであると判定する
請求項7に記載のデータ分類システム。
【請求項9】
前記データ分類処理部は、
前記第1異常検知処理において、前記第1学習済みモデルを用いて、前記分類対象データの再構成誤差を算出し、前記第1異常検知処理における前記再構成誤差が第1閾値より大きい場合に、前記分類対象データに前記未対応データ異常が検知されたと判定し、
前記第2異常検知処理において、前記第3学習済みモデルを用いて、前記分類対象データの再構成誤差を算出し、前記第2異常検知処理における前記再構成誤差が第2閾値より大きい場合に、前記分類対象データに前記未対応データ異常が検知されたと判定する
請求項4から請求項8のいずれか一項に記載のデータ分類システム。
【請求項10】
前記初期学習処理により前記第1学習済みモデルを生成する初期学習処理部を備える
請求項1から請求項8のいずれか一項に記載のデータ分類システム。
【請求項11】
データ分類処理部が、分類対象データを分類クラスに分類するデータ分類処理ステップであって、
少なくとも1つのクラスの正常データに基づく初期学習処理により生成された前記正常データに対する特徴量の抽出及び異常検知を行う第1学習済みモデルを用いて、前記分類対象データがクラス分類するデータとして未対応のデータである未対応データ異常を検知する異常検知処理と、
前記異常検知処理の処理結果に基づいて、前記分類対象データを少なくとも前記正常データのクラスに分類する分類処理と
を実行するデータ分類処理ステップと、
未知クラス判定部が、前記異常検知処理の処理結果に基づいて、前記分類対象データを未知のクラスであると判定する未知クラス判定ステップと、
再学習処理部が、前記未知クラス判定ステップによって、前記分類対象データを前記未知のクラスであると判定された場合に、前記未知のクラスである前記分類対象データ及び前記正常データに基づいて、前記第1学習済みモデルを再学習するとともに、前記正常データに対する特徴量に基づいて、前記分類対象データを、前記正常データのクラスに分類する第2学習済みモデルを新規学習又は再学習する再学習処理ステップと
を含むデータ分類方法。
【請求項12】
コンピュータに、
分類対象データを分類クラスに分類するデータ分類処理ステップであって、
少なくとも1つのクラスの正常データに基づく初期学習処理により生成された前記正常データに対する特徴量の抽出及び異常検知を行う第1学習済みモデルを用いて、前記分類対象データがクラス分類するデータとして未対応のデータである未対応データ異常を検知する異常検知処理と、
前記異常検知処理の処理結果に基づいて、前記分類対象データを少なくとも前記正常データのクラスに分類する分類処理と
を実行するデータ分類処理ステップと、
前記異常検知処理の処理結果に基づいて、前記分類対象データを未知のクラスであると判定する未知クラス判定ステップと、
前記未知クラス判定ステップによって、前記分類対象データを前記未知のクラスであると判定された場合に、前記未知のクラスである前記分類対象データ及び前記正常データに基づいて、前記第1学習済みモデルを再学習するとともに、前記正常データに対する特徴量に基づいて、前記分類対象データを、前記正常データのクラスに分類する第2学習済みモデルを新規学習又は再学習する再学習処理ステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、データ分類システム、データ分類方法、及びプログラムに関する。
【背景技術】
【0002】
近年、機械学習モデルを用いて、データをクラス分類するデータ分類システムが知られている(例えば、特許文献1を参照)。このようなデータ分類システムでは、クラスごとに当該クラスを識別する機械学習モデルを用意して、データの分類をおこなっている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来技術のデータ分類システムでは、クラスごとに当該クラスを識別する機械学習モデルを用意する必要があり、未知のクラスを検出した度に、新たに当該未知のクラスを識別する機械学習モデルを構築する必要があり、クラスに分類する際も、クラスごとの機械学習モデルを用いてクラスに分類する必要があった。そのため、従来技術のデータ分類システムでは、未知のクラスに対応することで、計算量が増大する問題があった。
【0005】
本開示は、上記問題を解決すべくなされたもので、その目的は、計算量の増大を抑制しつつ、未知のクラスに対応させてデータを適切に分類することができるデータ分類システム、データ分類方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記問題を解決するために、本開示の一態様は、分類対象データを分類クラスに分類するデータ分類処理部であって、少なくとも1つのクラスの正常データに基づく初期学習処理により生成された前記正常データに対する特徴量の抽出及び異常検知を行う第1学習済みモデルを用いて、前記分類対象データがクラス分類するデータとして未対応のデータである未対応データ異常を検知する異常検知処理と、前記異常検知処理の処理結果に基づいて、前記分類対象データを少なくとも前記正常データのクラスに分類する分類処理とを実行するデータ分類処理部と、前記異常検知処理の処理結果に基づいて、前記分類対象データを未知のクラスであると判定する未知クラス判定部と、前記未知クラス判定部が前記分類対象データを前記未知のクラスであると判定した場合に、前記未知のクラスである前記分類対象データ及び前記正常データに基づいて、前記第1学習済みモデルを再学習するとともに、前記正常データに対する特徴量に基づいて、前記分類対象データを、前記正常データのクラスに分類する第2学習済みモデルを新規学習又は再学習する再学習処理部とを備えるデータ分類システムである。
【0007】
また、本開示の一態様は、データ分類処理部が、分類対象データを分類クラスに分類するデータ分類処理ステップであって、少なくとも1つのクラスの正常データに基づく初期学習処理により生成された前記正常データに対する特徴量の抽出及び異常検知を行う第1学習済みモデルを用いて、前記分類対象データがクラス分類するデータとして未対応のデータである未対応データ異常を検知する異常検知処理と、前記異常検知処理の処理結果に基づいて、前記分類対象データを少なくとも前記正常データのクラスに分類する分類処理とを実行するデータ分類処理ステップと、未知クラス判定部が、前記異常検知処理の処理結果に基づいて、前記分類対象データを未知のクラスであると判定する未知クラス判定ステップと、再学習処理部が、前記未知クラス判定ステップによって、前記分類対象データを前記未知のクラスであると判定された場合に、前記未知のクラスである前記分類対象データ及び前記正常データに基づいて、前記第1学習済みモデルを再学習するとともに、前記正常データに対する特徴量に基づいて、前記分類対象データを、前記正常データのクラスに分類する第2学習済みモデルを新規学習又は再学習する再学習処理ステップとを含むデータ分類方法である。
【0008】
また、本開示の一態様は、コンピュータに、分類対象データを分類クラスに分類するデータ分類処理ステップであって、少なくとも1つのクラスの正常データに基づく初期学習処理により生成された前記正常データに対する特徴量の抽出及び異常検知を行う第1学習済みモデルを用いて、前記分類対象データがクラス分類するデータとして未対応のデータである未対応データ異常を検知する異常検知処理と、前記異常検知処理の処理結果に基づいて、前記分類対象データを少なくとも前記正常データのクラスに分類する分類処理とを実行するデータ分類処理ステップと、前記異常検知処理の処理結果に基づいて、前記分類対象データを未知のクラスであると判定する未知クラス判定ステップと、前記未知クラス判定ステップによって、前記分類対象データを前記未知のクラスであると判定された場合に、前記未知のクラスである前記分類対象データ及び前記正常データに基づいて、前記第1学習済みモデルを再学習するとともに、前記正常データに対する特徴量に基づいて、前記分類対象データを、前記正常データのクラスに分類する第2学習済みモデルを新規学習又は再学習する再学習処理ステップとを実行させるためのプログラムである。
【発明の効果】
【0009】
本開示によれば、計算量の増大を抑制しつつ、未知のクラスに対応させてデータを適切に分類することができる。
【図面の簡単な説明】
【0010】
【
図1】本実施形態によるデータ分類システムの一例を示す機能ブロック図である。
【
図2】本実施形態における異常検知・特徴量抽出の処理の一例を示す図である。
【
図3】本実施形態によるデータ分類システムのデータの種類による状態に対する学習済みモデルの一例を示す図である。
【
図4】本実施形態によるデータ分類システムの状態(a)の一例を示す図である。
【
図5】本実施形態によるデータ分類システムの状態(b)の一例を示す図である。
【
図6】本実施形態によるデータ分類システムの状態(c)の一例を示す図である。
【
図7】本実施形態によるデータ分類システムの状態(d)の一例を示す図である。
【
図8】本実施形態によるデータ分類システムの状態(e)の一例を示す図である。
【
図9】本実施形態によるデータ分類システムの動作の一例を示すフローチャートである。
【
図10】本実施形態によるデータ分類システムの第1の再学習処理の一例を示すフローチャートである。
【
図11】本実施形態によるデータ分類システムの第2の再学習処理の一例を示すフローチャートである。
【
図12】本実施形態によるデータ分類システムの第3の再学習処理の一例を示すフローチャートである。
【
図13】本実施形態によるデータ分類システムの各装置のハードウェア構成を説明する図である。
【
図14】本実施形態によるデータ分類システムの変形例を示す機能ブロック図である。
【発明を実施するための形態】
【0011】
以下、本開示の一実施形態によるデータ分類システム、及びデータ分類システムについて、図面を参照して説明する。
【0012】
図1は、本実施形態によるデータ分類システム1の一例を示す機能ブロック図である。
図1に示すように、データ分類システム1は、データ分類装置10と、データ収集記憶装置20とを備える。
【0013】
データ分類システム1は、分類対象のデータである分類対象データを分類するシステムである。本実施形態において、分類対象データは、例えば、鉄塔及び送電線の画像データであり、データ分類システム1は、鉄塔及び送電線(架空送電線)の画像データから、分類クラスとして、正常データの分類クラス、又は異常データの分類クラスに分類する。
【0014】
データ収集記憶装置20は、例えば、データサーバ、ファイルサーバ、等のサーバ装置であり、例えば、ヘリコプタ又はドローンにより撮像した鉄塔及び送電線の画像データである分類対象データを収集して記憶する。データ収集記憶装置20は、データ分類装置10と接続可能であり、分類対象データをデータ分類装置10に送信する。
【0015】
データ分類装置10は、例えば、データ収集記憶装置20と接続可能なサーバ装置、パーソナルコンピュータ、等のコンピュータ装置であり、記憶部11と、制御部12とを備える。データ分類装置10は、データ収集記憶装置20から取得した分類対象データを、分類クラスに分類し、分類結果を出力する。
【0016】
記憶部11は、例えば、RAM、フラッシュメモリ、HDD(Hard Disk Drive)、等の記憶装置であり、データ分類装置10が利用する各種情報を記憶する。記憶部11は、学習データ記憶部111と、モデル記憶部112と、分類結果記憶部113とを備える。
【0017】
学習データ記憶部111は、後述する初期学習処理、及び再学習処理に使用する学習データを記憶する。学習データは、教師あり学習に使用する学習データであり、例えば、鉄塔及び送電線の画像データである正常データ又は異常データに分類クラスをラベル付けしたデータである。
【0018】
モデル記憶部112は、分類対象データを分類クラスに分類するための各種学習済みモデルを記憶する。モデル記憶部112は、学習済みモデルとして、正常用異常検知・特徴量抽出モデルMA1、正常用分類モデルMA2、異常用異常検知・特徴量抽出モデルMB1、及び異常用分類モデルMB2を記憶する。
【0019】
正常用異常検知・特徴量抽出モデルMA1(第1学習済みモデルの一例)は、少なくとも1つのクラスの正常データに基づく機械学習処理により生成された学習済みモデルであり、正常データに対する特徴量の抽出及び異常検知を行うためのモデルである。正常用異常検知・特徴量抽出モデルMA1には、例えば、AE(AutoEncoder)、DAE(Denoising AutoEncoder)、及びSAE(Stacked AutoEncoder)、等のモデルが適用可能である。
【0020】
また、正常用分類モデルMA2(第2学習済みモデルの一例)は、複数の正常データのクラスのうちから、1つのクラス(分類クラス)に分類するための学習済みモデルであり、正常用異常検知・特徴量抽出モデルMA1によって抽出された正常データに対する特徴量(正常データ用の特徴量)に基づいて、分類対象データを、正常データのクラスに分類するためのモデルである。正常用分類モデルMA2には、例えば、SVM(Support Vector Machine)、等のモデルが適用可能である。
【0021】
また、異常用異常検知・特徴量抽出モデルMB1(第3学習済みモデルの一例)は、少なくとも1つのクラスの異常データに基づく機械学習処理により生成された学習済みモデルであり、異常データに対する特徴量の抽出及び異常検知を行うためのモデルである。異常用異常検知・特徴量抽出モデルMB1には、上述した正常用異常検知・特徴量抽出モデルMA1と同様に、例えば、AE、DAE、及びSAE、等のモデルが適用可能である。
【0022】
また、異常用分類モデルMB2(第4学習済みモデルの一例)は、複数の異常データのクラスのうちから、1つのクラス(分類クラス)に分類するための学習済みモデルであり、異常用異常検知・特徴量抽出モデルMB1によって抽出された異常データに対する特徴量(異常データ用の特徴量)に基づいて、分類対象データを、異常データのクラスに分類するためのモデルである。異常用分類モデルMB2には、上述した正常用分類モデルMA2と同様に、例えば、SVM、等のモデルが適用可能である。
【0023】
なお、モデル記憶部112は、初期状態において、正常用異常検知・特徴量抽出モデルMA1のみを記憶する。そして、モデル記憶部112には、未知のクラスが検知(判定)された場合に、後述する再学習処理部125が再学習処理を実行して、未知のクラスの内容(未知のクラスのデータの種類)に応じて、正常用分類モデルMA2、異常用異常検知・特徴量抽出モデルMB1、及び異常用分類モデルMB2のいずれかが追加される。
【0024】
分類結果記憶部113は、後述するデータ分類処理部122の分類処理の処理結果である分類クラス(分類対象クラスを分類したクラス)を記憶する。なお、分類クラスには、正常データのクラスと、異常データのクラスとが含まれる。
【0025】
制御部12は、例えば、CPU(Central Processing Unit)を含むプロセッサに、不図示の記憶部が記憶するプログラムを実行させることで実現される機能部である。制御部12は、データ分類装置10を統括的に制御し、分類対象データをクラスに分類するための各種処理を実行する。
【0026】
制御部12は、初期学習処理部121と、データ分類処理部122と、未知クラス判定部123と、ラベル付処理部124と、再学習処理部125と、出力処理部126とを備える。
【0027】
初期学習処理部121は、予め用意した学習データに基づいて、初期学習処理を実行する。初期学習処理部121は、例えば、データ収集記憶装置20から1つのクラスの正常データを取得し、学習データ記憶部111に記憶させる。初期学習処理部121は、1つのクラスの正常データを、学習データとして、機械学習処理を実行して、正常用異常検知・特徴量抽出モデルMA1を生成する。初期学習処理部121は、生成した正常用異常検知・特徴量抽出モデルMA1を、モデル記憶部112に記憶させる。
【0028】
データ分類処理部122は、分類対象データを分類クラスに分類する。データ分類処理部122は、例えば、データ異常検知処理と、分類処理とを実行する。データ分類処理部122は、データ異常検知処理において、正常用異常検知・特徴量抽出モデルMA1を用いて、分類対象データがクラス分類するデータとして妥当であるか否かを判定するデータ判定におけるデータ異常を検知する。ここでのデータ異常とは、分類対象データがクラス分類するデータとして妥当でない異常なデータであり、正常用異常検知・特徴量抽出モデルMA1に未対応のクラスのデータであることを示す。また、データ異常検知処理とは、分類対象データがクラス分類するデータとして異常なデータ(未対応のデータ)であることを検知する処理である。クラス分類するデータとして異常なデータ(未対応のデータ)である場合、分類対象データは、正常用異常検知・特徴量抽出モデルMA1により正常に再構築できずに、再構成誤差が大きくなる。
【0029】
データ分類処理部122は、正常用異常検知・特徴量抽出モデルMA1を用いて、正常データに対する特徴量を抽出するとともに、クラス分類するデータとして異常がある(未対応である)ことを検知するデータ異常検知を行う。なお、以下の説明において、データ異常検知処理において、分類対象データにクラス分類するデータとして異常がある(未対応である)ことを、「未対応データ異常」、又は単に「データ異常」と記載する。
【0030】
なお、データ異常検知処理(異常検知処理)には、正常データ異常検知処理(第1異常検知処理)と、異常データ異常検知処理(第2異常検知処理)とが含まれる。正常データ異常検知処理は、正常用異常検知・特徴量抽出モデルMA1を用いて、分類対象データがクラス分類する正常データとして妥当でない異常なデータ(正常用異常検知・特徴量抽出モデルMA1に未対応のデータ)であることを検知する処理である。また、異常データ異常検知処理は、異常検知を行う異常用異常検知・特徴量抽出モデルMB1を用いて、分類対象データがクラス分類する異常データとして妥当でない異常なデータ(異常用異常検知・特徴量抽出モデルMB1に未対応のデータ)であることを検知する処理である。
【0031】
データ分類処理部122は、正常データ異常検知処理において、正常用異常検知・特徴量抽出モデルMA1を用いて、分類対象データの再構成誤差を算出し、正常データ異常検知処理における再構成誤差が第1閾値より大きい場合に、分類対象データに未対応データ異常が検知されたと判定する。ここで、
図2を参照して、正常用異常検知・特徴量抽出モデルMA1を用いた異常検知・特徴量抽出の処理の詳細について説明する。
【0032】
図2は、本実施形態における異常検知・特徴量抽出の処理の一例を示す図である。
図2に示すように、データ分類処理部122は、正常データ異常検知処理において、正常用異常検知・特徴量抽出モデルMA1のエンコーダにより、分類対象データから特徴量を抽出する(処理S11)。次に、データ分類処理部122は、正常用異常検知・特徴量抽出モデルMA1のデコーダにより、特徴量を逆変換して、再構成データを生成する(処理S12)。
【0033】
また、データ分類処理部122は、分類対象データと、再構成データとの誤差である再構成誤差を算出する(処理S13)。データ分類処理部122は、算出した再構成誤差が、第1閾値より大きい場合に、分類対象データに未対応データ異常が検知されたと判定する。なお、第1閾値は、再構成誤差の累積分布が、予め設定されたN%になる値である。また、データ分類処理部122は、再構成誤差が第1閾値以下である場合に、分類対象データが、正常データとして正常(クラス分類に対応可能)である(未対応データ異常が検知されなかった)と判定する。
【0034】
図1の説明に戻り、データ分類処理部122は、異常データ異常検知処理において、異常検知を行う異常用異常検知・特徴量抽出モデルMB1を用いて、分類対象データの再構成誤差を算出し、異常データ異常検知処理における再構成誤差が第2閾値より大きい場合に、分類対象データに未対応データ異常が検知されたと判定する。なお、異常用異常検知・特徴量抽出モデルMB1を用いた異常検知・特徴量抽出の処理は、上述した
図2に示す処理と同様である。また、第2閾値は、再構成誤差の累積分布が、予め設定されたN%になる値である。また、データ分類処理部122は、再構成誤差が第2閾値以下である場合に、分類対象データが、異常データとして正常(クラス分類に対応可能)である(未対応データ異常が検知されなかった)と判定する。
【0035】
また、データ分類処理部122は、分類処理として、データ異常検知処理の処理結果に基づいて、分類対象データを少なくとも正常データのクラスに分類する。データ分類処理部122は、分類処理において、モデル記憶部112に正常用分類モデルMA2が存在する場合に、正常用分類モデルMA2を用いて、分類対象データを、正常データのクラスに分類する。
【0036】
また、データ分類処理部122は、分類処理において、モデル記憶部112に正常用分類モデルMA2が存在しない場合に、正常データ異常検知処理の処理結果により、正常である(未対応データ異常が検知されなかった)と判定された正常データのクラスに、分類対象データを分類する。
【0037】
なお、分類処理には、分類対象データを、正常データのクラスに分類する正常分類処理(第1分類処理)と、分類対象データを、異常データのクラスに分類する異常分類処理(第2分類処理)とが含まれる。
【0038】
データ分類処理部122は、正常用分類モデルMA2が存在し、正常データ異常検知処理により未対応データ異常が検知されなかった場合に、正常分類処理として、正常用分類モデルMA2を用いて、分類対象データを、正常データのクラスに分類する。データ分類処理部122は、正常用異常検知・特徴量抽出モデルMA1を用いて抽出された特徴量と、正常用分類モデルMA2を用いて、分類対象データを、正常データのクラスに分類する。
【0039】
また、データ分類処理部122は、正常データ異常検知処理により未対応データ異常が検知された場合に、異常分類処理として、異常データ異常検知処理の処理結果に基づいて、分類対象データを異常データのクラスに分類する。
【0040】
データ分類処理部122は、異常分類処理において、モデル記憶部112に異常用分類モデルMB2が存在し、異常データ異常検知処理により未対応データ異常が検知されなかった場合に、異常用分類モデルMB2を用いて、分類対象データを、異常データのクラスに分類する。データ分類処理部122は、異常用異常検知・特徴量抽出モデルMB1を用いて抽出された特徴量と、異常用分類モデルMB2を用いて、分類対象データを、異常データのクラスに分類する。
【0041】
また、データ分類処理部122は、異常分類処理において、モデル記憶部112に異常用分類モデルMB2が存在しない場合に、異常データ異常検知処理の処理結果により、正常である(未対応データ異常が検知されなかった)と判定された異常データのクラスに、分類対象データを分類する。
【0042】
なお、データ分類処理部122は、上述した分類処理により分類された分類クラスを、分類結果記憶部113に記憶させる。
また、データ分類処理部122は、正常検知処理部FA1と、正常分類処理部FA2と、異常検知処理部FB1と、異常分類処理部FB2とを備える。
【0043】
正常検知処理部FA1は、上述した正常データ異常検知処理を実行する。また、正常分類処理部FA2は、上述した正常分類処理を実行する。
また、異常検知処理部FB1は、上述した異常データ異常検知処理を実行する。また、異常分類処理部FB2は、上述した異常分類処理を実行する。
【0044】
未知クラス判定部123は、データ異常検知処理の処理結果に基づいて、分類対象データを未知のクラスであると判定する。未知クラス判定部123は、例えば、正常データ異常検知処理において、分類対象データに未対応データ異常が検知され、且つ、異常データの異常検知を行う異常用異常検知・特徴量抽出モデルMB1がモデル記憶部112に存在しない場合に、当該分類対象データを未知のクラスであると判定する。
【0045】
また、未知クラス判定部123は、正常データ異常検知処理及び異常データ異常検知処理の両方において、分類対象データに未対応データ異常が検知され場合に、当該分類対象データを未知のクラスであると判定する。すなわち、未知クラス判定部123は、正常データ異常検知処理の再構成誤差が第1閾値より大きく、且つ、異常データ異常検知処理の再構成誤差が第2閾値より大きい場合に、当該分類対象データを未知のクラスであると判定する。
【0046】
また、未知クラス判定部123は、正常データ異常検知処理において、分類対象データに未対応データ異常が検知され、且つ、異常分類処理において分類された異常データのクラスが、クラス判定閾値以下(第3閾値以下)である場合に、当該分類対象データを未知のクラスであると判定する。ここで、クラス判定閾値(第3閾値)は、異常分類処理において出力されるクラスの確率の累積分布が、予め設定されたN%になる値である。
【0047】
ラベル付処理部124は、未知のクラスの分類対象データを、新規学習又は再学習に使用するためのラベル付けを自動で実行する。なお、未知のクラスの分類対象データに対するラベル付けは、利用者によって実行されてもよい。ラベル付処理部124は、ラベル付けされた未知のクラスの分類対象データを、学習データ記憶部111に記憶させる。
【0048】
再学習処理部125は、未知クラス判定部123が分類対象データを未知のクラスであると判定した場合に、正常用異常検知・特徴量抽出モデルMA1及び正常用分類モデルMA2と、異常用異常検知・特徴量抽出モデルMB1及び異常用分類モデルMB2とのいづれかの組を、再学習又は新規学習する。
【0049】
再学習処理部125は、例えば、未知のクラスである分類対象データが、未知の正常データであり、モデル記憶部112に、正常用分類モデルMA2が存在しない場合に、分類対象データを含む正常データにより、正常用異常検知・特徴量抽出モデルMA1を複数のクラスに対応したモデルに再学習する。再学習処理部125は、再学習した正常用異常検知・特徴量抽出モデルMA1を、モデル記憶部112に記憶させる。
【0050】
また、この場合、再学習処理部125は、学習データから正常用異常検知・特徴量抽出モデルMA1を用いて抽出した特徴量により、新規学習して、正常用分類モデルMA2を生成する。再学習処理部125は、新規学習により生成した正常用分類モデルMA2を、モデル記憶部112に記憶させる。
【0051】
また、再学習処理部125は、例えば、未知のクラスである分類対象データが、未知の異常データであり、モデル記憶部112に、異常用異常検知・特徴量抽出モデルMB1が存在しない場合に、分類対象データを含む異常データにより新規学習して、異常用異常検知・特徴量抽出モデルMB1を1つのクラスに対応したモデルとして生成する。再学習処理部125は、再学習した異常用異常検知・特徴量抽出モデルMB1を、モデル記憶部112に記憶させる。
【0052】
また、再学習処理部125は、例えば、未知のクラスである分類対象データが、未知の異常データであり、モデル記憶部112に、異常用異常検知・特徴量抽出モデルMB1が存在し、異常用分類モデルMB2が存在しない場合に、学習データから異常用異常検知・特徴量抽出モデルMB1を用いて抽出した特徴量により、新規学習して、異常用分類モデルMB2を生成する。再学習処理部125は、新規学習により生成した異常用分類モデルMB2を、モデル記憶部112に記憶させる。
【0053】
また、再学習処理部125は、例えば、未知のクラスである分類対象データが、未知の正常データであり、モデル記憶部112に、正常用分類モデルMA2が存在する場合に、分類対象データを含む正常データにより、正常用異常検知・特徴量抽出モデルMA1を複数のクラスに対応したモデルに再学習する。再学習処理部125は、再学習した正常用異常検知・特徴量抽出モデルMA1を、モデル記憶部112に記憶させる。
【0054】
また、この場合、再学習処理部125は、学習データから正常用異常検知・特徴量抽出モデルMA1を用いて抽出した特徴量により、正常用分類モデルMA2を再学習する。再学習処理部125は、再学習した正常用分類モデルMA2を、モデル記憶部112に記憶させる。
【0055】
また、再学習処理部125は、例えば、未知のクラスである分類対象データが、未知の異常データであり、モデル記憶部112に、異常用分類モデルMB2が存在する場合に、分類対象データを含む異常データにより、異常用異常検知・特徴量抽出モデルMB1を複数のクラスに対応したモデルとして再学習する。再学習処理部125は、再学習した異常用異常検知・特徴量抽出モデルMB1を、モデル記憶部112に記憶させる。
【0056】
また、この場合、再学習処理部125は、学習データから異常用異常検知・特徴量抽出モデルMB1を用いて抽出した特徴量により、異常用分類モデルMB2を再学習する。再学習処理部125は、再学習した正常用分類モデルMA2を、モデル記憶部112に記憶させる。
【0057】
このように、再学習処理部125は、未知のクラスである分類対象データが、正常データに分類され、且つ、正常用分類モデルMA2が存在しない場合に、正常用分類モデルMA2を新規学習する。また、再学習処理部125は、未知のクラスである分類対象データが、正常データに分類され、且つ、正常用分類モデルMA2が存在する場合に、正常用分類モデルMA2を再学習する。また、未知のクラスである分類対象データが、異常データに分類される場合に、少なくとも1つのクラスの異常データに基づいて、異常データに対する特徴量の抽出及び異常検知を行う異常用異常検知・特徴量抽出モデルMB1(第3学習済みモデル)を新規学習する。
【0058】
また、再学習処理部125は、未知のクラスである分類対象データが、異常データに分類され、且つ、異常用分類モデルMB2が存在しない場合に、異常用分類モデルMB2を新規学習する。また、再学習処理部125は、未知のクラスである分類対象データが、異常データに分類され、且つ、異常用分類モデルMB2が存在する場合に、異常用分類モデルMB2を再学習する。
【0059】
出力処理部126は、データ分類処理部122が分類した分類結果を、例えば、ネットワークを経由した外部装置(例えば、利用者端末、等)、表示装置、又はプリンタ、等に出力する。出力処理部126は、分類結果記憶部113が記憶する分類結果を出力する。
【0060】
なお、本実施形態によるデータ分類装置10は、分類に対応するクラスに応じて、モデル記憶部112が記憶する学習済みモデルが異なり、未知のクラスの検知によって、学習済みモデルの新規学習、又は再学習を実行して、分類に対応するクラスが変更される。そのため、データ分類装置10は、分類に対応するクラス(データの種類)に応じて、状態が変化する。ここでは、
図3~
図8を参照して、データ分類装置10の状態の変化について説明する。
【0061】
図3は、本実施形態によるデータ分類システム1のデータの種類による状態に対する学習済みモデルの一例を示す図である。
図3に示す状態(a)において、データの種類は、正常クラス1つであり、この場合、モデル記憶部112は、正常用異常検知・特徴量抽出モデルMA1を記憶し、正常用分類モデルMA2、異常用異常検知・特徴量抽出モデルMB1、及び異常用分類モデルMB2は、存在しない(
図4参照)。
【0062】
図4は、本実施形態によるデータ分類システム1の状態(a)の一例を示す図である。
図3及び
図4に示す状態(a)において、データ分類処理部122は、正常用異常検知・特徴量抽出モデルMA1を用いた正常データ異常検知処理を実行し、未対応データ異常が検知されなかった場合に、分類対象データを、正常用異常検知・特徴量抽出モデルMA1に対応した1つのクラスに分類する。
【0063】
また、状態(a)において、未知クラス判定部123は、正常データ異常検知処理で未対応データ異常が検知された場合に、当該分類対象データを未知のクラスであると判定する。
また、状態(a)において、再学習処理部125は、未知のクラスである分類対象データが正常データである場合に、未知のクラスである分類対象データを用いて、正常用異常検知・特徴量抽出モデルMA1を再学習するとともに、正常用分類モデルMA2を新規学習して生成する。この場合、データ分類装置10の状態は、状態(a)から状態(b)に変更される。
【0064】
また、状態(a)において、再学習処理部125は、未知のクラスである分類対象データが異常データである場合に、未知のクラスである分類対象データを用いて、異常用異常検知・特徴量抽出モデルMB1を新規学習して生成する。この場合、データ分類装置10の状態は、状態(a)から状態(c)に変更される。
【0065】
また、
図3に示す状態(b)において、データの種類は、正常クラス2つ以上であり、この場合、モデル記憶部112は、正常用異常検知・特徴量抽出モデルMA1と、正常用分類モデルMA2とを記憶し、異常用異常検知・特徴量抽出モデルMB1、及び異常用分類モデルMB2は、存在しない(
図5参照)。
【0066】
図5は、本実施形態によるデータ分類システム1の状態(b)の一例を示す図である。
図3及び
図5に示す状態(b)において、データ分類処理部122は、正常用異常検知・特徴量抽出モデルMA1を用いた正常データ異常検知処理を実行し、未対応データ異常が検知されなかった場合に、正常データ異常検知処理により抽出した特徴量と、正常用分類モデルMA2を用いて、分類対象データを正常データのクラスに分類する。
【0067】
また、状態(b)において、未知クラス判定部123は、正常データ異常検知処理で未対応データ異常が検知された場合に、当該分類対象データを未知のクラスであると判定する。
また、状態(b)において、再学習処理部125は、未知のクラスである分類対象データが正常データである場合に、未知のクラスである分類対象データを用いて、正常用異常検知・特徴量抽出モデルMA1及び正常用分類モデルMA2を再学習するこの場合、データ分類装置10の状態は、状態(b)が維持される。
【0068】
また、状態(b)において、再学習処理部125は、未知のクラスである分類対象データが異常データである場合に、未知のクラスである分類対象データを用いて、異常用異常検知・特徴量抽出モデルMB1を新規学習して生成する。この場合、データ分類装置10の状態は、状態(b)から状態(d)に変更される。
【0069】
また、
図3に示す状態(c)において、データの種類は、正常クラス1つ、異常データ1つであり、この場合、モデル記憶部112は、正常用異常検知・特徴量抽出モデルMA1と、異常用異常検知・特徴量抽出モデルMB1とを記憶し、正常用分類モデルMA2、及び異常用分類モデルMB2は、存在しない(
図6参照)。
【0070】
図6は、本実施形態によるデータ分類システム1の状態(c)の一例を示す図である。
図3及び
図6に示す状態(c)において、データ分類処理部122は、正常用異常検知・特徴量抽出モデルMA1を用いた正常データ異常検知処理を実行し、未対応データ異常が検知されなかった場合に、分類対象データを、正常用異常検知・特徴量抽出モデルMA1に対応した1つのクラスに分類する。
【0071】
データ分類処理部122は、正常データ異常検知処理を実行し、未対応データ異常が検知されたかった場合に、異常用異常検知・特徴量抽出モデルMB1を用いた異常データ異常検知処理を実行する。この場合、データ分類処理部122は、異常データ異常検知処理において、未対応データ異常が検知されなかった場合に、分類対象データを、異常用異常検知・特徴量抽出モデルMB1に対応した1つのクラスに分類する。
【0072】
また、状態(c)において、未知クラス判定部123は、正常データ異常検知処理で未対応データ異常が検知され、且つ、異常データ異常検知処理で未対応データ異常が検知された場合に、当該分類対象データを未知のクラスであると判定する。
また、状態(c)において、再学習処理部125は、未知のクラスである分類対象データが正常データである場合に、未知のクラスである分類対象データを用いて、正常用異常検知・特徴量抽出モデルMA1を再学習するとともに、正常用分類モデルMA2を新規学習して生成する。この場合、データ分類装置10の状態は、状態(c)から状態(d)に変更される。
【0073】
また、
図3に示す状態(d)において、データの種類は、正常クラス2つ以上、異常データ1つであり、この場合、モデル記憶部112は、正常用異常検知・特徴量抽出モデルMA1と、正常用分類モデルMA2と、異常用異常検知・特徴量抽出モデルMB1とを記憶し、異常用分類モデルMB2は、存在しない(
図7参照)。
【0074】
図7は、本実施形態によるデータ分類システム1の状態(d)の一例を示す図である。
図3及び
図7に示す状態(d)において、データ分類処理部122は、正常用異常検知・特徴量抽出モデルMA1を用いた正常データ異常検知処理を実行し、未対応データ異常が検知されなかった場合に、正常データ異常検知処理により抽出した特徴量と、正常用分類モデルMA2を用いて、分類対象データを正常データのクラスに分類する。
【0075】
また、状態(d)において、データ分類処理部122は、正常データ異常検知処理を実行し、未対応データ異常が検知された場合に、異常用異常検知・特徴量抽出モデルMB1を用いた異常データ異常検知処理を実行する。この場合、データ分類処理部122は、異常データ異常検知処理において、未対応データ異常が検知されなかった場合に、分類対象データを、異常用異常検知・特徴量抽出モデルMB1に対応した1つのクラスに分類する。
【0076】
また、状態(d)において、未知クラス判定部123は、正常データ異常検知処理で未対応データ異常が検知され、且つ、異常データ異常検知処理で未対応データ異常が検知された場合に、当該分類対象データを未知のクラスであると判定する。
【0077】
また、状態(d)において、再学習処理部125は、未知のクラスである分類対象データが正常データである場合に、未知のクラスである分類対象データを用いて、正常用異常検知・特徴量抽出モデルMA1を再学習するとともに、正常用分類モデルMA2を新規学習して生成する。この場合、データ分類装置10の状態は、状態(d)が維持される。
【0078】
また、状態(d)において、再学習処理部125は、未知のクラスである分類対象データが異常データである場合に、未知のクラスである分類対象データを用いて、異常用異常検知・特徴量抽出モデルMB1を再学習するとともに、異常用分類モデルMB2を新規学習して生成する。この場合、データ分類装置10の状態は、状態(d)から状態(e)に変更される。
【0079】
また、
図3に示す状態(e)において、データの種類は、正常クラス2つ以上、異常データ2つ以上であり、この場合、モデル記憶部112は、正常用異常検知・特徴量抽出モデルMA1と、正常用分類モデルMA2と、異常用異常検知・特徴量抽出モデルMB1と、異常用分類モデルMB2とを記憶する(
図8参照)。
【0080】
図8は、本実施形態によるデータ分類システム1の状態(e)の一例を示す図である。
図3及び
図8に示す状態(e)において、データ分類処理部122は、正常用異常検知・特徴量抽出モデルMA1を用いた正常データ異常検知処理を実行し、未対応データ異常が検知されなかった場合に、正常データ異常検知処理により抽出した特徴量と、正常用分類モデルMA2を用いて、分類対象データを正常データのクラスに分類する。
【0081】
また、状態(e)において、データ分類処理部122は、正常データ異常検知処理において未対応データ異常が検知された場合に、異常用異常検知・特徴量抽出モデルMB1を用いた異常データ異常検知処理を実行する。さらに、データ分類処理部122は、異常データ異常検知処理により抽出した特徴量と、異常用分類モデルMB2を用いて、分類対象データを異常データのクラスに分類する。
【0082】
また、状態(e)において、未知クラス判定部123は、正常データ異常検知処理で未対応データ異常が検知され、且つ、異常用分類モデルMB2を用いた異常分類処理において分類された異常データのクラスが、クラス判定閾値以下である場合に、当該分類対象データを未知のクラスであると判定する。
【0083】
また、状態(e)において、再学習処理部125は、未知のクラスである分類対象データが正常データである場合に、未知のクラスである分類対象データを用いて、正常用異常検知・特徴量抽出モデルMA1及び正常用分類モデルMA2を再学習する。この場合、データ分類装置10の状態は、状態(e)が維持される。
【0084】
また、状態(e)において、再学習処理部125は、未知のクラスである分類対象データが異常データである場合に、未知のクラスである分類対象データを用いて、異常用異常検知・特徴量抽出モデルMB1及び異常用分類モデルMB2を再学習する。この場合、データ分類装置10の状態は、状態(e)が維持される。
【0085】
次に、図面を参照して、本実施形態によるデータ分類システム1の動作について説明する。
図9は、本実施形態によるデータ分類システム1の動作の一例を示すフローチャートである。
【0086】
図9に示すように、データ分類システム1のデータ分類装置10は、まず、分類対象データを取得する(ステップS101)。データ分類装置10のデータ分類処理部122は、データ収集記憶装置20から分類対象データを取得する。
【0087】
次に、データ分類処理部122は、分類対象データに正常用異常検知・特徴量抽出モデルMA1による異常検知処理(正常データ異常検知処理)を行う(ステップS102)。データ分類処理部122の正常検知処理部FA1は、モデル記憶部112が記憶する正常用異常検知・特徴量抽出モデルMA1を用いて、正常データ異常検知処理を実行する。
【0088】
次に、データ分類処理部122は、正常用の再構成誤差が閾値以下(第1閾値以下)であるか否かを判定する(ステップS103)。データ分類処理部122は、正常用の再構成誤差が閾値以下(第1閾値以下)である場合(ステップS103:YES)に、処理をステップS104に進める。また、データ分類処理部122は、正常用の再構成誤差が閾値より大きい(第1閾値より大きい)場合(ステップS103:NO)に、処理をステップS108に進める。
【0089】
ステップS104において、データ分類処理部122は、正常用分類モデルMA2が存在するか否かを判定する。データ分類処理部122は、モデル記憶部112が正常用分類モデルMA2を記憶しているか否かを判定する。データ分類処理部122は、正常用分類モデルMA2が存在する場合(ステップS104:YES)に、処理をステップS105に進める。また、データ分類処理部122は、正常用分類モデルMA2が存在しない場合(ステップS104:NO)に、処理をステップS107に進める。
【0090】
ステップS105において、データ分類処理部122は、特徴量と正常用分類モデル
MA2とにより分類処理を行う。データ分類処理部122の正常分類処理部FA2は、正常用異常検知・特徴量抽出モデルMA1を用いて抽出した特徴量と、モデル記憶部112が記憶する正常用分類モデルMA2とにより、正常分類処理を実行する。正常分類処理部FA2は、分類結果である分類クラス(正常データのクラス)を分類結果記憶部113に記憶させる。
【0091】
次に、出力処理部126は、分類された分類クラスを出力する(ステップS106)。出力処理部126は、分類結果記憶部113が記憶する分類クラスを、例えば、利用者端末、表示装置、又はプリンタ、等に出力する。ステップS106の処理後に、制御部12は、処理を終了する。
【0092】
また、ステップS107において、出力処理部126は、初期学習データの正常クラスを分類クラスとして出力する。データ分類処理部122は、初期学習データの正常クラスを分類クラスに分類し、分類結果記憶部113に記憶させる。出力処理部126は、分類結果記憶部113が記憶する分類クラスを、例えば、利用者端末、表示装置、又はプリンタ、等に出力する。ステップS107の処理後に、制御部12は、処理を終了する。
【0093】
また、ステップS108において、データ分類処理部122は、異常用異常検知・特徴量抽出モデルMB1が存在するか否かを判定する。データ分類処理部122は、モデル記憶部112が異常用異常検知・特徴量抽出モデルMB1を記憶しているか否かを判定する。データ分類処理部122は、異常用異常検知・特徴量抽出モデルMB1が存在する場合(ステップS108:YES)に、処理をステップS109に進める。また、データ分類処理部122は、異常用異常検知・特徴量抽出モデルMB1が存在しない場合(ステップS108:NO)に、処理をステップS116に進める。
【0094】
ステップS109において、データ分類処理部122は、対象データに異常用異常検知・特徴量抽出モデルMB1による異常検知処理(異常データ異常検知処理)を行う。データ分類処理部122の異常検知処理部FB1は、モデル記憶部112が記憶する異常用異常検知・特徴量抽出モデルMB1を用いて、異常データ異常検知処理を実行する。
【0095】
次に、データ分類処理部122は、異常用分類モデルMB2が存在するか否かを判定する(ステップS110)。データ分類処理部122は、モデル記憶部112が異常用分類モデルMB2を記憶しているか否かを判定する。データ分類処理部122は、異常用分類モデルMB2が存在する場合(ステップS110:YES)に、処理をステップS113に進める。また、データ分類処理部122は、異常用分類モデルMB2が存在しない場合(ステップS110:NO)に、処理をステップS111に進める。
【0096】
ステップS111において、データ分類処理部122は、異常用の再構成誤差が閾値以下(第2閾値以下)であるか否かを判定する。データ分類処理部122は、異常用の再構成誤差が閾値以下(第2閾値以下)である場合(ステップS111:YES)に、処理をステップS112に進める。また、データ分類処理部122は、異常用の再構成誤差が閾値より大きい(第2閾値より大きい)場合(ステップS111:NO)に、未知のクラスと判定し、処理をステップS118に進める。
【0097】
ステップS112において、出力処理部126は、初期学習データの異常クラスを分類クラスとして出力する。データ分類処理部122は、初期学習データの正常クラスを分類クラスに分類し、分類結果記憶部113に記憶させる。出力処理部126は、分類結果記憶部113が記憶する分類クラスを、例えば、利用者端末、表示装置、又はプリンタ、等に出力する。ステップS112の処理後に、制御部12は、処理を終了する。
【0098】
また、ステップS113において、データ分類処理部122は、特徴量と異常用分類モデルとにより分類処理を行う。データ分類処理部122の異常分類処理部FB2は、異常用異常検知・特徴量抽出モデルMB1を用いて抽出した特徴量と、モデル記憶部112が記憶する異常用分類モデルMB2とにより、異常分類処理を実行する。異常分類処理部FB2は、分類結果である分類クラス(異常データのクラス)を分類結果記憶部113に記憶させる。
【0099】
次に、データ分類処理部122は、分類クラスが判定閾値以下(クラス判定閾値以下)であるか否かを判定する(ステップS114)。データ分類処理部122は、分類クラスが判定閾値以下(クラス判定閾値以下)である場合(ステップS114:YES)に、処理をステップS117に進める。また、データ分類処理部122は、分類クラスが判定閾値より大きい(クラス判定閾値より大きい)である場合(ステップS114:NO)に、処理をステップS115に進める。
【0100】
ステップS115において、出力処理部126は、分類されたクラスを出力する。データ分類処理部122は、分類されたクラスである異常データのクラスを分類クラスとして、分類結果記憶部113に記憶させる。出力処理部126は、分類結果記憶部113が記憶する分類クラスを、例えば、利用者端末、表示装置、又はプリンタ、等に出力する。ステップS115の処理後に、制御部12は、処理を終了する。
【0101】
また、ステップS116において、未知クラス判定部123は、未知クラスと判定し、再学習処理SL1を行う。未知クラス判定部123は、
図10を参照して後述する再学習処理SL1を、再学習処理部125に実行させる。再学習処理SL1の処理終了後に、制御部12は、処理を終了する。
【0102】
また、ステップS117において、未知クラス判定部123は、未知クラスと判定し、再学習処理SL3を行う。未知クラス判定部123は、
図12を参照して後述する再学習処理SL3を、再学習処理部125に実行させる。再学習処理SL3の処理終了後に、制御部12は、処理を終了する。
【0103】
また、ステップS118において、未知クラス判定部123は、未知クラスと判定し、再学習処理SL2を行う。未知クラス判定部123は、
図11を参照して後述する再学習処理SL2を、再学習処理部125に実行させる。再学習処理SL2の処理終了後に、制御部12は、処理を終了する。
【0104】
次に、
図10を参照して、再学習処理SL1(第1の再学習処理)の処理の詳細について説明する。
図10は、本実施形態によるデータ分類システム1の第1の再学習処理の一例を示すフローチャートである。ここで、第1の再学習処理は、上述した
図9に示すステップS116の再学習処理SL1である。
【0105】
図10に示すように、再学習処理SL1(第1の再学習処理)において、まず、再学習処理部125は、未知のクラスである分類対象データが、未知の正常データであるか否かを判定する(ステップS201)。なお、未知の正常データであるか否かの判定は、利用者によって行われてもよいし、ラベル付処理部124によって実行されてもよい。再学習処理部125は、未知のクラスである分類対象データが、未知の正常データである場合(ステップS201:YES)に、処理をステップS202に進める。また、再学習処理部125は、未知のクラスである分類対象データが、未知の正常データでなし(未知の異常データである)場合(ステップS201:NO)に、処理をステップS206に進める。
【0106】
ステップS202において、再学習処理部125は、正常用異常検知・特徴量抽出モデルMA1を再学習する。再学習処理部125は、再学習した正常用異常検知・特徴量抽出モデルMA1をモデル記憶部112に記憶させる。
【0107】
次に、再学習処理部125は、正常用分類モデルMA2が存在するか否かを判定する(ステップS203)。再学習処理部125は、モデル記憶部112に正常用分類モデルMA2が記憶されているか否かを判定する。再学習処理部125は、正常用分類モデルMA2が存在する場合(ステップS203:YES)に、処理をステップS204に進める。また、再学習処理部125は、正常用分類モデルMA2が存在しない場合(ステップS203:NO)に、処理をステップS205に進める。
【0108】
ステップS204において、再学習処理部125は、正常用分類モデルMA2を再学習する。再学習処理部125は、再学習した正常用分類モデルMA2を、モデル記憶部112に記憶させる。ステップS204の処理後に、再学習処理部125は、再学習処理SL1の処理を終了する。
【0109】
また、ステップS205において、再学習処理部125は、正常用分類モデルMA2を学習して新規生成する。再学習処理部125は、新規生成した正常用分類モデルMA2を、モデル記憶部112に記憶させる。ステップS205の処理後に、再学習処理部125は、再学習処理SL1の処理を終了する。
【0110】
また、ステップS206において、再学習処理部125は、異常用異常検知・特徴量抽出モデルMB1を学習して新規生成する。再学習処理部125は、新規生成した異常用異常検知・特徴量抽出モデルMB1を、モデル記憶部112に記憶させる。ステップS206の処理後に、再学習処理部125は、再学習処理SL1の処理を終了する。
【0111】
次に、
図11を参照して、再学習処理SL2(第2の再学習処理)の処理の詳細について説明する。
図11は、本実施形態によるデータ分類システム1の第2の再学習処理の一例を示すフローチャートである。ここで、第2の再学習処理は、上述した
図9に示すステップS118の再学習処理SL2である。
【0112】
図11に示すように、再学習処理SL2(第2の再学習処理)において、まず、再学習処理部125は、未知のクラスである分類対象データを自動分類するか否かを判定する(ステップS301)。再学習処理部125は、未知のクラスである分類対象データを自動分類する場合(ステップS301:YES)に、ラベル付処理部124に、自動でラベル付けを行って分類し、処理をステップS307に進める。また、再学習処理部125は、未知のクラスである分類対象データを自動分類しない場合(ステップS301:NO)に、処理をステップS302に進める。
【0113】
ステップS302において、再学習処理部125は、未知のクラスである分類対象データが、未知の正常データであるか否かを判定する。再学習処理部125は、未知のクラスである分類対象データが、未知の正常データである場合(ステップS302:YES)に、処理をステップS303に進める。また、再学習処理部125は、未知のクラスである分類対象データが、未知の正常データでなし(未知の異常データである)場合(ステップS302:NO)に、処理をステップS307に進める。
【0114】
ステップS303において、再学習処理部125は、正常用異常検知・特徴量抽出モデルMA1を再学習する。再学習処理部125は、再学習した正常用異常検知・特徴量抽出モデルMA1をモデル記憶部112に記憶させる。
【0115】
次に、再学習処理部125は、正常用分類モデルMA2が存在するか否かを判定する(ステップS304)。再学習処理部125は、モデル記憶部112に正常用分類モデルMA2が記憶されているか否かを判定する。再学習処理部125は、正常用分類モデルMA2が存在する場合(ステップS304:YES)に、処理をステップS305に進める。また、再学習処理部125は、正常用分類モデルMA2が存在しない場合(ステップS304:NO)に、処理をステップS306に進める。
【0116】
ステップS305において、再学習処理部125は、正常用分類モデルMA2を再学習する。再学習処理部125は、再学習した正常用分類モデルMA2を、モデル記憶部112に記憶させる。ステップS306の処理後に、再学習処理部125は、再学習処理SL2の処理を終了する。
【0117】
また、ステップS306において、再学習処理部125は、正常用分類モデルMA2を学習して新規生成する。再学習処理部125は、新規生成した正常用分類モデルMA2を、モデル記憶部112に記憶させる。ステップS306の処理後に、再学習処理部125は、再学習処理SL2の処理を終了する。
【0118】
また、ステップS307において、再学習処理部125は、異常用異常検知・特徴量抽出モデルMB1を再学習する。再学習処理部125は、再学習した異常用異常検知・特徴量抽出モデルMB1をモデル記憶部112に記憶させる。
【0119】
次に、再学習処理部125は、異常用分類モデルMB2を学習して新規生成する(ステップS308)。再学習処理部125は、新規生成した異常用分類モデルMB2を、モデル記憶部112に記憶させる。ステップS308の処理後に、再学習処理部125は、再学習処理SL2の処理を終了する。
【0120】
次に、
図12を参照して、再学習処理SL3(第3の再学習処理)の処理の詳細について説明する。
図12は、本実施形態によるデータ分類システム1の第3の再学習処理の一例を示すフローチャートである。ここで、第3の再学習処理は、上述した
図9に示すステップS117の再学習処理SL3である。
【0121】
図12に示すように、再学習処理SL3(第3の再学習処理)において、まず、再学習処理部125は、未知のクラスである分類対象データを自動分類するか否かを判定する(ステップS401)。再学習処理部125は、未知のクラスである分類対象データを自動分類する場合(ステップS401:YES)に、ラベル付処理部124に、自動でラベル付けを行って分類し、処理をステップS408に進める。また、再学習処理部125は、未知のクラスである分類対象データを自動分類しない場合(ステップS401:NO)に、処理をステップS402に進める。
【0122】
ステップS402において、再学習処理部125は、未知のクラスである分類対象データが、未知の異常データであるか否かを判定する。再学習処理部125は、未知のクラスである分類対象データが、未知の異常データである場合(ステップS402:YES)に、処理をステップS408に進める。また、再学習処理部125は、未知のクラスである分類対象データが、未知の異常データでなし(未知の正常データである)場合(ステップS402:NO)に、処理をステップS403に進める。
【0123】
ステップS403において、再学習処理部125は、正常用異常検知・特徴量抽出モデルMA1を再学習する。再学習処理部125は、再学習した正常用異常検知・特徴量抽出モデルMA1をモデル記憶部112に記憶させる。
【0124】
次に、再学習処理部125は、正常用分類モデルMA2が存在するか否かを判定する(ステップS404)。再学習処理部125は、モデル記憶部112に正常用分類モデルMA2が記憶されているか否かを判定する。再学習処理部125は、正常用分類モデルMA2が存在する場合(ステップS404:YES)に、処理をステップS405に進める。また、再学習処理部125は、正常用分類モデルMA2が存在しない場合(ステップS404:NO)に、処理をステップS406に進める。
【0125】
ステップS405において、再学習処理部125は、正常用分類モデルMA2を再学習する。再学習処理部125は、再学習した正常用分類モデルMA2を、モデル記憶部112に記憶させる。ステップS405の処理後に、再学習処理部125は、再学習処理SL3の処理を終了する。
【0126】
ステップS406において、再学習処理部125は、正常用分類モデルMA2を学習して新規生成する。再学習処理部125は、新規生成した正常用分類モデルMA2を、モデル記憶部112に記憶させる。ステップS406の処理後に、再学習処理部125は、再学習処理SL3の処理を終了する。
【0127】
また、ステップS407において、再学習処理部125は、異常用異常検知・特徴量抽出モデルMB1を再学習する。再学習処理部125は、再学習した異常用異常検知・特徴量抽出モデルMB1をモデル記憶部112に記憶させる。
【0128】
次に、再学習処理部125は、異常用分類モデルMB2を再学習する(ステップS408)。再学習処理部125は、再学習した異常用分類モデルMB2を、モデル記憶部112に記憶させる。ステップS408の処理後に、再学習処理部125は、再学習処理SL3の処理を終了する。
【0129】
以上説明したように、本実施形態によるデータ分類システム1は、データ分類処理部122と、未知クラス判定部123と、再学習処理部125とを備える。データ分類処理部122は、分類対象データを分類クラスに分類し、データ異常検知処理と、分類処理とを実行する。データ分類処理部122は、データ異常検知処理において、少なくとも1つのクラスの正常データに基づく初期学習処理により生成された正常データに対する特徴量の抽出及び異常検知を行う正常用異常検知・特徴量抽出モデルMA1(第1学習済みモデル)を用いて、分類対象データがクラス分類するデータとして未対応のデータである未対応データ異常を検知する。また、データ分類処理部122は、分類処理において、データ異常検知処理の処理結果に基づいて、分類対象データを少なくとも正常データのクラスに分類する。未知クラス判定部123は、データ異常検知処理の処理結果に基づいて、分類対象データを未知のクラスであると判定する。再学習処理部125は、未知クラス判定部123が分類対象データを未知のクラスであると判定した場合に、未知のクラスである分類対象データ及び正常データに基づいて、正常用異常検知・特徴量抽出モデルMA1を再学習する。再学習処理部125は、正常データに対する特徴量に基づいて、分類対象データを、正常データのクラスに分類する正常用分類モデルMA2(第2学習済みモデル)を新規学習又は再学習する。
【0130】
これにより、本実施形態によるデータ分類システム1は、分類のクラス数ごとに、学習済みモデルを構築する必要がなく、分類に対応した最低限のクラスに対応した学習済みモデルを保持する。そのため、本実施形態によるデータ分類システム1は、クラスの分類処理のための学習済みモデルをコンパクトにすることができ、学習処理(初期学習処理及び再学習処理)と、クラスの分類処理とにおける計算量の増大を抑制することができる。また、本実施形態によるデータ分類システム1は、未知のクラスを自動判定し、再学習処理により対応させることができる。よって、本実施形態によるデータ分類システム1は、計算量の増大を抑制しつつ、未知のクラスに対応させてデータを適切に分類することができる。
【0131】
また、本実施形態では、再学習処理部125は、正常用分類モデルMA2が存在しない場合に、正常用分類モデルMA2を新規学習する。データ分類処理部122は、分類処理において、正常用分類モデルMA2が存在する場合に、正常用分類モデルMA2を用いて、分類対象データを、正常データのクラスに分類する。
【0132】
これにより、本実施形態によるデータ分類システム1は、必要に応じて、正常用分類モデルMA2を新規学習し、正常用分類モデルMA2を用いて、分類対象データを、正常データのクラスに分類するため、分類対象データを、精度良く分類することができる。
【0133】
また、本実施形態では、再学習処理部125は、未知のクラスである分類対象データが、正常データに分類され、且つ、正常用分類モデルMA2が存在しない場合に、正常用分類モデルMA2を新規学習する。再学習処理部125は、未知のクラスである分類対象データが、正常データに分類され、且つ、正常用分類モデルMA2が存在する場合に、正常用分類モデルMA2を再学習する。再学習処理部125は、未知のクラスである分類対象データが、異常データに分類される場合に、少なくとも1つのクラスの異常データに基づいて、異常データに対する特徴量の抽出及び異常検知を行う異常用異常検知・特徴量抽出モデルMB1(第3学習済みモデル)を新規学習する。
【0134】
これにより、本実施形態によるデータ分類システム1は、未知のクラスである分類対象データが、異常データに分類される場合に、適切に対応することができる。
【0135】
また、本実施形態では、データ異常検知処理には、正常データ異常検知処理(第1異常検知処理)と、異常データ異常検知処理(第2異常検知処理)とが含まれる。正常データ異常検知処理は、正常データの異常検知を行う正常用異常検知・特徴量抽出モデルMA1を用いて、分類対象データが正常データとして未対応のデータである異常を検知する処理である。異常データ異常検知処理は、異常データの異常検知を行う異常用異常検知・特徴量抽出モデルMB1を用いて、分類対象データが異常データとして未対応のデータである異常を検知する処理である。また、分類処理には、分類対象データを、正常データのクラスに分類する正常分類処理(第1分類処理)と、分類対象データを、異常データのクラスに分類する異常分類処理(第2分類処理)とが含まれる。データ分類処理部122は、正常用分類モデルMA2が存在し、正常データ異常検知処理により未対応データ異常が検知されなかった場合に、正常分類処理として、正常用分類モデルMA2を用いて、分類対象データを、正常データのクラスに分類する。データ分類処理部122は、正常データ異常検知処理により未対応データ異常が検知された場合に、異常分類処理として、異常データ異常検知処理の処理結果に基づいて、分類対象データを異常データのクラスに分類する。再学習処理部125は、未知のクラスである分類対象データが、異常データに分類された場合に、未知のクラスである分類対象データ及び異常データに基づいて、異常検知を行う異常用異常検知・特徴量抽出モデルMB1を再学習する。再学習処理部125は、正常データに対する特徴量に基づいて、分類対象データを、異常データのクラスに分類する異常用分類モデルMB2(第4学習済みモデル)を新規学習又は再学習する。
【0136】
これにより、本実施形態によるデータ分類システム1は、正常データのクラス分類と、異常データのクラス分類との両方に対応可能であり、未知のクラスに対応させてデータを適切に分類することができる。
【0137】
また、本実施形態では、再学習処理部125は、未知のクラスである分類対象データが、異常データに分類され、且つ、異常用分類モデルMB2が存在しない場合に、異常用分類モデルMB2を新規学習する。また、再学習処理部125は、未知のクラスである分類対象データが、異常データに分類され、且つ、異常用分類モデルMB2が存在する場合に、異常用分類モデルMB2を再学習する。データ分類処理部122は、異常分類処理において、異常用分類モデルMB2が存在し、異常データ異常検知処理により未対応データ異常が検知されなかった場合に、異常用分類モデルMB2を用いて、分類対象データを、異常データのクラスに分類する。
【0138】
これにより、本実施形態によるデータ分類システム1は、未知のクラスを検知した場合に、適切に再学習処理を行うことができ、未知のクラスに対応させてデータをさらに適切に分類することができる。
【0139】
また、本実施形態では、未知クラス判定部123は、正常データ異常検知処理において、分類対象データに未対応データ異常が検知され、且つ、異常検知を行う異常用異常検知・特徴量抽出モデルMB1が存在しない場合に、当該分類対象データを未知のクラスであると判定する。
【0140】
これにより、本実施形態によるデータ分類システム1は、正常用異常検知・特徴量抽出モデルMA1を用いた正常データ異常検知処理により、簡易な手法により、未知のクラスを適切に判定することができる。
【0141】
また、本実施形態では、未知クラス判定部123は、正常データ異常検知処理及び異常データ異常検知処理の両方において、分類対象データに未対応データ異常が検知され場合に、当該分類対象データを未知のクラスであると判定する。
【0142】
これにより、本実施形態によるデータ分類システム1は、正常データ異常検知処理及び異常データ異常検知処理の両方を用いて、さらに精度良く未知のクラスを判定することができる。
【0143】
また、本実施形態では、未知クラス判定部123は、正常データ異常検知処理において、分類対象データに未対応データ異常が検知され、且つ、異常分類処理において分類された異常データのクラスが、クラス判定閾値以下である場合に、当該分類対象データを未知のクラスであると判定する。
これにより、本実施形態によるデータ分類システム1は、正常データ異常検知処理及び異常分類処理を用いて、さらに精度良く未知のクラスを判定することができる。
【0144】
また、本実施形態では、データ分類処理部122は、正常データ異常検知処理において、正常用異常検知・特徴量抽出モデルMA1を用いて、分類対象データの再構成誤差を算出し、正常データ異常検知処理における再構成誤差が第1閾値より大きい場合に、分類対象データに未対応データ異常が検知されたと判定する。また、データ分類処理部122は、異常データ異常検知処理において、異常検知を行う異常用異常検知・特徴量抽出モデルMB1を用いて、分類対象データの再構成誤差を算出し、異常データ異常検知処理における再構成誤差が第2閾値より大きい場合に、分類対象データに未対応データ異常が検知されたと判定する。
これにより、本実施形態によるデータ分類システム1は、再構成誤差を用いた簡易な手法により、精度良く未知のクラスを判定することができる。
【0145】
また、本実施形態によるデータ分類システム1は、初期学習処理により正常用異常検知・特徴量抽出モデルMA1を生成する初期学習処理部121を備える。
これにより、本実施形態によるデータ分類システム1は、初期学習処理に対応することができる。
【0146】
また、本実施形態によるデータ分類方法は、データ分類処理ステップと、未知クラス判定ステップと、再学習処理ステップとを含む。データ分類処理部122が、データ分類処理ステップにおいて、分類対象データを分類クラスに分類する。データ分類処理部122が、データ分類処理ステップにおいて、データ異常検知処理と、分類処理とを実行する。データ分類処理部122は、データ異常検知処理として、少なくとも1つのクラスの正常データに基づく初期学習処理により生成された正常データに対する特徴量の抽出及び異常検知を行う正常用異常検知・特徴量抽出モデルMA1を用いて、分類対象データがクラス分類するデータとして未対応のデータである未対応データ異常を検知する。また、データ分類処理部122は、分類処理として、データ異常検知処理の処理結果に基づいて、分類対象データを少なくとも正常データのクラスに分類する。未知クラス判定ステップにおいて、未知クラス判定部123が、データ異常検知処理の処理結果に基づいて、分類対象データを未知のクラスであると判定する。再学習処理ステップにおいて、再学習処理部125が、未知クラス判定ステップによって、分類対象データを未知のクラスであると判定された場合に、未知のクラスである分類対象データ及び正常データに基づいて、第1学習済みモデルを再学習する。また、再学習処理ステップにおいて、再学習処理部125が、正常データに対する特徴量に基づいて、分類対象データを、正常データのクラスに分類する正常用分類モデルMA2を新規学習又は再学習する。
【0147】
これにより、本実施形態によるデータ分類方法は、上述したデータ分類システム1と同様の効果を奏し、計算量の増大を抑制しつつ、未知のクラスに対応させてデータを適切に分類することができる。
【0148】
図13は、本実施形態によるデータ分類システム1の各装置のハードウェア構成を説明する図である。
図13に示す装置は、データ分類システム1の各装置(データ分類装置10、データ収集記憶装置20)のハードウェア構成を示している。
【0149】
図13に示すように、データ分類システム1の各装置(データ分類装置10、データ収集記憶装置20)は、通信デバイスH11と、メモリH12と、プロセッサH13とを備える。
【0150】
通信デバイスH11は、例えば、LANカード、等のネットワークNW1に接続可能な通信装置である。
メモリH12は、例えば、RAM、フラッシュメモリ、HDD、等の記憶装置であり、各装置(データ分類装置10、データ収集記憶装置20)が利用する各種情報、及びプログラムを記憶する。
【0151】
プロセッサH13は、例えば、CPUなどを含む処理回路である。プロセッサH13は、メモリH12に記憶されているプログラムを実行させることで、各装置(データ分類装置10、データ収集記憶装置20)の各種処理を実行する。
【0152】
なお、本開示は、上記の実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の実施形態において、分類対象データは、鉄塔及び送電線(架空送電線)の画像データである例を説明したが、これに限定されるものではない。分類対象データは、画像データの他に、音データ、時系列データ、等、他のデータに対して適用してもよい。
【0153】
また、上記の実施形態では、データ分類システム1が、1台の装置(データ分類装置10)で構成される例を説明したが、これに限定されるものではなく、データ分類システム1は、
図14に示すように、複数の装置で構成されてもよい。
【0154】
図14は、本実施形態によるデータ分類システム1aの変形例を示す機能ブロック図である。
図14に示すように、データ分類システム1aは、初期学習装置101と、分類処理装置102と、未知クラス判定装置103と、ラベル付装置104と、再学習装置105と、分類結果出力装置106とを備える。また、分類処理装置102は、正常検知装置1021と、正常分類装置1022と、異常検知装置1023と、異常分類装置1024とを備える。
【0155】
なお、各装置が備える初期学習処理部121と、未知クラス判定部123と、ラベル付処理部124と、再学習処理部125と、出力処理部126と、正常検知処理部FA1と、正常分類処理部FA2と、異常検知処理部FB1と、異常分類処理部FB2と、正常用異常検知・特徴量抽出モデルMA1と、正常用分類モデルMA2と、異常用異常検知・特徴量抽出モデルMB1と、異常用分類モデルMB2と、分類結果記憶部113とは、
図1と同様の構成であり、同様の機能を有する。
【0156】
また、上記の実施形態において、データ分類装置10が、初期学習処理部121を備える例を説明したがこれに限定されるものではなく、データ分類装置10の外部に備える構成であってもよい。
【0157】
また、上記の実施形態において、初期学習処理部121は、1つのクラスに対応した正常用異常検知・特徴量抽出モデルMA1を初期学習する例を説明したが、これに限定されるものではなく、正常用異常検知・特徴量抽出モデルMA1、正常用分類モデルMA2、異常用異常検知・特徴量抽出モデルMB1、及び異常用分類モデルMB2を初期学習する構成であってもよい。
【0158】
また、上記の実施形態において、データ分類処理部122は、データ収集記憶装置20から取得した分類対象データをそのまま使用する例を説明したが、これに限定されるものではなく、取得した分類対象データを予め加工処理、不要物の除去、フィルタ処理、等を行って使用するようにしてもよい。
【0159】
また、上記の実施形態において、未知クラス判定部123は、正常データ異常検知処理で未対応データ異常が検出されなかった、且つ、正常分類処理で正常データのクラスが、クラス判定閾値以下である場合に、正常データ異常検知処理で未対応データ異常が検出された場合と同様の処理を実行するようにしてもよい。
【0160】
なお、上述したデータ分類システム1が備える各構成は、内部に、コンピュータシステムを有している。そして、上述したデータ分類システム1が備える各構成の機能を実現するためのプログラムをコンピュータが読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述したデータ分類システム1が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OS及び周辺機器等のハードウェアを含むものとする。
【0161】
また、「コンピュータシステム」は、インターネット、WAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータが読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。
【0162】
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後にデータ分類システム1が備える各構成で合体される構成、又は分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータが読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバ又はクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0163】
以下、本開示の諸態様を付記としてまとめて記載する。
(付記1)
分類対象データを分類クラスに分類するデータ分類処理部であって、
少なくとも1つのクラスの正常データに基づく初期学習処理により生成された前記正常データに対する特徴量の抽出及び異常検知を行う第1学習済みモデルを用いて、前記分類対象データがクラス分類するデータとして未対応のデータである未対応データ異常を検知する異常検知処理と、
前記異常検知処理の処理結果に基づいて、前記分類対象データを少なくとも前記正常データのクラスに分類する分類処理と
を実行するデータ分類処理部と、
前記異常検知処理の処理結果に基づいて、前記分類対象データを未知のクラスであると判定する未知クラス判定部と、
前記未知クラス判定部が前記分類対象データを前記未知のクラスであると判定した場合に、前記未知のクラスである前記分類対象データ及び前記正常データに基づいて、前記第1学習済みモデルを再学習するとともに、前記正常データに対する特徴量に基づいて、前記分類対象データを、前記正常データのクラスに分類する第2学習済みモデルを新規学習又は再学習する再学習処理部と
を備えるデータ分類システム。
(付記2)
前記再学習処理部は、前記第2学習済みモデルが存在しない場合に、前記第2学習済みモデルを新規学習し、
前記データ分類処理部は、前記分類処理において、前記第2学習済みモデルが存在する場合に、前記第2学習済みモデルを用いて、前記分類対象データを、前記正常データのクラスに分類する
付記1に記載のデータ分類システム。
(付記3)
前記再学習処理部は、
前記未知のクラスである前記分類対象データが、前記正常データに分類され、且つ、前記第2学習済みモデルが存在しない場合に、前記第2学習済みモデルを新規学習し、
前記未知のクラスである前記分類対象データが、前記正常データに分類され、且つ、前記第2学習済みモデルが存在する場合に、前記第2学習済みモデルを再学習し、
前記未知のクラスである前記分類対象データが、異常データに分類される場合に、少なくとも1つのクラスの前記異常データに基づいて、前記異常データに対する特徴量の抽出及び異常検知を行う第3学習済みモデルを新規学習する
付記1又は付記2に記載のデータ分類システム。
(付記4)
前記異常検知処理には、前記正常データの異常検知を行う前記第1学習済みモデルを用いて、前記分類対象データが前記正常データとして未対応のデータである異常を検知する第1異常検知処理と、前記異常データの異常検知を行う前記第3学習済みモデルを用いて、前記分類対象データが前記異常データとして未対応のデータである異常を検知する第2異常検知処理とが含まれ、
前記分類処理には、前記分類対象データを、前記正常データのクラスに分類する第1分類処理と、前記分類対象データを、前記異常データのクラスに分類する第2分類処理とが含まれ、
前記データ分類処理部は、
前記第2学習済みモデルが存在し、前記第1異常検知処理により前記未対応データ異常が検知されなかった場合に、前記第1分類処理として、前記第2学習済みモデルを用いて、前記分類対象データを、前記正常データのクラスに分類し、
前記第1異常検知処理により前記未対応データ異常が検知された場合に、前記第2分類処理として、前記第2異常検知処理の処理結果に基づいて、前記分類対象データを前記異常データのクラスに分類し、
前記再学習処理部は、
前記未知のクラスである前記分類対象データが、前記異常データに分類された場合に、前記未知のクラスである前記分類対象データ及び前記異常データに基づいて、前記第3学習済みモデルを再学習するとともに、前記正常データに対する特徴量に基づいて、前記分類対象データを、前記異常データのクラスに分類する第4学習済みモデルを新規学習又は再学習する
付記3に記載のデータ分類システム。
(付記5)
前記再学習処理部は、
前記未知のクラスである前記分類対象データが、前記異常データに分類され、且つ、前記第4学習済みモデルが存在しない場合に、前記第4学習済みモデルを新規学習し、
前記未知のクラスである前記分類対象データが、前記異常データに分類され、且つ、前記第4学習済みモデルが存在する場合に、前記第4学習済みモデルを再学習し、
前記データ分類処理部は、
前記第2分類処理において、前記第4学習済みモデルが存在し、前記第2異常検知処理により前記未対応データ異常が検知されなかった場合に、前記第4学習済みモデルを用いて、前記分類対象データを、前記異常データのクラスに分類する
付記4に記載のデータ分類システム。
(付記6)
前記未知クラス判定部は、
前記第1異常検知処理において、前記分類対象データに前記未対応データ異常が検知され、且つ、前記第3学習済みモデルが存在しない場合に、当該分類対象データを前記未知のクラスであると判定する
付記4又は付記5に記載のデータ分類システム。
(付記7)
前記未知クラス判定部は、
前記第1異常検知処理及び前記第2異常検知処理の両方において、前記分類対象データに前記未対応データ異常が検知され場合に、当該分類対象データを前記未知のクラスであると判定する
付記4から付記6のいずれか一項に記載のデータ分類システム。
(付記8)
前記未知クラス判定部は、
前記第1異常検知処理において、前記分類対象データに前記未対応データ異常が検知され、且つ、前記第2分類処理において分類された前記異常データのクラスが、クラス判定閾値以下である場合に、当該分類対象データを前記未知のクラスであると判定する
付記4から付記7のいずれか一項に記載のデータ分類システム。
(付記9)
前記データ分類処理部は、
前記第1異常検知処理において、前記第1学習済みモデルを用いて、前記分類対象データの再構成誤差を算出し、前記第1異常検知処理における前記再構成誤差が第1閾値より大きい場合に、前記分類対象データに前記未対応データ異常が検知されたと判定し、
前記第2異常検知処理において、前記第3学習済みモデルを用いて、前記分類対象データの再構成誤差を算出し、前記第2異常検知処理における前記再構成誤差が第2閾値より大きい場合に、前記分類対象データに前記未対応データ異常が検知されたと判定する
付記4から付記8のいずれか一項に記載のデータ分類システム。
(付記10)
前記初期学習処理により前記第1学習済みモデルを生成する初期学習処理部を備える
付記1から付記9のいずれか一項に記載のデータ分類システム。
(付記11)
データ分類処理部が、分類対象データを分類クラスに分類するデータ分類処理ステップであって、
少なくとも1つのクラスの正常データに基づく初期学習処理により生成された前記正常データに対する特徴量の抽出及び異常検知を行う第1学習済みモデルを用いて、前記分類対象データがクラス分類するデータとして未対応のデータである未対応データ異常を検知する異常検知処理と、
前記異常検知処理の処理結果に基づいて、前記分類対象データを少なくとも前記正常データのクラスに分類する分類処理と
を実行するデータ分類処理ステップと、
未知クラス判定部が、前記異常検知処理の処理結果に基づいて、前記分類対象データを未知のクラスであると判定する未知クラス判定ステップと、
再学習処理部が、前記未知クラス判定ステップによって、前記分類対象データを前記未知のクラスであると判定された場合に、前記未知のクラスである前記分類対象データ及び前記正常データに基づいて、前記第1学習済みモデルを再学習するとともに、前記正常データに対する特徴量に基づいて、前記分類対象データを、前記正常データのクラスに分類する第2学習済みモデルを新規学習又は再学習する再学習処理ステップと
を含むデータ分類方法。
(付記12)
コンピュータに、
分類対象データを分類クラスに分類するデータ分類処理ステップであって、
少なくとも1つのクラスの正常データに基づく初期学習処理により生成された前記正常データに対する特徴量の抽出及び異常検知を行う第1学習済みモデルを用いて、前記分類対象データがクラス分類するデータとして未対応のデータである未対応データ異常を検知する異常検知処理と、
前記異常検知処理の処理結果に基づいて、前記分類対象データを少なくとも前記正常データのクラスに分類する分類処理と
を実行するデータ分類処理ステップと、
前記異常検知処理の処理結果に基づいて、前記分類対象データを未知のクラスであると判定する未知クラス判定ステップと、
前記未知クラス判定ステップによって、前記分類対象データを前記未知のクラスであると判定された場合に、前記未知のクラスである前記分類対象データ及び前記正常データに基づいて、前記第1学習済みモデルを再学習するとともに、前記正常データに対する特徴量に基づいて、前記分類対象データを、前記正常データのクラスに分類する第2学習済みモデルを新規学習又は再学習する再学習処理ステップと
を実行させるためのプログラム。
【符号の説明】
【0164】
1,1a…データ分類システム、10…データ分類装置、11…記憶部、12…制御部、20…データ収集記憶装置、101…初期学習装置、102…分類処理装置、103…未知クラス判定装置、104…ラベル付装置、105再…学習装置と、106…分類結果出力装置、111…学習データ記憶部、112…モデル記憶部、113…分類結果記憶部、121…初期学習処理部、122…データ分類処理部、123…未知クラス判定部、124…ラベル付処理部、125…再学習処理部、126…出力処理部、1021…正常検知装置、1022…正常分類装置、1023…異常検知装置、1024…異常分類装置、FA1…正常検知処理部、FA2…正常分類処理部、FB1…異常検知処理部、FB2…異常分類処理部、MA1…正常用異常検知・特徴量抽出モデル、MA2…正常用分類モデル、MB1…異常用異常検知・特徴量抽出モデル、MB2…異常用分類モデル