特許 7371694 劣化検出方法、劣化検出プログラムおよび情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-23

(45)【発行日】2023-10-31

(54)【発明の名称】劣化検出方法、劣化検出プログラムおよび情報処理装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20231024BHJP

【ＦＩ】

G06N20/00

【請求項の数】 5

(21)【出願番号】P 2021553244

(86)(22)【出願日】2019-10-24

(86)【国際出願番号】 JP2019041792

(87)【国際公開番号】W WO2021079478

(87)【国際公開日】2021-04-29

【審査請求日】2022-01-20

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】横田 泰斗

【審査官】渡辺 順哉

(56)【参考文献】

【文献】国際公開第２０１６／１５２０５３（ＷＯ，Ａ１）

【文献】坂本悠輔 ほか，教師なし学習における非データ分布依存型コンセプトドリフト検出手法の検証，情報処理学会研究報告[online]，日本，一般社団法人情報処理学会，2015年02月24日，Vol.2015-MPS-102, No6，pp.1-6，[retrieved on 2019.12.20], Retrieved from the Internet: <URL: http://id.nii.ac.jp/1001/00113254>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

コンピュータが、
訓練データを用いて訓練された学習済みモデルに対して入力データを入力したときの第一の出力結果を取得し、
前記訓練データから前記訓練データの数よりも少ない数の訓練データを抽出し、抽出した訓練データを用いて訓練された検出モデルに対して、前記入力データを入力したときの第二の出力結果を取得し、
第一の期間における、前記第一の出力結果と前記第二の出力結果との第一の合致率を算出し、
前記第一の期間と異なる第二の期間における、前記第一の出力結果と前記第二の出力結果との第二の合致率を算出し、
前記第一の合致率と前記第二の合致率とを用いて、前記学習済みモデルの精度劣化の変化を出力する
処理を実行することを特徴とする劣化検出方法。

【請求項2】

前記算出する処理は、前記第一の合致率として、前記学習済みモデルの出力クラスごとに、前記第一の出力結果と、前記第二の出力結果との合致率を算出し、
前記算出する処理は、前記第二の合致率として、前記学習済みモデルの出力クラスごとに、前記第一の出力結果と、前記第二の出力結果との合致率を算出し、
前記出力する処理は、前記第一の期間に対応付けて、前記出力クラスごとの前記合致率および各出力クラスの前記合致率の平均値を出力するとともに、前記第二の期間に対応付けて、前記出力クラスごとの前記合致率および各出力クラスの前記合致率の平均値を出力することを特徴とする請求項１に記載の劣化検出方法。

【請求項3】

前記出力する処理は、いずれかの期間において、前記出力クラスごとの合致率、または、前記各出力クラスの合致率の平均値が閾値未満の場合に、前記学習済みモデルの精度が劣化したことを示すアラートを出力することを特徴とする請求項２に記載の劣化検出方法。

【請求項4】

コンピュータに、
訓練データを用いて訓練された学習済みモデルに対して入力データを入力したときの第一の出力結果を取得し、
前記訓練データから前記訓練データの数よりも少ない数の訓練データを抽出し、抽出した訓練データを用いて訓練された検出モデルに対して、前記入力データを入力したときの第二の出力結果を取得し、
第一の期間における、前記第一の出力結果と前記第二の出力結果との第一の合致率を算出し、
前記第一の期間と異なる第二の期間における、前記第一の出力結果と前記第二の出力結果との第二の合致率を算出し、
前記第一の合致率と前記第二の合致率とを用いて、前記学習済みモデルの精度劣化の変化を出力する
処理を実行させることを特徴とする劣化検出プログラム。

【請求項5】

訓練データを用いて訓練された学習済みモデルに対して入力データを入力したときの第一の出力結果を取得する第一取得部と、
前記訓練データから前記訓練データの数よりも少ない数の訓練データを抽出し、抽出した訓練データを用いて訓練された検出モデルに対して、前記入力データを入力したときの第二の出力結果を取得する第一取得部と、
第一の期間における、前記第一の出力結果と前記第二の出力結果との第一の合致率を算出する第一算出部と、
前記第一の期間と異なる第二の期間における、前記第一の出力結果と前記第二の出力結果との第二の合致率を算出する第二算出部と、
前記第一の合致率と前記第二の合致率とを用いて、前記学習済みモデルの精度劣化の変化を出力する出力部と
を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、劣化検出方法、劣化検出プログラムおよび情報処理装置に関する。

【背景技術】

【0002】

企業等で利用されている情報システムに対して、データの判定や分類機能などへの機械学習モデル（以下では、単に「モデル」と記載する場合がある）の導入が進んでいる。機械学習モデルは、システム開発時に学習させた教師データの通りに判定や分類を行うので、システム運用中に入力データの傾向（データ分布）が変化すると、機械学習モデルの精度が劣化する。

【0003】

一般的に、システム運用中のモデル精度劣化検知は、定期的に手動で、モデルの出力結果の正誤を人間が確認することで正解率を算出し、正解率の低下から精度劣化を検知する手法が利用される。

【0004】

近年では、システム運用中の機械学習モデルの精度劣化を自動で検出する技術として、Ｔ^２統計量（Hotelling’s T-squre）が知られている。例えば、入力データと正常データ（訓練データ）群を主成分分析し、標準化した各主成分の原点からの距離の二乗の合計である、入力データのＴ^２統計量を算出する。そして、入力データ群のＴ^２統計量の分布に基づき、異常値データの割合の変化を検出して、モデルの精度劣化を自動で検知する。

【先行技術文献】

【非特許文献】

【0005】

【文献】A. Shabbak and H．Midi,“An Improvement of the Hotelling Statistic in Monitoring Multivariate Quality Characteristics”， Mathematical Problems in Engineering （２０１２） １－１５．

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記技術では、システム運用中のモデルの精度をリアルタイムに監視するためには、手動でＴ^２統計量を算出して確認することになるので、処理負荷が高く、定期的にモニタリングすることは現実的に難しい。

【0007】

一つの側面では、システム運用中のモデルの精度をリアルタイムに監視することができる劣化検出方法、劣化検出プログラムおよび情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

第１の案では、劣化検出方法は、コンピュータが、学習済みモデルに対して入力データを入力したときの第一の出力結果を取得する処理を実行する。劣化検出方法は、コンピュータが、前記学習済みモデルの性能劣化を検出する検出モデルに対して、前記入力データを入力したときの第二の出力結果を取得する処理を実行する。劣化検出方法は、コンピュータが、第一の期間における、前記第一の出力結果および前記第二の出力結果を比較した第一の合致結果を算出する処理を実行する。劣化検出方法は、コンピュータが、前記第一の期間と異なる第二の期間における、前記第一の出力結果および前記第二の出力結果を比較した第二の合致結果を算出する処理を実行する。劣化検出方法は、コンピュータが、前記第一の合致結果および前記第二の合致結果を用いて、前記学習済みモデルの精度劣化の変化を出力する処理を実行する。

【発明の効果】

【0009】

一つの側面では、システム運用中のモデルの精度をリアルタイムに監視することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施例１にかかる精度劣化検出装置を説明する図である。

【図2】図２は、精度劣化を説明する図である。

【図3】図３は、実施例１にかかるインスペクターモデルを説明する図である。

【図4】図４は、実施例１にかかる精度劣化検出装置の機能構成を示す機能ブロック図である。

【図5】図５は、教師データＤＢに記憶される情報の例を示す図である。

【図6】図６は、入力データＤＢに記憶される情報の例を示す図である。

【図7】図７は、精度劣化の検出を説明する図である。

【図8】図８は、精度状態のリアルタイム表示を説明する図である。

【図9】図９は、実施例１にかかる処理の流れを示すフローチャートである。

【図10】図１０は、効果を説明する図である。

【図11】図１１は、教師データの具体例を説明する図である。

【図12】図１２は、精度劣化検出の実行結果を説明する図である。

【図13】図１３は、周期的に変化するデータの誤検出を説明する図である。

【図14】図１４は、実施例２にかかる精度劣化検出装置の機能構成を示す機能ブロック図である。

【図15】図１５は、実施例２にかかるインスペクターモデルの学習を説明する図である。

【図16】図１６は、実施例２にかかる精度劣化の検出を説明する図である。

【図17】図１７は、実施例２にかかる処理の流れを示すフローチャートである。

【図18】図１８は、実施例２の効果を説明する図である。

【図19】図１９は、実施例２の具体例を説明する図である。

【図20】図２０は、実施例３にかかる精度劣化検出装置の機能構成を示す機能ブロック図である。

【図21】図２１は、ハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0011】

以下に、本発明にかかる劣化検出方法、劣化検出プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例1】

【0012】

［精度劣化検出装置の説明］
図１は、実施例１にかかる精度劣化検出装置１０を説明する図である。図１に示す精度劣化検出装置１０は、学習済みの機械学習モデル（以下では、単に「モデル」と記載する場合がある）を用いて入力データの判定（分類）を実行する一方で、機械学習モデルの精度を監視して精度状態をリアルタイムに表示するコンピュータ装置の一例である。

【0013】

例えば、機械学習モデルは、学習時には、説明変数を画像データ、目的変数を衣料名とする教師データを用いて学習され、運用時には、入力データとして画像データが入力されると、「シャツ」などの判定結果を出力する画像分類器である。つまり、機械学習モデルは、高次元データの分類や多クラス分類を実行する画像分類器の一例である。

【0014】

ここで、機械学習や深層学習などで学習された機械学習モデルは、訓練データとラベル付けとを組み合わせた教師データを元に学習されるので、教師データが含む範囲でのみ機能する。一方、機械学習モデルは、運用後に、学習時と同種のデータが入力されることが想定されているが、現実には入力されるデータの状態が変化して、機械学習モデルが適切に機能しなくなることがある。すなわち、「モデルの精度劣化」が発生する。

【0015】

図２は、精度劣化を説明する図である。図２では、入力データの余計なデータを除いて整理した情報であり、機械学習モデルが入力された入力データを分類する、特徴量空間を示している。図２では、クラス０、クラス１、クラス２に分類する特徴量空間を図示している。

【0016】

図２に示すように、システム運用初期（学習完了時）は、全ての入力データが正常な位置であり、各クラスの決定境界の内側に分類される。その後の時間経過が進むと、クラス０の入力データの分布が変化する。つまり、学習されたクラス０の特徴量では、クラス０と分類することが難しい入力データが入力されはじめる。さらにその後、クラス０の入力データが決定境界を跨ぎ、機械学習モデルの正解率が低下する。つまり、クラス０と分類すべき入力データの特徴量が変化する。

【0017】

このように、システム運用開始後に、入力データの分布が学習時から変化すると、結果として、機械学習モデルの正解率が低下し、機械学習モデルの精度劣化が発生する。

【0018】

そこで、図１に示すように、実施例１にかかる精度劣化検出装置１０は、監視対象の機械学習モデルと同様の問題を解く、ＤＮＮ（Deep Neural Network）を用いて生成された少なくとも１つのインスペクターモデル（監視器、以下では単に「インスペクター」と記載する場合がある）を用いる。具体的には、精度劣化検出装置１０は、機械学習モデルの出力と各インスペクターモデルの出力との合致率を、機械学習モデルの出力クラスごとに集計することで、合致率の分布変化、すなわち入力データ分布の変化を検出する。

【0019】

ここで、インスペクターモデルについて説明する。図３は、実施例１にかかるインスペクターモデルを説明する図である。インスペクターモデルは、機械学習モデルとは異なる条件（異なるモデル適用領域（Applicability Domain））で生成される検出モデルの一例である。つまり、インスペクターモデルがクラス０、クラス１、クラス２と判定する各領域（各特徴量）は、機械学習モデルがクラス０、クラス１、クラス２と判定する各領域よりも狭い範囲となるように、インスペクターモデルが生成される。

【0020】

これは、モデル適用領域が狭いほど、入力データの小さな変化で出力が敏感に変化するためである。そのため、監視対象の機械学習モデルよりもインスペクターモデルのモデル適用領域の狭くすることで、入力データの小さな変化でインスペクターモデルの出力値が変動し、機械学習モデルの出力値との合致率でデータの傾向の変化を測定することができる。

【0021】

具体的には、図３に示すように、入力データがインスペクターモデルのモデル適用領域の範囲内である場合、当該入力データに対して、機械学習モデルはクラス０と判定し、インスペクターモデルもクラス０と判定する。つまり、両方ともクラス０のモデル適用領域内となり、出力値は必ず合致するので、合致率は低下しない。

【0022】

一方、入力データがインスペクターモデルのモデル適用領域の範囲外である場合、当該入力データに対して、機械学習モデルはクラス０と判定するが、インスペクターモデルは各クラスのモデル適用範囲外の領域であることから、必ずしもクラス０と判定するとは限らない。つまり、出力値は必ずしも合致しないので、合致率が低下する。

【0023】

このように、実施例１にかかる精度劣化検出装置１０は、機械学習モデルによるクラス判定に並行して、機械学習モデルのモデル適用領域より狭いモデル適用領域を有するように学習されたインスペクターモデルによるクラス判定を実行し、両クラス判定の合致判定結果を蓄積する。そして、精度劣化検出装置１０は、モデルの信頼性を示す合致率を算出して、リアルタイムで合致率をモニタ等に表示することで、システム運用中のモデルの精度をリアルタイムに監視することができる。

【0024】

［精度劣化検出装置の機能構成］
図４は、実施例１にかかる精度劣化検出装置１０の機能構成を示す機能ブロック図である。図４に示すように、精度劣化検出装置１０は、通信部１１、記憶部１２、制御部２０を有する。

【0025】

通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部１１は、管理者端末などから各種指示を受信する。また、通信部１１は、各種端末から、判定対象の入力データを受信する。

【0026】

記憶部１２は、データや制御部２０が実行するプログラムなどを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどである。この記憶部１２は、教師データＤＢ１３、入力データＤＢ１４、機械学習モデル１５、インスペクターモデルＤＢ１６を記憶する。

【0027】

教師データＤＢ１３は、機械学習モデルの学習に利用された教師データであって、インスペクターモデルの学習にも利用される教師データを記憶するデータベースである。図５は、教師データＤＢ１３に記憶される情報の例を示す図である。図５に示すように、教師データＤＢ１３は、データＩＤと教師データとを対応付けて記憶する。

【0028】

ここで記憶されるデータＩＤは、教師データを識別する識別子である。教師データは、学習に利用される訓練データまたは学習時の検証に利用される検証データである。図５の例では、データＩＤが「Ａ１」である訓練データＸと、データＩＤが「Ｂ１」である検証データＹを図示している。なお、訓練データや検証データは、説明変数である画像データと、目的変数である正解情報（ラベル）とが対応付けられたデータである。

【0029】

入力データＤＢ１４は、判定対象の入力データを記憶するデータベースである。具体的には、入力データＤＢ１４は、機械学習モデルへ入力される画像データであって、画像分類を行う対象の画像データを記憶する。図６は、入力データＤＢ１４に記憶される情報の例を示す図である。図６に示すように、入力データＤＢ１４は、データＩＤと入力データとを対応付けて記憶する。

【0030】

ここで記憶されるデータＩＤは、入力データを識別する識別子である。入力データは、分類対象の画像データである。図６の例では、データＩＤが「０１」である入力データ１を図示している。入力データは、予め記憶する必要はなく、他の端末からデータストリームとして送信されてもよい。

【0031】

機械学習モデル１５は、学習された機械学習モデルであり、精度劣化検出装置１０による監視対象となるモデルである。なお、学習済みのパラメータが設定されたニューラルネットワークやサポートベクタマシンなどの機械学習モデル１５を記憶することもでき、学習済みの機械学習モデル１５が構築可能な学習済みのパラメータなどを記憶していてもよい。

【0032】

インスペクターモデルＤＢ１６は、精度劣化検出に利用する少なくとも１つのインスペクターモデルに関する情報を記憶するデータベースである。例えば、インスペクターモデルＤＢ１６は、インスペクターモデルを構築するためのパラメータであって、後述する制御部２０によって機械学習によって生成（最適化）されたＤＮＮの各種パラメータを記憶する。なお、インスペクターモデルＤＢ１６は、学習済みのパラメータを記憶することもでき、学習済みのパラメータが設定されたインスペクターモデルそのもの（ＤＮＮ）を記憶することもできる。

【0033】

制御部２０は、精度劣化検出装置１０全体を司る処理部であり、例えばプロセッサなどである。この制御部２０は、インスペクターモデル生成部２１、設定部２２、劣化検出部２３、表示制御部２６、報知部２７を有する。なお、インスペクターモデル生成部２１、設定部２２、劣化検出部２３、表示制御部２６、報知部２７は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例などである。

【0034】

インスペクターモデル生成部２１は、機械学習モデル１５の精度劣化を検出する監視器や検出モデルの一例であるインスペクターモデルを生成する処理部である。具体的には、インスペクターモデル生成部２１は、機械学習モデル１５の学習に利用された教師データを用いた深層学習により、モデル適用範囲の異なるインスペクターモデルを生成する。そして、インスペクターモデル生成部２１は、深層学習によって得られた、モデル適用範囲が異なるインスペクターモデル（ＤＮＮ）を構築するための各種パラメータをインスペクターモデルＤＢ１６に格納する。

【0035】

例えば、インスペクターモデル生成部２１は、訓練データの数を制御することで、適用範囲の異なる複数のインスペクターモデルを生成する。一般的には、訓練データの数が多いほど、多くの特徴量を多く学習することになるので、より網羅的な学習が実行され、モデル適用範囲が広いモデルが生成される。一方で、訓練データの数が少ないほど、学習する教師データの特徴量が少ないので、網羅できる範囲（特徴量）が限定的になり、モデル適用範囲が狭いモデルが生成される。

【0036】

なお、実施例１では、１つのインスペクターモデルを用いる例で説明するが、インスペクターモデル生成部２１は、訓練回数は同じにして、訓練データの数を変更することで、複数のインスペクターモデルを生成することもできる。例えば、機械学習モデル１５が訓練回数（１００エポック）、訓練データ数（１０００個／１クラス）で学習された状態で、５つのインスペクターモデルを生成する場合を考える。この場合、インスペクターモデル生成部２１は、インスペクターモデル１の訓練データ数を「５００個／１クラス」、インスペクターモデル２の訓練データ数を「４００個／１クラス」、インスペクターモデル３の訓練データ数を「３００個／１クラス」、インスペクターモデル４の訓練データ数を「２００個／１クラス」、インスペクターモデル５の訓練データ数を「１００個／１クラス」と決定し、教師データＤＢ１３から教師データを無作為に選択して、それぞれを１００エポックで学習する。

【0037】

その後、インスペクターモデル生成部２１は、学習されたインスペクターモデル１、２、３、４、５それぞれの各種パラメータをインスペクターモデルＤＢ１６に格納する。このようにして、インスペクターモデル生成部２１は、機械学習モデル１５の適用範囲よりも狭いモデル適用範囲を有するとともに、それぞれのモデル適用範囲が異なる５つのインスペクターモデルを生成することができる。

【0038】

なお、インスペクターモデル生成部２１は、誤差逆伝搬などの手法を用いて、各インスペクターモデルを学習することができ、他の手法を採用することもできる。例えば、インスペクターモデル生成部は、訓練データをインスペクターモデルに入力して得られる出力結果と、入力された訓練データのラベルとの誤差が小さくなるように、ＤＮＮのパラメータを更新することで、インスペクターモデル（ＤＮＮ）の学習を実行する。

【0039】

設定部２２は、劣化判定のための閾値、合致率算出に用いるデータの規定数の設定を実行する処理部である。例えば、設定部２２は、記憶部１２から機械学習モデル１５を読み出すとともに、インスペクターモデルＤＢ１６から各種パラメータを読み出して学習済みのインスペクターモデルを構築する。そして、設定部２２は、教師データＤＢ１３に記憶される各検証データを読み出して、機械学習モデル１５とインスペクターモデルに入力して、それぞれの出力結果（分類結果）に基づくモデル適用領域への分布結果を取得する。

【0040】

その後、設定部２２は、検証データに対する機械学習モデル１５とインスペクターモデル１と間の各クラスの合致率を算出する。そして、設定部２２は、合致率を用いて閾値を設定する。例えば、設定部２２は、合致率をディスプレイ等に表示して、ユーザから閾値の設定を受け付ける。また、複数のインスペクターモデルを用いる場合には、設定部２２は、各合致率の平均値、各合致率の最大値、各合致率の最小値など、ユーザが検出を要求する劣化状態に応じて、任意に選択して設定することができる。

【0041】

また、設定部２２は、設定画面などを表示して合致率算出の規定数の指定を受け付ける。例えば、１００と設定された場合、１００個の入力データに対する合致判定が完了後、合致率の算出が実行される。また、データ数に限らず、１時間や１か月ごとのように間隔を指定することもでき、この場合、設定された間隔おきに合致率の算出や合致率等の算出が実行される。

【0042】

なお、合致率算出に利用する入力データ数（規定数）は、ユーザが任意に定めることができる。規定数が多いほど、信頼性の誤差は小さくなるが、算出に必要なデータ数が大きくなる。

【0043】

図４に戻り、劣化検出部２３は、分類部２４、監視部２５を有し、入力データに対する機械学習モデル１５の出力結果とインスペクターモデルの出力結果とを比較し、機械学習モデル１５の精度の劣化を検出する処理部である。

【0044】

分類部２４は、入力データを機械学習モデル１５とインスペクターモデルとのそれぞれに入力して、それぞれの出力結果（分類結果）を取得する処理部である。例えば、分類部２４は、インスペクターモデルの学習が完了すると、インスペクターモデルのパラメータをインスペクターモデルＤＢ１６から取得してインスペクターモデルを構築するとともに、機械学習モデル１５を実行する。

【0045】

そして、分類部２４は、入力データを機械学習モデル１５に入力してその出力結果を取得するとともに、当該入力データをインスペクターモデル（ＤＮＮ）に入力して各出力結果を取得する。その後、分類部２４は、入力データと各出力結果とを対応付けて記憶部１２に格納するとともに、監視部２５に出力する。

【0046】

監視部２５は、インスペクターモデルの出力結果を用いて、機械学習モデル１５の精度劣化を監視する処理部である。具体的には、監視部２５は、クラスごとに、機械学習モデル１５の出力と、インスペクターモデルの出力との合致率の分布変化を測定する。例えば、監視部２５は、各入力データに対する機械学習モデル１５の出力結果とインスペクターモデルの出力結果との合致判定を実行して記憶部１２等に蓄積する。

【0047】

そして、監視部２５は、設定部２２により設定された間隔で、機械学習モデル１５の出力とインスペクターモデルの出力との合致判定結果を用いて、インスペクターモデルごとまたはクラスごとの合致率を算出する。例えば、監視部２５は、設定値が１００データの場合、１００個の入力データの合致判定が完了すると、合致率の算出を実行する。また、監視部２５は、設定値が１時間の場合、１時間おきに合致率の算出を実行する。その後、監視部２５は、合致判定結果を記憶部１２に格納したり、表示制御部２６に出力したりする。

【0048】

図７は、精度劣化の検出を説明する図である。図７では、入力データに対する監視対象の機械学習モデル１５の出力結果とインスペクターモデルの出力結果とを図示している。ここでは、説明を分かりやすくするため、特徴量空間におけるモデル適用領域へのデータ分布を用いて、監視対象の機械学習モデル１５の出力に対してインスペクターモデルの出力が合致する確率を説明する。

【0049】

図７に示すように、監視部２５は、運用開始時、監視対象の機械学習モデル１５から、クラス０のモデル適用領域には６つの入力データが属し、クラス１のモデル適用領域には６つの入力データが属し、クラス２のモデル適用領域には８つの入力データが属することを取得する。一方、監視部２５は、インスペクターモデルから、クラス０のモデル適用領域には６つの入力データが属し、クラス１のモデル適用領域には６つの入力データが属し、クラス２のモデル適用領域には８つの入力データが属することを取得する。

【0050】

つまり、監視部２５は、機械学習モデル１５とインスペクターモデルとの各クラスの合致率が一致することから合致率を１００％と算出する。このタイミングでは、それぞれの分類結果が一致する。

【0051】

時間経過が進むと、監視部２５は、監視対象の機械学習モデル１５から、クラス０のモデル適用領域には６つの入力データが属し、クラス１のモデル適用領域には６つの入力データが属し、クラス２のモデル適用領域には８つの入力データが属することを取得する。一方、監視部２５は、インスペクターモデルから、クラス０のモデル適用領域には３つの入力データが属し、クラス１のモデル適用領域には６つの入力データが属し、クラス２のモデル適用領域には８つの入力データが属することを取得する。

【0052】

つまり、監視部２５は、クラス０については合致率を５０％（（３／６）×１００）と算出し、クラス１とクラス２については合致率を１００％と算出する。すなわち、クラス０のデータ分布の変化が検出される。このタイミングでは、インスペクターモデルは、クラス０に分類されなかった３つの入力データに対して、クラス０に分類するとは限らない状態である。

【0053】

さらに時間経過が進むと、監視部２５は、監視対象の機械学習モデル１５から、クラス０のモデル適用領域には３つの入力データが属し、クラス１のモデル適用領域には６つの入力データが属し、クラス２のモデル適用領域には８つの入力データが属することを取得する。一方、監視部２５は、インスペクターモデルから、クラス０のモデル適用領域には１つの入力データが属し、クラス１のモデル適用領域には６つの入力データが属し、クラス２のモデル適用領域には８つの入力データが属することを取得する。

【0054】

つまり、監視部２５は、クラス０については合致率を３３％（（１／３）×１００）と算出し、クラス１とクラス２については合致率を１００％と算出する。すなわち、クラス０のデータ分布が変化したと判定される。このタイミングでは、機械学習モデル１５では、クラス０と分類されるべき入力データがクラス０と分類されず、インスペクターモデルでは、クラス０に分類されなかった５つの入力データに対しては、クラス０に分類されるとは限らない状態である。

【0055】

このように、監視部２５は、入力データの予測（判定）処理が実行されるたびに、機械学習モデル１５とインスペクターモデルとの合致判定を実行する。そして、監視部２５は、定期的に合致率を算出する。

【0056】

図４に戻り、表示制御部２６は、監視部２５による合致率の算出結果をモニタ等の表示装置（図示しない）に出力する制御部である。例えば、表示制御部２６は、ユーザにより指定されたタイミングで、監視部２５により算出された合致率の変化を表示する。

【0057】

図８は、精度状態のリアルタイム表示を説明する図である。図８では、１時間おきの合致率の変化を図示している。図８に示すように、表示制御部２６は、１時間おきに、クラス１の合致率１、クラス２の合致率２を表示するとともに、合致率１と合致率２の平均値である信頼性およびユーザにより設定された閾値を表示する。

【0058】

図８の例では、１０時の時点で最も信頼性が高く、１０時から１２時まで信頼性が低下するが、１２時以降は信頼性が回復している例を示している。つまり、１０時か１２時までの間では入力データの分布が学習時とは異なりつつあったが、全体としては、入力データが変化していないと判断することができる。

【0059】

なお、合致率の算出タイミングと合致率の変化の表示間隔（図８に示す横軸）とは異なっていてもよい。例えば、監視部２５は、１００データごとに各クラスの合致率を算出し、表示制御部２６は、１時間おきに、その時間内（１時間内）の合致率の平均値や最小値などを表示することもできる。この場合、表示制御部２６は、各クラスの合致率のグラフが選択されると、監視部２５により算出された１００データごとの合致率を表示することもできる。

【0060】

図４に戻り、報知部２７は、信頼性が低下した場合に、ユーザにアラートを報知する処理部である。例えば、報知部２７は、信頼性がユーザにより指定された閾値未満となった場合に、信頼性が低下したことを示すメッセージなどをモニタに表示したり、メールで送信したりする。

【0061】

なお、アラートの報知条件は任意に設定変更することができる。例えば、報知部２７は、合致率のいずれかが閾値未満となった場合、閾値未満の信頼性が連続して検出された場合、信頼性が閾値未満となった回数が閾値以上となった場合など、任意に指定したタイミングで、アラートを報知することができる。

【0062】

［処理の流れ］
図９は、実施例１にかかる処理の流れを示すフローチャートである。図９に示すように、処理が開始されると（Ｓ１０１：Ｙｅｓ）、インスペクターモデル生成部２１は、機械学習モデル１５のデータ数よりもデータ数を削減するなどによりインスペクターモデル用の教師データを生成する（Ｓ１０２）。そして、インスペクターモデル生成部２１は、生成した教師データ内の訓練データを用いて、インスペクターモデル用の訓練を実行して、インスペクターモデルを生成する（Ｓ１０３）。

【0063】

続いて、設定部２２は、初期値を設定する（Ｓ１０４）。例えば、設定部２２は、劣化判定のための閾値、合致率算出に用いるデータの規定数の設定を行う。

【0064】

その後、劣化検出部２３は、入力データを機械学習モデル１５に入力して出力結果を取得し（Ｓ１０５）、入力データをインスペクターモデルに入力して出力結果を取得する（Ｓ１０６）。

【0065】

そして、劣化検出部２３は、出力結果の比較、すなわち入力データに対する機械学習モデル１５の出力結果とインスペクターモデルの出力結果との合致判定結果を蓄積する（Ｓ１０７）。そして、蓄積数や処理された入力データ数などが規定数に到達するまで（Ｓ１０８：Ｎｏ）、Ｓ１０５以降を繰り返す。

【0066】

その後、劣化検出部２３は、処理数などが規定数に到達すると（Ｓ１０８：Ｙｅｓ）、クラスごとに各インスペクターモデルと機械学習モデル１５との合致率を算出する（Ｓ１０９）。そして、表示制御部２６は、合致率や信頼性を含む精度状態をモニタ等に表示する（Ｓ１１０）。

【0067】

ここで、信頼性が検出条件を満たさない場合（Ｓ１１１：Ｎｏ）、Ｓ１０５以降が繰り返され、信頼性が検出条件を満たす場合（Ｓ１１１：Ｙｅｓ）、報知部２７は、アラートを報知する（Ｓ１１２）。

【0068】

［効果］
上述したように、精度劣化検出装置１０は、監視対象の学習済みの機械学習モデル１５の出力とインスペクターモデルの出力との合致率が、機械学習モデル１５の出力の正解率に概ね比例するので、機械学習モデル１５の信頼性の測定に合致率の値を用いる。このように、精度劣化検出装置１０は、合致率を信頼性の測定に用いることで、機械学習モデル１５の出力の正誤情報（人間の正誤の判断）が不要となり、自動で信頼性をモニタリングすることができる。

【0069】

また、精度劣化検出装置１０は、各入力データの合致判定結果を蓄積しておくことで、任意のタイミングで直近の規定数の入力データに対する合致率を算出することができる。そのため、精度劣化検出装置１０は、リアルタイムでモデルの信頼性を測定して出力することができる。

【0070】

図１０は、効果を説明する図である。図１０には、Ｔ^２統計量などを用いた一般的なモニタリングと、実施例１によるモニタリングとの比較を図示している。図１０に示すように、一般技術では、Ｔ^２統計量の計算、表示、比較などを人手により行うので、工数（コスト）がかかる。このため、月に１回程度しか信頼性を測定できない。したがって、例えば５月２日から信頼性が低下した場合、６月１日まで信頼性低下を把握できない。

【0071】

一方、実施例の手法では、上述したようにより自動で合致率の算出、信頼性の表示を実行することができるので、リアルタイムで信頼性を測定できる。このため、精度劣化検出装置１０は、信頼性が低下した瞬間にユーザに報知することができる。

【0072】

［具体例］
次に、機械学習モデル１５として画像分類器を用いて、インスペクターモデルによる精度劣化を検出する具体例を説明する。画像分類器とは、入力した画像をクラス（カテゴリ）ごとに分類する機械学習モデルである。例えば、アパレルの通信販売サイトや個人間で衣料品を売買するオークションサイト等では、衣料品の画像をサイトにアップロードし、その衣料品のカテゴリをサイト上に登録する。サイトにアップロードした画像のカテゴリの自動登録を行うために、機械学習モデルを用いて、画像から衣料品のカテゴリの予測を行っている。システム運用中に、アップロードする衣料品の画像の傾向（データ分布）が変化すると、機械学習モデルの精度が劣化していく。一般技術では、手動で予測結果の正誤を確認し、正解率を算出して、モデル精度劣化を検知していた。そこで、実施例１による手法を適用することで、予測結果の正誤情報を用いることなく、モデル精度劣化を検知する。

【0073】

例えば、具体例で示すシステムは、入力データを画像分類器とインスペクターモデルのそれぞれに入力し、画像分類器とインスペクターモデルとのモデル適用領域のデータ分布の合致率を用いて、定期的に、画像分類器の信頼性を算出してモニタに表示するシステムである。

【0074】

次に、教師データを説明する。図１１は、教師データの具体例を説明する図である。図１１に示すように、教師データは、ラベルがクラス０であるＴ－シャツ、ラベルがクラス１であるズボン、ラベルがクラス２であるプロオーバー、ラベルがクラス３ではドレス、ラベルがクラス４であるコートの各画像データを用いる。また、ラベルがクラス５であるサンダル、ラベルがクラス６であるシャツ、ラベルがクラス７であるスニーカー、ラベルがクラス８ではバッグ、ラベルがクラス９であるアンクルブーツの各画像データを用いる。

【0075】

ここで、画像分類器は、１０クラス分類を行うＤＮＮを用いた分類器であり、教師データを１０００個／１クラス、訓練回数を１００エポックとして訓練されている。また、インスペクターモデルは、１０クラス分類を行うＤＮＮを用いた検出器であり、教師データを２００個／１クラス、訓練回数を１００エポックとして訓練されている。つまり、モデル適用領域は、画像分類器、インスペクターモデルの順に狭くなっている。なお、教師データは、画像分類器の教師データの中から無作為に選択した。また、各クラスの合致率の閾値は、０．７とする。

【0076】

このような状態において、入力データは、教師データ同様、衣料品（１０クラスのいずれか）の画像（グレースケール）を利用する。なお、入力画像はカラーでも良い。監視対象の画像分類器（機械学習モデル１５）に合わせた入力データを用いる。

【0077】

このような状態において、精度劣化検出装置１０は、監視対象の画像分類器に入力したデータを、インスペクターモデルに入力して、出力の比較を実行し、画像分類器の出力クラスごとに、比較結果（合致または非合致）を蓄積する。そして、精度劣化検出装置１０は、蓄積している比較結果（例えば、直近１００個／クラス）から、各クラスの合致率および信頼性を算出して、モニタに表示する。そして、精度劣化検出装置１０は、信頼性が閾値未満の場合、精度劣化検知のアラートを出力する。

【0078】

図１２は、精度劣化検出の実行結果を説明する図である。図１２には、入力データのうち、クラス０（Ｔ－シャツ）の画像のみ、徐々に画像が回転していき、傾向が変化したケースの実行結果を示している。精度劣化検出装置１０は、クラス０のデータが１０度回転した時点で、クラス０の合致率（０．６１）が閾値未満に低下し、モデル全体の信頼性が閾値を下回り、アラートを通知した。なお、データが１５度回転した時点で、クラス０の合致率（０．３５）が非常に低下するが、精度劣化検出装置１０は、画像分類器の正解率がわずかに下がった段階で、モデルの精度劣化を検出してモニタに表示することで、ユーザ通知を実行できた。

【0079】

この結果、精度劣化検出装置１０は、モデルの信頼性モニタリングに必要だったシステム運用工数を削減できる。また、精度劣化検出装置１０は、リアルタイムで信頼性の値を測定してモニタリングでき、モデルの信頼性が低下した状態でのシステム利用を防止できる。

【実施例2】

【0080】

ところで、判定（予測）対象の入力データは、いわゆるドメインシフトに限らず、時間や季節などにように周期的に変化することもある。上記インスペクターモデルによる厳密な合致率の判定を行った場合、このように周期的にデータ分布が変化するデータに対しては、モデル精度劣化を誤検知してしまう恐れがある。

【0081】

図１３は、周期的に変化するデータの誤検出を説明する図である。図１３には、季節性のある入力データの分布を示している。ここでの入力データとしては、各季節で撮像された画像データや各季節で測定されたセンサ値などである。つまり、季節ごとに、光量やノイズなどが異なる撮像環境で収集されたデータである。

【0082】

図１３に示すように、生成したインスペクターモデルは、夏の入力データに対しては、正しくクラス分類できる分類器である。このようなインスペクターモデルを秋のデータに対して適用した場合、夏のデータとは特徴量が異なることが想定できるので、秋のデータに対しては正しくクラス分類を実行できず、クラス０やクラス１で誤検出を実行する場合がある。

【0083】

また、冬のデータに対しても、インスペクターモデルは、正しくクラス分類を実行できず、クラス０、クラス１、クラス２のそれぞれで誤検出を実行する場合があり、春のデータに対してもクラス０やクラス１で誤検出を実行する場合がある。

【0084】

このように、実施例１にかかるインスペクターモデルでは、入力データのデータ分布の変化によって合致率が変化し、モデル精度劣化を検知しているので、周期的なデータ分布の変化のように問題のないデータ分布の変化に対しても合致率が変化してしまい、誤検知する恐れがある。

【0085】

そこで、実施例２にかかる精度劣化検出装置１０は、周期を任意の数で分割した期間内の訓練データを抽出して、各期間に対応した各インスペクターモデルを生成し、１個以上のインスペクターモデルの合致率が高い場合は、精度劣化発生と判定せず、全てのインスペクターモデルの合致率が低下して、初めて精度劣化発生と判定する。このようにすることで、実施例２にかかる精度劣化検出装置１０は、入力データの分布が周期的に変化する機械学習モデルの精度劣化を自動で検知することができる。

【0086】

［精度劣化検出装置５０の機能構成］
図１４は、実施例２にかかる精度劣化検出装置５０の機能構成を示す機能ブロック図である。図１４に示すように、精度劣化検出装置５０は、通信部５１、記憶部５２、制御部６０を有する。

【0087】

通信部５１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部５１は、管理者端末などから各種指示を受信する。また、通信部５１は、各種端末から、判定（予測）対象の入力データを受信する。

【0088】

記憶部５２は、データや制御部６０が実行するプログラムなどを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどである。この記憶部５２は、教師データＤＢ５３、入力データＤＢ５４、機械学習モデル５５、インスペクターモデルＤＢ５６を記憶する。なお、教師データＤＢ５３、入力データＤＢ５４、機械学習モデル５５、インスペクターモデルＤＢ５６は、図４で説明した教師データＤＢ１３、入力データＤＢ１４、機械学習モデル１５、インスペクターモデルＤＢ１６と同様の構成を有するので、詳細な説明は省略する。

【0089】

制御部６０は、精度劣化検出装置５０全体を司る処理部であり、例えばプロセッサなどである。この制御部６０は、周期特定部６１、インスペクターモデル生成部６２、設定部６３、劣化検出部６４、報知部６５を有する。なお、周期特定部６１、インスペクターモデル生成部６２、設定部６３、劣化検出部６４、報知部６５は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例などである。

【0090】

周期特定部６１は、監視対象の機械学習モデル１５の入力データの分布変化の周期を確認し、１周期をインスペクターモデルの数で分割した期間内の入力データを抽出し、各インスペクターモデルの訓練データとする処理部である。例えば、周期としては、季節に限らず、朝（６：００から１１：００）、昼（１２：００から１５：００）、夕方（１５：００から１８：００）、夜（１９：００から６：００）など、様々な周期を採用することができる。

【0091】

ここでは、季節を例にして説明する。図１５は、実施例２にかかるインスペクターモデルの学習を説明する図である。図１５に示すように、周期特定部６１は、教師データＤＢ５３に格納される教師データのうち、６月から８月に撮像された教師データを抽出し、９月から１１月に撮像された教師データを抽出し、１２月から２月に撮像された教師データを抽出し、３月から５月に撮像された教師データを抽出する。そして、周期特定部６１は、抽出した各データを記憶部５２に格納したり、インスペクターモデル生成部６２に出力したりする。

【0092】

インスペクターモデル生成部６２は、周期的に変化する入力データの分布に対応させるために、１周期内のそれぞれのタイミングにおいてのデータ分布に対してモデル精度劣化検知を行うインスペクターモデルを生成する処理部である。

【0093】

上記例で説明すると、インスペクターモデル生成部６２は、６月から８月に撮像された教師データを用いた教師有学習により、インスペクターモデル（夏用）生成し、９月から１１月に撮像された教師データを用いた教師有学習により、インスペクターモデル（秋用）生成する。また、インスペクターモデル生成部６２は、１２月から２月に撮像された教師データを用いた教師有学習により、インスペクターモデル（冬用）生成し、３月から５月に撮像された教師データを用いた教師有学習により、インスペクターモデル（春用）生成する。なお、インスペクターモデル生成部６２は、各インスペクターモデルの学習結果（生成結果）をインスペクターモデルＤＢ５６に格納する。

【0094】

設定部６３は、劣化判定のための閾値、合致率算出に用いるデータの規定数の設定を実行する処理部である。例えば、設定部６３は、実施例１の図４で説明した設定部２２と同様の手法により、各閾値等を設定する。

【0095】

劣化検出部６４は、入力データに対する機械学習モデル１５の出力結果とインスペクターモデルの出力結果とを比較し、機械学習モデル１５の精度の劣化を検出する処理部である。具体的には、劣化検出部６４は、実施例１の分類部２４と監視部２５と同様の処理を実行して、機械学習モデル１５の精度劣化を検出する。

【0096】

例えば、劣化検出部６４は、分類部２４と同様、入力データを機械学習モデル１５とインスペクターモデルとのそれぞれに入力して、それぞれの出力結果（分類結果）を取得する。そして、劣化検出部６４は、監視部２５と同様、各入力データに対する機械学習モデル１５の出力結果とインスペクターモデルの出力結果との合致判定を実行して記憶部１２等に蓄積する。その後、劣化検出部６４は、予め指定したタイミングで、機械学習モデル１５と各インスペクターモデルの合致率を算出して、報知部６５に出力する。

【0097】

報知部６５は、実施例１と同様、信頼性が低下した場合に、ユーザにアラートを報知する処理部である。例えば、報知部６５は、劣化検出部６４により算出された各インスペクターモデルの合致率に基づく精度劣化の判定を実行し、精度劣化を検出した場合にアラートを報知する。

【0098】

図１６は、実施例２にかかる精度劣化の検出を説明する図である。図１６に示すように、劣化検出部６４は、機械学習モデル１５の出力結果とインスペクターモデル（夏用）とを比較して合致率を算出し、機械学習モデル１５の出力結果とインスペクターモデル（秋用）とを比較して合致率を算出する。同様に、劣化検出部６４は、機械学習モデル１５の出力結果とインスペクターモデル（冬用）とを比較して合致率を算出し、機械学習モデル１５の出力結果とインスペクターモデル（春用）とを比較して合致率を算出する。

【0099】

そして、報知部６５は、閾値判定を実行する。周期的に入力データの分布が変化するため、特定のインスペクターモデルの合致率が低下した場合でも、モデル精度劣化が発生したとは限らない。そこで、報知部６５は、各合致率と閾値とを比較し、すべての合致率が閾値未満の場合に、精度劣化を検出し、アラートを報知する。

【0100】

［処理の流れ］
図１７は、実施例２にかかる処理の流れを示すフローチャートである。図１７に示すように、処理が開始されると（Ｓ２０１：Ｙｅｓ）、周期特定部６１は、教師データの周期を特定し（Ｓ２０２）、周期ごとの教師データを抽出する（Ｓ２０３）。例えば、周期特定部６１は、ユーザ指定や教師データが撮像された日時を参照することで、季節や時間帯などに区分して教師データを抽出する。

【0101】

続いて、インスペクターモデル生成部６２は、各周期に対応する教師データ内の訓練データを用いて、各周期用のインスペクターモデル用の訓練を実行して、各インスペクターモデルを生成する（Ｓ２０４）。続いて、設定部６３は、初期値を設定する（Ｓ２０５）。

【0102】

その後、劣化検出部６４は、入力データを機械学習モデル１５に入力して出力結果を取得し（Ｓ２０６）、入力データをインスペクターモデルに入力して出力結果を取得する（Ｓ２０７）。

【0103】

そして、劣化検出部６４は、入力データに対する機械学習モデル１５の出力結果とインスペクターモデルの出力結果との合致判定結果を蓄積する（Ｓ２０８）。そして、蓄積数や処理された入力データ数などが規定数に到達するまで（Ｓ２０９：Ｎｏ）、Ｓ２０６以降を繰り返す。

【0104】

その後、劣化検出部６４は、処理数などが規定数に到達すると（Ｓ２０９：Ｙｅｓ）、クラスごとに各インスペクターモデルと機械学習モデル１５との合致率を算出する（Ｓ２１０）。ここで、合致率が検出条件を満たさない場合（Ｓ２１１：Ｎｏ）、Ｓ２０６以降が繰り返され、合致率が検出条件を満たす場合（Ｓ２１１：Ｙｅｓ）、報知部６５は、アラートを報知する（Ｓ２１２）。

【0105】

［効果］
上述したように、実施例２にかかる精度劣化検出装置５０は、監視対象の機械学習モデル１５の入力データの分布変化の周期を確認し、１周期をインスペクターモデル数で分割した期間内の入力データを抽出し、各インスペクターモデルの訓練データとする。実施例２にかかる精度劣化検出装置５０は、上記訓練データを学習した各期間のインスペクターモデルをモデル精度劣化検知に利用し、合致率を算出する。実施例２にかかる精度劣化検出装置５０は、合致率が低下した場合でも、１個以上のインスペクターモデルの合致率が高い場合は、精度劣化発生と判定せず、全てのインスペクターモデルの合致率が低下して、初めて精度劣化発生と判定する。

【0106】

この結果、実施例２にかかる精度劣化検出装置５０は、入力データの分布が周期的に変化する機械学習モデルの精度劣化を自動で検出でき、季節性のあるデータ等の周期的に分布が変化するデータでの誤検知を防止できる。

【0107】

図１８は、実施例２の効果を説明する図である。図１８の上図に示すように、１つのインスペクターモデルのみを用いて精度劣化を検出する場合、夏の入力データに対しては、正しくクラス分類できるが、夏のデータとは特徴量が異なる秋、冬、春の各データに対しては正しくクラス分類を実行できず、クラス０やクラス１で誤検出を実行する場合がある。

【0108】

一方、図１８の下図に示すように、季節ごとに異なる訓練データで学習させた各インスペクターモデルは、特徴量空間の決定領域が異なっており、各季節に適したモデル適用領域が学習により生成される。したがって、実施例２にかかる精度劣化検出装置５０は、各季節に適したインスペクターモデルを用いることで、季節の影響によって入力データの特徴量が少し変化したとしても、いずれかのインスペクターモデルの合致率を閾値以上で維持することができる。そして、実施例２にかかる精度劣化検出装置５０は、入力データが季節に関係なく大きく変化した場合には、すべてのインスペクターモデルの合致率を閾値未満となるので、機械学習モデル１５の再学習のタイミングを正確に検出することができる。

【0109】

［具体例］
次に、実施例２の具体例を説明する。画像分類器として利用する機械学習モデル１５は、１０クラス分類を行うＤＮＮを用いた分類器であり、教師データを１０００個／１クラス、訓練回数を１００エポックとして訓練されている。また、インスペクターモデル（夏用）は、１０クラス分類を行うＤＮＮを用いた検出器であり、６月から８月に取得された教師データを２００個／１クラス、訓練回数を１００エポックとして訓練されている。

【0110】

インスペクターモデル（秋用）は、１０クラス分類を行うＤＮＮを用いた検出器であり、９月から１１月に取得された教師データを２００個／１クラス、訓練回数を１００エポックとして訓練されている。インスペクターモデル（冬用）は、１０クラス分類を行うＤＮＮを用いた検出器であり、１２月から２月に取得された教師データを２００個／１クラス、訓練回数を１００エポックとして訓練されている。インスペクターモデル（春用）は、１０クラス分類を行うＤＮＮを用いた検出器であり、３月から５月に取得された教師データを２００個／１クラス、訓練回数を１００エポックとして訓練されている。

【0111】

このような条件において、実施例１と同様の画像分類を実行する。季節に対応したインスペクターモデルを用いたときに、入力データに季節性の変化のみが発生した場合の合致率の変化と、入力データに季節性以外の変化が発生した場合の合致率の変化とを比較する。図１９は、実施例２の具体例を説明する図である。図１９では、季節に応じて、衣料品の傾向が変化した検出結果である。

【0112】

図１９に示すように、季節性の変化のみの場合は、各季節において全てのインスペクターモデルの合致率が閾値を同時に下回ることはなく、誤検知を抑制することができた。一方、季節性以外の変化の場合は、冬の入力データに対して全てのインスペクターモデルの合致率が閾値を同時に下回り、正しく精度劣化を検出した。したがって、精度劣化検出装置５０は、季節性のあるデータ等の周期的に分布が変化するデータでの誤検出を防止できる。

【実施例3】

【0113】

ところで、実施例２では、季節性など周期が予め既知である場合に、各周期のデータを抽出して、各周期に対応するインスペクターモデルを生成する例を説明したが、実施例１の手法を用いてデータの周期を特定することができる。

【0114】

図２０は、実施例３にかかる精度劣化検出装置８０の機能構成を示す機能ブロック図である。図２０に示すように、精度劣化検出装置８０は、通信部８１、記憶部８２、制御部９０を有する。

【0115】

通信部８１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部８１は、管理者端末などから各種指示を受信する。また、通信部８１は、各種端末から、判定（予測）対象の入力データを受信する。

【0116】

記憶部８２は、データや制御部９０が実行するプログラムなどを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどである。この記憶部８２は、教師データＤＢ８３、入力データＤＢ８４、機械学習モデル８５、インスペクターモデルＤＢ８６を記憶する。なお、教師データＤＢ８３、入力データＤＢ８４、機械学習モデル８５、インスペクターモデルＤＢ８６は、図４で説明した教師データＤＢ１３、入力データＤＢ１４、機械学習モデル１５、インスペクターモデルＤＢ１６と同様の構成を有するので、詳細な説明は省略する。

【0117】

制御部９０は、精度劣化検出装置８０全体を司る処理部であり、例えばプロセッサなどである。この制御部９０は、第１処理部９１、周期判定部９２、第２処理部９３を有する。なお、第１処理部９１、周期判定部９２、第２処理部９３は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例などである。

【0118】

ここで、第１処理部９１は、実施例１で説明したインスペクターモデル生成部２１、設定部２２、劣化検出部２３、表示制御部２６、報知部２７と同様の機能を実行する。また、第２処理部９３は、実施例２で説明した周期特定部６１、インスペクターモデル生成部６２、設定部６３、劣化検出部６４、報知部６５と同様の機能を実行する。

【0119】

実施例１－２と異なる点は、周期判定部９２が、第１処理部９１の結果に基づいて、入力データの周期を特定して第２処理部９３に通知し、第２処理部９３は、通知された周期を用いて各インスペクターモデルの再学習を実行する点である。

【0120】

例えば、周期判定部９２は、第１処理部９１が表示した１時間おきの精度状態のリアルタイム表示を参照する。そして、周期判定部９２は、すべてのインスペクターモデルが同時に閾値未満である状態がないことを検出すると、入力データに周期があると判定する。

【0121】

すると、周期判定部９２は、７時から１０時の間ではインスペクターモデル１の精度が最もよく、１１時から１４時の間ではインスペクターモデル２の精度が最もよく、１５時から１８時の間ではインスペクターモデル３の精度が最もよく、１９時から６時の間ではインスペクターモデル４の精度が最もよいことを特定する。

【0122】

この場合、周期判定部９２は、周期１：７時から１０時、周期２：１１時から１４時、周期３：１５時から１８時、周期４：１９時から６時を特定し、第２処理部９３に通知する。

【0123】

この通知を受信した第２処理部９３は、教師データを撮像時間で上記４つの周期に分割して抽出する。そして、第２処理部９３は、周期１の教師データを用いてインスペクターモデル１を再学習し、周期２の教師データを用いてインスペクターモデル２を再学習し、周期３の教師データを用いてインスペクターモデル３を再学習し、周期４の教師データを用いてインスペクターモデル４を再学習する。このようにして、周期を自動で特定し、各周期に対応するインスペクターモデルを生成することができる。

【0124】

なお、最初から存在するインスペクターモデルの数と周期の数とが一致せず、インスペクターモデルの数が多い場合には、いずれかのインスペクターモデルを使用しないようにし、周期の数が多い場合には、新たなインスペクターモデルを生成する。また、再学習する教師データは、一度学習に使用したデータであってもよく、新たに収集したデータでもよく、機械学習モデル１５により判定された入力データを使用してもよい。また、判定済みの入力データは、ラベルが付与されていないデータなので、機械学習モデル１５の判定結果をラベルとして付与することもできる。

【実施例4】

【0125】

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

【0126】

［数値等］
また、上記実施例で用いたデータ例、数値、各閾値、特徴量空間、ラベル数、インスペクターモデル数、具体例、周期等は、あくまで一例であり、任意に変更することができる。また、入力データや学習方法などもあくまで一例であり、任意に変更することができる。また、学習モデルには、ニューラルネットワークなど様々な手法を採用することができる。

【0127】

［合致率］
例えば、上記実施例では、各クラスのモデル適用領域に属する入力データの合致率を求める例を説明したが、これに限定されるものではない。例えば、機械学習モデル１５の出力結果とインスペクターモデルの出力結果との合致率により精度劣化を検出することもできる。

【0128】

また、図７の例では、クラス０に着目して合致率を算出したが、各クラスに着目することもできる。例えば、図７の例では、時間経過後、監視部２５は、監視対象の機械学習モデル１５から、クラス０のモデル適用領域には６つの入力データが属し、クラス１のモデル適用領域には６つの入力データが属し、クラス２のモデル適用領域には８つの入力データが属することを取得する。一方、監視部２５は、インスペクターモデルから、クラス０のモデル適用領域には３つの入力データが属し、クラス１のモデル適用領域には９つの入力データが属し、クラス２のモデル適用領域には８つの入力データが属することを取得する。この場合、監視部２５は、クラス０とクラス１のそれぞれについて、合致率の低下を検出することができる。

【0129】

［再学習］
また、各精度劣化検出装置は、精度劣化が検出された場合に、インスペクターモデルの判定結果を正解情報として、機械学習モデル１５を再学習することもできる。例えば、各精度劣化検出装置は、各入力データを説明変数、各入力データに対するインスペクターモデルの判定結果を目的変数とした再学習データを生成して、機械学習モデル１５を再学習することもできる。なお、インスペクターモデルが複数ある場合は、機械学習モデル１５との合致率が低いインスペクターモデルを採用することができる。

【0130】

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0131】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、機械学習モデル１５を実行して入力データを分類（判定）する装置と、精度劣化を検出する装置とを別々の筐体で実現することもできる。

【0132】

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0133】

［ハードウェア］
図２１は、ハードウェア構成例を説明する図である。ここでは、実施例１の精度劣化検出装置１０を例にして説明するが、他の実施例の精度劣化検出装置も同様のハードウェア構成を有する。図２１に示すように、精度劣化検出装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図２１に示した各部は、バス等で相互に接続される。

【0134】

通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図４に示した機能を動作させるプログラムやＤＢを記憶する。

【0135】

プロセッサ１０ｄは、図４に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図４等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、精度劣化検出装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、インスペクターモデル生成部２１、設定部２２、劣化検出部２３、表示制御部２６、報知部２７等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、インスペクターモデル生成部２１、設定部２２、劣化検出部２３、表示制御部２６、報知部２７等と同様の処理を実行するプロセスを実行する。

【0136】

このように、精度劣化検出装置１０は、プログラムを読み出して実行することで精度劣化検出定方法を実行する情報処理装置として動作する。また、精度劣化検出装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、精度劣化検出装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

【符号の説明】

【0137】

１０ 精度劣化検出装置
１１ 通信部
１２ 記憶部
１３ 教師データＤＢ
１４ 入力データＤＢ
１５ 機械学習モデル
１６ インスペクターモデルＤＢ
２０ 制御部
２１ インスペクターモデル生成部
２２ 設定部
２３ 劣化検出部
２４ 分類部
２５ 監視部
２６ 表示制御部
２７ 報知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】