知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-25
(45)【発行日】2023-05-08
(54)【発明の名称】作成方法、作成プログラムおよび情報処理装置
(51)【国際特許分類】
G06N 20/00 20190101AFI20230426BHJP
【ＦＩ】
G06N20/00 130
【請求項の数】
6
(21)【出願番号】P 2021553250
(86)(22)【出願日】2019-10-24
(86)【国際出願番号】 JP2019041806
(87)【国際公開番号】W WO2021079484
(87)【国際公開日】2021-04-29
【審査請求日】2022-03-02
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】小林 健一
(72)【発明者】
【氏名】大川 佳寛
(72)【発明者】
【氏名】横田 泰斗
(72)【発明者】
【氏名】中澤 克仁
【審査官】真木 健彦
(56)【参考文献】
【文献】特許第６５１３３１４（ＪＰ，Ｂ１）
【文献】Shweta Vinayak Kadam，A Survey on Classification of Concept Drift with Stream Data，HAL open science，HAL open science，2019年03月09日
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
精度変化の検出対象となる学習モデルを取得し、取得した前記学習モデルに対して、データを入力したときの分類クラスの判定に関する判定スコアを算出し、
算出した前記判定スコアの値が最大の第１の分類クラスと、算出した前記判定スコアの値が前記第１の分類クラスの次に大きい値の第２の分類クラスとの間で前記判定スコアの差分を算出し、
算出した前記判定スコアの差分が予め設定された閾値以下のときは、前記分類クラスを未決定と判定する検出モデルを作成する、
処理をコンピュータが実行することを特徴とする作成方法。
【請求項2】
前記作成する処理は、前記閾値が互いに異なる複数の検出モデルを作成する、ことを特徴とする請求項１に記載の作成方法。
【請求項3】
前記作成する処理は、前記判定スコアそれぞれの前記学習モデルにおける分類クラスの判定結果と、前記判定スコアそれぞれの前記検出モデルにおける分類クラスの判定結果との一致割合を所定値とするように前記閾値を定める、ことを特徴とする請求項１に記載の作成方法。
【請求項4】
前記判定スコアを算出する処理は、前記学習モデルの学習に関する教師データを用いて前記判定スコアを算出する、ことを特徴とする請求項１に記載の作成方法。
【請求項5】
精度変化の検出対象となる学習モデルを取得し、取得した前記学習モデルに対して、データを入力したときの分類クラスの判定に関する判定スコアを算出し、
算出した前記判定スコアの値が最大の第１の分類クラスと、算出した前記判定スコアの値が前記第１の分類クラスの次に大きい値の第２の分類クラスとの間で前記判定スコアの差分を算出し、
算出した前記判定スコアの差分が予め設定された閾値以下のときは、前記分類クラスを未決定と判定する検出モデルを作成する、
処理をコンピュータに実行させることを特徴とする作成プログラム。
【請求項6】
精度変化の検出対象となる学習モデルを取得し、取得した前記学習モデルに対して、データを入力したときの分類クラスの判定に関する判定スコアを算出する算出部と、算出した前記判定スコアの値が最大の第１の分類クラスと、算出した前記判定スコアの値が前記第１の分類クラスの次に大きい値の第２の分類クラスとの間で前記判定スコアの差分を算出し、算出した前記判定スコアの差分が予め設定された閾値以下のときは、前記分類クラスを未決定と判定する検出モデルを作成する作成部と、
を有することを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、作成方法、作成プログラムおよび情報処理装置に関する。
【背景技術】
【0002】
近年、企業等で利用されている情報システムに対して、データの判定機能、分類機能等を有する機械学習モデルの導入が進んでいる。以下、情報システムを「システム」と表記する。機械学習モデルは、システム開発時に学習させた教師データの通りに判定、分類を行うため、システム運用中に業務判断の基準が変わる等のコンセプトドリフトにより入力データの傾向が変化すると、機械学習モデルの精度が劣化する。
【0003】
図１７は、入力データの傾向の変化による機械学習モデルの劣化を説明するための図である。ここで説明する機械学習モデルは、入力データを第１クラス、第２クラス、第３クラスのいずれかに分類するモデルであり、システム運用前に、教師データに基づき、予め学習されているものとする。教師データには、訓練データと、検証データとが含まれる。
【0004】
図１７において、分布１Ａは、システム運用初期の入力データの分布を示す。分布１Ｂは、システム運用初期からＴ１時間経過した時点の入力データの分布を示す。分布１Ｃは、システム運用初期から更にＴ２時間経過した時点の入力データの分布を示す。時間経過に伴って、入力データの傾向（特徴量等）が変化するものとする。たとえば、入力データが画像であれば、同一の被写体を撮影した画像であっても、季節や時間帯に応じて、入力データの傾向が変化する。
【0005】
決定境界３は、モデル適用領域３ａ～３ｃの境界を示すものである。たとえば、モデル適用領域３ａは、第１クラスに属する訓練データが分布する領域である。モデル適用領域３ｂは、第２クラスに属する訓練データが分布する領域である。モデル適用領域３ｃは、第３クラスに属する訓練データが分布する領域である。
【0006】
星印は、第１クラスに属する入力データであり、機械学習モデルに入力した際に、モデル適用領域３ａに分類されることが正しい。三角印は、第２クラスに属する入力データであり、機械学習モデルに入力した際に、モデル適用領域３ｂに分類されることが正しい。丸印は、第３クラスに属する入力データであり、機械学習モデルに入力した際に、モデル適用領域３ａに分類されることが正しい。
【0007】
分布１Ａでは、全ての入力データが正常なモデル適用領域に分布している。すなわち、星印の入力データがモデル適用領域３ａに位置し、三角印の入力データがモデル適用領域３ｂに位置し、丸印の入力データがモデル適用領域３ｃに位置している。
【0008】
分布１Ｂでは、コンセプトドリフトにより入力データの傾向が変化したため、全ての入力データが、正常なモデル適用領域に分布しているものの、星印の入力データの分布がモデル適用領域３ｂの方向に変化している。
【0009】
分布１Ｃでは、入力データの傾向が更に変化し、星印の一部の入力データが、決定境界３を跨いで、モデル適用領域３ｂに移動しており、適切に分類されておらず、正解率が低下している（機械学習モデルの精度が劣化している）。
【0010】
ここで、運用中の機械学習モデルの精度劣化を検出する技術として、Ｔ２統計量（Hotelling's T-square）を用いる従来技術がある。この従来技術では、入力データおよび正常データ（訓練データ）のデータ群を主成分分析し、入力データのＴ２統計量を算出する。Ｔ２統計量は、標準化した各主成分の原点からデータまでの距離の二乗を合計したものである。従来技術は、入力データ群のＴ２統計量の分布の変化を基にして、機械学習モデルの精度劣化を検知する。たとえば、入力データ群のＴ２統計量は、異常値データの割合に対応する。
【先行技術文献】
【非特許文献】
【0011】
【文献】A.Shabbak and H. Midi,"An Improvement of the Hotelling Statistic in Monitoring Multivariate Quality Characteristics",Mathematical Problems in Engineering (2012) 1-15.
【発明の概要】
【発明が解決しようとする課題】
【0012】
しかしながら、上記の従来技術では、入力データ群のＴ２統計量の分布の変化をもとにしており、例えば、入力データの採取がある程度行われないと機械学習モデルの精度劣化を検知することが困難であるという問題がある。
【0013】
１つの側面では、機械学習モデルの精度劣化を検知することができる作成方法、作成プログラムおよび情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0014】
１つの案では、作成方法は、取得する処理と、判定スコアを算出する処理と、差分を算出する処理と、作成する処理とをコンピュータが実行する。取得する処理は、精度変化の検出対象となる学習モデルを取得する。判定スコアを算出する処理は、取得した学習モデルに対して、データを入力したときの分類クラスの判定に関する判定スコアを算出する。差分を算出する処理は、算出した判定スコアの値が最大の第１の分類クラスと、算出した判定スコアの値が第１の分類クラスの次に大きい値の第２の分類クラスとの間で判定スコアの差分を算出する。作成する処理は、算出した判定スコアの差分が予め設定された閾値以下のときは、分類クラスを未決定と判定する検出モデルを作成する。
【発明の効果】
【0015】
機械学習モデルの精度劣化を検知することができる。
【図面の簡単な説明】
【0016】
【発明を実施するための形態】
【0017】
以下、図面を参照して、実施形態にかかる作成方法、作成プログラムおよび情報処理装置を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する作成方法、作成プログラムおよび情報処理装置は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。
【0018】
本実施形態の説明を行う前に、機械学習モデルの精度劣化を検知する参考技術について説明する。参考技術では、異なる条件でモデル適用領域を狭めた複数の監視器を用いて、機械学習モデルの精度劣化を検知する。以下の説明では、監視器を「インスペクターモデル」と表記する。
【0019】
図１は、参考技術を説明するための説明図である。機械学習モデル１０は、教師データを用いて機械学習した機械学習モデルである。参考技術では、機械学習モデル１０の精度劣化を検知する。たとえば、教師データには、訓練データと、検証データとが含まれる。訓練データは、機械学習モデル１０のパラメータを機械学習する場合に用いられるものであり、正解ラベルが対応付けられる。検証データは、機械学習モデル１０を検証する場合に用いられるデータである。
【0020】
インスペクターモデル１１Ａ、１１Ｂ、１１Ｃは、それぞれ異なる条件でモデル適用領域が狭められ、異なる決定境界を有する。インスペクターモデル１１Ａ～１１Ｃは、それぞれ決定境界が異なるため、同一の入力データを入力しても、出力結果が異なる場合がある。参考技術では、インスペクターモデル１１Ａ～１１Ｃの出力結果の違いを基にして、機械学習モデル１０の精度劣化を検知する。図１に示す例では、インスペクターモデル１１Ａ～１１Ｃを示すが、他のインスペクターモデルを用いて、精度劣化を検知してもよい。インスペクターモデル１１Ａ～１１ＣにはＤＮＮ（Deep Neural Network）を利用する。
【0021】
図２は、監視対象の機械学習モデルの精度劣化を検知する仕組みを説明するための説明図である。図２では、インスペクターモデル１１Ａ、１１Ｂを用いて説明を行う。インスペクターモデル１１Ａの決定境界を決定境界１２Ａとし、インスペクターモデル１１Ｂの決定境界を決定境界１２Ｂとする。決定境界１２Ａと、決定境界１２Ｂとの位置はそれぞれ異なっており、クラス分類に関するモデル適用領域が異なる。
【0022】
入力データがモデル適用領域４Ａに位置する場合には、入力データは、インスペクターモデル１１Ａによって、第１クラスに分類される。入力データがモデル適用領域５Ａに位置する場合には、入力データは、インスペクターモデル１１Ａによって、第２クラスに分類される。
【0023】
入力データがモデル適用領域４Ｂに位置する場合には、入力データは、インスペクターモデル１１Ｂによって、第１クラスに分類される。入力データがモデル適用領域５Ｂに位置する場合には、入力データは、インスペクターモデル１１Ｂによって、第２クラスに分類される。
【0024】
たとえば、運用初期の時間Ｔ１において、入力データＤＴ１をインスペクターモデル１１Ａに入力すると、入力データＤＴ１はモデル適用領域４Ａに位置するため、「第１クラス」に分類される。入力データＤＴ１をインスペクターモデル１１Ｂに入力すると、入力データＤＴ１はモデル適用領域４Ｂに位置するため、「第１クラス」に分類される。入力データＤＴ１を入力した場合の分類結果が、インスペクターモデル１１Ａと、インスペクターモデル１１Ｂとで同一であるため「劣化なし」と判定される。
【0025】
運用初期から時間経過した時間Ｔ２において、入力データの傾向が変化して、入力データＤＴ２となる。入力データＤＴ２をインスペクターモデル１１Ａに入力すると、入力データＤＴ２はモデル適用領域４Ａに位置するため、「第１クラス」に分類される。一方、入力データＤＴ２をインスペクターモデル１１Ｂに入力すると、入力データＤＴ２はモデル適用領域４Ｂに位置するため、「第２クラス」に分類される。入力データＤＴ２を入力した場合の分類結果が、インスペクターモデル１１Ａと、インスペクターモデル１１Ｂとで異なるため「劣化あり」と判定される。
【0026】
ここで、参考技術では、異なる条件でモデル適用領域を狭めたインスペクターモデルを作成する場合、訓練データの数を削減する。たとえば、参考技術では、各インスペクターモデルの訓練データをランダムに削減する。また、参考技術では、インスペクターモデル毎に削減する訓練データの数を変更する。
【0027】
図３は、参考技術によるモデル適用領域の一例を示す図（１）である。図３に示す例では、特徴空間における訓練データの分布２０Ａ、２０Ｂ、２０Ｃを示す。分布２０Ａは、インスペクターモデル１１Ａを作成する場合に用いる訓練データの分布である。分布２０Ｂは、インスペクターモデル１１Ｂを作成する場合に用いる訓練データの分布である。分布２０Ｃは、インスペクターモデル１１Ｃを作成する場合に用いる訓練データの分布である。
【0028】
星印は、正解ラベルが第１クラスの訓練データである。三角印は、正解ラベルが第２クラスの訓練データである。丸印は、正解ラベルが第３クラスの訓練データである。
【0029】
各インスペクターモデルを作成する場合に用いる訓練データの数は、数の多い順に、インスペクターモデル１１Ａ、インスペクターモデル１１Ｂ、インスペクターモデル１１Ｃの順となる。
【0030】
分布２０Ａにおいて、第１クラスのモデル適用領域は、モデル適用領域２１Ａとなる。第２クラスのモデル適用領域は、モデル適用領域２２Ａとなる。第３クラスのモデル適用領域は、モデル適用領域２３Ａとなる。
【0031】
分布２０Ｂにおいて、第１クラスのモデル適用領域は、モデル適用領域２１Ｂとなる。第２クラスのモデル適用領域は、モデル適用領域２２Ｂとなる。第３クラスのモデル適用領域は、モデル適用領域２３Ｂとなる。
【0032】
分布２０Ｃにおいて、第１クラスのモデル適用領域は、モデル適用領域２１Ｃとなる。第２クラスのモデル適用領域は、モデル適用領域２２Ｃとなる。第３クラスのモデル適用領域は、モデル適用領域２３Ｃとなる。
【0033】
しかしながら、訓練データの数を削減しても、必ずしも、図３で説明したように、モデル適用領域が狭くならない場合がある。図４は、参考技術によるモデル適用領域の一例を示す図（２）である。図４に示す例では、特徴空間における訓練データの分布２４Ａ、２４Ｂ、２４Ｃを示す。分布２４Ａは、インスペクターモデル１１Ａを作成する場合に用いる訓練データの分布である。分布２４Ｂは、インスペクターモデル１１Ｂを作成する場合に用いる訓練データの分布である。分布２４Ｃは、インスペクターモデル１１Ｃを作成する場合に用いる訓練データの分布である。星印、三角印、丸印の訓練データの説明は、図３で行った説明と同様である。
【0034】
各インスペクターモデルを作成する場合に用いる訓練データの数は、数の多い順に、インスペクターモデル１１Ａ、インスペクターモデル１１Ｂ、インスペクターモデル１１Ｃの順となる。
【0035】
分布２４Ａにおいて、第１クラスのモデル適用領域は、モデル適用領域２５Ａとなる。第２クラスのモデル適用領域は、モデル適用領域２６Ａとなる。第３クラスのモデル適用領域は、モデル適用領域２７Ａとなる。
【0036】
分布２４Ｂにおいて、第１クラスのモデル適用領域は、モデル適用領域２５Ｂとなる。第２クラスのモデル適用領域は、モデル適用領域２６Ｂとなる。第３クラスのモデル適用領域は、モデル適用領域２７Ｂとなる。
【0037】
分布２４Ｃにおいて、第１クラスのモデル適用領域は、モデル適用領域２５Ｃとなる。第２クラスのモデル適用領域は、モデル適用領域２６Ｃとなる。第３クラスのモデル適用領域は、モデル適用領域２７Ｃとなる。
【0038】
【0039】
参考技術では、どの訓練データを削除すれば、モデル適用領域がどの程度狭くなるのか未知であるため、モデル適用領域を、意図的に分類クラスを指定しながら任意の広さに調整することが困難である。そのため、訓練データを削除して作成したインスペクターモデルのモデル適用領域が狭くならないケースがある。
【0040】
特徴空間上で、あるクラスであると分類されるモデル適用領域が狭いほど、そのクラスはコンセプトドリフトに弱いと言える。このため、監視対象の機械学習モデル１０の精度劣化を検出するためには、モデル適用領域を適宜狭くしたインスペクターモデルを複数作成することが重要となる。よって、インスペクターモデルのモデル適用領域が狭くならなかった場合、作り直しの工数がかかる。
【0041】
すなわち、参考技術では、指定した分類クラスのモデル適用領域を狭めた複数のインスペクターモデルを適切に作成することが困難である。
【0042】
そこで、本実施形態では、機械学習モデルにおける特徴空間上での決定境界を広げて分類クラスを未決定とするｕｎｋｎｏｗｎ領域を設け、各クラスのモデル適用領域を意図的に狭める検出モデルを作成する。
【0043】
図５は、本実施形態における検出モデルの概要を説明するための説明図である。図５において、入力データＤ１は、コンセプトドリフトによる精度変化の検出対象となる機械学習モデルに対する入力データを示す。モデル適用領域Ｃ１は、検出対象となる機械学習モデルにより分類クラスが「Ａ」と判定される特徴空間上の領域である。モデル適用領域Ｃ２は、検出対象となる機械学習モデルにより分類クラスが「Ｂ」と判定される特徴空間上の領域である。モデル適用領域Ｃ３は、検出対象となる機械学習モデルにより分類クラスが「Ｃ」と判定される特徴空間上の領域である。決定境界Ｋは、モデル適用領域Ｃ１～Ｃ３の境界である。
【0044】
図５の左側に示すように、入力データＤ１は、決定境界Ｋを区切りとしてモデル適用領域Ｃ１～Ｃ３のいずれかに含まれることから、機械学習モデルを用いることで「Ａ」～「Ｃ」のいずれかの分類クラスに分類される。決定境界Ｋは、機械学習モデルによる分類クラスの判定に関する判定スコアにおいて、判定スコアの値が最大となる分類クラスと、判定スコアの値が最大となる分類クラスの次に大きい分類クラスとの間でスコア差が０のところである。例えば、機械学習モデルが分類クラスごとに判定スコアを出力する場合には、判定スコアが最大（１位）の分類クラスと、判定スコアが次点（２位）の分類クラスとのスコア差が０となるところである。
【0045】
そこで、本実施形態では、コンセプトドリフトによる精度変化の検出対象となる機械学習モデルに対してデータを入力したときの分類クラスの判定に関する判定スコアを算出する。次いで、算出した判定スコアについて、最大となる分類クラス（１位の分類クラス）と、最大となる分類クラスの次に大きい分類クラス（２位の分類クラス）との間のスコア差が所定の閾値（パラメータｈ）以下のときは、分類クラスを未決定（ｕｎｋｎｏｗｎ）とする検出モデルを作成する。
【0046】
図５の中央に示すように、このように作成した検出モデルでは、特徴空間上の決定境界Ｋを含む所定幅の領域において、分類クラスが未決定を示す「ｕｎｋｎｏｗｎ」と判定されるｕｎｋｎｏｗｎ領域ＵＫとなる。すなわち、検出モデルでは、ｕｎｋｎｏｗｎ領域ＵＫにより各クラスのモデル適用領域Ｃ１～Ｃ３を確実に狭めている。このように、各クラスのモデル適用領域Ｃ１～Ｃ３が狭まっていることから、作成した検出モデルは、検出対象となる機械学習モデルよりもコンセプトドリフトに弱いモデルとなる。したがって、作成した検出モデルにより、機械学習モデルの精度劣化を検知することができる。
【0047】
また、検出モデルでは、機械学習モデルに対して、判定スコアにおけるスコア差（パラメータｈ）を定めておけばよく、検出モデルを作成するためにＤＮＮに関する追加の学習は不要である。
【0048】
また、図５の左側に示すように、パラメータｈの大きさを変えることで、ｕｎｋｎｏｗｎ領域ＵＫの大きさ（各クラスのモデル適用領域Ｃ１～Ｃ３の狭さ）の異なる複数の検出モデルを作成する。作成した検出モデルについては、ｕｎｋｎｏｗｎ領域ＵＫが大きく、各クラスのモデル適用領域Ｃ１～Ｃ３が狭くなるほど、よりコンセプトドリフトに弱いモデルとなる。したがって、コンセプトドリフトに対する弱さの異なる複数の検出モデルを作成することで、検出対象となる機械学習モデルにおける精度劣化の進み具合を精度よく求めることができる。
【0049】
図６は、本実施形態にかかる情報処理装置の機能構成例を示すブロック図である。図６に示すように、情報処理装置１００は、検出モデルの作成に関する各種処理を行う装置であり、例えばパーソナルコンピュータなどを適用できる。
【0050】
具体的には、情報処理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。
【0051】
通信部１１０は、ネットワークを介して、外部装置（図示略）とデータ通信を実行する処理部である。通信部１１０は、通信装置の一例である。後述する制御部１５０は、通信部１１０を介して、外部装置とデータをやり取りする。
【0052】
入力部１２０は、情報処理装置１００に対して各種の情報を入力するための入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。
【0053】
表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、タッチパネル等に対応する。
【0054】
記憶部１４０は、教師データ１４１、機械学習モデルデータ１４２、インスペクターテーブル１４３および出力結果テーブル１４４を有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。
【0055】
教師データ１４１は、訓練データセット１４１ａと、検証データ１４１ｂを有する。訓練データセット１４１ａは、訓練データに関する各種の情報を保持する。
【0056】
図７は、訓練データセット１４１ａのデータ構造の一例を示す図である。図７に示すように、訓練データセット１４１ａは、レコード番号と、訓練データと、正解ラベルとを対応付ける。レコード番号は、訓練データと、正解ラベルとの組を識別する番号である。訓練データは、メールスパムのデータ、電気需要予測、株価予測、ポーカーハンドのデータ、画像データ等に対応する。正解ラベルは、第１クラス（Ａ）、第２クラス（Ｂ）、第３クラス（Ｃ）の各分類クラスのうち、いずれかの分類クラスを一意に識別する情報である。
【0057】
検証データ１４１ｂは、訓練データセット１４１ａによって学習された機械学習モデルを検証するためのデータである。検証データ１４１ｂは、正解ラベルが付与される。たとえば、検証データ１４１ｂを、機械学習モデルに入力した場合に、機械学習モデルから出力される出力結果が、検証データ１４１ｂに付与される正解ラベルに一致する場合、訓練データセット１４１ａによって、機械学習モデルが適切に学習されたことを意味する。
【0058】
機械学習モデルデータ１４２は、コンセプトドリフトによる精度変化の検出対象となる機械学習モデルのデータである。図８は、機械学習モデルの一例を説明するための図である。図８に示すように、機械学習モデル５０は、ニューラルネットワークの構造を有し、入力層５０ａ、隠れ層５０ｂ、出力層５０ｃを有する。入力層５０ａ、隠れ層５０ｂ、出力層５０ｃは、複数のノードがエッジで結ばれる構造となっている。隠れ層５０ｂ、出力層５０ｃは、活性化関数と呼ばれる関数とバイアス値とを持ち、エッジは、重みを持つ。以下の説明では、バイアス値、重みを「重みパラメータ」と表記する。
【0059】
入力層５０ａに含まれる各ノードに、データ（データの特徴量）を入力すると、隠れ層５０ｂを通って、出力層５０ｃのノード５１ａ、５１ｂ、５１ｃから、各クラスの確率が出力される。たとえば、ノード５１ａから、第１クラス（Ａ）の確率が出力される。ノード５１ｂから、第２クラス（Ｂ）の確率が出力される。ノード５１ｃから、第３クラス（Ｃ）の確率が出力される。各クラスの確率は、出力層５０ｃの各ノードから出力される値を、ソフトマックス（Softmax）関数に入力することで、算出される。本実施形態では、ソフトマックス関数に入力する前の値を「スコア」と表記し、この「スコア」が判定スコアの一例である。
【0060】
たとえば、正解ラベル「第１クラス（Ａ）」に対応する訓練データを、入力層５０ａに含まれる各ノードに入力した場合に、ノード５１ａから出力される値であって、ソフトマックス関数に入力する前の値を、入力した訓練データのスコアとする。正解ラベル「第２クラス（Ｂ）」に対応する訓練データを、入力層５０ａに含まれる各ノードに入力した場合に、ノード５１ｂから出力される値であって、ソフトマックス関数に入力する前の値を、入力した訓練データのスコアとする。正解ラベル「第３クラス（Ｃ）」に対応する訓練データを、入力層５０ａに含まれる各ノードに入力した場合に、ノード５１ｃから出力される値であって、ソフトマックス関数に入力する前の値を、入力した訓練データのスコアとする。
【0061】
機械学習モデル５０は、教師データ１４１の訓練データセット１４１ａと、検証データ１４１ｂとを基にして、学習済みであるものとする。機械学習モデル５０の学習では、訓練データセット１４１ａの各訓練データを入力層５０ａに入力した場合、出力層５０ｃの各ノードの出力結果が、入力した訓練データの正解ラベルに近づくように、機械学習モデル５０のパラメータが学習（誤差逆伝播法による学習）される。
【0062】
図６の説明に戻る。インスペクターテーブル１４３は、機械学習モデル５０の精度劣化を検知する複数の検出モデル（インスペクターモデル）のデータを保持するテーブルである。
【0063】
図９は、インスペクターテーブル１４３のデータ構造の一例を示す図である。図９に示すように、インスペクターテーブル１４３は、識別情報（例えばＭ０～Ｍ３）と、インスペクターモデルとを対応付ける。識別情報は、インスペクターモデルを識別する情報である。インスペクターは、モデル識別情報に対応するインスペクターモデルのデータである。インスペクターモデルのデータには、図５で説明したパラメータｈなどが含まれる。
【0064】
図６の説明に戻る。出力結果テーブル１４４は、インスペクターテーブル１４３による各インスペクターモデル（検出モデル）に、運用中のシステムのデータを入力した際の、各インスペクターモデルの出力結果を登録するテーブルである。
【0065】
制御部１５０は、算出部１５１、作成部１５２、取得部１５３および検出部１５４を有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。
【0066】
算出部１５１は、機械学習モデルデータ１４２より機械学習モデル５０を取得する。次いで、算出部１５１は、取得した機械学習モデル５０に対してデータを入力したときの分類クラスの判定に関する判定スコアを算出する処理部である。具体的には、算出部１５１は、機械学習モデルデータ１４２により構築した機械学習モデル５０の入力層５０ａにデータを入力することで、出力層５０ｃより各クラスの確率などの判定スコアを得る。
【0067】
なお、機械学習モデル５０が出力層５０ｃより判定スコアを出力しない場合（分類結果を直接出力する）場合は、機械学習モデル５０の学習に使用した教師データ１４１を用い、各クラスの確率などの判定スコアを出力するように学習した機械学習モデルで代替してもよい。すなわち、算出部１５１は、機械学習モデル５０の学習に用いた教師データ１４１をもとに判定スコアを出力するように学習した機械学習モデルにデータを入力することで、機械学習モデル５０に対してデータを入力したときの分類クラスの判定に関する判定スコアを取得する。
【0068】
作成部１５２は、算出した判定スコアに基づき、算出した判定スコアの値が最大の第１の分類クラスと、算出した判定スコアの値が第１の分類クラスの次に大きい値の第２の分類クラスとの間で判定スコアの差分を算出する。そして、作成部１５２は、判定スコアの値が最大の第１の分類クラスと、判定スコアの値が第１の分類クラスの次に大きい値の第２の分類クラスとの間で判定スコアの差分が所定の閾値以下のときは、分類クラスを未決定と判定する検出モデルを作成する処理部である。具体的には、作成部１５２は、モデル適用領域Ｃ１～Ｃ３を狭めるパラメータｈを複数決定し（詳細は後述する）、決定したパラメータｈそれぞれをインスペクターテーブル１４３に登録する。
【0069】
取得部１５３は、時間経過に伴って特徴量の変化するシステムの運用データを、複数のインスペクターモデルにそれぞれ入力し、出力結果を取得する処理部である。
【0070】
たとえば、取得部１５３は、インスペクターテーブル１４３から、識別情報がＭ０～Ｍ２のインスペクターモデルのデータ（パラメータｈ）を取得し、運用データに対して各インスペクターモデルを実行する。具体的には、取得部１５３は、運用データを機械学習モデル５０に入力して得られた判定スコアの値について、最大となる分類クラス（１位の分類クラス）と、その分類クラスの次に大きい分類クラス（２位の分類クラス）との間のスコア差がパラメータｈ以下のときは、分類クラスを未決定（ｕｎｋｎｏｗｎ）とする。なお、スコア差がパラメータｈ以下でないときは、判定スコアに応じた分類クラスとする。次いで、取得部１５３は、運用データに対して各インスペクターモデルを実行して得られた出力結果を出力結果テーブル１４４に登録する。
【0071】
検出部１５４は、出力結果テーブル１４４を基にして、運用データの時間変化に基づく、機械学習モデル５０の精度変化を検出する処理部である。具体的には、検出部１５４は、インスタンスに対する各インスペクターモデルの出力の合致度を取得し、取得した合致度の傾向から機械学習モデル５０の精度変化を検出する。例えば、各インスペクターモデルの出力の合致度が有意に小さい場合は、コンセプトドリフトによる精度劣化が生じているものとする。検出部１５４は、機械学習モデル５０の精度変化に関する検出結果を表示部１３０より出力する。これにより、ユーザは、コンセプトドリフトによる精度劣化を認識することができる。
【0072】
ここで、算出部１５１、作成部１５２、取得部１５３および検出部１５４の処理の詳細を説明する。図１０は、本実施形態にかかる情報処理装置１００の動作例を示すフローチャートである。
【0073】
図１０に示すように、処理が開始されると、算出部１５１は、機械学習モデルデータ１４２により検出対象の機械学習モデル５０を構築する。次いで、算出部１５１は、構築した機械学習モデル５０の入力層５０ａに、機械学習モデル５０の学習時に使用した教師データ１４１を入力する。これにより、算出部１５１は、出力層５０ｃより各クラスの確率などの判定スコアのスコア情報を取得する（Ｓ１）。
【0074】
次いで、作成部１５２は、取得したスコア情報をもとに、検出モデル（インスペクターモデル）に関する、ｕｎｋｎｏｗｎ領域ＵＫを決めるパラメータｈを複数個選ぶ処理を実行する（Ｓ２）。なお、パラメータｈについては、互いに異なる値であれば任意の値でよく、例えば、教師データ１４１が特徴空間上のｕｎｋｎｏｗｎ領域ＵＫに含まれる割合で等間隔（例えば２０％、４０％、６０％、８０％など）とするように選ぶ。
【0075】
図１１は、パラメータｈを選ぶ処理の概要を説明する説明図である。図１１において、Ｍｏｒｉｇは、機械学習モデル５０（元モデル）を示す。また、Ｍ１、Ｍ２…は、モデル適用領域Ｃ１～Ｃ３を狭めた検出モデル（インスペクターモデル）を示す。なお、Ｍにおける下付き数字はｉ＝１…ｎであり、ｎは検出モデルの数である。
【0076】
図１１に示すように、作成部１５２は、Ｓ２において、Ｍ１、Ｍ２…Ｍｉに関するパラメータｈのｈ（ｈ≧０）をｎ個選ぶ。
【0077】
ここで、入力データＤ１について、特に区別しない場合は単に「Ｄ」と表記し、教師データ１４１に含まれる訓練データセット１４１ａ（テストデータ）についてはＤｔｅｓｔ、運用データについてはＤｄｒｉｆｔと表記する。
【0078】
また、モデルの合致度を計算する関数として、ａｇｒｅｅｍｅｎｔ（Ｍａ，Ｍｂ，Ｄ）を定義する。このａｇｒｅｅｍｅｎｔ関数では、Ｄのインスタンスに対する２つのモデル（Ｍａ、Ｍｂ）の判定が一致する個数の割合を返す。ただし、ａｇｒｅｅｍｅｎｔ関数では、未決定の分類クラス同士は一致しているものとみなさない。
【0079】
図１２は、インスタンスに対する各モデルのクラス分類の一例を示す説明図である。図１２に示すように、クラス分類結果６０は、データＤのインスタンス（１～９）に対するモデルＭａ、Ｍｂの出力（分類）と一致の有無（Ｙ／Ｎ）を示している。このようなクラス分類結果６０において、ａｇｒｅｅｍｅｎｔ関数は、次のとおりの値を返す。
ａｇｒｅｅｍｅｎｔ関数（Ｍａ，Ｍｂ，Ｄ）＝一致数／インスタンス数＝４／９
ａｇｒｅｅｍｅｎｔ関数（Ｍａ，Ｍｂ，Ｄ）＝一致数／インスタンス数＝４／９
【0080】
また、補助関数として、ａｇｒｅｅｍｅｎｔ２（ｈ，Ｄ）＝ａｇｒｅｅｍｅｎｔ（Ｍｏｒｉｇ，Ｍｈ，Ｄ）を定義する。Ｍｈは、モデルＭｏｒｉｇをパラメータｈを用いて狭めたモデルである。
【0081】
作成部１５２は、パラメータｈにおけるｈｉ（ｉ＝１…ｎ）について、Ｄｔｅｓｔに対する合致度が等差減少（例えば２０％、４０％、６０％、８０％など）するように、以下の通りに決定する。なお、ａｇｒｅｅｍｅｎｔ２（ｈ，Ｄ）はｈに対し単調減少である。
ｈｉ＝ａｒｇｍａｘｈａｇｒｅｅｍｅｎｔ２（ｈ，Ｄｔｅｓｔ）ｓ．ｔ． ａｇｒｅｅｍｅｎｔ２（ｈ，Ｄｔｅｓｔ）≦（ｎ－ｉ）／ｎ
ｈｉ＝ａｒｇｍａｘｈａｇｒｅｅｍｅｎｔ２（ｈ，Ｄｔｅｓｔ）ｓ．ｔ． ａｇｒｅｅｍｅｎｔ２（ｈ，Ｄｔｅｓｔ）≦（ｎ－ｉ）／ｎ
【0082】
図１０に戻り、作成部１５２は、選んだパラメータ（ｈｉ）ごとに、インスペクターモデル（検出モデル）を生成する（Ｓ３）。具体的には、作成部１５２は、決定したｈｉそれぞれをインスペクターテーブル１４３に登録する。
【0083】
このインスペクターモデル（検出モデル）は、内部では元のモデル（機械学習モデル５０）を参照している。そして、インスペクターモデル（検出モデル）は、元のモデルの出力がインスペクターテーブル１４３に登録されたｈｉに基づくｕｎｋｎｏｗｎ領域ＵＫ内であれば、判定結果を未決定（ｕｎｋｎｏｗｎ）と置き換えるように振る舞う。
【0084】
すなわち、取得部１５３は、運用データ（Ｄｄｒｉｆｔ）を機械学習モデル５０に入力して判定スコアを得る。次いで、取得部１５３は、得られた判定スコアについて、１位となる分類クラスと２位となる分類クラスとの間のスコア差がインスペクターテーブル１４３に登録されたｈｉ以下のときは、分類クラスを未決定（ｕｎｋｎｏｗｎ）とする。なお、スコア差がパラメータｈ以下でないときは、判定スコアに応じた分類クラスとする。このように各インスペクターモデルを実行して得られた出力結果を、取得部１５３は出力結果テーブル１４４に登録する。検出部１５４は、出力結果テーブル１４４を基にして機械学習モデル５０の精度変化を検出する。
【0085】
このように、情報処理装置１００では、作成部１５２が作成したインスペクターモデルを用いて精度劣化を検知する（Ｓ４）。
【0086】
例えば、取得部１５３は、上位２つの分類クラスにおけるスコア差の関数であるｓｕｒｅｎｅｓｓ（ｘ）を用いて分類クラスを未決定（ｕｎｋｎｏｗｎ）とするか否かを判定する。
【0087】
【0088】
ここで、インスペクターモデルがインスタンスＸを判定する際のスコア最高の分類クラスのスコアをｓｆｉｒｓｔ、スコア２番目の分類クラスのスコアをｓｓｅｃｏｎｄとする。
【0089】
ｓｕｒｅｎｅｓｓ関数は、次のとおりである。なお、φ（ｓ）はモデルのスコアの範囲が０以上１以下ならばｌｏｇ（ｓ）、それ以外はｓとする。
ｓｕｒｅｎｅｓｓ（ｘ）：＝φ（ｓｆｉｒｓｔ）－φ（ｓｓｅｃｏｎｄ）
ｓｕｒｅｎｅｓｓ（ｘ）：＝φ（ｓｆｉｒｓｔ）－φ（ｓｓｅｃｏｎｄ）
【0090】
本実施形態では、スコアの差（ｓｕｒｅｎｅｓｓ）を用いて領域を順序づけるため、スコアの差演算に意味がある。また、スコアの差は領域に寄らず等価値であることが必要となる。
【0091】
例えば、ある点でのスコア差（４－３＝１）は、別の点でのスコア差（１０－９＝１）と価値が等しい必要がある。そのような性質を満たすためには、例えば、スコアの差が損失関数に相当すればよい。損失関数は全体で平均を取るため、加法性があり、同じ値の価値はどこでも等しい。
【0092】
例えば、モデルが損失関数としてログ損失（ｌｏｇ－ｌｏｓｓ）を用いる場合、ｙｉを真値、ｐｉを予測の正解確率として、損失は－ｙｉｌｏｇ（ｐｉ）である。ここで加法性があるのはｌｏｇ（ｐｉ）なので、これをスコアとして利用できればよい。
【0093】
しかし、多くのＭＬアルゴリズムはスコアとしてｐｉを出力するので、その場合にはｌｏｇ（）を適用する必要がある。
【0094】
スコアが確率を意味することが判っていれば、ｌｏｇ（）を適用すればよい。不明な場合には、自動判定（０以上１以下であれば適用など）する選択もあるし、保守的に何も適用せずにスコアの値をそのまま使うという選択もある。
【0095】
以下のように、関数ｓｕｒｅｎｅｓｓの定義に関数φが挟まれている理由は、スコアに上記の性質を満たすようφで変換するためである。
ｓｕｒｅｎｅｓｓ（ｘ）：＝φ（ｓｃｏｒｅｆｉｒｓｔ）－φ（ｓｃｏｒｅｓｅｃｏｎｄ）
ｓｕｒｅｎｅｓｓ（ｘ）：＝φ（ｓｃｏｒｅｆｉｒｓｔ）－φ（ｓｃｏｒｅｓｅｃｏｎｄ）
【0096】
ここで、取得部１５３は、狭めたモデルＭｉの判定結果について、Ｍｏｒｉｇの
判定結果より以下の通りに改変する。
ｓｕｒｅｎｅｓｓ（ｘ）≧ｈｉの場合：Ｍｏｒｉｇの判定クラスをそのまま用いる。
ｓｕｒｅｎｅｓｓ（ｘ）＜ｈｉの場合：ｕｎｋｎｏｗｎクラスとする。
判定結果より以下の通りに改変する。
ｓｕｒｅｎｅｓｓ（ｘ）≧ｈｉの場合：Ｍｏｒｉｇの判定クラスをそのまま用いる。
ｓｕｒｅｎｅｓｓ（ｘ）＜ｈｉの場合：ｕｎｋｎｏｗｎクラスとする。
【0097】
また、検出部１５４は、データＤの各インスペクターモデルにおける平均合致度を計算する関数（ａｇ＿ｍｅａｎ（Ｄ））を用いてモデル精度の劣化検知を行う。このａｇ＿ｍｅａｎ（Ｄ）は次のとおりである。
ａｇ＿ｍｅａｎ（Ｄ）：＝ｍｅａｎｉ（ａｇｒｅｅｍｅｎｔ（Ｍｏｒｉｇ，Ｍｉ，Ｄ））
ａｇ＿ｍｅａｎ（Ｄ）：＝ｍｅａｎｉ（ａｇｒｅｅｍｅｎｔ（Ｍｏｒｉｇ，Ｍｉ，Ｄ））
【0098】
そして、検出部１５４は、各Ｍｉについて、ａｇｒｅｅｍｅｎｔ（Ｍｏｒｉｇ，Ｍｉ，Ｄｄｒｉｆｔ）を求め、その傾向から精度劣化の有無を判定する。例えば、ａｇ＿ｍｅａｎ（Ｄｄｒｉｆｔ）がａｇ＿ｍｅａｎ（Ｄｔｅｓｔ）より有意に小さければ、コンセプトドリフトによる精度劣化があるものと判定する。
【0099】
ここで、検出部１５４が行う計算処理における平均合致度ａｇ＿ｍｅａｎ（Ｄｄｒｉｆｔ）の高速計算について説明する。
【0100】
前述の定義に素直に従って計算すると、狭めたモデルの数ｎを多くするほど計算時間がかかる。しかし、ｎを小さくしては検出精度が落ちるというトレードオフが生じている。しかし、検出部１５４は、以下に述べる計算方法を用いることで、モデル数ｎにほとんど影響を受けず高速に計算することができる。
【0101】
ここで、ｈｉで定義されるｕｎｋｎｏｗｎ領域をＵｉとする。図１４は、ｕｎｋｎｏｗｎ領域とパラメータとの関係を説明する説明図である。
【0102】
図１４に示すように、先述のｈｉの定義を用いると、ｉ＜ｊならば、ｈｉ≦ｈｊかつＵｉ⊂Ｕｊという関係が成り立つ。すなわち、各ｕｎｋｎｏｗｎ領域Ｕｉの間には全順序関係が成り立ち、さらにＵｉの順序はｈｉの順序を保つ。図示例では、ｈ１＜ｈ２＜ｈ３⇔Ｕ１⊂Ｕ２⊂Ｕ３といえる。
【0103】
したがって、ある領域についての計算には、そこに含まれるより小さい領域の計算結果が利用できる。また、領域Ｕｉ間の関係はｈｉの関係だけを見れば十分である。本計算方法では、これらの性質を利用する。
【0104】
先ず、以下の通りに定義する。
・ｈｉで定義されるｕｎｋｎｏｗｎ領域をＵｉとする。すなわち、Ｕｉ：＝｛ｘ｜ｓｕｒｅｎｅｓｓ（ｘ）＜ｈｉ｝
・ＤｄｒｉｆｔがＵｉに入る割合をｕｉとする。ｕｉ：＝｜｛ｘ｜ｘ∈Ｕｉ，ｘ∈Ｄｄｒｉｆｔ｝｜／｜Ｄｄｒｉｆｔ｜
・ａｇｒｅｅｍｅｎｔ２関数の定義から、以下が成り立つ。
ａｇｒｅｅｍｅｎｔ２（ｈｉ，Ｄｄｒｉｆｔ）＝１－ｕｉ
・差分領域ＲｉをＲｉ：＝Ｕｉ－Ｕｉ－１と定義する。ただし、Ｒ１：＝Ｕ１
・ｉ≧２のときＲｉ＝｛ｘ｜ｈｉ－１≦ｓｕｒｅｎｅｓｓ（ｘ）＜ｈｉ｝
・ＤｄｒｉｆｔがＲｉに入る割合をｒｉとする。ｒｉ：＝｜｛ｘ｜ｘ∈Ｒｉ，ｘ∈Ｄｄｒｉｆｔ｝｜／｜Ｄｄｒｉｆｔ｜
・ｒ１＝ｕ１，ｉ≧２のときｒｉ＝ｕｉ－ｕｉ－１である。
・また、ｕｉ＝ｒｉ＋ｒｉ－１＋．．．＋ｒ２＋ｒ１である。
・ｈｉで定義されるｕｎｋｎｏｗｎ領域をＵｉとする。すなわち、Ｕｉ：＝｛ｘ｜ｓｕｒｅｎｅｓｓ（ｘ）＜ｈｉ｝
・ＤｄｒｉｆｔがＵｉに入る割合をｕｉとする。ｕｉ：＝｜｛ｘ｜ｘ∈Ｕｉ，ｘ∈Ｄｄｒｉｆｔ｝｜／｜Ｄｄｒｉｆｔ｜
・ａｇｒｅｅｍｅｎｔ２関数の定義から、以下が成り立つ。
ａｇｒｅｅｍｅｎｔ２（ｈｉ，Ｄｄｒｉｆｔ）＝１－ｕｉ
・差分領域ＲｉをＲｉ：＝Ｕｉ－Ｕｉ－１と定義する。ただし、Ｒ１：＝Ｕ１
・ｉ≧２のときＲｉ＝｛ｘ｜ｈｉ－１≦ｓｕｒｅｎｅｓｓ（ｘ）＜ｈｉ｝
・ＤｄｒｉｆｔがＲｉに入る割合をｒｉとする。ｒｉ：＝｜｛ｘ｜ｘ∈Ｒｉ，ｘ∈Ｄｄｒｉｆｔ｝｜／｜Ｄｄｒｉｆｔ｜
・ｒ１＝ｕ１，ｉ≧２のときｒｉ＝ｕｉ－ｕｉ－１である。
・また、ｕｉ＝ｒｉ＋ｒｉ－１＋．．．＋ｒ２＋ｒ１である。
【0105】
次に、ａｇ＿ｍｅａｎ（Ｄｔｅｓｔ）とａｇ＿ｍｅａｎ（Ｄｄｒｉｆｔ）の高速計算は次のとおりである。
【0106】
ａｇ＿ｍｅａｎ（Ｄｔｅｓｔ）＝ｍｅａｎｉ＝１．．．ｎ（ａｇｒｅｅｍｅｎｔ２（ｈｉ，Ｄｔｅｓｔ））
＝ｍｅａｎｉ＝１．．．ｎ（（ｎ－ｉ）／ｎ）＝１／２（１－１／ｎ）
＝ｍｅａｎｉ＝１．．．ｎ（（ｎ－ｉ）／ｎ）＝１／２（１－１／ｎ）
【0107】
ａｇ＿ｍｅａｎ（Ｄｄｒｉｆｔ）＝ｍｅａｎｉ＝１．．．ｎ（ａｇｒｅｅｍｅｎｔ２（ｈｉ，Ｄｄｒｉｆｔ））
＝ｍｅａｎｉ＝１．．．ｎ（１－ｕｉ）
＝ｍｅａｎｉ＝１．．．ｎ（１－（ｒ１＋ｒ２＋．．．＋ｒｉ））
＝ｍｅａｎｉ＝１．．．ｎ（ｒｉ＋１＋ｒｉ＋２＋．．．＋ｒｎ）
＝１／ｎ＊（ｒ２＋ｒ３＋．．．＋ｒｎ
＋ｒ３＋．．．＋ｒｎ
．．．
＋ｒｎ）
＝ｍｅａｎｉ＝１．．．ｎ（（ｉ－１）＊ｒｉ）；ｒｉを定義に従い展開
＝ｍｅａｎｘ∈Ｄｄｒｉｆｔ（ｓｕ２ｉｎｄｅｘ（ｓｕｒｅｎｅｓｓ（ｘ））－１）／｜Ｄｄｒｉｆｔ｜
＝ｍｅａｎｉ＝１．．．ｎ（１－ｕｉ）
＝ｍｅａｎｉ＝１．．．ｎ（１－（ｒ１＋ｒ２＋．．．＋ｒｉ））
＝ｍｅａｎｉ＝１．．．ｎ（ｒｉ＋１＋ｒｉ＋２＋．．．＋ｒｎ）
＝１／ｎ＊（ｒ２＋ｒ３＋．．．＋ｒｎ
＋ｒ３＋．．．＋ｒｎ
．．．
＋ｒｎ）
＝ｍｅａｎｉ＝１．．．ｎ（（ｉ－１）＊ｒｉ）；ｒｉを定義に従い展開
＝ｍｅａｎｘ∈Ｄｄｒｉｆｔ（ｓｕ２ｉｎｄｅｘ（ｓｕｒｅｎｅｓｓ（ｘ））－１）／｜Ｄｄｒｉｆｔ｜
【0108】
なお、ｓｕ２ｉｎｄｅｘ（）は、ｓｕｒｅｎｅｓｓ（ｘ）を引数としてｘが属する領域Ｒｉの添え字を返す関数である。この関数は、ｉ≧２のときＲｉ＝｛ｘ｜ｈｉ－１≦ｓｕｒｅｎｅｓｓ（ｘ）＜ｈｉ｝という関係を利用すると、２分探索などで実装できる。
【0109】
ｓｕ２ｉｎｄｅｘ（）は、ロバスト統計量である分位点に相当する。計算量については次のとおりである。
計算量：Ｏ（ｄ ｌｏｇ（ｍｉｎ（ｄ， ｔ， ｎ））），ｗｈｅｒｅ ｔ＝｜Ｄｔｅｓｔ｜，ｄ＝｜Ｄｄｒｉｆｔ｜
計算量：Ｏ（ｄ ｌｏｇ（ｍｉｎ（ｄ， ｔ， ｎ））），ｗｈｅｒｅ ｔ＝｜Ｄｔｅｓｔ｜，ｄ＝｜Ｄｄｒｉｆｔ｜
【0110】
図１５は、検証結果を説明する説明図である。図１５の検証結果Ｅ１は、分類クラス０に関する検証結果であり、検証結果Ｅ２は、分類クラス１，４に関する検証結果である。なお、グラフＧ１は、元のモデル（機械学習モデル５０）の精度を示すグラフであり、グラフＧ２は、複数のインスペクターモデルの合致率を示すグラフである。検証においては、例えば教師データ１４１をオリジナルデータとし、回転などによりオリジナルデータの改変度合い（ドリフト度）を強めたデータを入力データとして検証している。
【0111】
図１５のグラフＧ１と、グラフＧ２とを比較しても明らかなように、モデルの精度の劣化（グラフＧ１の下降）に応じて、インスペクターモデルにおけるグラフＧ２も下降している。したがって、グラフＧ２の下降より、コンセプトドリフトによる精度劣化を検知することが可能である。また、グラフＧ１の下降と、グラフＧ２の下降との相関が強いことから、グラフＧ２の下降具合をもとに、検知対象の機械学習モデル５０の精度を求めることができる。
【0112】
（変形例）
上記の実施形態では、検出モデル（インスペクターモデル）の個数（ｎ）を決めていた。また、個数が十分でないと、劣化検出の精度が落ちるという問題もある。そこで、変形例では、検出モデル（インスペクターモデル）の個数を決めないで済む方法を提供する。理論的には、検出モデル（インスペクターモデル）の個数を無限個とする。なお、この場合の計算時間は、個数を決める場合とほぼ同じとなる。
上記の実施形態では、検出モデル（インスペクターモデル）の個数（ｎ）を決めていた。また、個数が十分でないと、劣化検出の精度が落ちるという問題もある。そこで、変形例では、検出モデル（インスペクターモデル）の個数を決めないで済む方法を提供する。理論的には、検出モデル（インスペクターモデル）の個数を無限個とする。なお、この場合の計算時間は、個数を決める場合とほぼ同じとなる。
【0113】
具体的には、作成部１５２は、算出した判定スコアに基づき、前述したｓｕｒｅｎｅｓｓの確率分布（累積分布関数）を調べておけばよい。このように、ｓｕｒｅｎｅｓｓの確率分布を調べておくことで、検出モデル（インスペクターモデル）について、理論的に無限個あるように扱うことができ、また、明示的に作成する必要がなくなる。
【0114】
また、取得部１５３では、モデル精度劣化を検知する仕組みの中で、平均合致率を計算する際に、次のとおりに計算する。
・ａｇ＿ｍｅａｎ（Ｄｔｅｓｔ）とａｇ＿ｍｅａｎ（Ｄｄｒｉｆｔ）の高速計算において、インスペクターモデルの個数ｎを、無限（ｎ→∞）にする。
・ａｇ＿ｍｅａｎ（Ｄｔｅｓｔ）＝１／２
・ａｇ＿ｍｅａｎ（Ｄｄｒｉｆｔ）＝ｍｅａｎｘ∈Ｄｄｒｉｆｔ（ｓｕ２ｐｏｓ（ｓｕｒｅｎｅｓｓ（ｘ）））
・Ｄｔｅｓｔにおいて、｛ｓ｜ｓ＝ｓｕｒｅｎｅｓｓ（ｘ），ｘ∈Ｄｔｅｓｔ｝で定義される変数ｓの累積分布関数Ｆ（ｓ）＝Ｐ（Ｘｓ≦ｓ）を求め、関数ｓｕ２ｐｏｓを以下で定義する。
・ｓｕ２ｐｏｓ（ｓｕｒｅｎｅｓｓ）：＝Ｆ（ｓｕｒｅｎｅｓｓ）
・ａｇ＿ｍｅａｎ（Ｄｔｅｓｔ）とａｇ＿ｍｅａｎ（Ｄｄｒｉｆｔ）の高速計算において、インスペクターモデルの個数ｎを、無限（ｎ→∞）にする。
・ａｇ＿ｍｅａｎ（Ｄｔｅｓｔ）＝１／２
・ａｇ＿ｍｅａｎ（Ｄｄｒｉｆｔ）＝ｍｅａｎｘ∈Ｄｄｒｉｆｔ（ｓｕ２ｐｏｓ（ｓｕｒｅｎｅｓｓ（ｘ）））
・Ｄｔｅｓｔにおいて、｛ｓ｜ｓ＝ｓｕｒｅｎｅｓｓ（ｘ），ｘ∈Ｄｔｅｓｔ｝で定義される変数ｓの累積分布関数Ｆ（ｓ）＝Ｐ（Ｘｓ≦ｓ）を求め、関数ｓｕ２ｐｏｓを以下で定義する。
・ｓｕ２ｐｏｓ（ｓｕｒｅｎｅｓｓ）：＝Ｆ（ｓｕｒｅｎｅｓｓ）
【0115】
このｓｕ２ｐｏｓ（）も、ロバスト統計量である分位点に相当する。よって、計算量は次の通りである。
計算量：Ｏ（ｄ ｌｏｇ（ｍｉｎ（ｄ，ｔ）），ｗｈｅｒｅ ｔ＝｜Ｄｔｅｓｔ｜，ｄ＝｜Ｄｄｒｉｆｔ｜
計算量：Ｏ（ｄ ｌｏｇ（ｍｉｎ（ｄ，ｔ）），ｗｈｅｒｅ ｔ＝｜Ｄｔｅｓｔ｜，ｄ＝｜Ｄｄｒｉｆｔ｜
【0116】
以上のように、情報処理装置１００は、算出部１５１と、作成部１５２とを有する。算出部１５１は、精度変化の検出対象となる機械学習モデル５０を取得し、取得した機械学習モデル５０に対してデータを入力したときの分類クラスの判定に関する判定スコアを算出する。作成部１５２は、算出した判定スコアの値が最大の第１の分類クラスと、算出した判定スコアの値が第１の分類クラスの次に大きい値の第２の分類クラスとの間で判定スコアの差分を算出する。また、作成部１５２は、算出した判定スコアの差分が予め設定された閾値以下のときは、分類クラスを未決定と判定する検出モデルを作成する。
【0117】
このように、情報処理装置１００では、機械学習モデル５０における特徴空間上での決定境界を広げて分類クラスを未決定とするｕｎｋｎｏｗｎ領域ＵＫを設け、各クラスのモデル適用領域Ｃ１～Ｃ３を意図的に狭める検出モデルを作成するので、作成した検出モデルにより機械学習モデル５０の精度劣化を検知することができる。
【0118】
また、作成部１５２は、閾値が互いに異なる複数の検出モデルを作成する。このように、情報処理装置１００では、閾値が互いに異なる複数の検出モデル、すなわちｕｎｋｎｏｗｎ領域ＵＫの広さが異なる複数の検出モデルを作成する。これにより、情報処理装置１００では、作成した複数の検出モデルにより、コンセプトドリフトによる機械学習モデル５０の精度劣化の進み具合を検知することができる。
【0119】
また、作成部１５２は、判定スコアそれぞれの機械学習モデル５０における分類クラスの判定結果と、判定スコアそれぞれの検出モデルにおける分類クラスの判定結果との一致割合を所定値とするように閾値を定める。これにより、情報処理装置１００では、入力データに対する機械学習モデル５０による判定結果に対して一致割合が所定の割合となる検出モデルを作成できるので、作成した検出モデルによりコンセプトドリフトによる機械学習モデル５０の精度の劣化度を測ることができる。
【0120】
また、算出部１５１は、機械学習モデル５０の学習に関する教師データ１４１を用いて判定スコアを算出する。このように、情報処理装置１００では、機械学習モデル５０の学習に関する教師データ１４１をサンプルとして算出した判定スコアをもとに、検出モデルの作成を行ってもよい。このように教師データ１４１を用いることで、情報処理装置１００では、検出モデルを作成するために新たなデータを用意することなく、容易に検出モデルを作成することができる。
【0121】
上記の実施形態で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、任意に変更することができる。また、上記の実施形態で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更することができる。
【0122】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵ（Central Processing Unit）および当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウエアとして実現され得る。
【0123】
例えば、情報処理装置１００で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、情報処理装置１００で行われる各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。
【0124】
ところで、上記の実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施形態と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図１６は、作成プログラムを実行するコンピュータの一例を示すブロック図である。
【0125】
図１６に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、モニタ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０４と、各種装置と接続するためのインタフェース装置２０５と、他の情報処理装置等と有線または無線により接続するための通信装置２０６とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０７と、ハードディスク装置２０８とを有する。また、各装置２０１～２０８は、バス２０９に接続される。
【0126】
ハードディスク装置２０８には、図６に示した算出部１５１、作成部１５２、取得部１５３および検出部１５４の各処理部と同様の機能を実現するための作成プログラム２０８Ａが記憶される。また、ハードディスク装置２０８には、算出部１５１、作成部１５２、取得部１５３および検出部１５４に関連する各種データ（例えばインスペクターテーブル１４３など）が記憶される。入力装置２０２は、例えば、コンピュータ２００の利用者から操作情報等の各種情報の入力を受け付ける。モニタ２０３は、例えば、コンピュータ２００の利用者に対して表示画面等の各種画面を表示する。インタフェース装置２０５は、例えば印刷装置等が接続される。通信装置２０６は、図示しないネットワークと接続され、他の情報処理装置と各種情報をやりとりする。
【0127】
ＣＰＵ２０１は、ハードディスク装置２０８に記憶された作成プログラム２０８Ａを読み出して、ＲＡＭ２０７に展開して実行することで、情報処理装置１００の各機能を実行するプロセスを動作させる。すなわち、このプロセスは、情報処理装置１００が有する各処理部と同様の機能を実行する。具体的には、ＣＰＵ２０１は、算出部１５１、作成部１５２、取得部１５３および検出部１５４と同様の機能を実現するための作成プログラム２０８Ａをハードディスク装置２０８から読み出す。そして、ＣＰＵ２０１は、算出部１５１、作成部１５２、取得部１５３および検出部１５４と同様の処理を実行するプロセスを実行する。
【0128】
なお、上記の作成プログラム２０８Ａは、ハードディスク装置２０８に記憶されていなくてもよい。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶された作成プログラム２０８Ａを、コンピュータ２００が読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置に作成プログラム２０８Ａを記憶させておき、コンピュータ２００がこれらから作成プログラム２０８Ａを読み出して実行するようにしてもよい。
【符号の説明】
【0129】
１Ａ～１Ｃ、２０Ａ～２０Ｃ、２４Ａ～２４Ｃ…分布
３、１２Ａ、１２Ｂ、Ｋ…決定境界
３ａ～５Ｂ、２１Ａ～２３Ｃ、２５Ａ～２７Ｃ、Ｃ１～Ｃ３…モデル適用領域
１０、５０…機械学習モデル
１１Ａ～１１Ｃ…インスペクターモデル
５０ａ…入力層
５０ｂ…隠れ層
５０ｃ…出力層
５１ａ～５１ｃ…ノード
６０…クラス分類結果
１００…情報処理装置
１１０…通信部
１２０…入力部
１３０…表示部
１４０…記憶部
１４１…教師データ
１４１ａ…訓練データセット
１４１ｂ…検証データ
１４２…機械学習モデルデータ
１４３…インスペクターテーブル
１４４…出力結果テーブル
１５０…制御部
１５１…算出部
１５２…作成部
１５３…取得部
１５４…検出部
２００…コンピュータ
２０１…ＣＰＵ
２０２…入力装置
２０３…モニタ
２０４…媒体読取装置
２０５…インタフェース装置
２０６…通信装置
２０７…ＲＡＭ
２０８…ハードディスク装置
２０８Ａ…作成プログラム
２０９…バス
Ｄ、Ｄ１～Ｄ２…入力データ
Ｅ１、Ｅ２…検証結果
Ｇ１、Ｇ２…グラフ
ｈ…パラメータ
Ｋ…決定境界
Ｍ…モデル
Ｔ１、Ｔ２…時間
ＵＫ…ｕｎｋｎｏｗｎ領域
３、１２Ａ、１２Ｂ、Ｋ…決定境界
３ａ～５Ｂ、２１Ａ～２３Ｃ、２５Ａ～２７Ｃ、Ｃ１～Ｃ３…モデル適用領域
１０、５０…機械学習モデル
１１Ａ～１１Ｃ…インスペクターモデル
５０ａ…入力層
５０ｂ…隠れ層
５０ｃ…出力層
５１ａ～５１ｃ…ノード
６０…クラス分類結果
１００…情報処理装置
１１０…通信部
１２０…入力部
１３０…表示部
１４０…記憶部
１４１…教師データ
１４１ａ…訓練データセット
１４１ｂ…検証データ
１４２…機械学習モデルデータ
１４３…インスペクターテーブル
１４４…出力結果テーブル
１５０…制御部
１５１…算出部
１５２…作成部
１５３…取得部
１５４…検出部
２００…コンピュータ
２０１…ＣＰＵ
２０２…入力装置
２０３…モニタ
２０４…媒体読取装置
２０５…インタフェース装置
２０６…通信装置
２０７…ＲＡＭ
２０８…ハードディスク装置
２０８Ａ…作成プログラム
２０９…バス
Ｄ、Ｄ１～Ｄ２…入力データ
Ｅ１、Ｅ２…検証結果
Ｇ１、Ｇ２…グラフ
ｈ…パラメータ
Ｋ…決定境界
Ｍ…モデル
Ｔ１、Ｔ２…時間
ＵＫ…ｕｎｋｎｏｗｎ領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】