知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025008549
(43)【公開日】2025-01-20
(54)【発明の名称】モデル更新装置、モデル更新方法、及びプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20250109BHJP
【ＦＩ】
G06N20/00 160
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023110797
(22)【出願日】2023-07-05
(71)【出願人】
【識別番号】000005234
【氏名又は名称】富士電機株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】関段 友哉
(57)【要約】
【課題】モデル精度の低下に適切に対応可能なモデル更新を実現できる技術を提供すること。
【解決手段】本開示の一態様によるモデル更新装置は、機械学習モデルのパラメータ学習に用いられた学習データセットを含む複数のデータセット間の特徴量空間における分布間距離を算出する第１の算出部と、前記分布間距離と第１の指標値とを用いて、前記分布間距離と前記第１の指標値の低下度合いを表す第２の指標値との関係を表す式を算出する第２の算出部と、運用開始後に得られた運用データセットと前記学習データセットとの間の特徴量空間における対象分布間距離を算出する第３の算出部と、前記対象分布間距離と前記式とを用いて、前記運用データセットに関する前記第２の指標値を算出する第４の算出部と、前記第２の指標値が閾値を超えているか否かを判定する判定部と、前記第２の指標値が前記閾値を超えていないと判定された場合、前記運用データセットを用いて、教師なし学習の手法により前記機械学習モデルのパラメータを更新する更新部と、を有する。
【選択図】図５
【解決手段】本開示の一態様によるモデル更新装置は、機械学習モデルのパラメータ学習に用いられた学習データセットを含む複数のデータセット間の特徴量空間における分布間距離を算出する第１の算出部と、前記分布間距離と第１の指標値とを用いて、前記分布間距離と前記第１の指標値の低下度合いを表す第２の指標値との関係を表す式を算出する第２の算出部と、運用開始後に得られた運用データセットと前記学習データセットとの間の特徴量空間における対象分布間距離を算出する第３の算出部と、前記対象分布間距離と前記式とを用いて、前記運用データセットに関する前記第２の指標値を算出する第４の算出部と、前記第２の指標値が閾値を超えているか否かを判定する判定部と、前記第２の指標値が前記閾値を超えていないと判定された場合、前記運用データセットを用いて、教師なし学習の手法により前記機械学習モデルのパラメータを更新する更新部と、を有する。
【選択図】図５
【特許請求の範囲】
【請求項1】
機械学習モデルのパラメータ学習に用いられた学習データセットを含む複数のデータセット間の特徴量空間における分布間距離をそれぞれ算出する第１の算出部と、
前記第１の算出部によって算出された前記分布間距離と、前記複数のデータセットの各々に関する前記機械学習モデルのモデル精度を表す第１の指標値とを用いて、前記分布間距離と、前記学習データセットに対する前記第１の指標値の低下度合いを表す第２の指標値との関係を表す式を算出する第２の算出部と、
前記機械学習モデルの運用開始後に得られた運用データセットと、前記学習データセットとの間の特徴量空間における分布間距離を対象分布間距離として算出する第３の算出部と、
前記第３の算出部によって算出された前記対象分布間距離と、前記式とを用いて、前記運用データセットに関する前記第２の指標値を算出する第４の算出部と、
前記第４の算出部によって算出された前記第２の指標値が予め決められた閾値を超えているか否かを判定する判定部と、
前記第４の算出部によって算出された前記第２の指標値が前記閾値を超えていないと判定された場合、前記運用データセットを用いて、教師なし学習の手法により前記機械学習モデルのパラメータを更新する更新部と、
を有するモデル更新装置。
前記第１の算出部によって算出された前記分布間距離と、前記複数のデータセットの各々に関する前記機械学習モデルのモデル精度を表す第１の指標値とを用いて、前記分布間距離と、前記学習データセットに対する前記第１の指標値の低下度合いを表す第２の指標値との関係を表す式を算出する第２の算出部と、
前記機械学習モデルの運用開始後に得られた運用データセットと、前記学習データセットとの間の特徴量空間における分布間距離を対象分布間距離として算出する第３の算出部と、
前記第３の算出部によって算出された前記対象分布間距離と、前記式とを用いて、前記運用データセットに関する前記第２の指標値を算出する第４の算出部と、
前記第４の算出部によって算出された前記第２の指標値が予め決められた閾値を超えているか否かを判定する判定部と、
前記第４の算出部によって算出された前記第２の指標値が前記閾値を超えていないと判定された場合、前記運用データセットを用いて、教師なし学習の手法により前記機械学習モデルのパラメータを更新する更新部と、
を有するモデル更新装置。
【請求項2】
前記第４の算出部によって算出された前記第２の指標値が前記閾値を超えていると判定された場合、前記運用データセットに含まれる運用データに対するラベル付けを行って教師あり学習の手法により前記機械学習モデルを再学習すべきことを表すアラートを通知する通知部、を更に有する請求項１に記載のモデル更新装置。
【請求項3】
前記複数のデータセットには、前記機械学習モデルのハイパーパラメータの調整に用いられた検証データセットと、前記機械学習モデルの汎化性能の評価に用いられたテストデータセットとが含まれ、
前記第１の算出部は、
前記学習データセット間の特徴量空間における分布間距離を第１の分布間距離、前記学習データセットと前記検証データセットとの間の特徴量空間における分布間距離を第２の分布間距離、前記学習データセットと前記テストデータセットとの間の特徴量空間における分布間距離を第３の分布間距離としてそれぞれ算出し、
前記第２の算出部は、
前記第１の分布間距離と、前記第２の分布間距離と、前記第３の分布間距離と、前記学習データセットに関する前記第１の指標値と、前記検証データセットに関する前記第１の指標値と、前記テストデータセットに関する前記第１の指標値とを用いて、前記式を算出する、請求項１又は２に記載のモデル更新装置。
前記第１の算出部は、
前記学習データセット間の特徴量空間における分布間距離を第１の分布間距離、前記学習データセットと前記検証データセットとの間の特徴量空間における分布間距離を第２の分布間距離、前記学習データセットと前記テストデータセットとの間の特徴量空間における分布間距離を第３の分布間距離としてそれぞれ算出し、
前記第２の算出部は、
前記第１の分布間距離と、前記第２の分布間距離と、前記第３の分布間距離と、前記学習データセットに関する前記第１の指標値と、前記検証データセットに関する前記第１の指標値と、前記テストデータセットに関する前記第１の指標値とを用いて、前記式を算出する、請求項１又は２に記載のモデル更新装置。
【請求項4】
前記第２の算出部は、
前記学習データセットに関する前記第１の指標値から前記学習データセットに関する前記第１の指標値を減算した値を前記学習データセットに関する前記第２の指標値、前記学習データセットに関する前記第１の指標値から前記検証データセットに関する前記第１の指標値を減算した値を前記検証データセットに関する前記第２の指標値、前記学習データセットに関する前記第１の指標値から前記テストデータセットに関する前記第１の指標値を減算した値を前記テストデータセットに関する前記第２の指標値としてそれぞれ算出し、
前記第１の分布間距離と前記学習データセットに関する前記第２の指標値との組が表す点と、前記第２の分布間距離と前記検証データセットに関する前記第２の指標値との組が表す点と、前記第３の分布間距離と前記テストデータセットに関する前記第２の指標値との組が表す点によって近似される回帰式を前記式として算出する、請求項３に記載のモデル更新装置。
前記学習データセットに関する前記第１の指標値から前記学習データセットに関する前記第１の指標値を減算した値を前記学習データセットに関する前記第２の指標値、前記学習データセットに関する前記第１の指標値から前記検証データセットに関する前記第１の指標値を減算した値を前記検証データセットに関する前記第２の指標値、前記学習データセットに関する前記第１の指標値から前記テストデータセットに関する前記第１の指標値を減算した値を前記テストデータセットに関する前記第２の指標値としてそれぞれ算出し、
前記第１の分布間距離と前記学習データセットに関する前記第２の指標値との組が表す点と、前記第２の分布間距離と前記検証データセットに関する前記第２の指標値との組が表す点と、前記第３の分布間距離と前記テストデータセットに関する前記第２の指標値との組が表す点によって近似される回帰式を前記式として算出する、請求項３に記載のモデル更新装置。
【請求項5】
前記第１の指標値は正解率、
前記第２の指標値は前記学習データセットに対する正解率の低下度合いを表す正解率低下ポイントである、請求項４に記載のモデル更新装置。
前記第２の指標値は前記学習データセットに対する正解率の低下度合いを表す正解率低下ポイントである、請求項４に記載のモデル更新装置。
【請求項6】
機械学習モデルのパラメータ学習に用いられた学習データセットを含む複数のデータセット間の特徴量空間における分布間距離をそれぞれ算出する第１の算出手順と、
前記第１の算出手順によって算出された前記分布間距離と、前記複数のデータセットの各々に関する前記機械学習モデルのモデル精度を表す第１の指標値とを用いて、前記分布間距離と、前記学習データセットに対する前記第１の指標値の低下度合いを表す第２の指標値との関係を表す式を算出する第２の算出手順と、
前記機械学習モデルの運用開始後に得られた運用データセットと、前記学習データセットとの間の特徴量空間における分布間距離を対象分布間距離として算出する第３の算出手順と、
前記第３の算出手順によって算出された前記対象分布間距離と、前記式とを用いて、前記運用データセットに関する前記第２の指標値を算出する第４の算出手順と、
前記第４の算出手順によって算出された前記第２の指標値が予め決められた閾値を超えているか否かを判定する判定手順と、
前記第４の算出手順によって算出された前記第２の指標値が前記閾値を超えていないと判定された場合、前記運用データセットを用いて、教師なし学習の手法により前記機械学習モデルのパラメータを更新する更新手順と、
をコンピュータが実行するモデル更新方法。
前記第１の算出手順によって算出された前記分布間距離と、前記複数のデータセットの各々に関する前記機械学習モデルのモデル精度を表す第１の指標値とを用いて、前記分布間距離と、前記学習データセットに対する前記第１の指標値の低下度合いを表す第２の指標値との関係を表す式を算出する第２の算出手順と、
前記機械学習モデルの運用開始後に得られた運用データセットと、前記学習データセットとの間の特徴量空間における分布間距離を対象分布間距離として算出する第３の算出手順と、
前記第３の算出手順によって算出された前記対象分布間距離と、前記式とを用いて、前記運用データセットに関する前記第２の指標値を算出する第４の算出手順と、
前記第４の算出手順によって算出された前記第２の指標値が予め決められた閾値を超えているか否かを判定する判定手順と、
前記第４の算出手順によって算出された前記第２の指標値が前記閾値を超えていないと判定された場合、前記運用データセットを用いて、教師なし学習の手法により前記機械学習モデルのパラメータを更新する更新手順と、
をコンピュータが実行するモデル更新方法。
【請求項7】
機械学習モデルのパラメータ学習に用いられた学習データセットを含む複数のデータセット間の特徴量空間における分布間距離をそれぞれ算出する第１の算出手順と、
前記第１の算出手順によって算出された前記分布間距離と、前記複数のデータセットの各々に関する前記機械学習モデルのモデル精度を表す第１の指標値とを用いて、前記分布間距離と、前記学習データセットに対する前記第１の指標値の低下度合いを表す第２の指標値との関係を表す式を算出する第２の算出手順と、
前記機械学習モデルの運用開始後に得られた運用データセットと、前記学習データセットとの間の特徴量空間における分布間距離を対象分布間距離として算出する第３の算出手順と、
前記第３の算出手順によって算出された前記対象分布間距離と、前記式とを用いて、前記運用データセットに関する前記第２の指標値を算出する第４の算出手順と、
前記第４の算出手順によって算出された前記第２の指標値が予め決められた閾値を超えているか否かを判定する判定手順と、
前記第４の算出手順によって算出された前記第２の指標値が前記閾値を超えていないと判定された場合、前記運用データセットを用いて、教師なし学習の手法により前記機械学習モデルのパラメータを更新する更新手順と、
をコンピュータに実行させるプログラム。
前記第１の算出手順によって算出された前記分布間距離と、前記複数のデータセットの各々に関する前記機械学習モデルのモデル精度を表す第１の指標値とを用いて、前記分布間距離と、前記学習データセットに対する前記第１の指標値の低下度合いを表す第２の指標値との関係を表す式を算出する第２の算出手順と、
前記機械学習モデルの運用開始後に得られた運用データセットと、前記学習データセットとの間の特徴量空間における分布間距離を対象分布間距離として算出する第３の算出手順と、
前記第３の算出手順によって算出された前記対象分布間距離と、前記式とを用いて、前記運用データセットに関する前記第２の指標値を算出する第４の算出手順と、
前記第４の算出手順によって算出された前記第２の指標値が予め決められた閾値を超えているか否かを判定する判定手順と、
前記第４の算出手順によって算出された前記第２の指標値が前記閾値を超えていないと判定された場合、前記運用データセットを用いて、教師なし学習の手法により前記機械学習モデルのパラメータを更新する更新手順と、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、モデル更新装置、モデル更新方法、及びプログラムに関する。
【背景技術】
【0002】
機械学習技術を利用して作成された分類モデルにより製品の不良パターン等を分類することが行われている。一方で、分類モデルの運用開始後に、コンセプトドリフトやデータドリフトといったドリフトの発生により、その精度が低下することがある。これに対して、ドリフト発生によるモデル精度の低下に対応するためにモデルを更新する手法が知られている（例えば、特許文献１、非特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０２３／０１３０２４号
【非特許文献】
【0004】
【非特許文献1】大川 佳寛，小林 健一，"データ変化に対する教師なし適応技術に関する最新研究動向とその考察"，第36回人工知能学会全国大会論文集
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来技術では、モデル更新によってモデルの精度が向上するとは限らない。例えば、特許文献１に記載されている手法では特徴量を入力としてその特徴量が訓練データ又は運用データのいずれの特徴量であるかを検知する検知モデルを用いるが、この検知モデルの性能によってはモデルの精度が向上するとは限らない。また、例えば、非特許文献１に記載されている手法では教師なしドメイン適応を用いるが、教師なしドメイン適応に利用するデータによってはモデルの精度が向上するとは限らない。
【0006】
本開示は、上記の点に鑑みてなされたもので、モデル精度の低下に適切に対応可能なモデル更新を実現できる技術を提供する。
【課題を解決するための手段】
【0007】
本開示の一態様によるモデル更新装置は、機械学習モデルのパラメータ学習に用いられた学習データセットを含む複数のデータセット間の特徴量空間における分布間距離をそれぞれ算出する第１の算出部と、前記第１の算出部によって算出された前記分布間距離と、前記複数のデータセットの各々に関する前記機械学習モデルのモデル精度を表す第１の指標値とを用いて、前記分布間距離と、前記学習データセットに対する前記第１の指標値の低下度合いを表す第２の指標値との関係を表す式を算出する第２の算出部と、前記機械学習モデルの運用開始後に得られた運用データセットと、前記学習データセットとの間の特徴量空間における分布間距離を対象分布間距離として算出する第３の算出部と、前記第３の算出部によって算出された前記対象分布間距離と、前記式とを用いて、前記運用データセットに関する前記第２の指標値を算出する第４の算出部と、前記第４の算出部によって算出された前記第２の指標値が予め決められた閾値を超えているか否かを判定する判定部と、前記第４の算出部によって算出された前記第２の指標値が前記閾値を超えていないと判定された場合、前記運用データセットを用いて、教師なし学習の手法により前記機械学習モデルのパラメータを更新する更新部と、を有する。
【発明の効果】
【0008】
モデル精度の低下に適切に対応可能なモデル更新を実現できる技術が提供される。
【図面の簡単な説明】
【0009】
【図1】本実施形態に係る分類装置のハードウェア構成の一例を示す図である。
【図2】本実施形態に係る分類装置の機能構成の一例を示す図である。
【図3】本実施形態に係る分類処理の一例を示すフローチャートである。
【図4】本実施形態に係るモデル更新処理の一例を示すフローチャートである。
【図5】分布間距離と正解率低下ポイントとの関係を表す線形近似式の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の一実施形態について説明する。以下の実施形態では、機械学習技術を利用して作成された分類モデルにより分類対象データを分類する場合を想定し、ドリフト発生等による当該分類モデルの精度低下に適切に対応可能なモデル更新を行うことができる分類装置１０について説明する。なお、ドリフトには、コンセプトドリフトやデータドリフトが含まれる。
【0011】
＜分類装置１０のハードウェア構成例＞
本実施形態に係る分類装置１０のハードウェア構成例を図１に示す。図１に示すように、本実施形態に係る分類装置１０は、入力装置１０１と、表示装置１０２と、外部Ｉ／Ｆ１０３と、通信Ｉ／Ｆ１０４と、ＲＡＭ（Random Access Memory）１０５と、ＲＯＭ（Read Only Memory）１０６と、補助記憶装置１０７と、プロセッサ１０８とを有する。これらの各ハードウェアは、それぞれがバス１０９を介して通信可能に接続される。
本実施形態に係る分類装置１０のハードウェア構成例を図１に示す。図１に示すように、本実施形態に係る分類装置１０は、入力装置１０１と、表示装置１０２と、外部Ｉ／Ｆ１０３と、通信Ｉ／Ｆ１０４と、ＲＡＭ（Random Access Memory）１０５と、ＲＯＭ（Read Only Memory）１０６と、補助記憶装置１０７と、プロセッサ１０８とを有する。これらの各ハードウェアは、それぞれがバス１０９を介して通信可能に接続される。
【0012】
入力装置１０１は、例えば、キーボード、マウス、タッチパネル、物理ボタン等である。表示装置１０２は、例えば、ディスプレイ、表示パネル等である。
【0013】
外部Ｉ／Ｆ１０３は、記録媒体１０３ａ等の外部装置とのインタフェースである。記録媒体１０３ａとしては、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。
【0014】
通信Ｉ／Ｆ１０４は、分類装置１０を通信ネットワークに接続させるためのインタフェースである。ＲＡＭ１０５は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１０６は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）である。補助記憶装置１０７は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等の不揮発性の記憶装置である。プロセッサ１０８は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphic Processing Unit）等の各種演算装置である。
【0015】
なお、図１に示すハードウェア構成は一例であって、分類装置１０のハードウェア構成はこれに限られるものではない。例えば、分類装置１０は、複数の補助記憶装置１０７や複数のプロセッサ１０８を有していてもよいし、図示したハードウェアの一部を有していなくてもよいし、図示したハードウェア以外の種々のハードウェアを有していてもよい。
【0016】
＜分類装置１０の機能構成例＞
本実施形態に係る分類装置１０の機能構成例を図２に示す。図２に示すように、本実施形態に係る分類装置１０は、データ取得部２０１と、特徴量抽出部２０２と、分類部２０３と、特徴量・分類結果格納部２０４と、比較演算部２０５と、性能推論部２０６と、更新判定部２０７と、モデル更新部２０８と、表示制御部２０９とを有する。これら各部は、例えば、分類装置１０にインストールされた１以上のプログラムが、プロセッサ１０８等に実行させる処理により実現される。また、本実施形態に係る分類装置１０は、運用データベース２１０と、基準データベース２１１とを有する。これら各データベースは、例えば、補助記憶装置１０７等の記憶領域により実現される。
本実施形態に係る分類装置１０の機能構成例を図２に示す。図２に示すように、本実施形態に係る分類装置１０は、データ取得部２０１と、特徴量抽出部２０２と、分類部２０３と、特徴量・分類結果格納部２０４と、比較演算部２０５と、性能推論部２０６と、更新判定部２０７と、モデル更新部２０８と、表示制御部２０９とを有する。これら各部は、例えば、分類装置１０にインストールされた１以上のプログラムが、プロセッサ１０８等に実行させる処理により実現される。また、本実施形態に係る分類装置１０は、運用データベース２１０と、基準データベース２１１とを有する。これら各データベースは、例えば、補助記憶装置１０７等の記憶領域により実現される。
【0017】
なお、運用データベース２１０及び基準データベース２１１の少なくとも一方は、例えば、分類装置１０と通信可能に接続される記憶装置の記憶領域により実現されてもよい。
【0018】
データ取得部２０１は、分類装置１０に与えられた分類対象データを運用データとして取得する。また、データ取得部２０１は、当該運用データを運用データベース２１０に格納する。ここで、分類対象データとは、分類装置１０によって分類対象となる任意のデータのことである。分類対象データの典型例としては、外観検査の対象となる製品を撮影した画像データ等が挙げられる。ただし、これは一例であって、分類対象データは、何等かの対象を計測や測定、撮影すること等により取得された任意のデータであってよい。
【0019】
特徴量抽出部２０２は、データ取得部２０１によって取得された運用データから特徴量を抽出する。以下、運用データから抽出された特徴量のことを「運用データ特徴量」ともいう。なお、特徴量とはデータの特徴を表す情報のことであり、予め決められたｎ次元ベクトルで表現される。また、特徴量が取り得る値で表されるｎ次元空間は特徴量空間と呼ばれる。
【0020】
分類部２０３は、特徴量抽出部２０２によって抽出された運用データ特徴量を予め決められた複数のクラスに分類する。すなわち、分類部２０３は、運用データ特徴量を入力として、その運用データ特徴量が複数のクラスのいずれのクラスに属するかを表すラベルを算出する。以下、予め決められたクラス数をＫとして各クラスを｛１，・・・，Ｋ｝とする。
【0021】
ここで、特徴量抽出部２０２と分類部２０３は分類モデルＭを構成する。分類モデルＭはニューラルネットワーク等を含む機械学習モデルであり、例えば、分類モデルＭの入力層～出力層の１つ前の中間層によって特徴量抽出部２０２が実現され、出力層によって分類部２０３が実現される。出力層は、例えば、分類モデルＭによって２値分類（２クラス分類）を行う場合は活性化関数としてシグモイド関数を持つ線形変換層、分類モデルＭによって多クラス分類を行う場合は活性化関数としてソフトマックス関数を持つ線形変換層とすればよい。なお、分類モデルＭの入力層は運用データの形式に応じて任意の構成を採用することが可能であり、また中間層も任意の構成を採用することが可能である。
【0022】
上記の分類モデルＭは、例えば、与えられたデータセットを学習データセット、検証データセット及びテストデータセットという３つに分割した上で、これらの学習データセット、検証データセット及びテストデータセットを利用して予め学習されたものである。学習データセットは、分類モデルＭの学習可能パラメータ（以下、単にパラメータともいう。）を学習（更新）するためのデータセットである。検証データセットは、分類モデルＭのハイパーパラメータ等を検証・調整するためのデータセットである。テストデータセットは、分類モデルＭの汎化性能等を評価するためのデータセットである。
【0023】
以下、学習データセットをＸ１＝｛（ｘｉ，ｙｉ）｜ｉ＝１，・・・，Ｎ１｝、検証データセットをＸ２＝｛（ｘｉ，ｙｉ）｜ｉ＝１，・・・，Ｎ２｝、テストデータセットをＸ３＝｛（ｘｉ，ｙｉ）｜ｉ＝１，・・・，Ｎ３｝とする。ここで、ｘｉ∈Ｘ１は分類モデルＭのパラメータ学習に用いられるデータであり、以下、学習データと呼ぶことにする。同様に、ｘｉ∈Ｘ２は分類モデルＭのハイパーパラメータ等の検証・調整に用いられるデータであり、以下、検証データと呼ぶことにする。同様に、ｘｉ∈Ｘ３は分類モデルＭの汎化性能等の評価に用いられるデータであり、以下、テストデータと呼ぶことにする。また、ｙｉは学習データ、検証データ又はテストデータｘｉがいずれのクラスに属するかを表すラベル（正解ラベル）であり、Ｎ１、Ｎ２及びＮ３はそれぞれ学習データ数、検証データ数及びテストデータ数である。なお、正解ラベルは教師データや教師ラベル等と呼ばれてもよい。
【0024】
更に、以下では、特徴量抽出部２０２によって学習データｘｉから抽出された特徴量を学習データ特徴量と呼び、学習データ特徴量集合をＺ１＝｛ｚｉ｜ｉ＝１，・・・，Ｎ１｝とする。同様に、特徴量抽出部２０２によって検証データｘｉから抽出された特徴量を検証データ特徴量と呼び、検証データ特徴量集合をＺ２＝｛ｚｉ｜ｉ＝１，・・・，Ｎ２｝とする。同様に、テストデータｘｉから抽出された特徴量をテストデータ特徴量と呼び、テストデータ特徴量集合をＺ３＝｛ｚｉ｜ｉ＝１，・・・，Ｎ３｝とする。ここで、ｚｉ∈Ｚ１は学習データ特徴量、ｚｉ∈Ｚ２は検証データ特徴量、ｚｉ∈Ｚ３はテストデータ特徴量である。
【0025】
特徴量・分類結果格納部２０４は、特徴量抽出部２０２によって抽出された運用データ特徴量と分類部２０３によって算出されたラベルとを運用データベース２１０に格納する。
【0026】
比較演算部２０５は、運用データ特徴量と学習データ特徴量との間の分布間距離（以下、対象分布間距離という。）を算出する。また、比較演算部２０５は、学習データ特徴量間の分布間距離（以下、第１の分布間距離という。）、学習データ特徴量と検証データ特徴量との間の分布間距離（以下、第２の分布間距離という。）、学習データ特徴量とテストデータ特徴量との間の分布間距離（以下、第３の分布間距離という。）をそれぞれ算出する。
【0027】
なお、運用データ特徴量と学習データ特徴量との間の分布間距離は、運用データと学習データとの間の特徴量空間における分布間距離ということもできる。学習データ特徴量間の分布間距離、学習データ特徴量と検証データ特徴量との間の分布間距離、学習データ特徴量とテストデータ特徴量との間の分布間距離についても同様に、それぞれ学習データ間、学習データと検証データとの間、学習データとテストデータとの間の特徴量空間における分布間距離ということができる。
【0028】
性能推論部２０６は、第１の分布間距離と、第２の分布間距離と、第３の分布間距離と、学習データセットＸ１に対する分類モデルＭの正解率と、検証データセットＸ２に対する分類モデルＭの正解率と、テストデータＸ３に対する分類モデルＭの正解率とを用いて、分類モデルＭの精度低下を推論するための線形近似式を算出する。また、性能推論部２０６は、対象分布間距離と当該線形近似式とを用いて、分類モデルＭの精度がどの程度低下しているか表す指標値として正解率低下ポイント（以下、対象正解率低下ポイントという。）を算出する。
【0029】
なお、正解率（Ａｃｃｕｒａｃｙ）とは、或るデータセットに含まれる各データを分類モデルＭにより分類したときに、当該データセットに含まれるデータのうち、正しく分類されたデータの割合を表す値ことである。正解率は０以上１以下の値で表されることが多いが、以下では、０以上１以下の値で表された正解率に対して１００を掛けたものを正解率として、正解率は百分率〔％〕で表されているものとする。
【0030】
更新判定部２０７は、性能推論部２０６によって算出された対象正解率低下ポイントと、予め決められた閾値とを用いて、分類モデルＭの更新方法を判定する。すなわち、更新判定部２０７は、対象正解率低下ポイントが当該閾値を超えていない場合は自動モデル更新により分類モデルＭを更新すると判定し、対象正解率低下ポイントが当該閾値を超えている場合は手動モデル更新により分類モデルＭを更新すると判定する。
【0031】
モデル更新部２０８は、更新判定部２０７によって自動モデル更新より分類モデルＭを更新すると判定された場合、運用データベース２１０に格納されている運用データを用いて、教師なし学習の手法（例えば、教師なしドメイン適応等）により分類モデルＭのパラメータを更新する。
【0032】
表示制御部２０９は、更新判定部２０７によって手動モデル更新より分類モデルＭを更新すると判定された場合、手動モデル更新が必要であることを表す情報（手動モデル更新アラート）を表示装置１０２上に表示する。これにより、ユーザは手動モデル更新が必要であることを知ることができるため、例えば、運用データベース２１０に格納されている運用データの全部又は一部に対してラベルを付与した上で、これらの運用データとそのラベルとを用いて教師あり学習の手法により分類モデルＭのパラメータを更新させることが可能となる。
【0033】
また、表示制御部２０９は、例えば、分類部２０３による分類結果、性能推論部２０６によって算出された対象正解率低下ポイント、更新判定部２０７による判定結果、モデル更新部２０８による更新結果等といった情報の少なくとも１つを表示してもよい。
【0034】
なお、表示制御部２０９は、例えば、分類装置１０と通信可能に接続された端末装置が備えるディスプレイ上に上記の各種情報を表示してもよい。
【0035】
運用データベース２１０には、運用データと、運用データ特徴量と、ラベルとが格納される。すなわち、運用データをｘｉ（ｉ＝１，・・・，Ｎ４）、特徴量抽出部２０２によって運用データｘｉから抽出された特徴量をｚｉ、分類部２０３によって算出されたラベルをｙｉとすれば、運用データベース２１０には、運用データセットＸ４＝｛ｘｉ｜ｉ＝１，・・・，Ｎ４｝と、運用データ特徴量集合Ｚ４＝｛ｚｉ｜ｉ＝１，・・・，Ｎ４｝と、分類結果集合Ｙ４＝｛ｙｉ｜ｉ＝１，・・・，Ｎ４｝とが格納される。ここで、Ｎ４は、運用データ数である。
【0036】
基準データベース２１１には、学習データ特徴量のクラス毎の平均及び標準偏差と、検証データ特徴量のクラス毎の平均及び標準偏差と、テストデータ特徴量のクラス毎の平均及び標準偏差とが格納される。すなわち、基準データベース２１１には、クラス毎に、そのクラスに分類された学習データ特徴量ｚｉ∈Ｚ１の平均及び標準偏差と、そのクラスに分類された検証データ特徴量ｚｉ∈Ｚ２の平均及び標準偏差と、そのクラスに分類されたテストデータ特徴量ｚｉ∈Ｚ３の平均及び標準偏差とが格納される。以下、クラスｋ∈｛１，・・・，Ｋ｝に分類された学習データ特徴量ｚｉ∈Ｚ１の平均をμ１，ｋ、標準偏差をσ１，ｋとする。同様に、クラスｋ∈｛１，・・・，Ｋ｝に分類された検証データ特徴量ｚｉ∈Ｚ２の平均をμ２，ｋ、標準偏差をσ２，ｋとする。同様に、クラスｋ∈｛１，・・・，Ｋ｝に分類されたテストデータ特徴量ｚｉ∈Ｚ３の平均をμ３，ｋ、標準偏差をσ３，ｋとする。
【0037】
また、基準データベース２１１には、学習データセットＸ１に対する分類モデルＭの正解率と、検証データセットＸ２に対する分類モデルＭの正解率と、テストデータＸ３に対する分類モデルＭの正解率とが格納される。以下、学習データセットＸ１に対する分類モデルＭの正解率をＡＣＣ１、検証データセットＸ２に対する分類モデルＭの正解率をＡＣＣ２、テストデータＸ３に対する分類モデルＭの正解率をＡＣＣ３とする。
【0038】
ここで、上記の正解率ＡＣＣ１、ＡＣＣ２及びＡＣＣ３は、例えば、分類モデルＭのパラメータ学習後に比較演算部２０５によって算出され、基準データベース２１１に格納される。同様に、上記の平均μ１，ｋ、μ２，ｋ、μ３，ｋ及び分散σ１，ｋ、σ２，ｋ、σ３，ｋは、例えば、分類モデルＭのパラメータ学習後に比較演算部２０５によって算出され、基準データベース２１１に格納される。
【0039】
なお、学習データ特徴量、検証データ特徴量及びテストデータ特徴量の平均及び標準偏差は、特徴量の統計量の一例であって、比較演算部２０５によって算出される分布間距離の種類に応じて、平均及び標準偏差以外の統計量が用いられてもよい。
【0040】
＜分類処理＞
以下、本実施形態に係る分類処理について、図３を参照しながら説明する。以下では、分類対象データが分類装置１０に与えられたものとする。
以下、本実施形態に係る分類処理について、図３を参照しながら説明する。以下では、分類対象データが分類装置１０に与えられたものとする。
【0041】
まず、データ取得部２０１は、与えられた分類対象データを運用データとして取得する（ステップＳ１０１）。以下、本ステップで取得された運用データをｘとする。
【0042】
次に、データ取得部２０１は、上記のステップＳ１０１で取得された運用データｘを運用データベース２１０に格納する（ステップＳ１０２）。
【0043】
次に、特徴量抽出部２０２は、上記のステップＳ１０１で取得された運用データｘから特徴量を抽出する（ステップＳ１０３）。以下、本ステップで抽出された運用データ特徴量をｚとする。
【0044】
次に、分類部２０３は、上記のステップＳ１０３で抽出された運用データ特徴量ｚからラベルを算出する（ステップＳ１０４）。以下、本ステップで算出されたラベルをｙとする。
【0045】
次に、特徴量・分類結果格納部２０４は、上記のステップＳ１０３で抽出された運用データ特徴量ｚと、上記のステップＳ１０４で算出されたラベルｙとを運用データベース２１０に格納する（ステップＳ１０５）。
【0046】
最後に、表示制御部２０９は、上記のステップＳ１０４で算出されたラベルｙ（つまり、運用データｘの分類結果）を表示装置１０２上に表示する（ステップＳ１０６）。これにより、ユーザは、運用データｘの分類結果を知ることができる。
【0047】
＜モデル更新処理＞
以下、本実施形態に係るモデル更新処理について、図４を参照しながら説明する。以下では、運用データベース２１０には、運用データセットＸ４と、運用データ特徴量集合Ｚ４と、分類結果集合Ｙ４とが格納されているものとする。なお、モデル更新処理の実行タイミングは任意に設定することが可能であるが、例えば、予め決められた所定の時間毎に実行すること等が考えられる。
以下、本実施形態に係るモデル更新処理について、図４を参照しながら説明する。以下では、運用データベース２１０には、運用データセットＸ４と、運用データ特徴量集合Ｚ４と、分類結果集合Ｙ４とが格納されているものとする。なお、モデル更新処理の実行タイミングは任意に設定することが可能であるが、例えば、予め決められた所定の時間毎に実行すること等が考えられる。
【0048】
比較演算部２０５は、運用データ特徴量ｚｉ∈Ｚ４と、学習データ特徴量ｚｉ∈Ｚ１との間の分布間距離を対象分布間距離として算出する（ステップＳ２０１）。例えば、各クラスに分類される特徴量の分布が正規分布であると仮定できる場合、比較演算部２０５は、以下の手順１－１～手順１－３により対象分布間距離を算出すればよい。
【0049】
手順１－１：比較演算部２０５は、運用データベース２１０に格納されている運用データ特徴量集合Ｚ４及び分類結果集合Ｙ４を用いて、クラス毎に、そのクラスに分類された運用データ特徴量ｚｉ∈Ｚ４の平均及び標準偏差を算出する。以下、クラスｋ∈｛１，・・・，Ｋ｝に分類された運用データ特徴量ｚｉ∈Ｚ４の平均をμ４，ｋ、標準偏差をσ４，ｋとする。
【0050】
手順１－２：比較演算部２０５は、クラスｋ∈｛１，・・・，Ｋ｝毎に、上記の手順１－１で算出された平均μ４，ｋ及び標準偏差σ４，ｋと、基準データベース２１１に格納されている平均μ１，ｋ及び標準偏差σ１，ｋとを用いて、当該クラスｋに関するカルバック・ライブラー情報量を算出する。すなわち、クラスｋに関するカルバック・ライブラー情報量をＫＬｋとしたとき、比較演算部２０５は、以下により各クラスｋに関するカルバック・ライブラー情報量ＫＬｋをそれぞれ算出する。
【0051】
【数1】
ここで、ｐｋ（ｘ）はクラスｋに分類された学習データ特徴量ｚｉ∈Ｚ１の確率密度関数、ｑｋ（ｘ）はクラスｋに分類された運用データ特徴量ｚｉ∈Ｚ４の確率密度関数である。
【0052】
手順１－３：比較演算部２０５は、上記の手順１－２で算出された各クラスｋに関するカルバック・ライブラー情報量ＫＬｋの和を対象分布間距離として算出する。すなわち、比較演算部２０５は、上記の手順１－２で算出された各クラスｋに関するカルバック・ライブラー情報量の和ＫＬ１＋・・・＋ＫＬＫを対象分布間距離として算出する。以下、対象分布間距離をＫＬとする。
【0053】
次に、比較演算部２０５は、学習データ特徴量ｚｉ∈Ｚ１間の分布間距離を第１の分布間距離として算出する（ステップＳ２０２）。例えば、各クラスに分類される特徴量の分布が正規分布であると仮定できる場合、比較演算部２０５は、以下の手順２－１～手順２－２により第１の分布間距離を算出すればよい。
【0054】
手順２－１：比較演算部２０５は、クラスｋ∈｛１，・・・，Ｋ｝毎に、基準データベース２１１に格納されている平均μ１，ｋ及び標準偏差σ１，ｋを用いて、当該クラスｋに関するカルバック・ライブラー情報量を算出する。すなわち、クラスｋに関するカルバック・ライブラー情報量をＫＬｋ
（１）としたとき、比較演算部２０５は、以下により各クラスｋに関するカルバック・ライブラー情報量ＫＬｋ
（１）をそれぞれ算出する。
【0055】
【数2】
【0056】
手順２－２：比較演算部２０５は、上記の手順２－１で算出された各クラスｋに関するカルバック・ライブラー情報量ＫＬｋ
（１）の和を第１の分布間距離として算出する。すなわち、比較演算部２０５は、上記の手順２－１で算出された各クラスｋに関するカルバック・ライブラー情報量の和ＫＬ１
（１）＋・・・＋ＫＬＫ
（１）を第１の分布間距離として算出する。以下、第１の分布間距離をＫＬ（１）とする。
【0057】
次に、比較演算部２０５は、学習データ特徴量ｚｉ∈Ｚ１と、検証データ特徴量ｚｉ∈Ｚ２との間の分布間距離を第２の分布間距離として算出する（ステップＳ２０３）。例えば、各クラスに分類される特徴量の分布が正規分布であると仮定できる場合、比較演算部２０５は、以下の手順３－１～手順３－２により第２の分布間距離を算出すればよい。
【0058】
手順３－１：比較演算部２０５は、クラスｋ∈｛１，・・・，Ｋ｝毎に、基準データベース２１１に格納されている平均μ１，ｋ及び標準偏差σ１，ｋと平均μ２，ｋ及び標準偏差σ２，ｋを用いて、当該クラスｋに関するカルバック・ライブラー情報量を算出する。すなわち、クラスｋに関するカルバック・ライブラー情報量をＫＬｋ
（２）としたとき、比較演算部２０５は、以下により各クラスｋに関するカルバック・ライブラー情報量ＫＬｋ
（２）をそれぞれ算出する。
【0059】
【数3】
【0060】
手順３－２：比較演算部２０５は、上記の手順３－１で算出された各クラスｋに関するカルバック・ライブラー情報量ＫＬｋ
（２）の和を第２の分布間距離として算出する。すなわち、比較演算部２０５は、上記の手順３－１で算出された各クラスｋに関するカルバック・ライブラー情報量の和ＫＬ１
（２）＋・・・＋ＫＬＫ
（２）を第２の分布間距離として算出する。以下、第２の分布間距離をＫＬ（２）とする。
【0061】
次に、比較演算部２０５は、学習データ特徴量ｚｉ∈Ｚ１と、テストデータ特徴量ｚｉ∈Ｚ３との間の分布間距離を第３の分布間距離として算出する（ステップＳ２０４）。例えば、各クラスに分類される特徴量の分布が正規分布であると仮定できる場合、比較演算部２０５は、以下の手順４－１～手順４－２により第３の分布間距離を算出すればよい。
【0062】
手順４－１：比較演算部２０５は、クラスｋ∈｛１，・・・，Ｋ｝毎に、基準データベース２１１に格納されている平均μ１，ｋ及び標準偏差σ１，ｋと平均μ３，ｋ及び標準偏差σ３，ｋを用いて、当該クラスｋに関するカルバック・ライブラー情報量を算出する。すなわち、クラスｋに関するカルバック・ライブラー情報量をＫＬｋ
（３）としたとき、比較演算部２０５は、以下により各クラスｋに関するカルバック・ライブラー情報量ＫＬｋ
（３）をそれぞれ算出する。
【0063】
【数4】
【0064】
手順４－２：比較演算部２０５は、上記の手順４－１で算出された各クラスｋに関するカルバック・ライブラー情報量ＫＬｋ
（３）の和を第３の分布間距離として算出する。すなわち、比較演算部２０５は、上記の手順４－１で算出された各クラスｋに関するカルバック・ライブラー情報量の和ＫＬ１
（３）＋・・・＋ＫＬＫ
（３）を第３の分布間距離として算出する。以下、第３の分布間距離をＫＬ（３）とする。
【0065】
次に、性能推論部２０６は、上記のステップＳ２０２、ステップＳ２０３及びステップＳ２０４でそれぞれ算出された第１の分布間距離ＫＬ（１）、第２の分布間距離ＫＬ（２）及び第３の分布間距離ＫＬ（３）と、基準データベース２１１に格納されている正解率ＡＣＣ１、ＡＣＣ２及びＡＣＣ３とを用いて、分布間距離と正解率低下ポイントとの関係を表す線形近似式を算出する（ステップＳ２０５）。例えば、性能推論部２０６は、以下の手順５－１～手順５－２により線形近似式を算出すればよい。
【0066】
手順５－１：学習データセットＸ１に対する学習データセットＸ１の正解率低下ポイントをＱ１、学習データセットＸ１に対する検証データセットＸ２の正解率低下ポイントをＱ２、学習データセットＸ１に対するテストデータセットＸ３の正解率低下ポイントをＱ３とする。このとき、性能推論部２０６は、Ｑ１＝ＡＣＣ１－ＡＣＣ１＝０、Ｑ２＝ＡＣＣ１－ＡＣＣ２、Ｑ３＝ＡＣＣ１－ＡＣＣ３により正解率低下ポイントＱ１、Ｑ２及びＱ３をそれぞれ算出する。
【0067】
なお、学習データセットＸ１に対する或るデータセットの正解率低下ポイントは、当該データセットの正解率をＡＣＣとすれば、ＡＣＣ１－ＡＣＣにより算出することができる。
【0068】
手順５－２：性能推論部２０６は、分布間距離をｘ軸、正解率低下ポイントをｙ軸とするｘｙ平面上でＰ１：＝（ＫＬ（１），Ｑ１）、Ｐ２：＝（ＫＬ（２），Ｑ２）、Ｐ３：＝（ＫＬ（３），Ｑ３）の回帰直線を表す式を線形近似式として算出する。これは、例えば、最小二乗法等により算出することができる。以下、回帰直線をＬとして、線形近似式をＬ：ｙ＝ａｘとする。
【0069】
なお、性能推論部２０６は、上記の手順５－２で予め決められた補正係数β＞０を用いて、線形近似式をＬ'：ｙ＝βａｘとしてもよい。以下、Ｌ'：ｙ＝βａｘを補正線形近似式と呼び、上記の手順５－２では補正線形近似式Ｌ'が算出されたものとする。
【0070】
ここで、線形近似式Ｌと補正線形近似式Ｌ'との関係を図５に示す。図５に示すように、線形近似式ＬはＰ１、Ｐ２及びＰ３の回帰直線を表している。一方で、補正線形近似式Ｌ'は、線形近似式Ｌが表す回帰直線の傾きａにβ＞０を乗じた直線を表している。
【0071】
次に、性能推論部２０６は、上記のステップＳ２０５で算出された補正線形近似式を用いて、上記のステップＳ２０１で算出された対象分布間距離から対象正解率低下ポイントを算出する（ステップＳ２０６）。すなわち、性能推論部２０６は、例えば、ｙ＝βａ×ＫＬにより対象正解率低下ポイントを算出する。この対象正解率低下ポイントは、分類モデルＭの精度が学習時からどの程度低下しているかを表している。
【0072】
次に、更新判定部２０７は、上記のステップＳ２０６で算出された対象正解率低下ポイントが予め決められた閾値ｔｈを超えているか否かを判定する（ステップＳ２０７）。ここで、図５に示すように、対象正解率ポイントが閾値ｔｈ未満となる領域が自動モデル更新領域、対象正解率ポイントが閾値ｔｈ以上となる領域が手動モデル更新アラート領域となる。このため、対象正解率低下ポイントが閾値ｔｈを超えている場合は手動モデル更新により分類モデルＭを更新すると判定されたことを意味し、対象正解率低下ポイントが閾値ｔｈ以下である場合は自動モデル更新により分類モデルＭを更新すると判定されたことを意味する。
【0073】
なお、対象正解率低下ポイントが閾値ｔｈを超えている場合に手動モデル更新により分類モデルＭを更新することとしたのは、コンセプトドリフトやデータドリフトといったドリフトにより分類モデルＭの精度が大きく低下している場合に教師なしドメイン適応等によりモデル更新を行うとモデル精度が更に低下する可能性があるためである。
【0074】
上記のステップＳ２０７で対象正解率低下ポイントが閾値ｔｈを超えていると判定された場合、表示制御部２０９は、手動モデル更新アラートを表示装置１０２上に表示する（ステップＳ２０８）。これにより、ユーザは手動モデル更新が必要であることを知ることができるため、例えば、運用データベース２１０に格納されている運用データの全部又は一部に対してラベルを付与した上で、これらの運用データとそのラベルとを用いて教師あり学習の手法により分類モデルＭのパラメータを更新させることが可能となる。
【0075】
一方で、上記のステップＳ２０７で対象正解率低下ポイントが閾値ｔｈを超えていると判定されなかった場合、モデル更新部２０８は、運用データベース２１０に格納されている運用データを用いて、教師なし学習の手法（例えば、教師なしドメイン適応等）により分類モデルＭのパラメータを更新する（ステップＳ２０９）。これにより、分類モデルＭをドリフト発生後のドメインに適応させることが可能となり、分類モデルＭの精度を向上させることができる。
【0076】
＜変形例＞
・変形例１
上記の実施形態では、図４のステップＳ２０５でＰ１、Ｐ２及びＰ３から回帰直線を表す式を線形近似式として算出したが、線形近似式を算出する際に、Ｐ１、Ｐ２及びＰ３に加えて、それ以外の点を用いてもよい。
・変形例１
上記の実施形態では、図４のステップＳ２０５でＰ１、Ｐ２及びＰ３から回帰直線を表す式を線形近似式として算出したが、線形近似式を算出する際に、Ｐ１、Ｐ２及びＰ３に加えて、それ以外の点を用いてもよい。
【0077】
例えば、運用データベース２１０に格納されている運用データの一部に対して人手で正解ラベルを付与し、正解ラベルを付与した運用データの正解率と学習データセットＸ１との分布間距離とを算出する。そして、図４のステップＳ２０４と同様に、この正解率から正解率低下ポイントを算出した上で、正解率低下ポイントと分布間距離とで表される点を線形近似式の算出に用いてもよい。これにより、ラベル付けのコストは発生するものの、より精度の良い線形近似式を得ることが可能となる。一方で、線形近似式の精度は低下するものの、例えば、Ｐ１、Ｐ２及びＰ３のうちの２点を用いてもよい。これ以外にも、例えば、Ｐ１、Ｐ２及びＰ３のうちの１点又は２点と、Ｐ１、Ｐ２及びＰ３以外の点とを用いてもよい。
【0078】
・変形例２
上記の実施形態では、図４のステップＳ２０５で回帰直線を表す式を線形近似式として算出したが、線形近似に限られず、非線形近似でもよい。すなわち、図４のステップＳ２０５では回帰曲線を表す式を算出してもよい。
上記の実施形態では、図４のステップＳ２０５で回帰直線を表す式を線形近似式として算出したが、線形近似に限られず、非線形近似でもよい。すなわち、図４のステップＳ２０５では回帰曲線を表す式を算出してもよい。
【0079】
・変形例３
図４のステップＳ２０１の処理は、例えば、図４のステップＳ２０２～ステップＳ２０５の処理の後に実行されてもよい。また、例えば、図４のステップＳ２０２～ステップＳ２０５の処理はモデル更新処理が実行されるよりも前に事前に実行されており、モデル更新処理ではステップＳ２０１、ステップＳ２０６～ステップＳ２０９の処理のみが実行されてもよい。
図４のステップＳ２０１の処理は、例えば、図４のステップＳ２０２～ステップＳ２０５の処理の後に実行されてもよい。また、例えば、図４のステップＳ２０２～ステップＳ２０５の処理はモデル更新処理が実行されるよりも前に事前に実行されており、モデル更新処理ではステップＳ２０１、ステップＳ２０６～ステップＳ２０９の処理のみが実行されてもよい。
【0080】
＜まとめ＞
以上のように、本実施形態に係る分類装置１０は、分類モデルＭの運用開始後に得られた運用データと、当該分類モデルＭのパラメータ学習に用いられた学習用データとの間の分布間距離からモデル精度がどの程度低下しているかを表す正解率低下ポイントを算出する。そして、本実施形態に係る分類装置１０は、正解率低下ポイントが大きい場合には手動で分類モデルＭを更新すべきことをアラートとしてユーザに通知し、正解率低下ポイントが小さい場合には教師なしドメイン適応等により自動で分類モデルＭを更新する。
以上のように、本実施形態に係る分類装置１０は、分類モデルＭの運用開始後に得られた運用データと、当該分類モデルＭのパラメータ学習に用いられた学習用データとの間の分布間距離からモデル精度がどの程度低下しているかを表す正解率低下ポイントを算出する。そして、本実施形態に係る分類装置１０は、正解率低下ポイントが大きい場合には手動で分類モデルＭを更新すべきことをアラートとしてユーザに通知し、正解率低下ポイントが小さい場合には教師なしドメイン適応等により自動で分類モデルＭを更新する。
【0081】
これにより、ドリフト発生に伴うモデル精度の低下が小さい場合には自動的にドリフト発生後のドメインに適応させてモデル精度を向上させることができる。一方で、ドリフト発生に伴うモデル精度の低下が大きい場合には、モデル精度の更なる低下を防止するため、ユーザによるラベル付けを伴う教師あり学習の手法により分類モデルＭを再学習させることができる。
【0082】
このため、本実施形態に係る分類装置１０によれば、分類モデルＭの精度低下の程度に応じて適切にモデル更新を行うことが可能になる。また、分類モデルＭの精度低下の程度が小さい場合には自動的にモデル更新が行われるため、ユーザによるラベル付けの回数を削減することが可能となり、ユーザの負担軽減も実現することができる。更に、分類モデルＭの精度低下の程度が大きい場合には手動モデル更新アラートがユーザに通知されるため、モデル精度の大きな低下に対する監視も実現することができる。
【0083】
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
【符号の説明】
【0084】
１０ 分類装置
１０１ 入力装置
１０２ 表示装置
１０３ 外部Ｉ／Ｆ
１０３ａ 記録媒体
１０４ 通信Ｉ／Ｆ
１０５ ＲＡＭ
１０６ ＲＯＭ
１０７ 補助記憶装置
１０８ プロセッサ
１０９ バス
２０１ データ取得部
２０２ 特徴量抽出部
２０３ 分類部
２０４ 特徴量・分類結果格納部
２０５ 比較演算部
２０６ 性能推論部
２０７ 更新判定部
２０８ モデル更新部
２０９ 表示制御部
２１０ 運用データベース
２１１ 基準データベース
Ｍ 分類モデル
１０１ 入力装置
１０２ 表示装置
１０３ 外部Ｉ／Ｆ
１０３ａ 記録媒体
１０４ 通信Ｉ／Ｆ
１０５ ＲＡＭ
１０６ ＲＯＭ
１０７ 補助記憶装置
１０８ プロセッサ
１０９ バス
２０１ データ取得部
２０２ 特徴量抽出部
２０３ 分類部
２０４ 特徴量・分類結果格納部
２０５ 比較演算部
２０６ 性能推論部
２０７ 更新判定部
２０８ モデル更新部
２０９ 表示制御部
２１０ 運用データベース
２１１ 基準データベース
Ｍ 分類モデル
【図1】
【図2】
【図3】
【図4】
【図5】