特開 2024-123391 表示プログラム，情報処理装置および表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024123391

(43)【公開日】2024-09-12

(54)【発明の名称】表示プログラム，情報処理装置および表示制御方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240905BHJP

   G06N 3/045 20230101ALI20240905BHJP

【ＦＩ】

G06N20/00 130

G06N3/045

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023030752

(22)【出願日】2023-03-01

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110003649

【氏名又は名称】弁理士法人真田特許事務所

(74)【代理人】

【識別番号】100189201

【弁理士】

【氏名又は名称】横田 功

(72)【発明者】

【氏名】岩倉 聡子

(72)【発明者】

【氏名】成田 顕一郎

(72)【発明者】

【氏名】小林 健一

(72)【発明者】

【氏名】中澤 克仁

(57)【要約】

【課題】第１の機械学習モデルと第２の機械学習モデルとの精度差の検証を容易にできるようにする。
【解決手段】第１の機械学習モデル１０４と第２の機械学習モデル１０５とに複数のデータを入力し、入力に応じて、第１の機械学習モデル１０４が出力した第１の複数の出力と第２の機械学習モデル１０５が出力した第２の複数の出力とを取得し、複数のデータのうちの第１のデータに対する第１の機械学習モデル１０４の第１の出力と第２の機械学習モデル１０５の第２の出力との内容が異なり、第１の出力の確信度が第１の閾値未満であって、第２の出力の確信度が第２の閾値以上である場合、第１の複数の出力と第２の複数の出力とのそれぞれの比較結果のうち、第１の出力と第２の出力との比較結果以外の他の比較結果を優先して表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１の機械学習モデルと、前記第１の機械学習モデルのパラメータに基づいてデータから抽出された特徴量に応じてラベル付けされた前記データを用いた機械学習により得られた第２の機械学習モデルとに複数のデータを入力し、
前記入力に応じて、前記第１の機械学習モデルが出力した第１の複数の出力と前記第２の機械学習モデルが出力した第２の複数の出力とを取得し、
前記複数のデータのうちの第１のデータに対する前記第１の機械学習モデルの第１の出力と前記第２の機械学習モデルの第２の出力との内容が異なり、前記第１の出力の確信度が第１の閾値未満であって、前記第２の出力の確信度が第２の閾値以上である場合、前記第１の複数の出力と前記第２の複数の出力とのそれぞれの比較結果のうち、前記第１の出力と前記第２の出力との比較結果以外の他の比較結果を優先して表示する、
処理をコンピュータに実行させることを特徴とする表示プログラム。

【請求項2】

前記表示する処理は、前記第１の機械学習モデルの精度が基準値以下となったことが検知された場合に、実行される、
ことを特徴とする請求項１に記載の表示プログラム。

【請求項3】

前記第１の出力と前記第２の出力との比較結果以外の他の比較結果を優先して表示する処理は、前記複数のデータのうちの第２のデータに対する前記第１の機械学習モデルの第３の出力と前記第２の機械学習モデルの第４の出力との内容が等しく、前記第３の出力の確信度が前記第１の閾値以上であって、前記第４の出力の確信度が前記第２の閾値以上である場合、前記第１の複数の出力と前記第２の複数の出力とのそれぞれの比較結果のうち、前記第３の出力と前記第４の出力との比較結果以外の他の比較結果を優先して表示する処理を含む、
ことを特徴とする請求項１または２に記載の表示プログラム。

【請求項4】

前記第１の出力と前記第２の出力との比較結果以外の他の比較結果を優先して表示する処理は、前記複数のデータのうちの第３のデータに対する前記第１の機械学習モデルの第５の出力と前記第２の機械学習モデルの第６の出力との内容が異なり、前記第５の出力の確信度が前記第１の閾値以上であって、前記第６の出力の確信度が前記第２の閾値以上である場合、前記第１の複数の出力と前記第２の複数の出力とのそれぞれの比較結果のうち、前記第５の出力と前記第６の出力との比較結果を優先して表示する処理を含む、
ことを特徴とする請求項１または２に記載の表示プログラム。

【請求項5】

前記複数のデータのうちの第４のデータに対する前記第１の機械学習モデルの第７の出力と前記第２の機械学習モデルの第８の出力の内容の差を示す差異情報と、前記複数のデータのうち前記比較結果が前記差異情報が示す差と同一であるデータの数とを対応づけた第１の参照情報を出力する、
処理を前記コンピュータに実行させることを特徴とする請求項１または２に記載の表示プログラム。

【請求項6】

前記複数のデータのうちの第４のデータと、前記第４のデータに対する前記第１の機械学習モデルの第７の出力と、前記第４のデータに対する前記第２の機械学習モデルの第８の出力とを対応付けた第２の参照情報を出力する
処理を前記コンピュータに実行させることを特徴とする請求項１または２に記載の表示プログラム。

【請求項7】

前記第７の出力の確信度を表す値と前記第８の出力の確信度を表す値とを出力する、
処理を前記コンピュータに実行させることを特徴とする請求項６に記載の表示プログラム。

【請求項8】

第１の機械学習モデルと、前記第１の機械学習モデルの出力に基づいてラベル付けされたデータを用いて前記第１の機械学習モデルのパラメータを調整することによって得られた第２の機械学習モデルとに複数のデータを入力し、
前記入力に応じて、前記第１の機械学習モデルが出力した第１の複数の出力と前記第２の機械学習モデルが出力した第２の複数の出力とを取得し、
前記複数のデータのうちの同一のデータに対する前記第１の機械学習モデルの第１の出力と前記第２の機械学習モデルの第２の出力との内容が異なり、前記第１の出力の確信度が第１の閾値未満であって、前記第２の出力の確信度が第２の閾値以上である場合、前記第１の複数の出力と前記第２の複数の出力とのそれぞれの比較結果のうち、前記第１の出力と前記第２の出力との比較結果以外の他の比較結果を優先して表示する、
処理部を有することを特徴とする情報処理装置。

【請求項9】

第１の機械学習モデルと、前記第１の機械学習モデルの出力に基づいてラベル付けされたデータを用いて前記第１の機械学習モデルのパラメータを調整することによって得られた第２の機械学習モデルとに複数のデータを入力し、
前記入力に応じて、前記第１の機械学習モデルが出力した第１の複数の出力と前記第２の機械学習モデルが出力した第２の複数の出力とを取得し、
前記複数のデータのうちの同一のデータに対する前記第１の機械学習モデルの第１の出力と前記第２の機械学習モデルの第２の出力との内容が異なり、前記第１の出力の確信度が第１の閾値未満であって、前記第２の出力の確信度が第２の閾値以上である場合、前記第１の複数の出力と前記第２の複数の出力とのそれぞれの比較結果のうち、前記第１の出力と前記第２の出力との比較結果以外の他の比較結果を優先して表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示プログラム，情報処理装置および表示制御方法に関する。

【背景技術】

【0002】

一般的に、ＡＩ（Artificial Intelligence）システムにおいては、運用中、流行の変化などのデータの特徴の変化により機械学習モデルの推定の精度が低下し陳腐化する。そのため、機械学習モデルの推定の精度を定期的に監視（検証）し、精度が低下していれば、機械学習モデルの再訓練を行なう必要がある。しかし、精度監視にも再訓練にも、人手で正解を付けたデータが必要となり、正解付きデータを作成するコスト（運用コスト）が上昇していた。

【0003】

第１の械学習モデルと第２の学習モデルとのそれぞれの実行結果が論理式を満たすか否かに基づいて、第１の学習モデルと第２の学習モデルとの振舞いの等価性を評価する技術がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－４１７８号公報

【特許文献2】特開２０２０－３５０３９号公報

【特許文献3】米国特許出願公開第２０１６／０２３２４５７号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記技術において、２つの機械学習モデルの出力の等価性が判断されるが、２つの機械学習モデルの推定精度の比較には、例えば、正解付きの検証用データ、もしくは、推定結果の全ての人手によるチェックが必要である。いずれも工数の負荷が高い。

【0006】

１つの側面では、本発明は、第１の機械学習モデルと第２の機械学習モデルとの推定結果の差の検証を容易にできるようにすることを目的とする。

【課題を解決するための手段】

【0007】

このため、この表示プログラムは、第１の機械学習モデルと、前記第１の機械学習モデルのパラメータに基づいてデータから抽出された特徴量に応じてラベル付けされた前記データを用いた機械学習により得られた第２の機械学習モデルとに複数のデータを入力し、前記入力に応じて、前記第１の機械学習モデルが出力した第１の複数の出力と前記第２の機械学習モデルが出力した第２の複数の出力とを取得し、前記複数のデータのうちの第１のデータに対する前記第１の機械学習モデルの第１の出力と前記第２の機械学習モデルの第２の出力との内容が異なり、前記第１の出力の確信度が第１の閾値未満であって、前記第２の出力の確信度が第２の閾値以上である場合、前記第１の複数の出力と前記第２の複数の出力とのそれぞれの比較結果のうち、前記第１の出力と前記第２の出力との比較結果以外の他の比較結果を優先して表示する。

【発明の効果】

【0008】

一実施形態によれば、第１の機械学習モデルと第２の機械学習モデルとの推定結果の差を容易に検証できる。

【図面の簡単な説明】

【0009】

【図1】実施形態の一例としての計算機システムの機能構成を例示する図である。

【図2】監視部における第２の機械学習モデルの生成方法を説明するための図である。

【図3】監視部による第１の機械学習モデルの精度測定方法を説明するための図である。

【図4】実施形態の一例としての計算機システムにおけるモデル補正情報を例示する図である。

【図5】実施形態の一例としての計算機システムにおけるモデル補正情報を例示する図である。

【図6】実施形態の一例としての計算機システムの分類実行部の処理を説明するための図である。

【図7】実施形態の一例としての計算機システムにおけるラベルスコアを例示する図である。

【図8】実施形態の一例としての計算機システムにおけるラベルスコアを例示する図である。

【図9】実施形態の一例としての計算機システムにおけるラベル補正によるラベル変化と分類結果に対する自信の有無との関係を示す図である。

【図10】実施形態の一例としての計算機システムにおける詳細情報表示画面の他の例を示す図である。

【図11】実施形態の一例としての計算機システムにおけるラベル補正によるラベル変化と分類結果に対する自信の有無との関係を示す図である。

【図12】実施形態の一例としての計算機システムにおける処理を説明するためのフローチャートである。

【図13】実施形態の一例としての計算機システムにおけるアラート発生時のユーザの処理を説明するためのフローチャートである。

【図14】実施形態の一例としての計算機システムのハードウェア構成を例示する図である。

【図15】実施形態の一例としての計算機システムにおけるサンプル比較情報の他の例を示す図である。

【図16】実施形態の一例としての計算機システムにおける詳細情報表示画面の変形例を示す図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して本表示プログラム，情報処理装置および表示制御方法にかかる実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。

【0011】

（Ａ）構成
図１は実施形態の一例としての計算機システム１の機能構成を例示する図である。
計算機システム１は、例えば、分類問題を解くＡＩシステムの一例である。分類問題では、機械学習モデルが入力データのラベルを推論（分類）する。

【0012】

本実施形態においては、入力データが自動車の画像であり、機械学習モデルによりこの自動車の画像に対してラベルＡ，Ｂ，Ｃを推定する例について示す。例えば、ラベルＡは国産車、ラベルＢは外車、ラベルＣはその他の特殊車両を示す。

【0013】

本計算機システム１は、図１に示すように監視部１０１および表示制御部１０２を備える。

【0014】

監視部１０１は、ＡＩシステムの運用監視支援，性能監視および再訓練などの維持管理を行なう。

【0015】

例えば、監視部１０１は、本計算機システム１において運用中の第１の機械学習モデル１０４の精度測定を行なう。第１の機械学習モデル１０４は、例えば、ＣＮＮ（Convolutional Neural Network）である。第１の機械学習モデル１０４は、その他の機械学習アルゴリズムを用いて生成されたモデルであっても良い。運用中の機械学習モデルとは、ＡＩシステムを利用するユーザに提供される分類問題の推定結果を出力する機械学習モデルを意味する。

【0016】

また、監視部１０１は、精度が基準値以下となった第１の機械学習モデル１０４の代替として提案する第２の機械学習モデル１０５を生成する機能を有する。

【0017】

監視部１０１は、例えば、第１の機械学習モデル１０４のパラメータを流用して第２の機械学習モデル１０５を生成しても良い。監視部１０１は、運用中に第１の機械学習モデル１０４に入力されるデータを第２の機械学習モデル１０５にも入力する。監視部１０１は、入力されたデータに対して第２の機械学習モデル１０５の推定結果を出力する出力層より手前の特定の層にて算出された値を、特徴量空間におけるデータの特徴量（ベクトル）として取得する。

【0018】

監視部１０１は、取得した特徴量に基づいて特徴量空間でデータをクラスタリングし、生成された各クラスタに各ラベルを対応付けることによって、データのラベル（推定ラベル）を特定する。監視部１０１は、特定した推定ラベルを正解ラベルとする訓練データに基づいて、第２の機械学習モデル１０５を再訓練する。再訓練によって第２の機械学習モデル１０５のパラメータは逐次更新されるため、運用中にデータの特徴が変化した場合であっても、第１の機械学習モデル１０４の推定結果よりも第２の機械学習モデル１０５の推定結果の方が正しい可能性が高い。特定の層は、例えば、出力層より特定の数手前の層であってもよく、畳み込み層のうちの最終層であってもよい。
第２の機械学習モデル１０５は、第１の機械学習１０４モデルのパラメータに基づいてデータから抽出された特徴量に応じてラベル付けされたデータを用いた機械学習により得られた機械学習モデルに相当する。

【0019】

監視部１０１は、第１の機械学習モデル１０４の精度が基準値（閾値）以下となった場合に、アラートを表示制御部１０２に出力する。また、監視部１０１がアラートを出力すると、その旨の通知（精度低下アラート）がユーザに対して、電子メール等で通知されてもよい。

【0020】

また、監視部１０１は、アラートとともに、第１の機械学習モデル１０４と第２の機械学習モデル１０５とを表示制御部１０２に出力する。以下、運用中の第１の機械学習モデル１０４に代えて、第２の機械学習モデル１０５を運用中の機械学習モデルとして用いることを、「モデル補正」もしくは、単に「補正」という場合がある。また、「モデル補正」を「モデル更新」という場合もある。アラートはモデル補正の提案を通知する情報である。以下、第２の機械学習モデル１０５を単に補正モデルという場合がある。

【0021】

図２は監視部における第２の機械学習モデルの生成方法を説明するための図である。
監視部１０１は、データ分布の特徴をデータ群として表現した特徴量空間で、データをクラスタリングし、生成された各クラスタに各ラベルを対応付けることによって、データのラベル（推定ラベル）を特定する。これにより、監視部１０１は、入力データに対する正解ラベルを推定する。

【0022】

本計算機システム１において、監視部１０１は、例えば、機械学習モデルの精度劣化を自動修復する手法として既知の技術を用いて、正解ラベルの推定を行なってよい。

【0023】

特徴量空間においては、データの特性変化を追うことで、より正しい可能性が高いラベルを推定できる。監視部１０１は、入力データと当該入力データに対する正しいラベルとのペアを正解として深層学習を行なうことで、第２の機械学習モデル１０５を生成する。

【0024】

なお、監視部１０１は、第１の機械学習モデル１０４の推定結果を正解ラベルとする訓練データに基づいて、第２の機械学習モデル１０５を生成してもよい。この場合、第１の機械学習モデル１０４のパラメータに基づいて出力される推定結果を用いて、第１の機械学習モデル１０４の推定の分類境界を近似した分類境界を有する第２の機械学習モデル１０５が生成される。

【0025】

さらに、監視部１０１は、算出した運用中の第１の機械学習モデル１０４の精度も表示制御部１０２に通知する。

【0026】

図３は監視部１０１による第１の機械学習モデルの精度測定方法を説明するための図である。

【0027】

監視部１０１は、同じ入力データを第１の機械学習モデル１０４と第２の機械学習モデル１０５とに入力し、第１の機械学習モデル１０４と第２の機械学習モデル１０５とのそれぞれの推定結果（ラベル）を取得する。監視部１０１は、第２の機械学習モデル１０５の推定結果を正解とみなして、第２の機械学習モデル１０５の推定結果と第１の機械学習モデル１０４の推定結果とを比較（照合）することによって、第１の機械学習モデル１０４の推定結果の精度を測定する。

【0028】

より具体的には、監視部１０１は、同じ入力データを第１の機械学習モデル１０４と第２の機械学習モデル１０５とに入力し、第１の機械学習モデル１０４の推定結果と、第２の機械学習モデル１０５のパラメータに基づいて算出された入力データの特徴量とを取得する。監視部１０１は、特徴量を特徴量空間におけるベクトルとみなして、特徴量に基づいて入力データをクラスタリングする。監視部１０１は、クラスタリングにより生成された各クラスタに各分類を対応付けることによって、入力データのラベル（推定ラベル）を特定する。監視部１０１は、推定ラベルを正解（正解ラベル）とみなして、推定ラベルと第１の機械学習モデル１０４の推定結果とを比較することによって、第１の機械学習モデル１０４の推定結果の精度を測定しても良い。

【0029】

表示制御部１０２は、監視部１０１からアラートと第１の機械学習モデル１０４と第２の機械学習モデル１０５とが入力されると、図４および図５に例示するようなモデル補正情報２００を生成し、ユーザに提示（出力）する。

【0030】

図４および図５は、それぞれ実施形態の一例としての計算機システム１におけるモデル補正情報２００を例示する図である。図４はモデル補正情報２００のメイン画面２００ａを例示する図、図５はその詳細情報表示画面２００ｂを例示する図である。

【0031】

モデル補正情報２００は、第１の機械学習モデル１０４および第２の機械学習モデル１０５に関する情報であって、運用中の第１の機械学習モデル１０４に代えて第２の機械学習モデル１０５を採用することで生じる影響を示す情報を提示する。モデル補正情報２００は、例えば、ウェブブラウザに表示されるウェブ画面として構成され、本計算機システム１に備えられたモニタ１４ａ（図１４参照）等に表示される。

【0032】

モデル補正情報２００は、例えば、メイン画面２００ａ（図４参照）と詳細情報表示画面２００ｂ（図５参照）とを有する。

【0033】

メイン画面２００ａは、図４に示すように、アラート情報２０１，第１の機械学習モデル推定精度情報２０２，サンプル比較情報２０３，モデル情報２０４，モデル補正実施入力ボタン２０５ａ，見送り入力ボタン２０５ｂおよび提案メッセージ２０６を備える。

【0034】

アラート情報２０１は、監視部１０１からアラートが出力されたことを示す情報である。図４に示す例においては、アラートが出力された日付と、「アラートがあります」とのメッセージが表示されている。

【0035】

ユーザは、メイン画面２００ａのアラート情報２０１を参照することで、監視部１０１からアラートが出力されたことを知ることができる。
第１の機械学習モデル推定精度情報２０２は、監視部１０１が判定した第１の機械学習モデル１０４の精度を表す情報である。

【0036】

図４に示す例においては、第１の機械学習モデル推定精度情報２０２として、第１の機械学習モデル１０４の精度（Accuracy）をパーセント値として表すとともに、ラベル（Ａ，Ｂ，Ｃ）毎のPrecisionおよびRecallが示されている。さらに、図４に示す例においては、第１の機械学習モデル１０４の精度の推移をグラフでも表している。

【0037】

なお、第１の機械学習モデル推定精度情報２０２は、図４に例示されたものに限定されるものではなく、適宜変更して実施することができる。例えば、第１の機械学習モデル推定精度情報２０２として、図４に例示したうちの一部だけを表示してもよく、また、図４に例示したもの以外の情報を表示してもよい。

【0038】

ユーザは、メイン画面２００ａの第１の機械学習モデル推定精度情報２０２を参照することで、第１の機械学習モデル１０４の精度やその推移を知ることができる。

【0039】

サンプル比較情報２０３は、第１の機械学習モデル１０４から第２の機械学習モデル１０５に使用する機械学習モデルを変更した場合に生じる出力結果の変化を示す。以下、第１の機械学習モデル１０４に代えて第２の機械学習モデル１０５を用いることをモデル補正といってもよい。図４に例示するサンプル比較情報２０３においては、モデル補正（補正）を行なうことにより生じる分類結果の変化（ラベル変化）と、当該変化が生じるデータの数とを対応付けて示している。

【0040】

例えば、図４において、補正によるラベル変化 “Ｃ→Ｂ”にデータ数“３４”が対応付けられている。これは、第１の機械学習モデル１０４の分類結果はラベルＣであるが、第２の機械学習モデル１０５の分類結果はラベルＢとなるデータが３４個あることを示している。

【0041】

すなわち、サンプル比較情報２０３は、同一のデータに対する、第１の機械学習モデル１０４の分類結果と第２の機械学習モデル１０５の分類結果との差異情報（ラベル変化）と、同一の差異情報が生じるデータの数（データ数）とを対応づけた第１の参照情報に相当する。

【0042】

サンプル比較情報２０３は、複数のデータのうちのデータ（第４のデータ）に対する第１の機械学習モデル１０４の出力（第７の出力）と第２の機械学習モデル１０５の出力（第８の出力）の内容の差を示す差異情報（ラベル変化）と、複数のデータのうち比較結果が差異情報が示す差と同一であるデータの数（データ数）とを対応づけた第１の参照情報に相当する。

【0043】

なお、図４に例示するサンプル比較情報２０３においては、ラベル変化が生じない（ラベルＡ→Ａ，Ｂ→Ｂ，Ｃ→Ｃ）入力データについての情報も表示しているが、これに限定されるものではない。サンプル比較情報２０３において、分類表示が生じない入力データについては非表示にしてもよく、また、非表示／表示をユーザが任意に選択できるようにしてもよい。

【0044】

また、図４に例示するサンプル比較情報２０３において、各データ数には関連する情報がリンクされていることを表す下線が付されている。ユーザが、これらの下線が付された値を選択（クリック）することで、図５に例示するような対応する詳細情報表示画面２００ｂが表示される。すなわち、サンプル比較情報２０３における各データ数にはそれぞれ対応する詳細情報表示画面２００ｂがリンク付けられている。

【0045】

詳細情報表示画面２００ｂは、ラベル変化が生じた入力データを示す。図５に示す例においては、詳細情報表示画面２００ｂに、入力データの画像（もしくはそのサムネイル）に対応させて、当該画像のファイル名，第１の機械学習モデル１０４の推定結果および第２の機械学習モデル１０５（補正モデル）の推定結果を対応付けて示す。

【0046】

図５に示す例においては、図４に例示するメイン画面２００ａのサンプル比較情報２０３において、補正によるラベル変化“Ｃ→Ｂ”のデータ数“３４”を選択した場合に表示される詳細情報表示画面２００ｂを示す。

【0047】

すなわち、図５に例示する詳細情報表示画面２００ｂは、第１の機械学習モデル１０４の推定結果はラベルＣ（その他の特殊車両）であるが、モデル補正を行なうことで推定結果がラベルＢ（外車）に変更される３４個の入力データの画像一覧を示す。

【0048】

詳細情報表示画面２００ｂは、複数のデータのうちのデータ（第４のデータ）と当該第４のデータに対する第１の機械学習モデル１０４の出力（第７の出力）と、第４のデータに対する第２の機械学習モデル１０５の出力（第８の出力）とを対応付けた第２の参照情報に相当する。

【0049】

ユーザは、詳細情報表示画面２００ｂを参照することで、例えば、モデル補正を行なうことで、外車を正しく分類できるケースが増える傾向を目視で確認することができる。また、詳細情報表示画面２００ｂに表示される複数の入力データの情報は、後述する表示優先度設定部１０７によって設定された優先度に従って並べられている。

【0050】

ユーザは、詳細情報表示画面２００ｂを参照することで、モデル補正を実施することにより、第１の機械学習モデル１０４に比べて外車を正しく分類できるようになるケースが増える傾向を視認することができる。
図４に示すメイン画面２００ａの説明に戻る。

【0051】

モデル情報２０４は、当該メイン画面２００ａのサンプル比較情報２０３の元となる第１の機械学習モデル１０４および第２の機械学習モデル１０５等に関する各種情報である。モデル情報２０４は、例えば、第１の機械学習モデル１０４を特定する第１の機械学習モデルＩＤ（identification）や更新日等である。

【0052】

提案メッセージ２０６は、モデル補正を行なうことで精度改善が見込めることを示すメッセージである。なお、当該提案メッセージ２０６の形態は、この図４に限定されるものではなく、適宜変更して実施することができる。例えば、提案メッセージ２０６と同様の内容のメッセージを、アラート情報２０１に含めて表示してもよい。

【0053】

モデル補正実施入力ボタン２０５ａは、モデル補正の実行の指示を入力するための入力ボタンである。ユーザは、モデル補正情報２００を参照してモデル補正を行なうと決定した場合に、このモデル補正実施入力ボタン２０５ａを選択（クリック）する。このモデル補正実施入力ボタン２０５ａを選択する入力が行なわれると、本計算機システム１においては、第２の機械学習モデル１０５のパラメータを用いて第１の機械学習モデル１０４が更新される。すなわち、第２の機械学習モデル１０５が新たな運用中の機械学習モデルとして用いられる。

【0054】

見送り入力ボタン２０５ｂは、モデル補正の実行の指示を行なわない旨の入力を行なうための入力ボタンである。ユーザは、モデル補正情報２００を参照してモデル補正を行なわないことを決定した場合に、この見送り入力ボタン２０５ｂを選択（クリック）する。この見送り入力ボタン２０５ｂを選択する入力が行なわれると、本計算機システム１においては、モデル補正の実行が回避される。すなわち、第２の機械学習モデル１０５のパラメータを用いた第１の機械学習モデル１０４の更新は抑止される。

【0055】

ユーザは、モデル補正情報２００に表示された各情報を参照し、必要に応じてモデル補正実施入力ボタン２０５ａや見送り入力ボタン２０５ｂを用いて入力操作を行なう。すなわち、モデル補正情報２００は、ユーザに提供されるＧＵＩ（Graphical User Interface）として機能する。

【0056】

表示制御部１０２は、図１に示すように、分類実行部１０３，データ集合作成部１０６および表示優先度設定部１０７を備える。

【0057】

分類実行部１０３は、機械学習モデルである第１の機械学習モデル１０４および第２の機械学習モデル１０５にそれぞれデータを入力することで、それぞれの推定結果を得る分類を実行する。

【0058】

第１の機械学習モデル１０４は、分類問題を解くＡＩモデル（機械学習モデル）であって、図示しない深層学習処理部によるニューラルネットワークを用いた深層学習のアルゴリズムによって生成されても良い。

【0059】

ニューラルネットワークは、ハードウェア回路であってもよいし、プロセッサ１１（図１４参照）等によりコンピュータプログラム上で仮想的に構築される階層間を接続するソフトウェアによる仮想的なネットワークであってもよい。

【0060】

本計算機システム１は、上述した深層学習処理部としての機能を備えてもよく、また、深層学習処理部としての機能を、当該計算機システム１とネットワーク等を介して接続された他の情報処理装置に備えてもよく、適宜変更して実施することができる。

【0061】

第２の機械学習モデル１０５は、分類問題を解くＡＩモデル（機械学習モデル）であって、監視部１０１により、第１の機械学習モデル１０４の運用中に入力されたデータを訓練データとして再訓練されることによってパラメータが更新される機械学習モデルである。分類実行部１０３が使用する第２の機械学習モデル１０５としては、アラートが発生したタイミングの最新のパラメータを有する第２の機械学習モデル１０５が採用されても良い。

【0062】

分類実行部１０３は、第１の機械学習モデル１０４および第２の機械学習モデル１０５のそれぞれに入力データを入力することで、入力データのラベルを取得する。

【0063】

なお、第１の機械学習モデル１０４は、監視部１０１からアラートが入力される以前において、例えば、前述した分類タスクを実現するために分類処理を実行してもよい。また、第２の機械学習モデル１０５についても同様に、監視部１０１からアラートが入力される以前において、例えば、精度監視や自動修復（自動ラベル付け）を実現するために分類処理を実行してもよい。

【0064】

分類実行部１０３は、第１の機械学習モデル１０４が分類タスクの実行に用いたデータを入力データとしてラベルを取得してもよく、また、第１の機械学習モデル１０４が分類タスクの実行に用いたデータ以外のデータを入力データとしてラベルを取得してもよい。また、分類実行部１０３は、第２の機械学習モデル１０５が精度監視や自動修復の実行に用いたデータを入力データとしてラベルを取得してもよく、また、第２の機械学習モデル１０５が精度監視や自動修復の実行に用いたデータ以外のデータを入力データとしてラベルを取得してもよい。

【0065】

図６は実施形態の一例としての計算機システム１の分類実行部１０３の処理を説明するための図である。

【0066】

分類実行部１０３には、監視部１０１から第１の機械学習モデル１０４の精度が閾値以下となったことを表すアラートと、第１の機械学習モデル１０４と、第２の機械学習モデル１０５とが入力される。分類実行部１０３は、複数の入力データを第１の機械学習モデル１０４に入力して、推定結果である各入力データのラベルを取得する。分類実行部１０３は、同じ複数の入力データを第２の機械学習モデル１０５にも入力して、推定結果である各入力データのラベルを取得する。

【0067】

また、分類実行部１０３は、第１の機械学習モデル１０４および第２の機械学習モデル１０５のそれぞれから、第１の機械学習モデル１０４および第２の機械学習モデル１０５がそれぞれ推定した各ラベルのスコアも取得する。スコアは、機械学習モデルがそのラベルと推定する確信度を表す値である。スコアは、機械学習モデルの出力層の各ラベルに対応する値が採用されても良い。また、スコアは、機械学習モデルの出力に基づいて各ラベルに対して既知の手法で算出されても良い。ラベルのスコアをラベルスコアといってよい。

【0068】

図７および図８は、それぞれ実施形態の一例としての計算機システム１におけるラベルスコアを例示する図であり、図７は第１の機械学習モデル１０４によって設定されたラベルスコアを示し、図８は第２の機械学習モデル１０５によって設定されたラベルスコアを示す。

【0069】

第１の機械学習モデル１０４および第２の機械学習モデル１０５は、それぞれ入力データに対してラベル毎のスコアを設定し、各ラベルのうちスコアが最も高いラベルを判定ラベルとして決定する。また、以下においては、例えば、入力データに対してラベルＡを推定した分類を分類Ａと表す。同様に、入力データに対してラベルＢを推定した分類を分類Ｂと表し、入力データに対してラベルＣを推定した分類を分類Ｃと表す。

【0070】

例えば、図７に示す例において、第１の機械学習モデル１０４は、“入力２”として表される入力データに対して、分類Ａのスコアを0.1、分類Ｂのスコアを0.9、分類Ｃのスコアを0と設定している。このような場合に、第１の機械学習モデル１０４は、“入力２”として表される入力データに対して、スコアが0.9と最も高い分類Ｂを判定ラベルとして決定する。

【0071】

分類実行部１０３は、取得した各ラベルおよびラベルスコアをメモリ部１２や記憶装置１３（図１４参照）等の記憶領域に記憶させる。

【0072】

データ集合作成部１０６は、分類実行部１０３が第１の機械学習モデル１０４および第２の機械学習モデル１０５に入力データを入力することで得られた分類結果に基づき、分類結果間のラベル変化を集計する。

【0073】

データ集合作成部１０６は、同一の入力データを、第１の機械学習モデル１０４と第２の機械学習モデル１０５とのそれぞれに入力し、分類結果であるラベルを比較する。この比較の結果、第２の機械学習モデル１０５の分類結果であるラベルが、第１の機械学習モデル１０４の分類結果であるラベルと相違する場合（ラベル補正の前後でラベルが変化した場合）、そのラベル変化（例えば、Ｃ→Ｂ）に対応するデータ数の値をインクリメントする。データ集合作成部１０６は、このような処理を全入力データに対して行なうことでサンプル比較情報２０３を生成する。

【0074】

また、データ集合作成部１０６は、第１の機械学習モデル１０４により分類されたラベルと比べて第２の機械学習モデル１０５により分類されたラベルに変化が生じた入力データを、当該ラベル変化を示す情報に対応付けて記憶させる。このように、データ集合作成部１０６は、複数の入力データをラベル変化に応じて分類する。

【0075】

以下、第１の機械学習モデル１０４と第２の機械学習モデル１０５とのそれぞれの分類結果であるラベルに変化が生じた複数の入力データ（入力データ群）をラベル変化があるデータ群という場合がある。また、第１の機械学習モデル１０４と第２の機械学習モデル１０５とのそれぞれの分類結果であるラベルに変化がない複数の入力データ（入力データ群）をラベル変化がないデータ群という場合がある。

【0076】

表示優先度設定部１０７は、データ集合作成部１０６によりラベル変化に応じて分類（仕分け）された複数の入力データに対して優先度（表示優先度）を設定する。この優先度は、例えば、詳細情報表示画面２００ｂにおいて複数の入力データ（画像）を一覧として表示させる際の表示優先度を表す。

【0077】

表示優先度設定部１０７は、ラベルスコアの値に基づいて入力データに対する優先度を設定する。

【0078】

ラベルスコアの値が基準値（閾値：例えば、0.66）以上である場合に、当該ラベルは確信度（確度）が高いとみなすことができる。以下、第１の機械学習モデル１０４の出力のラベルスコアの値が基準値（第１の閾値：例えば、0.66）以上である場合に、第１の機械学習モデル１０４の出力の推定結果に自信があると表現する場合がある。

【0079】

また、第２の機械学習モデル１０５の出力のラベルスコアの値が基準値（第２の閾値：例えば、0.66）以上である場合に、第２の機械学習モデル１０５の出力の推定結果に自信があると表現する場合がある。

【0080】

一方、ラベルスコアの値が基準値（閾値：例えば、0.66）未満である場合に、当該ラベルは確信度（確度）が低いとみなすことができる。以下、第１の機械学習モデル１０４の出力のラベルスコアの値が基準値（第１の閾値：例えば、0.66）未満である場合に、第１の機械学習モデル１０４の出力の推定結果に自信がないと表現する場合がある。

【0081】

また、第２の機械学習モデル１０５の出力のラベルスコアの値が基準値（第２の閾値：例えば、0.66）未満である場合に、第２の機械学習モデル１０５の出力の推定結果に自信がないと表現する場合がある。

【0082】

なお、第１の閾値と第２の閾値とは同じであってもよく、また、異なる値であってもよい。第１の閾値と第２の閾値とは、0.66以外の値であっても良い。本実施形態においては、これらの第１の閾値と第２の閾値とが同じ値（例えば、0.66）である例を示す。
図９は実施形態の一例としての計算機システム１におけるモデル補正によるラベル変化と推定結果に対する自信の有無との関係を示す図である。

【0083】

この図９においては、ラベル変化がある入力データについて、第１の機械学習モデル１０４および第２の機械学習モデル１０５の各推定結果を自信あり／自信なしでグループ分けすることで、４象限マトリクスが形成されている。このように構成された４象限マトリクスを確信度スコア区分といってもよい。

【0084】

表示優先度設定部１０７は、第１の機械学習モデル１０４による推定結果に対する自信の有無と、第２の機械学習モデル１０５による推定結果に対する自信の有無との組み合わせが、この４象限マトリクスのいずれの象限に位置するかに基づき、該当するデータの優先度を設定し、ユーザに対する当該入力データの提示手法を決定する。

【0085】

ここで、ラベル変化がある入力データ群の中で、第１の機械学習モデル１０４および第２の機械学習モデル１０５のそれぞれの推定に自信があるデータ群（図９の符号Ｐ１参照）は、これらの機械学習モデルの分類結果が対立する状態であるといえる。表示優先度設定部１０７は、このようなラベル変化がある入力データ群の中で、第１の機械学習モデル１０４および第２の機械学習モデル１０５のそれぞれの推定に自信があるデータ群を、ユーザ（人間）の目視による正解判断が必要なデータ群として扱ってもよい。例えば、表示優先度設定部１０７は、これらのデータ群を構成する入力データに対して高い優先度を設定してもよい。

【0086】

すなわち、表示制御部１０２は、複数のデータのうちの一部のデータ（第３のデータ）に対する第１の機械学習モデル１０４の出力（第５の出力）と第２の機械学習モデル１０５の出力（第６の出力）との内容が異なり（ラベル変化があり）、第５の出力の確信度が閾値（第１の閾値）以上（自信あり）であって、第６の出力の確信度も閾値（第２の閾値）以上（自信あり）である場合、第１の複数の出力と第２の複数の出力とのそれぞれの比較結果のうち、第５の出力と第６の出力との比較結果を優先して表示する。

【0087】

表示制御部１０２は、表示優先度設定部１０７により設定された優先度に従って、優先度が高い入力データが優先して詳細情報表示画面２００ｂに表示されるように表示制御を行なう。すなわち、高い優先度が設定された入力データが、詳細情報表示画面２００ｂにおいて、画面の先頭等のユーザによる視認性の良い位置に優先的に配置される。優先度が高い入力データは、ユーザに優先的に提示される。
図１０は実施形態の一例としての計算機システム１における詳細情報表示画面２００ｂの他の例を示す図である。

【0088】

この図１０に例示する詳細情報表示画面２００ｂは、図５に示した詳細情報表示画面２００ｂに加えて、各入力データの画像に対応させて、各ラベルに対するラベルスコアを付している（図１０の符号Ｐ１参照）。

【0089】

この図１０に示すように、表示制御部１０２は、ユーザが、第１の機械学習モデル１０４および第２の機械学習モデル１０５によってそれぞれ推定された各ラベルに、これらの各ラベルのラベルスコアを付して表すことで、ユーザに対して、モデル補正を行なうことにより生じるスコアの変化（スコア変化）を提示し、確認させる。

【0090】

これにより、ユーザは、詳細情報表示画面２００ｂを参照することで、モデル補正を行なうことで生じるスコア変化を知り、第１の機械学習モデル１０４および第２の機械学習モデル１０５により分類される各ラベルの信頼性を把握することができる。

【0091】

また、このようなラベル変化がある入力データ群の中で、第１の機械学習モデル１０４および第２の機械学習モデル１０５のそれぞれの分類に自信があるデータ群を構成する各入力データに対して、それぞれ、正解をユーザに入力させてもよい。例えば、表示制御部１０２は、これらの入力データのそれぞれに対して、正解を入力させるための入力画面をモニタ１４ａ等に表示させてもよい。表示制御部１０２は、例えば、詳細情報表示画面２００ｂに表示させた入力データの画像に対応付けて、ユーザに正解を入力（フィードバック入力）させるための入力インタフェースを表示させてもよい。

【0092】

また、ラベル変化があるデータ群の中で、第１の機械学習モデル１０４の推定に自信がなく、且つ、第２の機械学習モデル１０５の推定に自信があるデータ群（図９の符号Ｐ２参照）は、当該第２の機械学習モデル１０５へのモデル補正により精度が向上すると考えられる。

【0093】

このようなラベル変化がある入力データ群の中で、当該第２の機械学習モデル１０５へのモデル補正により精度が向上すると考えられる入力データは、ユーザ（人間）の目視による正解判断を積極的に行なう必要がないとして、低い優先度を設定してよい。

【0094】

表示優先度設定部１０７は、これらの第１の機械学習モデル１０４の推定に自信がなく、且つ、第２の機械学習モデル１０５の推定に自信があるデータ群の入力データ（第１の出力と第２の出力との比較結果）以外の比較結果を優先して、詳細情報表示画面２００ｂに表示させる。

【0095】

また、表示優先度設定部１０７は、これらの第１の機械学習モデル１０４の推定に自信がなく、且つ、第２の機械学習モデル１０５の推定に自信があるデータ群の入力データについては、例えば、図５に例示した、スコア変化を含まない詳細情報表示画面２００ｂをユーザに提示してよい。
ただし、これに限定されるものではなく、表示優先度設定部１０７は、図１０に例示したスコア変化を含む詳細情報表示画面２００ｂを提示してもよい。

【0096】

また、表示制御部１０２は、ラベル変化がない入力データ群についても、ラベル変化がある入力データ群と同様に、スコア変化を、スコアに応じた優先順位の設定や詳細情報表示画面２００ｂ等に表示させてもよい。
図１１は実施形態の一例としての計算機システム１におけるラベル補正によるラベル変化と推定結果に対する自信の有無との関係を示す図である。

【0097】

この図１１においては、ラベル変化がない入力データについて、第１の機械学習モデル１０４および第２の機械学習モデル１０５の各推定結果を自信あり／自信なしでグループ分けすることで、４象限マトリクスが形成されている。

【0098】

ラベル変化がない入力データ群については、正しい分類がされている可能性が高く、また、モデル補正の影響を受けないデータ群であると考えられる。従って、これらのラベル変化がないデータ群をユーザの視認によるチェック対象から除外してもよい。すなわち、表示優先度設定部１０７は、ラベル変化のない入力データ群を構成する入力データには低い優先度を設定してもよい。

【0099】

すなわち、表示制御部１０２は、複数のデータのうちの一部のデータ（第２のデータ）に対する第１の機械学習モデル１０４の出力（第３の出力）と第２の機械学習モデル１０５の出力（第４の出力）との内容が等しく、第３の出力の確信度が閾値（第１の閾値）以上（自信あり）であって、第４の出力の確信度が閾値（第２の閾値）以上（自信あり）である場合、第１の複数の出力と第２の複数の出力とのそれぞれの比較結果のうち、第３の出力と第４の出力との比較結果以外の他の比較結果を優先して表示する。

【0100】

なお、表示制御部１０２は、ラベル変化のない入力データ群を構成する入力データに対する優先度の設定を抑止してもよい。これにより、本計算機システム１における負荷を軽減することができる。これらのラベル変化がない入力データ群は、詳細情報表示画面２００ｂ等に表示させる必要はない。

【0101】

また、例えば、ラベル変化がない入力データ群の中で、第２の機械学習モデル１０５による推定に自信がないデータ群を構成する各入力データに対して、それぞれ、正解をユーザに入力させてもよい。例えば、第１の機械学習モデル１０４では自信ありだが、第２の機械学習モデル１０５では自信なしとなる入力データ群を構成する入力データに対して、正解をユーザに入力させてもよい。

【0102】

例えば、表示制御部１０２は、これらの入力データのそれぞれに対して、正解を入力させるための入力画面をモニタ１４ａ等に表示させてもよい。表示制御部１０２は、例えば、詳細情報表示画面２００ｂに表示させた入力データの画像に対応付けて、ユーザに解を入力（フィードバック入力）させるための入力インタフェースを表示させてもよい。

【0103】

また、モニタ１４ａに、上述の如き、第１の機械学習モデル１０４および第２の機械学習モデル１０５の各推定結果を自信あり／自信なしでグループ分けすることで形成した４象限マトリクス等を表示させ、ユーザがいずれかの象限を選択することで、当該選択された位置に対応するデータ群を詳細情報表示画面２００ｂに表示させてもよい。

【0104】

（Ｂ）動作
上述の如く構成された実施形態の一例としての計算機システム１における処理を、図１２に示すフローチャート（ステップＳ１～Ｓ４）に従って説明する。

【0105】

監視部１０１は、第２の機械学習モデル１０５を既に生成した状態において、第１の機械学習モデル１０４の精度が基準値（閾値）以下となったことを検知すると、アラートと第１の機械学習モデル１０４と第２の機械学習モデル１０５とを表示制御部１０２に出力する。表示制御部１０２がアラートと第１の機械学習モデル１０４と第２の機械学習モデル１０５とを受信すると、以下の処理が開始される。

【0106】

ステップＳ１において、分類実行部１０３は、複数の入力データを、第１の機械学習モデル１０４および第２の機械学習モデル１０５にそれぞれ入力する。これにより、分類実行部１０３は、各入力データに対する、第１の機械学習モデル１０４によるラベルと、第２の機械学習モデル１０５によるラベルとを取得する。

【0107】

ステップＳ２において、データ集合作成部１０６は、分類実行部１０３が第１の機械学習モデル１０４および第２の機械学習モデル１０５に入力データを入力することで取得した各ラベルに基づき、モデル補正の前後におけるラベル変化を集計（分類）する。これにより、データ集合作成部１０６は、サンプル比較情報２０３を生成する。

【0108】

ステップＳ３において、表示優先度設定部１０７は、データ集合作成部１０６によりラベル変化に応じて仕分けされた複数の入力データに対して優先度（表示優先度）を設定する。

【0109】

ステップＳ４において、表示制御部１０２は、モデル補正情報２００（メイン画面２００ａ，詳細情報表示画面２００ｂ）を生成する。

【0110】

例えば、表示制御部１０２は、メイン画面２００ａのアラート情報２０１に相当する位置に、監視部１０１から通知されたアラートの内容を表示させる。

【0111】

また、表示制御部１０２は、メイン画面２００ａの第１の機械学習モデル推定精度情報２０２に相当する位置に、第１の機械学習モデル１０４から通知された第１の機械学習モデル１０４の精度の情報を表示させる。

【0112】

表示制御部１０２は、メイン画面２００ａのサンプル比較情報２０３に相当する位置に、データ集合作成部１０６が作成したサンプル比較情報２０３を表示させる。

【0113】

また、表示制御部１０２は、メイン画面２００ａのモデル情報２０４に相当する位置に、サンプル比較情報２０３の元となった第１の機械学習モデル１０４および第２の機械学習モデル１０５等に関する各種情報を表示させる。これらの情報は、例えば、第１の機械学習モデル１０４や第２の機械学習モデル１０５から取得してもよく、監視部１０１から取得してもよく、適宜変更して実施することができる。

【0114】

また、表示制御部１０２は、メイン画面２００ａに、モデル補正実施入力ボタン２０５ａや見送り入力ボタン２０５ｂを表示させる。さらに、表示制御部１０２は、第２の機械学習モデル１０５の精度が第１の機械学習モデル１０４よりも高い場合に、メイン画面２００ａの提案メッセージ２０６に相当する位置に、モデル補正を行なうことで精度改善が見込めることを示すメッセージを表示させる。

【0115】

また、表示制御部１０２は、入力データの画像に対応させて、当該画像のファイル名，第１の機械学習モデル１０４により付与されたラベル，第２の機械学習モデル１０５により付与されたラベルを対応付けて表示させることで、詳細情報表示画面２００ｂを生成する。詳細情報表示画面２００ｂにおいては、複数の入力データを、表示優先度設定部１０７によって設定された優先度に従った順序で表示させる。表示制御部１０２は、各ラベルに対応させてラベルスコアを表示させてもよい。その後、処理を終了する。

【0116】

次に、実施形態の一例としての計算機システム１におけるアラート発生時のユーザの処理を、図１３に示すフローチャートに従って説明する。

【0117】

監視部１０１がアラートと第１の機械学習モデル１０４と第２の機械学習モデル１０５とを出力すると、ユーザは、精度低下アラートを電子メール等で受信する（ステップＳ１１）。

【0118】

精度低下アラートを受信したユーザは、本計算機システム１にログインする。計算機システム１のモニタ１４ａにモデル補正情報２００（メイン画面２００ａ）が表示される。すなわち、ユーザに対して、モデル補正情報２００により第２の機械学習モデル１０５の情報が提示される。
ユーザは、モデル補正情報２００を参照することで第２の機械学習モデル１０５のチェックを行なう（ステップＳ１２）。

【0119】

ユーザは、例えば、メイン画面２００ａや詳細情報表示画面２００ｂを参照することで、モデル補正を行なうことでラベル変化が生じる入力データ等をチェックする。

【0120】

また、ユーザは、モニタ１４ａに表示された、第１の機械学習モデル１０４および第２の機械学習モデル１０５の各推定結果を自信あり／自信なしでグループ分けすることで形成された４象限マトリクスにおいて、いずれかの象限を選択することで、検証する入力データ群の絞り込みを行なってもよい。

【0121】

このように、ユーザは、モデル補正情報２００を参照することでモデル補正を実施するか否（見送り）かを決定する（ステップＳ１３）。ユーザは、モデル補正を実施する場合にはモデル補正実施入力ボタン２０５ａを選択する入力を行ない、モデル補正を実施しない場合には、見送り入力ボタン２０５ｂを選択する入力を行なう（ステップＳ１４）。

【0122】

モデル補正実施入力ボタン２０５ａの選択入力が行なわれた場合には、本計算機システム１は、第２の機械学習モデル１０５を用いて顧客が運用中の機械学習モデルを更新するとともに、分類実行部１０３が管理する第１の機械学習モデル１０４を第２の機械学習モデル１０５を用いて更新する。
その後、処理を終了する。

【0123】

（Ｃ）効果
このように、実施形態の一例としての計算機システム１によれば、監視部１０１からアラートが出力された場合に、表示制御部１０２がモデル補正情報２００を生成してユーザに提示する。

【0124】

これにより、モデル補正機能を用いるか否か、すなわち、第２の機械学習モデル１０５を用いて第１の機械学習モデル１０４を更新するか否かをユーザが判断するために用いる情報を低コストで提供することができる。

【0125】

ユーザは、例えば、メイン画面２００ａの提案メッセージ２０６や第１の機械学習モデル推定精度情報２０２を参照することで、モデル補正を行なうか否かを容易に決定することができ、利便性が高い。

【0126】

また、ユーザは、メイン画面２００ａのサンプル比較情報２０３を参照することで、モデル補正を行なうことによりラベル変化が生じるデータ数を容易に把握することができ、モデル補正を行なうか否かの判断に役立てることができる。

【0127】

さらに、ユーザは、詳細情報表示画面２００ｂを参照することで、ラベル変化が生じる各入力データについて、第１の機械学習モデル１０４により分類されたラベルと第２の機械学習モデル１０５により分類されたラベルとを比較して、モデル補正を行なうか否か決定することができ利便性が高い。

【0128】

また、詳細情報表示画面２００ｂにおいて、ラベル変化が生じる各入力データについて、第１の機械学習モデル１０４により分類されたラベルと第２の機械学習モデル１０５により分類されたラベルとのそれぞれにラベルスコアを表示させる。これにより、ユーザが設定された各ラベルの確信度を容易に知ることができ、モデル補正を行なうか否かの判断に役立てることができる。

【0129】

詳細情報表示画面２００ｂにおいて複数の入力データ（画像）を一覧として表示させるに際して、表示優先度設定部１０７が入力データに対して設定した優先度に従って、並び替えや絞り込みを行なう。

【0130】

例えば、ラベル変化ありの場合において、第１の機械学習モデル１０４による推定が自信なしである一方で、第２の機械学習モデル１０５による推定が自信ありの入力データに関する表示優先度を低くする。これにより、ユーザが他のより重要な情報に着目してモデル補正の実施を判断することができ、利便性が高い。

【0131】

また、ラベル変更ありの場合において、第１の機械学習モデル１０４による推定および第２の機械学習モデル１０５による推定がいずれも自信ありの入力データに関する表示優先度を高くする。これにより、第１の機械学習モデル１０４と第２の機械学習モデル１０５とで推定結果が対立する状態である入力データに対して、ユーザが迅速に判断を行なうことができ、信頼性を向上させることができる。

【0132】

さらに、ラベル変更なしの場合において、第１の機械学習モデル１０４による推定および第２の機械学習モデル１０５による推定がいずれも自信ありの入力データに関する表示優先度を低くする。これにより、ユーザが他のより重要な情報に着目してモデル補正の実施を判断することができ、利便性が高い。

【0133】

監視部１０１が、データ分布の特徴をデータ群として表現した特徴量空間で、入力データに対する正解ラベルを推定することで正解データが不要となり、訓練データの作成コストを低減することができる。これにより、低コストで第１の機械学習モデル１０４の評価や運用を行なうことができる。また、第２の機械学習モデル１０５を容易に生成することができる。

【0134】

（Ｄ）その他
図１４は実施形態の一例としての計算機システム１のハードウェア構成を例示する図である。

【0135】

計算機システム１は、情報処理装置（コンピュータ）によって実現され、例えば、プロセッサ１１，メモリ部１２，記憶装置１３，グラフィック処理装置１４，入力インタフェース１５，光学ドライブ装置１６，機器接続インタフェース１７およびネットワークインタフェース１８を構成要素として有する。これらの構成要素１１～１８は、バス１９を介して相互に通信可能に構成される。

【0136】

プロセッサ（処理部）１１は、計算機システム１全体を制御する。プロセッサ１１は、マルチプロセッサであってもよい。プロセッサ１１は、例えばＣＰＵ，ＭＰＵ（Micro Processing Unit），ＤＳＰ（Digital Signal Processor），ＡＳＩＣ（Application Specific Integrated Circuit），ＰＬＤ（Programmable Logic Device），ＦＰＧＡ（Field Programmable Gate Array）のいずれか一つであってもよい。また、プロセッサ１１は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのうちの２種類以上の要素の組み合わせであってもよい。

【0137】

そして、プロセッサ１１が制御プログラム（監視制御プログラム，表示プログラム：図示省略）を実行することにより、図１に例示する、監視部１０１および表示制御部１０２としての機能が実現される。

【0138】

なお、計算機システム１は、例えばコンピュータ読み取り可能な非一時的な記録媒体に記録されたプログラム｛監視制御プログラムやＯＳ（Operating System）プログラム｝を実行することにより、監視部１０１としての機能を実現する。また、例えばコンピュータ読み取り可能な非一時的な記録媒体に記録されたプログラム（表示プログラムやＯＳプログラム）を実行することにより、表示制御部１０２としての機能を実現する。

【0139】

計算機システム１に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、計算機システム１に実行させるプログラムを記憶装置１３に格納しておくことができる。プロセッサ１１は、記憶装置１３内のプログラムの少なくとも一部をメモリ部１２にロードし、ロードしたプログラムを実行する。

【0140】

また、計算機システム１（プロセッサ１１）に実行させるプログラムを、光ディスク１６ａ，メモリ装置１７ａ，メモリカード１７ｃ等の非一時的な可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１１からの制御により、記憶装置１３にインストールされた後、実行可能になる。また、プロセッサ１１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。

【0141】

メモリ部１２は、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含む記憶メモリである。メモリ部１２のＲＡＭは計算機システム１の主記憶装置として使用される。ＲＡＭには、プロセッサ１１に実行させるＯＳプログラムや制御プログラムの少なくとも一部が一時的に格納される。また、メモリ部１２には、プロセッサ１１による処理に必要な各種データが格納される。

【0142】

記憶装置１３は、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）、ＳＳＤ（Solid State Drive）、ストレージクラスメモリ（Storage Class Memory：ＳＣＭ）等の記憶装置であって、種々のデータを格納するものである。記憶装置１３は、計算機システム１の補助記憶装置として使用される。記憶装置１３には、ＯＳプログラム，制御プログラムおよび各種データが格納される。制御プログラムには監視制御プログラムや表示プログラムが含まれる。

【0143】

なお、補助記憶装置としては、ＳＣＭやフラッシュメモリ等の半導体記憶装置を使用することもできる。また、複数の記憶装置１３を用いてＲＡＩＤ（Redundant Arrays of Inexpensive Disks）を構成してもよい。

【0144】

また、記憶装置１３には、上述した監視部１０１および表示制御部１０２が各処理を実行する際に生成される各種データを格納してもよい。

【0145】

例えば、分類実行部１０３が用いる第１の機械学習モデル１０４やそのコピーを実現するための情報や、第２の機械学習モデル１０５を実現するための情報を記憶装置１３に格納してもよい。また、第１の機械学習モデル１０４および第２の機械学習モデル１０５の各出力（分類）や、データ集合作成部１０６や表示優先度設定部１０７によって生成された各情報や、モデル補正情報２００を構成するための構造化文書等を記憶装置１３に格納してもよい。さらに、モデル補正情報２００に対してユーザが入力した情報を記憶装置１３に格納してもよい。

【0146】

グラフィック処理装置１４には、モニタ１４ａが接続されている。グラフィック処理装置１４は、プロセッサ１１からの命令に従って、画像をモニタ１４ａの画面に表示させる。モニタ１４ａとしては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置等が挙げられる。なお、グラフィック処理装置１４に備えられたＧＰＵ（Graphics Processing Unit）が、上述した制御プログラム（監視制御プログラム，表示プログラム）を実行することにより、図１に例示する、監視部１０１および表示制御部１０２としての機能を実現してよい。

【0147】

入力インタフェース１５には、キーボード１５ａおよびマウス１５ｂが接続されている。入力インタフェース１５は、キーボード１５ａやマウス１５ｂから送られてくる信号をプロセッサ１１に送信する。なお、マウス１５ｂは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル，タブレット，タッチパッド，トラックボール等が挙げられる。

【0148】

光学ドライブ装置１６は、レーザ光等を利用して、光ディスク１６ａに記録されたデータの読み取りを行なう。光ディスク１６ａは、光の反射によって読み取り可能にデータを記録された可搬型の非一時的な記録媒体である。光ディスク１６ａには、ＤＶＤ（Digital Versatile Disc），ＤＶＤ－ＲＡＭ，ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等が挙げられる。

【0149】

機器接続インタフェース１７は、計算機システム１に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース１７には、メモリ装置１７ａやメモリリーダライタ１７ｂを接続することができる。メモリ装置１７ａは、機器接続インタフェース１７との通信機能を搭載した非一時的な記録媒体、例えばＵＳＢ（Universal Serial Bus）メモリである。メモリリーダライタ１７ｂは、メモリカード１７ｃへのデータの書き込み、またはメモリカード１７ｃからのデータの読み出しを行なう。メモリカード１７ｃは、カード型の非一時的な記録媒体である。

【0150】

ネットワークインタフェース１８は、ネットワークに接続される。ネットワークインタフェース１８は、ネットワークを介して他の情報処理装置や通信機器等が接続されてもよい。

【0151】

そして、開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。

【0152】

上述した実施形態において、モデル補正情報２００のメイン画面２００ａには、第１の機械学習モデル１０４の精度（Accuracy 74%）が示されているが、これに限定されるものではない。例えば、モデル補正後の精度を表示させてもよい。例えば、「第１の機械学習モデルの精度 61% ⇒ モデル補正後の精度100%」のような情報をユーザに提示してもよい。

【0153】

また、図４に例示したメイン画面２００ａ（モデル補正情報２００）においては、モデル補正（補正）を行なうことにより生じるラベル変化と、当該変化が生じるデータの数とを対応付けたサンプル比較情報２０３を示しているが、これに限定されるものではなく、種々変形して実施することができる。

【0154】

図１５は実施形態の一例としての計算機システム１におけるサンプル比較情報２０３の他の例を示す図である。

【0155】

この図１５においては、図４に例示したサンプル比較情報２０３を混同行列（Confusion Matrix）で表した例を示す。

【0156】

この図１５においては、混同行列内の各データ数に各データ数には関連する情報がリンクされていることを表す下線が付されている。ユーザが、これらの下線が付された値を選択（クリック）することで、図５に例示する詳細情報表示画面２００ｂが表示される。

【0157】

また、上述した実施形態においては、入力データが１データ１ファイルの画像である例について示しているが、これに限定されるものではなく、種々変形して実施することができる。例えば、入力データは、ＣＳＶ（Comma Separated Value）形式のファイルのように、１つのファイルが複数のデータを含むものであってもよく、種々変形して実施することができる。

【0158】

図１６は実施形態の一例としての計算機システム１における詳細情報表示画面２００ｂの変形例を示す図である。

【0159】

この図１６においては、入力データがニュースタイトルであり、第１の機械学習モデル１０４および第２の機械学習モデル１０５によりこれらのニュースタイトルを、スポーツ（Ｂ）やテクノロジ（Ｃ）等に分類する例を示す。

【0160】

図１６に例示する詳細情報表示画面２００ｂは、データ（ニュースタイトル）に対して、補正後回答および第１の機械学習モデル回答を対応付けたテーブルとして構成されている。このように、入力データの種類に応じて、詳細情報表示画面２００ｂのフォーマットを適宜変更してもよい。

【0161】

また、この図１６に例示する詳細情報表示画面２００ｂにおいて、ラベルスコア等の他の情報を表示させてもよく、種々変形して実施することができる。

【0162】

さらに、上述した実施形態においては、図９に示したように、ラベルの推定結果を「自信あり／自信なし」の２つにグループ分けすることで４象限マトリクスで管理する例を示したが、これに限定されるものではない。例えば、ラベルの推定結果を「高／中／低」や「Ａ／Ｂ／Ｃ／Ｄ」等のように３つ以上にグループ分けして管理してもよく、種々変形して実施することができる。

【0163】

また、上述した実施形態においては、表示優先度設定部１０７が、第１の機械学習モデル１０４および第２の機械学習モデル１０５の２つの機械学習モデルの確信度スコア区分に基づき、入力データを絞り込む例を示したが、これに限定されるものではない。例えば、監視部１０１が算出する他のスコアを利用してもよい。

【0164】

監視部１０１は、特徴量空間上でのラベル確信度スコアを出力する。特徴量空間上でのラベル確信度スコアは、特徴量空間上でこのラベルだと推定されるスコアであり、特徴量空間内でのクラスタ中心からの距離を表す。

【0165】

表示優先度設定部１０７は、特徴量空間上でのラベル確信度スコアに基づき、入力データの絞り込みを行なってもよい。

【0166】

また、上述した実施形態においては、計算機システム１が監視部１０１および表示制御部１０２としての機能を備えているが、これに限定されるものではない。

【0167】

監視部１０１としての機能を、当該計算機システム１とネットワーク等を介して接続された他の情報処理装置に備えてもよく、適宜変更して実施することができる。
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。

【0168】

（Ｅ）付記
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
第１の機械学習モデルと、前記第１の機械学習モデルのパラメータに基づいてデータから抽出された特徴量に応じてラベル付けされた前記データを用いた機械学習により得られた第２の機械学習モデルとに複数のデータを入力し、
前記入力に応じて、前記第１の機械学習モデルが出力した第１の複数の出力と前記第２の機械学習モデルが出力した第２の複数の出力とを取得し、
前記複数のデータのうちの第１のデータに対する前記第１の機械学習モデルの第１の出力と前記第２の機械学習モデルの第２の出力との内容が異なり、前記第１の出力の確信度が第１の閾値未満であって、前記第２の出力の確信度が第２の閾値以上である場合、前記第１の複数の出力と前記第２の複数の出力とのそれぞれの比較結果のうち、前記第１の出力と前記第２の出力との比較結果以外の他の比較結果を優先して表示する、
処理をコンピュータに実行させることを特徴とする表示プログラム。

【0169】

（付記２）
前記表示する処理は、前記第１の機械学習モデルの精度が基準値以下となったことが検知された場合に、実行される、
ことを特徴とする、付記１記載の表示プログラム。

【0170】

（付記３）
前記第１の出力と前記第２の出力との比較結果以外の他の比較結果を優先して表示する処理は、前記複数のデータのうちの第２のデータに対する前記第１の機械学習モデルの第３の出力と前記第２の機械学習モデルの第４の出力との内容が等しく、前記第３の出力の確信度が第１の閾値以上であって、前記第４の出力の確信度が前記第２の閾値以上である場合、前記第１の複数の出力と前記第２の複数の出力とのそれぞれの比較結果のうち、前記第３の出力と前記第４の出力との比較結果以外の他の比較結果を優先して表示する処理を含む、
ことを特徴とする、付記１または２に記載の表示プログラム。

【0171】

（付記４）
前記第１の出力と前記第２の出力との比較結果以外の他の比較結果を優先して表示する処理は、前記複数のデータのうちの第３のデータに対する前記第１の機械学習モデルの第５の出力と前記第２の機械学習モデルの第６の出力との内容が異なり、前記第５の出力の確信度が前記第１の閾値以上であって、前記第６の出力の確信度が前記第２の閾値以上である場合、前記第１の複数の出力と前記第２の複数の出力とのそれぞれの比較結果のうち、前記第５の出力と前記第６の出力との比較結果を優先して表示する処理を含む、
ことを特徴とする、付記１または２に記載の表示プログラム。

【0172】

（付記５）
前記複数のデータのうちの第４のデータに対する前記第１の機械学習モデルの第７の出力と前記第２の機械学習モデルの第８の出力の内容の差を示す差異情報と、前記複数のデータのうち前記比較結果が前記差異情報が示す差と同一であるデータの数とを対応づけた第１の参照情報を出力する、
処理を前記コンピュータに実行させることを特徴とする、付記１または２に記載の表示プログラム。

【0173】

（付記６）
前記複数のデータのうちの第４のデータと前記第４のデータに対する前記第１の機械学習モデルの第７の出力と、前記第４のデータに対する前記第２の機械学習モデルの第８の出力とを対応付けた第２の参照情報を出力する
処理を前記コンピュータに実行させることを特徴とする、付記１または２に記載の表示プログラム。

【0174】

（付記７）
前記第７の出力の確信度を表す値と前記第８の出力の確信度を表す値とを出力する
処理を前記コンピュータに実行させることを特徴とする、付記６に記載の表示プログラム。

【0175】

（付記８）
第１の機械学習モデルと、前記第１の機械学習モデルのパラメータに基づいてデータから抽出された特徴量に応じてラベル付けされた前記データを用いた機械学習により得られた第２の機械学習モデルとに複数のデータを入力し、
前記入力に応じて、前記第１の機械学習モデルが出力した第１の複数の出力と前記第２の機械学習モデルが出力した第２の複数の出力とを取得し、
前記複数のデータのうちの第１のデータに対する前記第１の機械学習モデルの第１の出力と前記第２の機械学習モデルの第２の出力との内容が異なり、前記第１の出力の確信度が第１の閾値未満であって、前記第２の出力の確信度が第２の閾値以上である場合、前記第１の複数の出力と前記第２の複数の出力とのそれぞれの比較結果のうち、前記第１の出力と前記第２の出力との比較結果以外の他の比較結果を優先して表示する、
処理部を有することを特徴とする情報処理装置。

【0176】

（付記９）
前記処理部が、
前記表示する処理を、前記第１の機械学習モデルの精度が基準値以下となったことが検知された場合に、実行する
ことを特徴とする、付記８記載の情報処理装置。

【0177】

（付記１０）
前記処理部が、
前記第１の出力と前記第２の出力との比較結果以外の他の比較結果を優先して表示する処理において、前記複数のデータのうちの第２のデータに対する前記第１の機械学習モデルの第３の出力と前記第２の機械学習モデルの第４の出力との内容が等しく、前記第３の出力の確信度が前記第１の閾値以上であって、前記第４の出力の確信度が前記第２の閾値以上である場合、前記第１の複数の出力と前記第２の複数の出力とのそれぞれの比較結果のうち、前記第３の出力と前記第４の出力との比較結果以外の他の比較結果を優先して表示する、
ことを特徴とする、付記８または９に記載の情報処理装置。

【0178】

（付記１１）
前記処理部が、
前記第１の出力と前記第２の出力との比較結果以外の他の比較結果を優先して表示する処理において、前記複数のデータのうちの第３のデータに対する前記第１の機械学習モデルの第５の出力と前記第２の機械学習モデルの第６の出力との内容が異なり、前記第５の出力の確信度が前記第１の閾値以上であって、前記第６の出力の確信度が前記第２の閾値以上である場合、前記第１の複数の出力と前記第２の複数の出力とのそれぞれの比較結果のうち、前記第５の出力と前記第６の出力との比較結果を優先して表示する、
ことを特徴とする、付記８または９に記載の情報処理装置。

【0179】

（付記１２）
前記処理部が、
前記複数のデータのうちの第４のデータに対する前記第１の機械学習モデルの第７の出力と前記第２の機械学習モデルの第８の出力の内容の差を示す差異情報と、前記複数のデータのうち前記比較結果が前記差異情報が示す差と同一であるデータの数とを対応づけた第１の参照情報を出力する
処理を実行することを特徴とする、付記８または９に記載の情報処理装置。

【0180】

（付記１３）
前記処理部が、
前記複数のデータのうちの第４のデータと前記第４のデータに対する前記第１の機械学習モデルの第７の出力と、前記第４のデータに対する前記第２の機械学習モデルの第８の出力とを対応付けた第２の参照情報を出力する
処理を実行することを特徴とする、付記８または９に記載の情報処理装置。

【0181】

（付記１４）
前記処理部が、
前記第７の出力の確信度を表す値と前記第８の出力の確信度を表す値とを出力する
処理を実行することを特徴とする、付記１３に記載の情報処理装置。

【0182】

（付記１５）
第１の機械学習モデルと、前記第１の機械学習モデルのパラメータに基づいてデータから抽出された特徴量に応じてラベル付けされた前記データを用いた機械学習により得られた第２の機械学習モデルとに複数のデータを入力し、
前記入力に応じて、前記第１の機械学習モデルが出力した第１の複数の出力と前記第２の機械学習モデルが出力した第２の複数の出力とを取得し、
前記複数のデータのうちの第１のデータに対する前記第１の機械学習モデルの第１の出力と前記第２の機械学習モデルの第２の出力との内容が異なり、前記第１の出力の確信度が第１の閾値未満であって、前記第２の出力の確信度が第２の閾値以上である場合、前記第１の複数の出力と前記第２の複数の出力とのそれぞれの比較結果のうち、前記第１の出力と前記第２の出力との比較結果以外の他の比較結果を優先して表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。

【0183】

（付記１６）
前記表示する処理は、前記第１の機械学習モデルの精度が基準値以下となったことが検知された場合に、実行される
ことを特徴とする、付記１５記載の表示制御方法。

【0184】

（付記１７）
前記第１の出力と前記第２の出力との比較結果以外の他の比較結果を優先して表示する処理は、前記複数のデータのうちの第２のデータに対する前記第１の機械学習モデルの第３の出力と前記第２の機械学習モデルの第４の出力との内容が等しく、前記第３の出力の確信度が第１の閾値以上であって、前記第４の出力の確信度が前記第２の閾値以上である場合、前記第１の複数の出力と前記第２の複数の出力とのそれぞれの比較結果のうち、前記第３の出力と前記第４の出力との比較結果以外の他の比較結果を優先して表示する処理を含む、
ことを特徴とする、付記１５または１６に記載の表示制御方法。

【0185】

（付記１８）
前記第１の出力と前記第２の出力との比較結果以外の他の比較結果を優先して表示する処理は、前記複数のデータのうちの第３のデータに対する前記第１の機械学習モデルの第５の出力と前記第２の機械学習モデルの第６の出力との内容が異なり、前記第５の出力の確信度が前記第１の閾値以上であって、前記第６の出力の確信度が前記第２の閾値以上である場合、前記第１の複数の出力と前記第２の複数の出力とのそれぞれの比較結果のうち、前記第５の出力と前記第６の出力との比較結果を優先して表示する処理を含む、
ことを特徴とする、付記１５または１６に記載の表示制御方法。

【0186】

（付記１９）
前記複数のデータのうちの第４のデータに対する前記第１の機械学習モデルの第７の出力と前記第２の機械学習モデルの第８の出力の内容の差を示す差異情報と、前記複数のデータのうち前記比較結果が前記差異情報が示す差と同一であるデータの数とを対応づけた第１の参照情報を出力する
処理を前記コンピュータが実行することを特徴とする、付記１５または１６に記載の表示制御方法。

【0187】

（付記２０）
前記複数のデータのうちの第４のデータと前記第４のデータに対する前記第１の機械学習モデルの第７の出力と、前記第４のデータに対する前記第２の機械学習モデルの第８の出力とを対応付けた第２の参照情報を出力する
処理を前記コンピュータが実行することを特徴とする、付記１５または１６に記載の表示制御方法。

【0188】

（付記２１）
前記第７の出力の確信度を表す値と前記第８の出力の確信度を表す値とを出力する
処理を前記コンピュータが実行することを特徴とする、付記２０に記載の表示制御方法。

【符号の説明】

【0189】

１ 計算機システム
１１ プロセッサ（処理部）
１２ メモリ部
１３ 記憶装置
１４ グラフィック処理装置
１４ａ モニタ
１５ 入力インタフェース
１５ａ キーボード
１５ｂ マウス
１６ 光学ドライブ装置
１６ａ 光ディスク
１７ 機器接続インタフェース
１７ａ メモリ装置
１７ｂ メモリリーダライタ
１７ｃ メモリカード
１８ ネットワークインタフェース
１８ａ ネットワーク
１９ バス
１０１ 監視部
１０２ 表示制御部
１０３ 分類実行部
１０４ 第１の機械学習モデル
１０５ 第２の機械学習モデル
１０６ データ集合作成部
１０７ 表示優先度設定部
２００ モデル補正情報
２００ａ メイン画面
２００ｂ 詳細情報表示画面
２０１ アラート情報
２０２ 第１の機械学習モデル推定精度情報
２０３ サンプル比較情報
２０４ モデル情報
２０５ａ モデル補正実施入力ボタン
２０５ｂ 見送り入力ボタン
２０６ 提案メッセージ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】