特許 7472999 出力制御プログラム、出力制御方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-15

(45)【発行日】2024-04-23

(54)【発明の名称】出力制御プログラム、出力制御方法および情報処理装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240416BHJP

【ＦＩ】

G06N20/00

【請求項の数】 7

(21)【出願番号】P 2022555213

(86)(22)【出願日】2020-10-08

(86)【国際出願番号】 JP2020038216

(87)【国際公開番号】W WO2022074806

(87)【国際公開日】2022-04-14

【審査請求日】2023-01-30

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】石崎 諒

【審査官】▲はま▼中 信行

(56)【参考文献】

【文献】国際公開第２０１９／０６９９０５（ＷＯ，Ａ１）

【文献】特開２０２０－０４６８９１（ＪＰ，Ａ）

【文献】国際公開第２０１９／２０７９１０（ＷＯ，Ａ１）

【文献】特開平０７－０６５１６８（ＪＰ，Ａ）

【文献】米国特許第０９８９２１３３（ＵＳ，Ｂ１）

【文献】今井 拓司，画像認識ディープニューラルネットの挙動を“デバッグ” 分類への寄与部を探すＬＩＭＥ技術、日立超ＬＳＩ，ＮＩＫＫＥＩ Ｒｏｂｏｔｉｃｓ，日経ＢＰ社，2019年，第45号，p.22-26，ISSN 2189-5783

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

第１のデータを機械学習モデルに入力し、前記機械学習モデルが出力する、第１の推定値と前記第１の推定値の信頼度とを含む推定結果を取得し、
前記推定結果に含まれる前記信頼度が閾値より低い場合、前記第１のデータと前記推定結果とに基づいて生成された線形モデルに前記第１のデータを入力して、前記線形モデルが出力する第２の推定値を取得し、
前記機械学習モデルから取得された第１の推定値と前記線形モデルから取得された第２の推定値との差分に基づいて、前記推定結果の出力を制御する、
処理をコンピュータに実行させることを特徴とする出力制御プログラム。

【請求項2】

前記推定結果を取得する処理は、
前記第１のデータを含む複数のデータそれぞれを前記機械学習モデルに入力し、前記複数のデータそれぞれに対して前記推定結果を取得する処理と、
前記第２の推定値を取得する処理は、
前記複数のデータのうち、前記機械学習モデルにより生成される特徴量空間において前記第１のデータから所定距離に位置する複数の第２のデータを特定する処理と、
前記第１のデータに対応する特徴量および前記複数の第２のデータそれぞれに対応する特徴量と前記第１の推定値とを用いて、前記第１のデータを局所的に近似させた前記線形モデルを生成する処理と、
前記線形モデルに前記第１のデータを入力して、近似値である前記第２の推定値を取得する処理と、
前記制御する処理は、
前記第１の推定値と前記第２の推定値との前記差分に基づき算出される評価指標が閾値以上の場合に、前記第１のデータを出力し、前記評価指標が閾値未満の場合に、前記第１のデータの出力を抑制する処理と、
を含むことを特徴とする請求項１に記載の出力制御プログラム。

【請求項3】

前記制御する処理は、
前記複数のデータそれぞれのうち、前記信頼度が下限閾値未満のデータについては、出力対象に選択し、前記信頼度が上限閾値以上のデータについては、出力対象外に選択し、前記信頼度が前記下限閾値以上かつ前記上限閾値未満のデータについては、出力対象候補に選択する処理と、
前記出力対象候補のデータのうち、前記評価指標が閾値以上のデータを前記出力対象に選択し、前記評価指標が閾値未満のデータを前記出力対象外に選択する処理と、
前記出力対象に選択された各データを、検査対象として出力する処理と、
を含むことを特徴とする請求項２に記載の出力制御プログラム。

【請求項4】

前記検査対象として出力された前記各データに対する検査結果を取得する処理と、
前記各データそれぞれを説明変数、前記各データそれぞれに対応する前記検査結果を目的変数とする複数の訓練データを生成する処理と、
前記複数の訓練データを用いて、前記検査対象のデータに該当するか否かを判定する判定モデルを生成する処理と
を前記コンピュータに実行させることを特徴とする請求項３に記載の出力制御プログラム。

【請求項5】

生成された前記判定モデルに推定対象データを入力して、前記判定モデルが判定した判定結果を取得する処理と、
前記判定結果に基づき、前記推定対象データが前記検査対象か否かを特定する処理と
を前記コンピュータに実行させることを特徴とする請求項４に記載の出力制御プログラム。

【請求項6】

第１のデータを機械学習モデルに入力し、前記機械学習モデルが出力する、第１の推定値と前記第１の推定値の信頼度とを含む推定結果を取得し、
前記推定結果に含まれる前記信頼度が閾値より低い場合、前記第１のデータと前記推定結果とに基づいて生成された線形モデルに前記第１のデータを入力して、前記線形モデルが出力する第２の推定値を取得し、
前記機械学習モデルから取得された第１の推定値と前記線形モデルから取得された第２の推定値との差分に基づいて、前記推定結果の出力を制御する、
処理をコンピュータに実行することを特徴とする出力制御方法。

【請求項7】

第１のデータを機械学習モデルに入力し、前記機械学習モデルが出力する、第１の推定値と前記第１の推定値の信頼度とを含む推定結果を取得し、
前記推定結果に含まれる前記信頼度が閾値より低い場合、前記第１のデータと前記推定結果とに基づいて生成された線形モデルに前記第１のデータを入力して、前記線形モデルが出力する第２の推定値を取得し、
前記機械学習モデルから取得された第１の推定値と前記線形モデルから取得された第２の推定値との差分に基づいて、前記推定結果の出力を制御する、
処理を実行する制御部を含むことを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習モデルの推定結果の表示制御を行う出力制御プログラム等に関する。

【背景技術】

【0002】

深層学習（Deep Learning：DL）などの機械学習を用いた機械学習モデルの推定結果に対して、再度の機械学習の実行やユーザによる推定結果の検証などの施策が行われることがある。一方で、機械学習モデルは、高精度ではあるが、内部構造等が複雑であることから、推定理由を解釈することが困難である。近年では、機械学習モデルが推定対象のデータの入力に応じて出力する推定結果のうち、機械学習モデルが出力した推定結果の信頼度が低い推定結果を施策対象として選択する技術が知られている。

【先行技術文献】

【非特許文献】

【0003】

【文献】Marco Tulio Rebeiro，et al、「“Why Should I Trust You？”Explaining the Predictions of Any Classifier」、arXiv:1602.04938v3、2016年8月16日

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記技術では、機械学習モデルの機械学習に利用された訓練データの数や性質などにより、推定結果の信頼度が必ずしも精度のよい情報ではないことがある。

【0005】

一つの側面では、機械学習モデルの推定結果の出力を制御できる出力制御プログラム、出力制御方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

第１の案では、出力制御プログラムは、第１のデータを機械学習モデルに入力し、前記機械学習モデルが出力する推定結果を取得する処理をコンピュータに実行させる。出力制御プログラムは、前記推定結果に含まれる第１の値が閾値より低い場合、前記第１のデータと前記推定結果とに基づいて生成された線形モデルに前記第１のデータを入力して、前記線形モデルが出力する第２の値を取得する処理をコンピュータに実行させる。出力制御プログラムは、前記第１の値と前記第２の値との差分に基づいて、前記推定結果の出力を制御する処理をコンピュータに実行させる。

【発明の効果】

【0007】

一実施形態によれば、機械学習モデルの推定結果の出力を制御できる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施例１にかかる情報処理装置の処理を説明する図である。

【図2】図２は、施策に関する絞り込みの参考技術を説明する図である。

【図3】図３は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。

【図4】図４は、訓練データセットの一例を説明する図である。

【図5】図５は、推定データセットの一例を説明する図である。

【図6】図６は、推定処理を説明する図である。

【図7】図７は、線形モデルを説明する図である。

【図8】図８は、個体ａに対する指標について説明する図である。

【図9】図９は、個体ｂに対する指標について説明する図である。

【図10】図１０は、施策対象の選定を説明する図である。

【図11】図１１は、処理の流れを示すフローチャートである。

【図12】図１２は、施策判定モデルの生成を説明する図である。

【図13】図１３は、施策判定モデルを用いた施策判定を説明する図である。

【図14】図１４は、ハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0009】

以下に、本発明にかかる出力制御プログラム、出力制御方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【0010】

図１は、実施例１にかかる情報処理装置１０の処理を説明する図である。図１に示す情報処理装置１０は、大規模データに対して機械学習モデルを用いて推定し、推定結果に対して、再検査や再調査などユーザが何かしらの施策を実行する対象を絞り込むコンピュータの一例である。つまり、情報処理装置１０は、ブラックボックスである機械学習モデルの推定結果を、ユーザ視点で解釈して提示する。

【0011】

ここで、推定結果に対して施策対象の絞り込みを行う参考技術について説明する。図２は、施策に関する絞り込みの参考技術を説明する図である。図２に示す参考技術は、一例として、ワインの美味しさを推定し、推定結果が良くないワインを施策対象として絞り込む処理を実行する。

【0012】

具体的には、参考技術は、訓練用のデータセットＷを用いて機械学習モデルを生成する。訓練用のデータセットＷには、ワインの個体（ロット）ごとに「甘味変数Ｘ、酸味変数Ｙ、まろやかさ変数Ｚ、おいしさ変数Ｑ」が設定される。ここで、「甘味変数Ｘ、酸味変数Ｙ、まろやかさ変数Ｚ」は、ワインの美味しさを決める説明変数である。「おいしさ変数Ｑ」は、ワインのおいしさを示す目的変数であり、例えば３（まずい）から８（良い）で設定される。なお、ワインの個体ごとのデータそれぞれが訓練データとなり、甘味、酸味、まろやかさの各変数からワインのおいしさを推定する機械学習モデルが生成される。

【0013】

機械学習モデルが生成されると、参考技術は、未知のデータセットＷ２内の各推定対象データ（ワイン個体データ）を機械学習モデルに入力して、各ワインのおいしさの推定結果を取得する。このとき、機械学習モデルは、推定結果として、おいしさの推定値を示す「おいしさ推定Ｑ´」と推定値の信頼度を示す「信頼度Ｃｄ」を出力する。

【0014】

そして、参考技術では、「おいしさ推定Ｑ´」に関わらず、「信頼度Ｃｄ」が閾値以下である個体ｈ、個体ｉ、個体ｊを施策対象として選択する。その後、選択された個体ｈ、個体ｉ、個体ｊの各ワインについて、製造者、ソムリエ、職人などに「おいしさ推定」の依頼を行うことで、ワインの味の維持を図り、製品の信頼性維持が図られている。

【0015】

しかし、機械学習モデルの機械学習に利用された訓練データの数や性質などにより、推定結果の信頼度が必ずしも精度のよい情報ではないことがあり、信頼度だけで施策対象を絞り込むことが有効ではないことがある。

【0016】

例えば、信頼度が５０などのように、信頼度が第１の閾値未満である低信頼度の推定結果に該当する個体を施策対象として選択することは有効であり、信頼度が７０などのように、信頼度が第２の閾値以上である高信頼度の推定結果に該当する個体を施策対象外として選択することも有効である。ところが、信頼度が６０などのように、信頼度が第１の閾値以上かつ第２の閾値未満ある中信頼度の推定結果に該当する個体については、信頼度だけでは施策対象とするか否かを選択することが難しい。なぜなら、機械学習モデルの訓練時の状況により、このような中程度の信頼度である個体が多く発生することが予想でき、これらをすべて施策対象とすると、施策に膨大な時間がかかる一方で、すべてを施策対象外とすると、信頼性の低い推定結果が含まれることもある。このため、施策不要なデータが施策対象として選択されることもあり、施策にかかる時間が増大する。特に、推定結果の信頼度が低いデータが大量にある場合には、精度が低く、さらには施策の絞り込みに膨大な時間がかかる。

【0017】

そこで、実施例１にかかる情報処理装置１０は、機械学習モデルが算出する信頼度と、機械学習モデルの振る舞いを疑似的な入出力から線形モデル（線形回帰モデル：Linear Regressionモデル）に近似する手法の推定値とを用いて、施策対象に選択するための指標（評価指標）を生成し、この指標により施策対象の絞り込みを実行する。

【0018】

具体的には、図１に示すように、情報処理装置１０は、ラベルが設定された教師有の訓練データを含むデータセットを用いて、機械学習モデルを生成する。続いて、情報処理装置１０は、未知のデータセットに含まれる各推定対象データを、機械学習モデルに入力して、推定結果を取得する。そして、情報処理装置１０は、第１の推定対象データの推定結果に含まれる第１の値が閾値より低い場合、第１の推定対象データと推定結果とに基づいて生成された線形モデルに第１の推定対象データを入力して、線形モデルが出力する第２の値を取得する。その後、情報処理装置１０は、第１の値と第２の値との差分に基づいて、第１の推定対象データを施策対象として出力するか否かを制御する。

【0019】

このように、情報処理装置１０は、機械学習モデルの信頼度だけでなく、機械学習モデルの特徴空間上で推定結果が同じであるデータを局所的に近似させた線形モデルの値を用いて、施策対象の絞り込みを実行する。この結果、情報処理装置１０は、機械学習モデルの推定結果の出力を制御できる。

【0020】

図３は、実施例１にかかる情報処理装置１０の機能構成を示す機能ブロック図である。図３に示すように、情報処理装置１０は、通信部１１、記憶部１２、制御部２０を有する。

【0021】

通信部１１は、他の装置との間の通信を制御する。例えば、通信部１１は、管理者端末から、機械学習の開始指示などの各種指示や施策対象の絞り込みの指示などを受信し、管理者端末に対して、機械学習の結果や絞り込み結果を送信する。

【0022】

記憶部１２は、各種データや制御部２０が実行するプログラムなどを記憶する。例えば、記憶部１２は、訓練データセット１３、推定対象データセット１４、機械学習モデル１５、推定結果１６を記憶する。

【0023】

訓練データセット１３は、機械学習モデル１５の機械学習に利用される複数の訓練データを有する。図４は、訓練データセット１３の一例を説明する図である。図４に示すように、訓練データセット１３は、「ワイン、甘味変数Ｘ、酸味変数Ｙ、まろやかさ変数Ｚ、おいしさ変数Ｑ」から構成される訓練データを有する。

【0024】

「甘味変数Ｘ」は、ワインの甘味を示す変数であり、「酸味変数Ｙ」は、ワインの酸味を示す変数であり、「まろやかさ変数Ｚ」は、ワインのまろやかさを示す変数である。これらの変数は、公知の技術を用いて測定される値であり、例えば最も低い値１から最も高い値１０までの１０段階で示される。「おいしさ変数Ｑ」は、ワインのおいしさを示す変数であり、例えば最も低い値１から最も高い値１０までの１０段階で示される。なお、「おいしさ変数Ｑ」は、公知の技術を用いて測定されてもよく、職人等が試飲した結果を設定してもよい。

【0025】

ここで、機械学習において、「甘味変数Ｘ、酸味変数Ｙ、まろやかさ変数Ｚ」は、説明変数であり、「おいしさ変数Ｑ」は、目的変数となる。図４の例では、個体ａのワインについては、「甘味変数Ｘ＝３、酸味変数Ｙ＝７、まろやかさ変数Ｚ＝２、おいしさ変数Ｑ＝８」が設定されており、個体ｂのワインについては、「甘味変数Ｘ＝３、酸味変数Ｙ＝７、まろやかさ変数Ｚ＝８、おいしさ変数Ｑ＝３」が設定されている。つまり、個体ａの方が個体ｂよりもおいしいワインである。

【0026】

推定対象データセット１４は、機械学習モデル１５を用いて推定する対象である複数の推定対象データを有する。図５は、推定対象データセット１４の一例を説明する図である。図５に示すように、推定対象データセット１４は、「ワイン、甘味変数Ｘ、酸味変数Ｙ、まろやかさ変数Ｚ」から構成される推定データを有する。なお、ここで記憶される情報は、図４で説明した情報と同一なので、説明を省略する。図５の例では、推定対象データである個体ａについて、「甘味変数Ｘ＝７、酸味変数Ｙ＝３、まろやかさ変数Ｚ＝８」が設定されている。

【0027】

機械学習モデル１５は、情報処理装置１０による機械学習により生成されるモデルである。例えば、機械学習モデル１５は、ディープニューラルネットワーク（DNN：Deep Neural Network）などを用いたモデルであり、他の機械学習や深層学習を採用することができる。

【0028】

推定結果１６は、推定対象データセット１４に対する推定結果である。具体的には、推定結果１６は、推定対象データセット１４の各推定対象データを、機械学習により生成された機械学習モデル１５により入力して得られる推定結果である。なお、詳細については後述する。

【0029】

制御部２０は、情報処理装置１０全体を司る処理部であり、機械学習部２１、推定部２２、線形処理部２３、表示制御部２４を有する。

【0030】

機械学習部２１は、訓練データセット１３を用いた機械学習により、機械学習モデル１５を生成する。例えば、機械学習部２１は、訓練データ「個体ａ、甘味変数Ｘ＝３、酸味変数Ｙ＝７、まろやかさ変数Ｚ＝２、おいしさ変数Ｑ＝８」を訓練データセット１３から取得する。そして、機械学習部２１は、「甘味変数Ｘ＝３、酸味変数Ｙ＝７、まろやかさ変数Ｚ＝２」を機械学習モデル１５に入力し、機械学習モデル１５の出力結果を取得する。その後、機械学習部２１は、出力結果と目的変数「おいしさ変数Ｑ＝８」との誤差が小さくなるように、機械学習モデルの機械学習を実行する。

【0031】

このようにして、機械学習部２１は、訓練データセット１３内の各訓練データを用いた教師有学習によって機械学習モデル１５を生成する。すなわち、機械学習部２１は、「甘味変数Ｘ、酸味変数Ｙ、まろやかさ変数Ｚ」を機械学習モデル１５に入力したときに、「おいしさ変数Ｑ」を推定できるように、機械学習モデル１５の機械学習を実行する。なお、機械学習の手法は、誤差逆伝播法などの公知の手法を採用することができ、誤差も最小二乗誤差など公知の手法を採用することができる。

【0032】

推定部２２は、機械学習モデル１５を用いて、推定対象データの推定を実行する。具体的には、推定部２２は、推定対象データセット１４の各推定対象データを、生成された機械学習モデル１５に入力して、機械学習モデル１５から推定結果を取得し、記憶部１２に推定結果１６として格納する。ここで、機械学習モデル１５が出力する推定結果には、「おいしさ推定Ｑ´」と「おいしさ推定Ｑ´」の「信頼度Ｃｄ」とが含まれる。なお、「おいしさ推定Ｑ´」は、いわゆる推定値であり、「Ｑｄ＝ｐｒｅｄＦｒｏｍＤＬｍｏｄｅｌ（Ｘ，Ｙ，Ｚ）」で算出される。また、「信頼度Ｃｄ」は、ＤＮＮが出力するsoftmaxの値を用いることができる。

【0033】

図６は、推定処理を説明する図である。図６に示すように、推定部２２は、個体ｄの「甘味変数Ｘ＝７、酸味変数Ｙ＝３、まろやかさ変数Ｚ＝８」を機械学習モデル１５に入力し、「おいしさ推定Ｑ´＝８」と「信頼度Ｃｄ＝１００」を取得する。同様に、推定部２２は、個体ｅの「甘味変数Ｘ＝３、酸味変数Ｙ＝７、まろやかさ変数Ｚ＝２」を機械学習モデル１５に入力し、「おいしさ推定Ｑ´＝８」と「信頼度Ｃｄ＝１００」を取得する。また、推定部２２は、個体ｆの「甘味変数Ｘ＝３、酸味変数Ｙ＝７、まろやかさ変数Ｚ＝８」を機械学習モデル１５に入力し、「おいしさ推定Ｑ´＝３」と「信頼度Ｃｄ＝８０」を取得する。このようにして、推定部２２は、推定結果１６を生成する。

【0034】

線形処理部２３は、線形モデルを生成して、施策対象を選択するための指標を算出する。例えば、線形処理部２３は、機械学習モデル１５の信頼度「Ｃｄ」が下限の閾値以上かつ上限の閾値未満である個体について、指標を算出する。なお、後述する表示制御部２４では、機械学習モデル１５により得られる信頼度と、線形処理部２３により生成される指標との２つの情報を用いて、施策対象の絞り込みが実行される。

【0035】

まず、線形モデルについて説明する。一例として、線形処理部２３は、機械学習モデル１５やデータの形式、機械学習モデル１５の構造に非依存であるＬＩＭＥ（Local Interpretable Model-agnostic Explanations）と呼ばれるアルゴリズムを用いて指標を生成する。このＬＩＭＥでは、データが入力された機械学習モデル１５が出力する推定結果（分類結果）を説明する際、データの近傍において機械学習モデル１５の出力との間で出力が局所的に近似する線形モデルが機械学習モデル１５を解釈可能なモデルとして生成される。このような線形モデルの生成には、データの特徴量の一部を変動させることにより得られる近傍データが用いられる。

【0036】

図７は、線形モデルを説明する図である。この図７は、ＬＩＭＥのアルゴリズムを模型的に示しており、一例として、特徴量がｘとｙの２次元の特徴量空間を模式的に示している。図２では、おいしさ推定Ｑ´が閾値（例えば６）以上と推定された正例のクラスに対応する領域Ａと、おいしさ推定Ｑ´が閾値（例えば６）未満と推定された負例のクラスに対応する領域Ｂとが示されている。すなわち、ＬＩＭＥのアルゴリズムを用いることで、図２に示す分離境界面が示される特徴量空間が生成される。

【0037】

ここで、例えば、線形処理部２３は、推定対象データセット１４の各推定対象データを機械学習モデル１５に入力して、推定結果を取得するとともに、特徴量を取得して、特徴量を用いてＬＩＭＥアルゴリズムにより図２に示す特徴量空間を生成する。

【0038】

続いて、線形処理部２３は、正例と推定された個体ａについて、特徴量空間上で個体ａから所定距離に位置する推定対象データを近隣データとしいて取得する。そして、線形処理部２３は、個体ａと近隣データとを用いて、個体ａの周辺に限り有効であり、個体ａの周辺データの推定を解釈可能に表現した線形モデル「Ｑｌ＿ａ＝３Ｘ＋１０Ｙ＋１００Ｚ＋６」を生成する。

【0039】

同様に、線形処理部２３は、負例と推定された個体ｂについて、特徴量空間上で個体ｂから所定距離に位置する推定対象データを近隣データとしいて取得する。そして、線形処理部２３は、個体ｂと近隣データとを用いて、個体ｂの周辺に限り有効であり、個体ｂの周辺データの推定を解釈可能に表現した線形モデル「Ｑｌ＿ｂ＝－５Ｘ－２Ｙ＋１００Ｚ＋８」を生成する。このように、線形処理部２３は、個体（事例）ごとに、特徴空間で近接するデータを用いて線形モデルを生成する。

【0040】

次に、施策対象の絞り込みのための情報となる指標について説明する。線形処理部２３は、機械学習モデル１５の推定結果と線形モデルとを用いて、施策対象の判定材料となる指標を生成する。具体的には、線形処理部２３は、機械学習モデル１５の推定結果に含まれる「おいしさ推定Ｑ´」と、線形モデルにより得られる推定値との差分を用いて当該指標を算出する。

【0041】

ここで、指標について説明する。この指標は、局所において、より単純な数式モデル（非線形性質より線形性質など）で表現できる度合として、他数学表現への「局所的置換容易性指標」などと表現できる。なお、指標は、機械学習モデル１５が自動で生成するモデルの空間のうち線形に近似が難しい領域のひずみやずれ、線形モデルへの当てはまり度などとも表現できる。このように、線形モデルで得られる推定値は、機械学習モデル１５の特徴量空間の局所領域内で正規化された値であり、機械学習モデル１５の推定値は、機械学習時の経験値であり、いずれも直接推定できる２種類の機械学習モデル１５の推定値である。したがって、これらの差を用いる指標は、「線形モデルなどの解釈しやすい他のモデルに置き換えて表現できる単純な領域だったかどうか」、「機械学習の経験が足りなかったことに由来する信頼度なのか、そうでないのか」、「もともと機械学習の経験を積んでも難しい判別問題か」など、事例をまたがってもその値で比較できるよう「正規化」した情報と位置付けることができる。

【0042】

次に、上記個体ａ、個体ｂのそれぞれについて上記指標の算出を説明する。図８は、個体ａに対する指標について説明する図である。図８に示すように、線形処理部２３は、推定対象データセット１４から、個体ａのデータ「甘味変数Ｘ＝３、酸味変数Ｙ＝７、まろやかさ変数Ｚ＝２」を取得する。そして、線形処理部２３は、個体ａの機械学習モデル１５による推定値「Ｑｄ＿ａ＝ｐｒｅｄＦｒｏｍＤＬｍｏｄｅｌ（３，７，２）」を取得する。また、線形処理部２３は、個体ａに対する線形モデルの式（１）である「Ｑｌ＿ａ＝３Ｘ＋１０Ｙ＋１００Ｚ＋６」に各変数値を代入して「Ｑｌ＿ａ＝３×３＋１０×７＋１００×２＋６」を算出する。その後、線形処理部２３は、式（２）により、指標「Ｃｌ＿ａ」を「Ｃｌ＿ａ＝（（Ｑｄ＿ａ－Ｑｌ＿ａ）の２乗）」として算出する。

【0043】

図９は、個体ｂに対する指標について説明する図である。図９に示すように、線形処理部２３は、推定対象データセット１４から、個体ｂのデータ「甘味変数Ｘ＝３、酸味変数Ｙ＝７、まろやかさ変数Ｚ＝８」を取得する。そして、線形処理部２３は、個体ｂの機械学習モデル１５による推定値「Ｑｄ＿ｂ＝ｐｒｅｄＦｒｏｍＤＬｍｏｄｅｌ（３，７，８）」を取得する。また、線形処理部２３は、個体ｂに対する線形モデルの式（３）である「Ｑｌ＿ｂ＝－５Ｘ－２Ｙ＋１００Ｚ＋８」に各変数値を代入して「Ｑｌ＿ｂ＝－５×３－２×７＋１００×８＋８」を算出する。その後、線形処理部２３は、式（４）により、指標「Ｃｌ＿ｂ」を「Ｃｌ＿ｂ＝（（Ｑｄ＿ｂ－Ｑｌ＿ｂ）の２乗）」として算出する。

【0044】

上述した指標の算出手法を用いて、線形処理部２３は、機械学習モデル１５の信頼度「Ｃｄ」が下限の閾値以上かつ上限の閾値未満である個体について、各個体についての指標を算出して、記憶部１２に格納し、表示制御部２４に出力する。なお、線形処理部２３は、すべての個体について指標を算出することもでき、上述したように予め絞り込んだ個体について指標を算出することもできる。

【0045】

表示制御部２４は、推定結果の表示制御を実行する。例えば、表示制御部２４は、推定部２２による推定結果のうち、信頼度Ｃｄが下限の閾値未満の個体については施策対象に選択し、信頼度Ｃｄが上限の閾値以上の個体については施策対象外に選択する。また、表示制御部２４は、信頼度Ｃｄが下限の閾値以上かつ上限の閾値未満の個体については、線形処理部２３により算出された指標が閾値以上である場合に、施策対象に選択する。

【0046】

そして、表示制御部２４は、施策対象に選択した個体に関する情報を、記憶部１２に記憶し、ディスプレイなどの表示部に表示出力し、管理者の端末に送信する。なお、個体に関する情報とは、例えば推定対象データそのものであってもよく、推定対象データから選択した任意の情報であってもよい。

【0047】

図１０は、施策対象の選定を説明する図である。図１０には、推定部２２が図５に示した推定対象データセット１４に対して推定した推定結果を示している。図１０に示すように、表示制御部２４は、信頼度Ｃｄが上限の閾値以上である個体ｄ、ｅ、ｆについては、出力対象外すなわち施策対象外と決定する。また、表示制御部２４は、信頼度Ｃｄが下限の閾値未満である個体ｉ、ｊについては、出力対象すなわち施策対象と決定する。

【0048】

そして、表示制御部２４は、信頼度Ｃｄが上限の閾値未満かつ下限の閾値以上である個体ｇ、ｈについては、施策候補と判定し、線形処理部２３が算出した指標Ｃｌを参照する。ここで、表示制御部２４は、個体ｇの指標Ｃｌ＿ｇが「１．２」であり、個体ｈの指標Ｃｌ＿ｈが「０．３」であり、個体ｇの指標Ｃｌ＿ｇ「１．２」が閾値「０．８」以上であると判定する。そして、表示制御部２４は、個体ｇを施策対象と決定する。

【0049】

この結果、表示制御部２４は、施策対象と決定された個体ｇ、ｉ、ｊに関する情報を表示出力する。なお、施策対象はあくまで一例であり、単に表示出力の対象や送信対象とするか否かを判定することもできる。また、３段階の閾値で判定する例を説明したが、あくまで一例であり、２段階などの任意の閾値で判定することもでき、どの段階を指標により判定するかは任意に設定することもできる。

【0050】

次に、上述した施策対象の決定および表示出力に関する処理の流れを説明する。図１１は、処理の流れを示すフローチャートである。図１１に示すように、処理開始が指示されると（Ｓ１０１：Ｙｅｓ）、機械学習部２１は、訓練データセット１３を用いた機械学習により、機械学習モデル１５を生成する（Ｓ１０２）。

【0051】

続いて、推定部２２は、機械学習モデル１５を用いて、推定対象データの推定を実行し、推定結果１６を生成する（Ｓ１０３）。そして、線形処理部２３は、機械学習モデル１５が出力する推定値と信頼度とを用いて、施策対象を決定するとともに、施策候補を抽出する（Ｓ１０４）。

【0052】

そして、線形処理部２３は、施策候補に対して、線形モデルを生成して（Ｓ１０５）、施策候補を絞り込むための指標を生成する（Ｓ１０６）。その後、表示制御部２４は、指標を用いて施策対象を決定し（Ｓ１０７）、決定した施策対象を表示出力する（Ｓ１０８）。

【0053】

上述したように、情報処理装置１０は、機械学習モデル１５の信頼度だけではなく、線形モデルの推定値を用いて絞り込みを実行することができるので、絞り込みの判断に、機械学習モデル１５の信頼度が小さくなる理由を間接的に解釈して加味することができる。この結果、情報処理装置１０は、機械学習モデル１５の信頼度のみを用いる場合と比較して、適切な絞り込みを実行することができる。

【0054】

例えば、機械学習モデル１５の信頼度が中程度の個体について、ユーザ手動により、施策対象とするか否かを判断することが難しい。中程度の個体すべてを施策対象とすると、施策対象が増大して施策に関するコストが増大し、中程度の個体すべてを施策対象外とすると、個体の品質低下が懸念される。

【0055】

ここで、情報処理装置１０は、指標の値が閾値以上である場合、線形回帰に近似がよくできず、空間がひずんでいると判定する。すなわち、情報処理装置１０は、機械学習時にその周辺のモデルが作られたときの事例数は多かったが、難しい判別を迫られる領域であると判定し、相対的に施策（再検査）により精査したい目的から外れないので、施策（再検査対象）と決定する。

【0056】

一方、情報処理装置１０は、指標の値が閾値未満である場合、線形回帰への近似は比較的できており、空間がひずんでいないと判定する。すなわち、情報処理装置１０は、信頼度が低く難しい判別を迫られる領域であるものの、期待できる程度の機械学習が実行されて信頼できる程度の要素が含まれると判定し、施策（再検査）の対象から除外する。

【0057】

このように、情報処理装置１０は、機械学習モデル１５の信頼度を用いた施策対象の決定と、線形モデルの推定値に基づく指標を用いた施策対象の決定の２段階の決定処理を行うことで、施策対象を適切に選定することができる。

【0058】

ところで、指標による施策対象の判定は、任意に設定した閾値との比較により判定することもできるが、機械学習により生成された施策判定モデルを用いることもできる。そこで、実施例２では、施策判定モデルの生成と施策判定モデルによる判定を説明する。

【0059】

図１２は、施策判定モデルの生成を説明する図である。ここでは、推定対象データとして「個体ｄ、個体ｅ、個体ｆ、個体ｇ、個体ｈ、個体ｉ、個体ｊ」が存在し、各個体については「甘味変数Ｘ、酸味変数Ｙ、まろやかさ変数Ｚ」が予め設定されている。そして、推定部２２により、各個体に対して機械学習モデル１５を用いた推定が実行されて「おいしさ推定Ｑ´」が設定され、線形処理部２３により、指標が算出された「指標Ｃｌ」が設定される。

【0060】

このような状態において、機械学習部２１は、推定対象データである「個体ｄ、個体ｅ、個体ｆ、個体ｇ、個体ｈ、個体ｉ、個体ｊ」のうち、施策対象として選択された「個体ｇ、個体ｈ、個体ｉ、個体ｊ」に対して、実際に施策が行われたか否かの情報である「ユーザ再検査履歴」を取得する。図１２の例では、個体ｇに対して「Ｙｅｓ」、個体ｈに対して「Ｎｏ」、個体ｉに対して「Ｎｏ」、個体ｊに対して「Ｙｅｓ」が取得されたことを示している。つまり、個体ｇと個体ｊについて、再検査などの施策が実行されたことを示している。

【0061】

その後、機械学習部２１は、施策対象である「個体ｇ、個体ｈ、個体ｉ、個体ｊ」それぞれを訓練データとして機械学習を実行する。具体的には、機械学習部２１は、「甘味変数Ｘ、酸味変数Ｙ、まろやかさ変数Ｚ、おいしさ推定Ｑ´、信頼度Ｃｄ、指標Ｃｌ」を説明変数、「ユーザの再検査履歴」を目的変数とする機械学習を実行することにより、施策判定モデルを生成する。このようにして、ユーザ操作の必要性を推定する施策判定モデルが生成される。

【0062】

図１３は、施策判定モデルを用いた施策判定を説明する図である。図１３に示すように、制御部２０は、新たな推定対象データとして「個体ｄ２、個体ｅ２、個体ｆ２、個体ｇ２、個体ｈ２、個体ｉ２、個体ｊ２」を取得する。なお、各個体には、「甘味変数Ｘ、酸味変数Ｙ、まろやかさ変数Ｚ」が設定されている。そして、推定部２２は、これらの新たな推定対象データそれぞれの「甘味変数Ｘ、酸味変数Ｙ、まろやかさ変数Ｚ」を機械学習モデル１５に入力して推定結果として「おいしさ推定Ｑ´、信頼度Ｃｄ」を取得する。

【0063】

そして、線形処理部２３は、信頼度Ｃｄが閾値未満である「個体ｇ２、個体ｈ２、個体ｉ２、個体ｊ２」を施策候補に特定し、各施策候補について、線形モデルの生成を実行した後に、指標Ｃｌを算出する。ここでは、「個体ｇ２、個体ｈ２、個体ｉ２、個体ｊ２」について「０．３、１．２、０．５、１．１」が算出された例を示している。

【0064】

その後、表示制御部２４は、施策候補「個体ｇ２、個体ｈ２、個体ｉ２、個体ｊ２」それぞれについて、「甘味変数Ｘ、酸味変数Ｙ、まろやかさ変数Ｚ、おいしさ推定Ｑ´、信頼度Ｃｄ、指標Ｃｌ」を施策判定モデルに入力して、推定結果「再検査対象」を取得する。ここでは、表示制御部２４は、施策候補「個体ｇ２」に対して「再検査対象＝Ｎｏ」、「個体ｈ２」に対して「再検査対象＝Ｙｅｓ」、「個体ｉ２」に対して「再検査対象＝Ｎｏ」、「個体ｊ２」に対して「再検査対象＝Ｎｏ」を取得する。

【0065】

この結果、表示制御部２４は、施策候補「個体ｇ２、個体ｈ２、個体ｉ２、個体ｊ２」のうち、「再検査対象＝Ｙｅｓ」である「個体ｈ２」を施策対象に決定し、記憶部１２に格納し、ディスプレイ等に表示し、管理者端末に送信する。

【0066】

上述したように、情報処理装置１０は、過去の履歴を用いた機械学習により施策判定モデルを生成して、施策対象か否かを自動で判定することができるので、職人の癖や特徴などを機械学習することができ、施策の選定精度を向上することができる。なお、上記例では、「甘味変数Ｘ、酸味変数Ｙ、まろやかさ変数Ｚ、おいしさ推定Ｑ´、信頼度Ｃｄ、指標Ｃｌ」を説明変数とする例を説明したが、任意に設定することができる。例えば、「甘味変数Ｘ、酸味変数Ｙ、まろやかさ変数Ｚ、おいしさ推定Ｑ´、信頼度Ｃｄ」を説明変数とする場合、指標の算出コストを軽減し、算出時間を短縮することができる。

【0067】

上記実施例で用いたデータ例、数値例、閾値、表示例、特徴空間の次元数、具体例等は、あくまで一例であり、任意に変更することができる。また、訓練データとしては、画像データ、音声データ、時系列データなどを用いることができ、機械学習モデル１５は、画像分類や各種分析などにも用いることができる。また、機械学習モデル１５は、ＤＮＮに限らず、ＣＮＮ（Convolution Neural Network）など他のモデルを採用することができる。また、線形処理部２３は、ＬＩＭＥに限らず、Ｋ－ＬＩＭＥ、あるいは、ＬＩＭＥ－ＳＵＰなど他のアルゴリズムを採用することができる。

【0068】

上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0069】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0070】

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0071】

図１４は、ハードウェア構成例を説明する図である。図１４に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１４に示した各部は、バス等で相互に接続される。

【0072】

通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図３に示した機能を動作させるプログラムやＤＢを記憶する。

【0073】

プロセッサ１０ｄは、図３に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図３等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、機械学習部２１、推定部２２、線形処理部２３、表示制御部２４等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、機械学習部２１、推定部２２、線形処理部２３、表示制御部２４等と同様の処理を実行するプロセスを実行する。

【0074】

このように、情報処理装置１０は、プログラムを読み出して実行することで出力制御方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

【0075】

このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

【符号の説明】

【0076】

１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ 訓練データセット
１４ 推定対象データセット
１５ 機械学習モデル
１６ 推定結果
２０ 制御部
２１ 機械学習部
２２ 推定部
２３ 線形処理部
２４ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】