特許 7563056 データ提示プログラム、データ提示方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】データ提示プログラム、データ提示方法および情報処理装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241001BHJP

【ＦＩ】

G06N20/00

【請求項の数】 10

(21)【出願番号】P 2020149885

(22)【出願日】2020-09-07

(65)【公開番号】P2022044321

(43)【公開日】2022-03-17

【審査請求日】2023-06-08

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】河東 孝

(72)【発明者】

【氏名】上村 健人

(72)【発明者】

【氏名】安富 優

(72)【発明者】

【氏名】早瀬 友裕

【審査官】新井 則和

(56)【参考文献】

【文献】国際公開第２０１８／０７９０２０（ＷＯ，Ａ１）

【文献】Gregory Canal et al.，Generative causal explanations of black-box classifiers， [online]，2020年06月24日， [retrieved on 2024.05.17], Retrieved from the Internet: <URL: https://arxiv.org/pdf/2006.13913v1>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

コンピュータに、
推定モデルを用いた推定対象データセットに対する推定結果に基づき、前記推定対象データセットから、前記推定モデルが推定を間違った特定のデータを取得し、
前記推定対象データセットから得られる特徴量に関する特徴空間において、前記推定モデルの損失が変動する方向と直交する方向に前記特定のデータを変化させたデータを提示する、
処理を実行させることを特徴とするデータ提示プログラム。

【請求項2】

前記推定モデルを用いて前記特定のデータの第１の特徴量を取得し、
前記特徴空間上で、前記損失が変動する方向に、前記第１の特徴量を変化させた第２の特徴量を生成し、
前記推定モデルを用いて、前記特定のデータを除く前記推定対象データセットの各推定データの各特徴量を取得し、
前記特徴空間上で、前記第２の特徴量との距離が閾値未満である近傍の特徴量を、前記各推定データの特徴量から特定する処理を、前記コンピュータに実行させ、
前記提示する処理は、前記特定のデータとともに、前記近傍の特徴量に該当する前記推定データを提示する、ことを特徴とする請求項１に記載のデータ提示プログラム。

【請求項3】

前記取得する処理は、前記推定モデルを用いて、前記特定のデータを除く前記推定対象データセットの各推定データの各特徴量と、前記推定モデルの機械学習に利用された各訓練データの各特徴量とを取得し、
前記特定する処理は、前記各推定データの特徴量または前記各訓練データの特徴量から、前記近傍の特徴量を特定し、
前記提示する処理は、前記特定のデータとともに、前記近傍の特徴量に該当する前記推定データまたは前記訓練データを提示する、ことを特徴とする請求項２に記載のデータ提示プログラム。

【請求項4】

前記提示する処理は、前記特徴空間として、前記推定対象データセットの入力に応じて自己符号化器が生成する特徴量に関する特徴空間を用いて、前記特定のデータを変化させた前記データを特定して提示する、ことを特徴とする請求項１から３のいずれか一つに記載のデータ提示プログラム。

【請求項5】

複数の訓練データを含む訓練データセットを用いて前記推定モデルの機械学習を実行し、前記訓練データセットを用いて前記自己符号化器の機械学習を実行する処理を前記コンピュータに実行させ、
前記取得する処理は、前記推定対象データセットに含まれる各推定データのうち、前記推定モデルが推定を間違った前記特定のデータを取得し、
前記提示する処理は、前記特徴空間を用いて、前記特定のデータを変化させた前記データを特定して提示する、ことを特徴とする請求項４に記載のデータ提示プログラム。

【請求項6】

前記自己符号化器を用いて前記特定のデータの第１の特徴量を取得し、
前記特徴空間上で、前記損失が変動する方向に、前記第１の特徴量を変化させた第２の特徴量を生成し、
前記自己符号化器を用いて、前記特定のデータを除く前記推定対象データセットの各推定データの各特徴量を取得し、
前記特徴空間上で、前記第２の特徴量との距離が閾値未満である近傍の特徴量を、前記各推定データの特徴量から特定する処理を、前記コンピュータに実行させ、
前記提示する処理は、前記特定のデータとともに、前記近傍の特徴量に該当する前記推定データを提示する、ことを特徴とする請求項５に記載のデータ提示プログラム。

【請求項7】

前記提示する処理は、前記第１の特徴量と前記第２の特徴量とを用いた線形補間により、前記第１の特徴量と前記第２の特徴量と間の第３の特徴量を生成し、前記第３の特徴量を前記自己符号化器に入力して得られる疑似データを生成し、前記疑似データをさらに提示する、ことを特徴とする請求項６に記載のデータ提示プログラム。

【請求項8】

前記機械学習を実行する処理は、
データとラベルとを含む前記複数の訓練データそれぞれについて、前記訓練データの前記データを前記推定モデルに入力して、前記推定モデルから第１の出力結果を取得し、
前記訓練データの前記データを前記自己符号化器に入力して前記自己符号化器から取得された再構成データを前記推定モデルに入力して、前記推定モデルから第２の出力結果を取得し、
前記第１の出力結果と前記第２の出力結果との誤差が小さくなるように、前記自己符号化器の機械学習を実行する、ことを特徴とする請求項５に記載のデータ提示プログラム。

【請求項9】

コンピュータが、
推定モデルを用いた推定対象データセットに対する推定結果に基づき、前記推定対象データセットから、前記推定モデルが推定を間違った特定のデータを取得し、
前記推定対象データセットから得られる特徴量に関する特徴空間において、前記推定モデルの損失が変動する方向と直交する方向に前記特定のデータを変化させたデータを提示する、
処理を実行することを特徴とするデータ提示方法。

【請求項10】

推定モデルを用いた推定対象データセットに対する推定結果に基づき、前記推定対象データセットから、前記推定モデルが推定を間違った特定のデータを取得する取得部と、
前記推定対象データセットから得られる特徴量に関する特徴空間において、前記推定モデルの損失が変動する方向と直交する方向に前記特定のデータを変化させたデータを提示する提示部と、
を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ提示プログラム、データ提示方法および情報処理装置に関する。

【背景技術】

【0002】

深層学習などの機械学習により学習されたモデルは、訓練時と異なる性質のデータが入力されるドメインシフトなどにより判断の間違いが発生し、精度が劣化することがある。近年では、モデルが間違った出力したときに、なぜ間違ったかを分析することが行われている。例えば、モデルが間違えたデータを提示する技術や、発生したドメインシフトを可視化する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－４５０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記技術では、モデルの精度劣化の原因を特定することが難しい。例えば、間違ったデータの提示では、間違った原因を特定できず、ドメインシフトの提示では、精度劣化と関係がある原因まで特定することができない。

【0005】

一つの側面では、モデルの精度劣化の原因を特定することができるデータ提示プログラム、データ提示方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

第１の案では、データ提示プログラムは、コンピュータに、推定モデルを用いた推定対象データセットに対する推定結果に基づき、前記推定対象データセットから特定のデータを取得し、前記推定対象データセットから得られる特徴量に関する特徴空間において、前記推定モデルの損失が変動する方向と直交する方向に前記特定のデータを変化させたデータを提示する処理を実行させる。

【発明の効果】

【0007】

一実施形態によれば、モデルの精度劣化の原因を特定することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施例１にかかる情報処理装置を説明する図である。

【図2】図２は、参考技術の問題点を説明する図である。

【図3】図３は、参考技術の問題点を説明する図である。

【図4】図４は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。

【図5】図５は、実施例１にかかる情報処理装置による分析を説明する図である。

【図6】図６は、実施例１にかかる処理の流れを示すフローチャートである。

【図7】図７は、分析対象のモデルを説明する図である。

【図8】図８は、分析対象のモデルへの適用を説明する図である。

【図9】図９は、特徴空間へのマッピングを説明する図である。

【図10】図１０は、対象データの損失を減少させる方向の計算を説明する図である。

【図11】図１１は、微小変化させた特徴量のマッピングを説明する図である。

【図12】図１２は、対象データの損失を減少させる方向の計算を説明する図である。

【図13】図１３は、対象データの損失を増加させる方向の計算を説明する図である。

【図14】図１４は、他の訓練データおよび適用先データの特徴量の計算を説明する図である。

【図15】図１５は、実データの特徴量の検索を説明する図である。

【図16】図１６は、データ表示を説明する図である。

【図17】図１７は、分析結果と対策を説明する図である。

【図18】図１８は、参考技術との比較を説明する図である。

【図19】図１９は、効果を説明する図である。

【図20】図２０は、オートエンコーダを適用した例を説明する図である。

【図21】図２１は、オートエンコーダを用いた分析を説明する図である。

【図22】図２２は、ハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0009】

以下に、本願の開示するデータ提示プログラム、データ提示方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例1】

【0010】

［情報処理装置の説明］
図１は、実施例１にかかる情報処理装置１０を説明する図である。近年、機械学習により学習されたモデルに対して、判断根拠が知りたいという要望が存在する。モデルが間違える要因の一つには、訓練時と異なる性質のデータが入力されるドメインシフトが知られており、このドメインシフトによりモデルが劣化する。図１に示す情報処理装置１０は、上記要望に応えるために、モデルが間違えたデータに対してその原因を示唆する情報を出力することで、モデルの精度劣化の原因を特定するコンピュータ装置の一例である。

【0011】

まず、モデルの精度劣化の手法として行われている参考技術の問題点について説明する。図２と図３は、参考技術の問題点を説明する図である。参考技術では、モデルが間違えたデータの提示を実行する。図２の（ａ）に示すように、参考技術では、ドメインシフト前の特徴量の分布における正誤判定の決定平面に対して、間違えたデータの特徴量を特定し、その特徴量に対応する入力データ（間違ったデータ）を提示する。また、図２の（ｂ）に示すように、参考技術では、ドメインシフト後の特徴量の分布における正誤判定の決定平面に対して、ドメインシフト後により新たに間違えたデータの特徴量を特定し、その特徴量に対応する入力データ（間違ったデータ）を提示する。

【0012】

このように、間違ったデータだけを提示する参考技術では、間違った原因を特定することができないので、モデルの再学習などの対策を実行することができない。

【0013】

また、図３に示すように、間違った原因がドメインシフトである場合に、発生したドメインシフトを可視化する参考技術も知られている。しかし、ドメインシフトの発生を提示するだけでは、入力データである画像の色の変化に原因があるのか、入力データである画像の傾きに原因があるのかを特定することができず、モデルの再学習などの対策を検討することが難しい。

【0014】

そこで、実施例１にかかる情報処理装置１０は、モデルを用いた推定対象データセットである適用先データに含まれる間違ったデータを取得する。そして、情報処理装置１０は、モデルの特徴空間において、モデルの損失が変動する方向と直交する方向に間違ったデータをシフトさせたデータを、ドメインシフトによるモデル劣化に関連するデータとして提示する。

【0015】

つまり、ドメインシフトには、着目したデータに対する劣化したモデルの損失の勾配と平行な方向と直交する方向が存在すると仮定する。そして、情報処理装置１０は、着目するデータに対して、特徴空間におけるそのデータの特徴量から始めて、そのモデルの損失と直交する方向に曲線を引き、その曲線の近傍に特徴量が存在するデータを曲線が通る順に出力する。

【0016】

図１の例では、情報処理装置１０は、着目するデータｘと、勾配方向の曲線から所定距離内にある近傍データｘ１、ｘ２、ｘ３、ｘ４とをユーザに出力する。このように、情報処理装置１０は、勾配と直交する方向のドメインシフトを可視化して出力することで、モデルの精度劣化の原因を特定する。

【0017】

［機能構成］
図４は、実施例１にかかる情報処理装置１０の機能構成を示す機能ブロック図である。図４に示すように、情報処理装置１０は、通信部１１、表示部１２、記憶部１３、制御部２０を有する。

【0018】

通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１１は、管理者端末から、訓練データ、適用先データ、各種指示などを受信する。また、通信部１１は、管理者端末に、分析結果などを送信する。

【0019】

表示部１２は、各種情報を表示する処理部であり、例えばディスプレイやタッチパネルなどにより実現される。例えば、表示部１２は、分析結果などを表示する。

【0020】

記憶部１３は、各種データや制御部２０が実行するプログラムなどを記憶する処理部であり、例えばメモリやハードディスクなどにより実現される。この記憶部１３は、訓練データベース１４、モデル１５、適用先データベース１６を記憶する。

【0021】

訓練データベース１４は、モデル１５の機械学習訓練に利用される複数の訓練データから構成されるデータ群である。例えば、訓練データベース１４に記憶される訓練データは、「ラベル」と「データ」とが対応付けられた教師データである。データの例としては、人物、動物、乗り物などが写っている画像データであり、画像データに限らず、波形データ、音声データなどを採用することもできる。

【0022】

モデル１５は、訓練データベース１４を用いた機械学習により生成される、ニューラルネットワーク（以下では、ＮＮと記載する場合がある）を用いた推定モデルの一例である。例えば、モデル１５は、画像データが入力された場合に、当該画像データに人物が写っているか否かを推定する。なお、モデル１５は、機械学習により生成されたモデル１５そのものであってもよく、機械学習により生成されたモデル１５のパラメータであってもよい。

【0023】

適用先データベース１６は、機械学習により生成されたモデル１５に適用する適用先データから構成されるデータ群である。具体的には、適用先データベース１６は、モデル１５による分類対象のデータである。

【0024】

制御部２０は、情報処理装置１０全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部２０は、機械学習部２１と分析部２２とを有する。なお、機械学習部２１と分析部２２は、プロセッサが有する電子回路やプロセッサが実行するプロセスなどにより実現される。

【0025】

機械学習部２１は、訓練データベース１４を用いてモデル１５の機械学習を実行する処理部である。例えば、機械学習部２１は、訓練データベース１４の訓練データの「ラベル、データ」のうち、データをモデル１５に入力し、モデル１５の出力を取得する。そして、機械学習部２１は、モデルの出力とラベルとの誤差（例えば二乗誤差）が小さくなるように、モデル１５のＮＮの各種パラメータの最適化を実行する。

【0026】

例えば、機械学習部２１は、訓練データ（データｘ、ラベルｙ）のうちデータｘをモデル１５に入力し、モデル１５から出力データｙ´を取得する。そして、機械学習部２１は、ラベルｙと出力データｙ´との誤差が小さくなるようにモデル１５のＮＮの最適化を実行する。そして、機械学習部２１は、すべての訓練データを用いた機械学習が完了した場合、または、誤差が閾値未満となった場合など、任意のタイミングで機械学習を終了し、モデル１５の生成を完了する。なお、機械学習の手法は、公知の手法を採用することができる。

【0027】

分析部２２は、データ選択部２３、勾配計算部２４、特徴量生成部２５、データ表示部２６を有し、モデル１５の精度劣化の原因を分析する処理部である。図５は、実施例１にかかる情報処理装置１０による分析を説明する図である。図５に示すように、分析部２２は、ドメインシフトには、着目したデータに対する劣化したモデル１５の損失の勾配と平行な方向と直交する方向が存在すると仮定する。つまり、分析部２２は、２段階でドメインシフトが発生すると仮定し、勾配と直交する方向のドメインシフトを可視化して提示する。

【0028】

より詳細には、分析部２２は、着目するデータに対して、特徴空間におけるそのデータの特徴量から始めて、そのモデル１５の損失と直交する方向に曲線を引き、その曲線の近傍に特徴量が存在するデータを曲線が通る順に提示する。

【0029】

データ選択部２３は、着目するデータを選択する処理部である。例えば、データ選択部２３は、機械学習が完了したモデル１５に、訓練データベース１４を適用させて間違った訓練データを着目するデータとして選択する。また、データ選択部２３は、機械学習が完了したモデル１５に、適用先データベース１６を適用させて間違った適用先データを着目するデータとして選択する。そして、データ選択部２３は、選択した着目するデータ（以下では、特定データまたは対象データと記載する場合がある）を勾配計算部２４に出力する。

【0030】

勾配計算部２４は、特定データの特徴量およびモデル１５の損失を計算する処理部である。具体的には、勾配計算部２４は、モデル１５に特定データを入力し、モデル１５のＮＮの任意の層から特定データの特徴量を取得する。そして、勾配計算部２４は、特徴空間において、特定データの損失を減少させる方向（勾配）と特定データの損失を増大させる方向（勾配）とを計算する。

【0031】

例えば、勾配計算部２４は、モデル１５の機械学習に用いる損失関数を微分することにより、勾配を計算する。また、勾配計算部２４は、特定データの特徴量を微小に変化させた複数の特徴量を生成して特徴空間にプロットし、それらの特徴量の変化量を用いて勾配を計算することもできる。そして、勾配計算部２４は、特定データ、特定データの特徴量、各勾配を特徴量生成部２５に出力する。

【0032】

また、勾配計算部２４は、後述する特徴量生成部２５からの要求に応じて、各勾配の計算を計算して、特徴量生成部２５に出力する。つまり、勾配計算部２４は、特徴量生成部２５によって微小変化された特徴量が生成されるたびに、当該特徴量の損失を減少させる方向と損失を増大させる方向とを計算する。

【0033】

特徴量生成部２５は、損失が減少する方向よび損失が増加する方向に、特定データの特徴量を微小変化させた各特徴量を生成する処理部である。具体的には、特徴量生成部２５は、特徴空間上で、特定データの特徴量をプロットし、勾配計算部２４により計算された特定データの損失を増大させる方向に当該特徴量を微小変化させた第１特徴量を生成してプロットする。次に、特徴量生成部２５は、第１特徴量の損失を増大させる方向を勾配計算部２４により生成させ、特徴空間上で、損失を増大させる方向に第１特徴量を微小変化させた第２特徴量を生成してプロットする。このようにして、特徴量生成部２５は、損失を増大させる方向に複数の特徴量を生成する。

【0034】

また、特徴量生成部２５は、勾配計算部２４により計算された損失を減少させる方向についても同様の処理を実行する。なお、変化させる量は、任意に設定することができる。

【0035】

データ表示部２６は、特定データ以外の他の訓練データや適用先データの中から、特徴量生成部２５により生成された各特徴量に近い実データを特定して、ユーザに提示する処理部である。例えば、データ表示部２６は、特定データ以外の他の各訓練データや各適用先データである可視化候補データをモデル１５に入力する。続いて、データ表示部２６は、モデル１５の任意の層から、各可視化候補データに対応する各特徴量を取得し、特徴空間上にマッピングする。

【0036】

そして、データ表示部２６は、特徴空間上で、各可視化候補データの特徴量のうち、特徴量生成部２５により生成された各特徴量との距離が最も近い各最近傍の可視化候補データの特徴量を特定する。そして、データ表示部２６は、各最近傍の可視化候補データの特徴量に対応する訓練データまたは適用先データをユーザに提示する。

【0037】

このようにして、データ表示部２６は、ドメインシフトの傾向を示すデータを選択して、ユーザに提示することができる。

【0038】

［処理の流れ］
図６は、実施例１にかかる処理の流れを示すフローチャートである。図６に示すように、機械学習部２１は、訓練データベース１４を用いて、分析対象のモデル１５の機械学習を実行する（Ｓ１０１）。

【0039】

機械学習が終了すると、分析部２２は、訓練データベース１４および適用先データベース１６から、分析対象のデータである特定データを選択し（Ｓ１０２）、機械学習済みのモデル１５を用いて、当該特定データの特徴量を計算する（Ｓ１０３）。

【0040】

そして、分析部２２は、特徴空間で特定データに対する損失を増加させる向きベクトルを計算し（Ｓ１０４）、特定データの特徴量に向きベクトルを加算して新しい特徴量を生成する（Ｓ１０５）。ここで、分析部２２は、所定数の特徴量がすべて生成されるまで（Ｓ１０６：Ｎｏ）、Ｓ１０４以降を繰り返す。

【0041】

その後、分析部２２は、所定数の特徴量がすべて生成されると（Ｓ１０６：Ｙｅｓ）、特徴空間で特定データに対する損失を減少させる向きベクトルを計算し（Ｓ１０７）、特定データの特徴量に向きベクトルを加算して新しい特徴量をする（Ｓ１０８）。ここで、分析部２２は、所定数の特徴量がすべて生成されるまで（Ｓ１０９：Ｎｏ）、Ｓ１０７以降を繰り返す。

【0042】

その後、分析部２２は、所定数の特徴量がすべて生成されると（Ｓ１０９：Ｙｅｓ）、可視化候補のデータの特徴量を計算する（Ｓ１１０）。そして、分析部２２は、生成された特徴量の近傍にある可視化候補のデータの特徴量を検索し（Ｓ１１１）、近傍の特徴量に対応するデータと分析対象である特定データを表示する（Ｓ１１２）。

【0043】

［具体例］
次に、図７から図１７を用いて、上述した処理の具体例を説明する。図７は、分析対象のモデル１５を説明する図である。図７に示すように、まず、訓練データベース１４を用いて機械学習された分析対象の推定モデル（モデル１５）を準備する。

【0044】

モデル１５は、入力データｘから２つの特徴量（ｚ１，ｚ２）を生成し、２つの特徴量を用いて出力データｙ´を出力するモデルである。このため、ここでは、図７に示すように、２つの特徴量（ｚ１，ｚ２）を用いた２次元の特徴空間を例にして説明し、一例として、特徴空間では、右上にいくほどモデル１５の性能が高くなり、左下ほどモデル１５の性能が低くなるとする。

【0045】

なお、ここでは、機械学習部２１によって、モデル１５の機械学習が完了しているとする。すなわち、モデル１５は、訓練データ（データｘ、ラベルｙ）のうちデータｘが入力されると、データｙ´を出力し、ラベルｙとデータｙ´との誤差が小さくなるようにＮＮの最適化が実行されている。

【0046】

次に、分析部２２は、モデル１５が分類できないことが分かっているデータを選択し、ラベルを付ける。図８は、分析対象のモデル１５への適用を説明する図である。図８に示すように、分析部２２は、適用先データベース１６の適用先データのうちドメインシフトによりモデル１５が新たに間違えた対象データ（特定データ）を選択し、対象データに対して正解ラベルを設定する。

【0047】

続いて、分析部２２は、対象データの特徴量と損失を計算する。図９は、特徴空間へのマッピングを説明する図である。図９に示すように、分析部２２は、選択した対象データをモデル１５に入力し、モデル１５が生成する第１の特徴量の一例である特徴量（ｚ１，ｚ２）を取得する。そして、分析部２２は、特徴空間上に、取得した特徴量に対応する特徴量ｚｔをプロットする。

【0048】

そして、分析部２２は、特徴空間において、対象データの損失を減少させる方向を計算する。図１０は、対象データの損失を減少させる方向の計算を説明する図である。図１０に示すように、分析部２２は、損失関数を微分することにより、損失を減少させる向きのベクトルｖ１を生成し、特徴空間にマッピングする。

【0049】

続いて、分析部２２は、損失を減少させる方向に少し変化させた特徴量を生成し、再度損失を計算する。図１１は、微小変化させた特徴量のマッピングを説明する図である。図１１に示すように、分析部２２は、ベクトルｖ１の向きに、特徴量ｚｔを微小変化させた第２の特徴量の一例である特徴量ｚｔ１を生成してマッピングする。

【0050】

その後、分析部２２は、図８から図１１を一定数繰り返す。図１２は、対象データの損失を減少させる方向の計算を説明する図である。図１２に示すように、分析部２２は、損失関数を微分することにより、損失を減少させる向きのベクトルｖ２を生成し、ベクトルｖ２の向きに、特徴量ｚｔ１を微小変化させた特徴量ｚｔ２を生成してマッピングする。

【0051】

また、分析部２２は、損失を増加させる方向についても、図８から図１１と同様の処理を実行する。図１３は、対象データの損失を増加させる方向の計算を説明する図である。例えば、図１３に示すように、分析部２２は、損失関数を微分することにより、特徴量ｚｔから損失を増加させる向きのベクトルｖ３を生成し、ベクトルｖ３の向きに、特徴量ｚｔを微小変化させた特徴量ｚｔ３を生成してマッピングする。

【0052】

その後、分析部２２は、微小に変化させた特徴量の生成が完了すると、特徴量ｚｔに対応する対象データ以外の他の適用先データまたは訓練データの特徴量を計算する。図１４は、他の訓練データおよび適用先データの特徴量の計算を説明する図である。図１４に示すように、分析部２２は、対象データ以外の各訓練データおよび各適用先データをモデル１５に入力し、モデル１５が生成する各特徴量を取得し、特徴空間上に、取得した各特徴量に対応する特徴量ｚｓをプロットする。

【0053】

そして、分析部２２は、対象データに基づき生成した各特徴量に最も近い実データの特徴量を検索する。図１５は、実データの特徴量の検索を説明する図である。図１５に示すように、分析部２２は、特徴量ｚｔ、ｚｔ１、ｚｔ２、ｚｔ３のうち、元々存在するデータの特徴量ｚｔ以外の作り出した特徴量ｚｔ１、ｚｔ２、ｚｔ３を特定する。そして、分析部２２は、最近傍の特徴量として、特徴量ｚｔ１の最も近くに位置する特徴量ｚｓ１、特徴量ｚｔ２の最も近くに位置する特徴量ｚｓ２、特徴量ｚｔ３の最も近くに位置する特徴量ｚｓ３を特定する。

【0054】

その後、分析部２２は、対象データと最近傍の特徴量に対応する各データを表示する。図１６は、データ表示を説明する図である。図１６に示すように、分析部２２は、特徴量ｚｔに対応する対象データについては、適用先データベース１６から取得する。また、分析部２２は、最近傍の特徴量ｚｓ１、ｚｓ２、ｚｓ３それぞれに対応するデータを、訓練データベース１４や適用先データベース１６から取得する。そして、分析部２２は、対象データおよび最近傍の特徴量に対応する各データを表示部１２に出力する。

【0055】

この結果、分析部２２は、ユーザが性能劣化を分析するための情報を出力することができる。図１７は、分析結果と対策を説明する図である。図１７に示すように、分析部２２は、データである文字の傾きによって性能が劣化していることを可視化することができる。この場合、ユーザは、訓練データベース１４について傾き方向のデータ拡張を行ってモデル１５の再学習を実行することができる。

【0056】

［効果］
上述したように、情報処理装置１０は、ドメインシフトなどにより、モデル１５が間違えたデータに対して、その原因を示唆する情報を特定して、ユーザに提示することができる。図１８は、参考技術との比較を説明する図である。図１９は、効果を説明する図である。

【0057】

例えば、図１８の（ａ）に示すように、参考技術では、モデル１５が間違った、問題のあるデータの画像Ａのみを表示する。この手法では、画像Ａの何に問題の原因を特定することができない。また、図１８の（ｂ）に示すように、参考技術では、問題のないデータの画像Ａと問題のあるデータの画像Ａとを表示して、発生したドメインシフトを表示する。この手法では、色の変化と太さの変化が存在しているように見えるが、どちらが性能劣化に影響しているかを特定することができない。

【0058】

これらに対して、図１９に示すように、情報処理装置１０は、問題のあるデータの画像Ａとともに、当該問題のあるデータから損失が増大する方向および損失が減少する方向それぞれについて微小に変化させた各データを抽出して表示することができる。この結果、性能劣化の原因として、太さの変化が本質的であることを特定することができる。

【実施例2】

【0059】

ところで、上記実施例１では、ＮＮを用いたモデル１５を例にして説明したが、モデル１５には様々な機械学習モデルを用いることができる。そこで、実施例２では、オートエンコーダと分析対象のモデル１５とを組み合わせた例を説明する。

【0060】

図２０は、オートエンコーダを適用した例を説明する図である。図２０に示すように、オートエンコーダの特徴空間におけるLOSS方向の曲線を得るための手段として、分析対象モデルの前段にオートエンコーダを挿入する。つまり、特徴空間として、データ全体に対して学習されたオートエンコーダの出力をモデル１５の入力とした場合のオートエンコーダの潜在空間を使用する。

【0061】

このような構成において、機械学習部２１は、訓練データベース１４を用いて、オートエンコーダの機械学習と分析対象のモデル１５の機械学習とを実行する。具体的には、機械学習部２１は、オートエンコーダの機械学習が完了した後、分析対象のモデル１５の機械学習を実行することもでき、オートエンコーダと分析対象のモデル１５とを並行して機械学習を実行することもできる。

【0062】

例えば、機械学習部２１は、ラベルｙが付与された入力データｘをエンコーダに入力して特徴量ｚを取得し、特徴量ｚをデコーダに入力して再構成データｘ´を生成する。そして、機械学習部２１は、入力データｘと再構成データｘ´との誤差が小さくなるように、オートエンコーダの機械学習を実行する。同様に、機械学習部２１は、分析対象のモデル１５のＮＮに、ラベルｙが付与された入力データｘを入力して出力結果ｙ´を取得する。そして、機械学習部２１は、ラベルｙと出力結果ｙ´との誤差が小さくなるように、分析対象のモデル１５の機械学習を実行する。

【0063】

別例としては、機械学習部２１は、オートエンコーダの学習時に入力データと再構成データの間の分析対象のモデル１５の振る舞いの変化を小さくする制約を加えても良い。

【0064】

例えば、機械学習部２１は、分析対象のモデル１５のＮＮに、ラベルｙが付与された入力データｘを入力して出力結果ｙ´を取得する。

【0065】

また、機械学習部２１は、ラベルｙが付与された入力データｘをエンコーダに入力して特徴量ｚを取得し、特徴量ｚをデコーダに入力して再構成データｘ´を生成する。その後、機械学習部２１は、オートエンコーダの再構成データｘ´を分析対象のモデル１５のＮＮに入力して出力結果ｙ´´を取得する。

【0066】

このとき、機械学習部２１は、入力データｘと再構成データｘ´との誤差が小さくなるとともに、入力データｘに基づいて得られた出力結果ｙ´と入力データｘの再構成データｘ´に基づいて得られた出力結果ｙ´´との誤差が小さくなるように、オートエンコーダの機械学習を実行することもできる。

【0067】

次に、機械学習済みのオートエンコーダを用いた分析について説明する。図２１は、オートエンコーダを用いた分析を説明する図である。図２１に示すように、分析部２２は、モデル１５が間違った訓練データまたは適用先データを選択し、オートエンコーダのエンコーダに入力して特徴量ｚａ（ｚ１，ｚ２）を取得する。

【0068】

そして、分析部２２は、実施例１と同様の手法により、損失が減少する方向に特徴量ｚａを微小変化させた特徴量を生成するとともに、損失が増加する方向に特徴量ｚａを微小変化させた特徴量を生成して、勾配の方向を特定する。その後、分析部２２は、生成した各特徴量について、最も近い距離に位置する最近傍の実データの特徴量ｚ１、ｚ２、ｚ３、ｚ４を特定する。この結果、分析部２２は、特徴量ｚａ、ｚ１、ｚ２、ｚ３、ｚ４のそれぞれに対応する実データ（訓練データまたは適用先データ）を、勾配方向の順番でユーザに提示する。

【0069】

ここで、分析部２２は、使用したオートエンコーダ等で生成されたデータを、さらにユーザに提示することもできる。例えば、分析部２２は、特徴空間上で、特徴量ｚａ、ｚ１、ｚ２、ｚ３、ｚ４を線形補間した直線上に位置する４つの特徴量（図２１では白丸）を取得する。続いて、分析部２２は、これら４つの特徴量それぞれをオートエンコーダのデコーダに入力し、それぞれに対応する再構成データ（疑似データ）を生成する。そして、分析部２２は、上記特徴量に対応する実データと各再構成データとを、線形補間した直線上に位置する順で、ユーザに提示する。

【0070】

このように、オートエンコーダが、特徴空間内である程度均一に分散していてデータが連続しており、所望の特徴量を持つ疑似データを生成することができる機能を利用して、情報処理装置１０は、提示するデータの特徴が類似したものになりやすく、分析しやすいデータをユーザに提示することができる。また、情報処理装置１０は、データを補間できるためデータが存在しない空間も滑らかにつなげて提示することができる。なお、オートエンコーダは、自己符号化器の一例であり、他にもＶＡＥ（Variational Autoencoder）やＢｉｄｉｒｅｃｔｉｏｎａ ＧＡＮ（Generative Adversarial Networks）などの生成モデルを採用することもできる。

【実施例3】

【0071】

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

【0072】

［データや数値等］
上記実施例で用いたデータ例、数値例、閾値、表示例、モデル１５のＮＮ層の数、特徴空間の次元数等は、あくまで一例であり、任意に変更することができる。また、モデル１５として、訓練データとして画像データを用いた画像分類以外にも、音声や時系列データの分析などにも用いることができる。

【0073】

また、勾配方向に生成した特徴量の最近傍データに限らず、当該特徴量から所定距離の範囲内にあるデータを可視化することもできる。また、分析には、訓練データと適用先データの両方を用いる場合に限らず、いずれか一方のみを用いることもできる。

【0074】

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。なお、データ選択部２３は、取得部の一例であり、勾配計算部２４と特徴量生成部２５とデータ表示部２６は、提示部の一例である。

【0075】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0076】

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0077】

［ハードウェア］
図２２は、ハードウェア構成例を説明する図である。図２２に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図４に示した各部は、バス等で相互に接続される。

【0078】

通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図４に示した機能を動作させるプログラムやＤＢを記憶する。

【0079】

プロセッサ１０ｄは、図４に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図４等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、機械学習部２１、分析部２２等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、機械学習部２１、分析部２２等と同様の処理を実行するプロセスを実行する。

【0080】

このように、情報処理装置１０は、プログラムを読み出して実行することで分析方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

【0081】

このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

【符号の説明】

【0082】

１０ 情報処理装置
１１ 通信部
１２ 表示部
１３ 記憶部
１４ 訓練データベース
１５ モデル
１６ 適用先データベース
２０ 制御部
２１ 機械学習部
２２ 分析部
２３ データ選択部
２４ 勾配計算部
２５ 特徴量生成部
２６ データ表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】