特許 7715025 分析システム、分析方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-07-22

(45)【発行日】2025-07-30

(54)【発明の名称】分析システム、分析方法、及びプログラム

(51)【国際特許分類】

   G06Q 10/04 20230101AFI20250723BHJP

   G06N 20/00 20190101ALI20250723BHJP

【ＦＩ】

G06Q10/04

G06N20/00 130

【請求項の数】 6

(21)【出願番号】P 2021199028

(22)【出願日】2021-12-08

(65)【公開番号】P2023084761

(43)【公開日】2023-06-20

【審査請求日】2024-03-20

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】荒木 佑季

【審査官】松田 岳士

(56)【参考文献】

【文献】特開２０２１－０１８４６６（ＪＰ，Ａ）

【文献】特許第６８９９４７５（ＪＰ，Ｂ１）

【文献】特開２０１６－０９１３０６（ＪＰ，Ａ）

【文献】特開２０１８－１７３８１３（ＪＰ，Ａ）

【文献】特開２０１９－０１６２０９（ＪＰ，Ａ）

【文献】特開２０１９－０５７０７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ －９９／００

Ｇ０６Ｆ １８／００ －１８／４０

Ｇ０６Ｎ ３／００ －９９／００

Ｇ０５Ｂ １９／４１８

(57)【特許請求の範囲】

【請求項1】

機械学習されたモデルにより予測される事象の要因を分析するための分析システムであって、
ブラックボックス型機械学習モデルによる前記事象の予測結果と、前記予測結果の尤度と、前記予測結果を得るために前記ブラックボックス型機械学習モデルに入力されたデータである入力データ又は前記予測結果を得るために前記ブラックボックス型機械学習モデルに入力された入力データに関連付けられたデータである関連データのいずれかである条件データと、前記予測結果に対応する正解データとを取得する予測関連情報取得部と、
前記予測結果と前記正解データとの比較結果と前記尤度とに基づいて、取得された前記条件データの集合から、要因分析に用いる前記条件データを抽出するデータ抽出部と、
抽出された前記条件データを用いて、ホワイトボックス型機械学習モデルを生成するホワイトボックスモデル生成部と、
前記ホワイトボックス型機械学習モデルのモデル構造を可視化して出力する可視化部と
を有する分析システム。

【請求項2】

前記モデル構造の可視化後にユーザからの指示を受付け、当該指示に基づいて、ブラックボックス型機械学習モデルの学習に用いるデータの条件を決定するデータ決定部をさらに有し、
前記予測関連情報取得部は、決定された条件を満たすデータを用いて学習された新たなブラックボックス型機械学習モデルによる前記事象の予測結果と、前記条件データと、新たに取得された前記予測結果に対応する正解データとを取得し、
前記データ抽出部は、新たに取得された前記予測結果と前記正解データの比較結果に基づいて、取得された前記条件データの集合から、要因分析に用いる前記条件データを抽出し、
前記ホワイトボックスモデル生成部は、抽出された前記条件データを用いて、新たなホワイトボックス型機械学習モデルを生成し、
前記可視化部は、新たな前記ホワイトボックス型機械学習モデルのモデル構造を可視化して出力する
請求項１に記載の分析システム。

【請求項3】

前記データ抽出部は、前記モデル構造の可視化後にユーザからの指示を受付け、当該指示に基づいて、要因分析に用いる前記条件データを抽出し、
前記ホワイトボックスモデル生成部は、新たに抽出された前記条件データを用いて、新たなホワイトボックス型機械学習モデルを生成し、
前記可視化部は、新たな前記ホワイトボックス型機械学習モデルのモデル構造を可視化して出力する
請求項１又は２に記載の分析システム。

【請求項4】

前記条件データは製品の製造条件を示すデータであり、
前記事象は前記製品の品質である
請求項１乃至３のいずれか一項に記載の分析システム。

【請求項5】

機械学習されたモデルにより予測される事象の要因を分析するための分析方法であって、
コンピュータが、ブラックボックス型機械学習モデルによる前記事象の予測結果と、前記予測結果の尤度と、前記予測結果を得るために前記ブラックボックス型機械学習モデルに入力されたデータである入力データ又は前記予測結果を得るために前記ブラックボックス型機械学習モデルに入力された入力データに関連付けられたデータである関連データのいずれかである条件データと、前記予測結果に対応する正解データとを取得し、
前記コンピュータが、前記予測結果と前記正解データとの比較結果と前記尤度とに基づいて、取得された前記条件データの集合から、要因分析に用いる前記条件データを抽出し、
前記コンピュータが、抽出された前記条件データを用いて、ホワイトボックス型機械学習モデルを生成し、
前記コンピュータが、前記ホワイトボックス型機械学習モデルのモデル構造を可視化して出力する
分析方法。

【請求項6】

機械学習されたモデルにより予測される事象の要因を分析するためのプログラムであって、
ブラックボックス型機械学習モデルによる前記事象の予測結果と、前記予測結果の尤度と、前記予測結果を得るために前記ブラックボックス型機械学習モデルに入力されたデータである入力データ又は前記予測結果を得るために前記ブラックボックス型機械学習モデルに入力された入力データに関連付けられたデータである関連データのいずれかである条件データと、前記予測結果に対応する正解データとを取得する予測関連情報取得ステップと、
前記予測結果と前記正解データとの比較結果と前記尤度とに基づいて、取得された前記条件データの集合から、要因分析に用いる前記条件データを抽出するデータ抽出ステップと、
抽出された前記条件データを用いて、ホワイトボックス型機械学習モデルを生成するホワイトボックスモデル生成ステップと、
前記ホワイトボックス型機械学習モデルのモデル構造を可視化して出力する可視化ステップと
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は分析システム、分析方法、及びプログラムに関する。

【背景技術】

【0002】

近年、機械学習モデルを用いて、事象を予測することが一般的になっている。このような予測では、高精度な予測が可能なディープラーニングなどのブラックボックス型機械学習モデルが用いられる。ブラックボックス型機械学習モデルは、モデルの構成がブラックボックス化されており、モデルの予測処理の過程を人が考察することが難しい。これに対し、モデルの構成がブラックボックス化されていないホワイトボックス型機械学習モデルは、モデルの予測処理の過程を人が考察しやすい。

【0003】

特許文献１は、ブラックボックス型機械学習モデルとホワイトボックス型機械学習モデルとを組み合わせた技術について開示している。この文献では、ブラックボックス型機械学習モデルによる予測値の精度が変化した場合に、ホワイトボックス型機械学習モデルを用いて、ブラックボックス型機械学習モデルによる予測値の精度が変化した要因を分析する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６８９９４７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載された技術では、ブラックボックス型機械学習モデルの精度を向上するための対策を検討することが可能である。しかしながら、この技術では、ブラックボックス型機械学習モデルで予測される事象自体に影響する要因、すなわち予測対象そのものに影響する要因を分析できない。このため、この技術では、事象自体を改善するための対策を検討することが難しい。以下、事象自体に影響する要因（予測対象そのものに影響する要因）を事象の要因と称すこととする。

【0006】

本開示は、上記した事情を背景としてなされたものであり、事象の要因の分析を行い易い情報を提供することができる分析システム、分析方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するための本開示の一態様は、機械学習されたモデルにより予測される事象の要因を分析するための分析システムであって、ブラックボックス型機械学習モデルによる前記事象の予測結果と、前記予測結果を得るために前記ブラックボックス型機械学習モデルに入力されたデータである入力データ又は前記予測結果を得るために前記ブラックボックス型機械学習モデルに入力された入力データに関連付けられたデータである関連データのいずれかである条件データと、前記予測結果に対応する正解データとを取得する予測関連情報取得部と、前記予測結果と前記正解データの比較結果に基づいて、取得された前記条件データの集合から、要因分析に用いる前記条件データを抽出するデータ抽出部と、抽出された前記条件データを用いて、ホワイトボックス型機械学習モデルを生成するホワイトボックスモデル生成部と、前記ホワイトボックス型機械学習モデルのモデル構造を可視化して出力する可視化部とを有する分析システムである。

この分析システムによれば、予測結果及び正解データの比較結果を用いて条件データが抽出されるため、予測精度が所定の基準を満たしたデータ群だけを抽出することができる。このため、予測精度に影響を与える要因を除外してホワイトボックス型機械学習モデルを生成し、可視化することができる。よって、この分析システムによれば、事象の要因の分析を行い易い情報を提供することができる。

【0008】

上記の一態様において、前記予測関連情報取得部は、さらに前記予測結果の尤度を取得し、前記データ抽出部は、前記予測結果と前記正解データとの比較結果と前記尤度とに基づいて、前記条件データを抽出してもよい。
このような分析システムによれば、予測結果及び正解データの比較結果に加え、さらに尤度を用いて条件データが抽出されるため、尤度も考慮された予測精度が所定の基準を満たしたデータ群だけを抽出することができる。このため、予測精度に影響を与える要因をより適切に除外してホワイトボックス型機械学習モデルを生成することが期待できる。

【0009】

上記の一態様において、前記モデル構造の可視化後にユーザからの指示を受付け、当該指示に基づいて、ブラックボックス型機械学習モデルの学習に用いるデータの条件を決定するデータ決定部をさらに有し、前記予測関連情報取得部は、決定された条件を満たすデータを用いて学習された新たなブラックボックス型機械学習モデルによる前記事象の予測結果と、前記条件データと、新たに取得された前記予測結果に対応する正解データとを取得し、前記データ抽出部は、新たに取得された前記予測結果と前記正解データの比較結果に基づいて、取得された前記条件データの集合から、要因分析に用いる前記条件データを抽出し、前記ホワイトボックスモデル生成部は、抽出された前記条件データを用いて、新たなホワイトボックス型機械学習モデルを生成し、前記可視化部は、新たな前記ホワイトボックス型機械学習モデルのモデル構造を可視化して出力してもよい。
このような分析システムによれば、新たな観点で整理されたデータ群を用いて、新たなホワイトボックス型機械学習モデルを生成し、そのモデル構造を可視化できる。このため、ユーザが所望するモデル構造が得られなかった場合でも、新たなモデル構造を得ることができるため、ユーザの利便性が向上する。

【0010】

上記の一態様において、前記データ抽出部は、前記モデル構造の可視化後にユーザからの指示を受付け、当該指示に基づいて、要因分析に用いる前記条件データを抽出し、前記ホワイトボックスモデル生成部は、新たに抽出された前記条件データを用いて、新たなホワイトボックス型機械学習モデルを生成し、前記可視化部は、新たな前記ホワイトボックス型機械学習モデルのモデル構造を可視化して出力してもよい。
このような分析システムによれば、新たな観点で整理されたデータ群を用いて、新たなホワイトボックス型機械学習モデルを生成し、そのモデル構造を可視化できる。このため、ユーザが所望するモデル構造が得られなかった場合でも、新たなモデル構造を得ることができるため、ユーザの利便性が向上する。

【0011】

上記の一態様において、前記条件データは製品の製造条件を示すデータであり、前記事象は前記製品の品質であってもよい。
このような分析システムによれば、製品の品質に影響を与える製造条件についての分析を補助することができる。このため、製品の品質の向上に寄与することができる。

【0012】

上記目的を達成するための本開示の他の一態様は、機械学習されたモデルにより予測される事象の要因を分析するための分析方法であって、ブラックボックス型機械学習モデルによる前記事象の予測結果と、前記予測結果を得るために前記ブラックボックス型機械学習モデルに入力されたデータである入力データ又は前記予測結果を得るために前記ブラックボックス型機械学習モデルに入力された入力データに関連付けられたデータである関連データのいずれかである条件データと、前記予測結果に対応する正解データとを取得し、前記予測結果と前記正解データの比較結果に基づいて、取得された前記条件データの集合から、要因分析に用いる前記条件データを抽出し、抽出された前記条件データを用いて、ホワイトボックス型機械学習モデルを生成し、前記ホワイトボックス型機械学習モデルのモデル構造を可視化して出力する分析方法である。
この分析方法によれば、予測結果及び正解データの比較結果を用いて条件データが抽出されるため、予測精度が所定の基準を満たしたデータ群だけを抽出することができる。このため、予測精度に影響を与える要因を除外してホワイトボックス型機械学習モデルを生成し、可視化することができる。よって、この分析方法によれば、事象の要因の分析を行い易い情報を提供することができる。

【0013】

上記目的を達成するための本開示の他の一態様は、機械学習されたモデルにより予測される事象の要因を分析するためのプログラムであって、ブラックボックス型機械学習モデルによる前記事象の予測結果と、前記予測結果を得るために前記ブラックボックス型機械学習モデルに入力されたデータである入力データ又は前記予測結果を得るために前記ブラックボックス型機械学習モデルに入力された入力データに関連付けられたデータである関連データのいずれかである条件データと、前記予測結果に対応する正解データとを取得する予測関連情報取得ステップと、前記予測結果と前記正解データの比較結果に基づいて、取得された前記条件データの集合から、要因分析に用いる前記条件データを抽出するデータ抽出ステップと、抽出された前記条件データを用いて、ホワイトボックス型機械学習モデルを生成するホワイトボックスモデル生成ステップと、前記ホワイトボックス型機械学習モデルのモデル構造を可視化して出力する可視化ステップとをコンピュータに実行させるプログラムである。
このプログラムによれば、予測結果及び正解データの比較結果を用いて条件データが抽出されるため、予測精度が所定の基準を満たしたデータ群だけを抽出することができる。このため、予測精度に影響を与える要因を除外してホワイトボックス型機械学習モデルを生成し、可視化することができる。よって、このプログラムによれば、事象の要因の分析を行い易い情報を提供することができる。

【発明の効果】

【0014】

本開示によれば、事象の要因の分析を行い易い情報を提供することができる分析システム、分析方法、及びプログラムを提供することができる。

【図面の簡単な説明】

【0015】

【図1】実施の形態にかかる分析システムの構成の一例を示すブロック図である。

【図2】実施の形態にかかる分析システムのハードウェア構成の一例を示すブロック図である。

【図3】実施の形態にかかる分析システムの処理の流れの一例を示すフローチャートである。

【図4】可視化部によって可視化されたモデル構造の例を示す模式図である。

【図5】可視化部によって可視化されたモデル構造の例を示す模式図である。

【発明を実施するための形態】

【0016】

以下、図面を参照して、機械学習されたモデルにより予測される事象の要因を分析するための技術について説明する。なお、以下で説明する実施の形態では、理解を容易にするために、一つの具体例として、鋳造製品（すなわち、鋳造工程を経て製造される製品）の品質に影響を与える要因を分析するための技術について説明する。すなわち、以下の説明では、機械学習されたモデルにより予測される事象は、鋳造製品の品質であり、実施の形態にかかる分析システムは、鋳造製品の品質に影響を与える要因の分析を可能にする。なお、後述するように、本開示にかかる分析システムは、塗装製品（塗装工程を経て製造される製品）などの他の工程を経て製造される製品についての分析に用いられてもよい。また、本開示にかかる分析システムは、機械学習されたモデルにより予測される事象の要因の分析に用いられればよく、必ずしも、本開示にかかる分析システムが扱う事象は製品に関する事象でなくてもよい。

【0017】

図１は、本実施の形態にかかる分析システム１０の構成の一例を示すブロック図である。図１に示すように、分析システム１０は、データ収集部１００、データベース１０１、ブラックボックスモデル生成部１０２、予測実行部１０３、予測関連情報取得部１０４、データ抽出部１０５、ホワイトボックスモデル生成部１０６、可視化部１０７、及びデータ決定部１０８を有する。なお、図１に示した構成要素の全てが１つの装置に実装されてもよいが、これらの構成要素が複数の装置に分散して実装されてもよい。例えば、ブラックボックスモデル生成部１０２及び予測実行部１０３が他の構成要素を実装する装置とは別の装置において実装されてもよい。

【0018】

データ収集部１００は、分析システム１０で行われる処理に用いられるデータを収集する。データ収集部１００は、他の装置から送信されたデータを受信することによりデータを収集してもよいし、他の装置に記憶されたデータを読み出すことによりデータを収集してもよいし、ユーザが分析システム１０に入力したデータを取得することによりデータを収集してもよい。データ収集部１００は、本実施の形態では、製品の製造条件を示すデータ（以下、製造条件データと称す）を収集する。具体的には、例えば、データ収集部１００は、鋳造の条件を示すデータである、金型の温度、冷却水量、ピストン速度などのデータを収集する。これらのデータは、センサなどを用いて測定された測定値であってもよいし、製造装置の設定値であってもよい。また、データ収集部１００は、製品の個体毎に、製品データを収集する。本実施の形態では、製品データとして、データ収集部１００は、具体的には製品の画像を収集する。より具体的には、この画像は、鋳造の不良の有無をブラックボックス型機械学習モデルにより判定するための画像であり、例えば製品の表面の画像である。例えば、データ収集部１００は、撮像機器が製品を撮影した画像を取得する。また、データ収集部１００は、さらに、製品データとして、検査作業者による品質の検査結果を示すデータ（以下、検査結果データと称す）を個体毎に取得する。検査作業者は、例えば目視により製品の品質を検査する。検査結果データは、例えば、鋳造の不良が発生しているか否かを示すデータ、すなわち、製品が良品であるか不良品であるかを示すデータある。検査結果データは、ブラックボックス型機械学習モデルの学習のために利用される正解データに相当する。データ収集部１００は、例えば、検査作業者がタブレットなどの端末装置を使って入力した検査結果データを取得する。

【0019】

データ収集部１００は、収集したデータをデータベース１０１に記憶する。なお、データ収集部１００は、同一の製品（サンプル）についてのデータを関連付けてデータベース１０１に記憶する。すなわち、データ収集部１００は、ある製品を製造するための製造条件データと、この製品の製品データ（画像及び検査結果データ）とを関連付けて、データベース１０１に記憶する。データ収集部１００は、多数のサンプルについてデータを収集し、データベース１０１に記憶する。これにより、データベース１０１には、多数のサンプルについてのデータが蓄積される。

【0020】

ブラックボックスモデル生成部１０２は、データ収集部１００が収集したデータを用いてブラックボックス型機械学習モデルを生成する。ここで、ブラックボックス型機械学習モデルとは、モデルの構成がブラックボックス化された機械学習モデルをいい、例えば、ディープラーニングなどのニューラルネットワークが該当するが、これに限られない。

【0021】

本実施の形態では、ブラックボックスモデル生成部１０２は、製品の画像と製品の検査結果データをデータベース１０１から取得し、これらを学習データとして用いてブラックボックス型機械学習モデルを生成する。生成されたブラックボックス型機械学習モデルは、製品の画像を入力として受付け、当該製品が良品であるか不良品であるかを示す情報を予測結果として出力する。なお、このモデルは、予測結果に加えて、予測結果の尤度を出力してもよい。すなわち、製品が良品であるか不良品であるかを示す情報だけでなく、製品が良品である確率又は製品が不良品である確率を出力してもよい。

【0022】

予測実行部１０３は、データ収集部１００が収集したデータとブラックボックスモデル生成部１０２が生成したブラックボックス型機械学習モデルとを用いて予測処理を実行し、事象を予測する。なお、予測実行部１０３は、正解データ（検査結果データ）が得られているサンプルについてのデータ（本実施の形態では、製品の画像）をブラックボックス型機械学習モデルに入力して予測処理を行う。このため、予測実行部１０３による予測処理により得られる事象の予測結果は、正解データ（検査結果データ）と比較することにより、正しいか否かの判定が可能である。予測実行部１０３は、ブラックボックス型機械学習モデルが出力した予測結果を、予測のために入力されたデータ（本実施の形態では、製品の画像）と関連付けてデータベース１０１に記憶する。このため、本実施の形態では、予測実行部１０３による予測処理が行われたサンプルについては、製品データ（すなわち、画像及び検査結果データ）と、製品の製造条件データと、予測結果とが関連付けて記憶される。なお、予測実行部１０３は、多数のサンプルについて予測処理を行う。

【0023】

予測関連情報取得部１０４は、ブラックボックスモデル生成部１０２が生成したブラックボックス型機械学習モデルによる事象の予測結果と、この予測結果に対応する条件データと、この予測結果に対応する正解データを取得する。ここで、条件データとは、事象の前提条件を示すデータであり、製造条件データがこれに該当する。なお、本実施の形態では、製造条件データは、画像に関連付けられたデータであるため、条件データを、次のように言うこともできる。すなわち、本実施の形態では、条件データは、予測結果を得るためにブラックボックス型機械学習モデルに入力された入力データ（すなわち、画像）に関連付けられたデータであり、関連データとも称される。また、予測関連情報取得部１０４は、さらに予測結果の尤度を取得してもよい。予測関連情報取得部１０４は、予測結果、予測結果の尤度、条件データ、及び正解データをデータベース１０１から読み出すことにより取得する。予測関連情報取得部１０４は、多数のサンプルについてこれらの情報を取得する。

【0024】

データ抽出部１０５は、予測結果と正解データの比較結果に基づいて、予測関連情報取得部１０４により取得された条件データ（製造条件データ）の集合から、要因分析に用いる条件データ（製造条件データ）を抽出する。具体的には、例えば、データ抽出部１０５は、予測関連情報取得部１０４により取得された条件データ（製造条件データ）の集合から、正しい予測結果が得られた製品（サンプル）についての条件データだけを抽出する。換言すると、データ抽出部１０５は、取得された条件データの集合から、誤った予測結果が得られた製品（サンプル）についての条件データを除外する。例えば、ブラックボックス型機械学習モデルを用いた予測において不良品であると予測された製品に対し検査作業者も不良品であると判定している場合、この製品についての条件データはデータ抽出部１０５によって抽出されることとなる。同様に、ブラックボックス型機械学習モデルを用いた予測において良品であると予測された製品に対し検査作業者も良品であると判定している場合、この製品についての条件データはデータ抽出部１０５によって抽出されることとなる。つまり、データ抽出部１０５は、ブラックボックス型機械学習モデルを用いた予測結果が実際の検査結果と一致している製品の製造条件データを抽出する。

【0025】

予測関連情報取得部１０４が予測結果の尤度も取得している場合には、データ抽出部１０５は、予測結果と正解データとの比較結果と、尤度とに基づいて、要因分析に用いる条件データ（製造条件データ）を抽出してもよい。具体的には、例えば、データ抽出部１０５は、予測関連情報取得部１０４により取得された条件データ（製造条件データ）の集合から、正しい予測結果が所定の閾値以上の尤度とともに得られた製品（サンプル）についての条件データだけを抽出する。換言すると、データ抽出部１０５は、正しい予測結果が得られた製品（サンプル）についての条件データであっても、この予測結果の尤度が閾値未満である場合、この製品（サンプル）についての条件データを抽出しない。例えば、閾値が８０％である場合、ブラックボックス型機械学習モデルを用いた予測において、８５％の確率で不良品であると予測された製品に対し検査作業者も不良品であると判定している場合、この製品についての条件データはデータ抽出部１０５によって抽出されることとなる。これに対し、ブラックボックス型機械学習モデルを用いた予測において、５１％の確率で不良品であると予測された製品に対し検査作業者も不良品であると判定していても、この製品についての条件データはデータ抽出部１０５によって抽出されない。

【0026】

ホワイトボックスモデル生成部１０６は、データ抽出部１０５によって抽出された条件データを用いて、要因分析のためのホワイトボックス型機械学習モデルを生成する。ここで、ホワイトボックス型機械学習モデルとは、モデルの構成がブラックボックス化されていない機械学習モデルをいい、例えば、分類木などの決定木が該当するが、これに限られない。具体的には、例えば、ホワイトボックスモデル生成部１０６は、抽出された条件データと、当該条件データに対応する正解データとを用いて決定木を生成する。本実施の形態では、より詳細には、ホワイトボックスモデル生成部１０６は、条件データ（製造条件データ）を説明変数として用い、正解データ（検査結果データ）を目的変数として用いることにより、分類木を生成する。これにより、製品が良品であるか不良品であるかを製造条件から予測する分類木が生成される。

【0027】

可視化部１０７は、ホワイトボックスモデル生成部１０６により生成されたホワイトボックス型機械学習モデルのモデル構造を可視化して出力する。本実施の形態では、可視化部１０７は、決定木（分類木）の木構造を可視化して出力する。例えば、可視化部１０７は、ディスプレイなどの出力装置に出力する。すなわち、可視化部１０７は、ホワイトボックス型機械学習モデルのモデル構造を可視化してディスプレイに表示する。

【0028】

データ決定部１０８は、ブラックボックス型機械学習モデルの再学習のためのデータの条件を決定する。具体的には、データ抽出部１０５は、可視化部１０７によるモデル構造の可視化後にユーザからの指示を受付け、当該指示に基づいて、ブラックボックス型機械学習モデルの学習に用いるデータの条件を決定する。ユーザは、可視化されたホワイトボックス型機械学習モデルのモデル構造が所望するモデル構造ではなかった場合、新たなホワイトボックス型機械学習モデルのモデル構造を得るために、ブラックボックス型機械学習モデルの再学習のためのデータの条件を分析システム１０に対して指示する。例えば、ユーザは、可視化されたホワイトボックス型機械学習モデルのモデル構造から事象の要因を特定することが難しい場合、又は、更なる要因を特定したい場合などに、ブラックボックス型機械学習モデルの再学習のためのデータの条件を指示する。データ決定部１０８は、ユーザから指示された条件に合ったデータを、ブラックボックス型機械学習モデルの再学習用のデータとして、データベース１０１から抽出する。

【0029】

ブラックボックス型機械学習モデルの再学習のためのデータの条件が決定すると、ブラックボックスモデル生成部１０２は、条件を満たすデータだけを用いて、新たなブラックボックス型機械学習モデルを生成する。以降、分析システム１０の各構成要素によって、上述した処理が繰り返される。すなわち、予測実行部１０３は、決定された条件を満たすデータを用いて学習された新たなブラックボックス型機械学習モデルを用いて予測処理を実行する。そして、予測関連情報取得部１０４は、新たなブラックボックス型機械学習モデルによる事象の予測結果と、新たに取得された予測結果に対応する条件データと、新たに取得された予測結果に対応する正解データとを取得する。なお、この場合も、予測関連情報取得部１０４は、さらに予測結果の尤度を取得してもよい。データ抽出部１０５は、新たに取得された予測結果と正解データの比較結果に基づいて、取得された条件データの集合から、要因分析に用いる条件データを抽出する。ホワイトボックスモデル生成部１０６は、抽出された条件データを用いて、新たなホワイトボックス型機械学習モデルを生成する。可視化部１０７は、新たなホワイトボックス型機械学習モデルのモデル構造を可視化して出力する。

【0030】

次に、分析システム１０のハードウェア構成について説明する。図２は、分析システム１０のハードウェア構成の一例を示すブロック図である。図２に示すように、分析システム１０は、入出力インタフェース１５０、ネットワークインタフェース１５１、メモリ１５２、及びプロセッサ１５３を含む。

【0031】

入出力インタフェース１５０は、分析システム１０と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１５０には、マウス及びキーボードなどの入力装置、並びに、ディスプレイなどの出力装置が接続される。

【0032】

ネットワークインタフェース１５１は、必要に応じて他の任意の装置と通信するために使用される。ネットワークインタフェース１５１は、例えば、ネットワークインタフェースカード（ＮＩＣ）を含んでもよい。

【0033】

メモリ１５２は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１５２は、プロセッサ１５３により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）、及び分析システム１０の各種処理に用いるデータなどを格納するために使用される。例えば、上述したデータベース１０１は、メモリ１５２などの記憶装置により実現されてもよい。

【0034】

プロセッサ１５３は、メモリ１５２からソフトウェア（コンピュータプログラム）を読み出して実行することで、図１に示した各構成要素の処理を行う。プロセッサ１５３は、例えば、マイクロプロセッサ、ＭＰＵ(Micro Processor Unit)、又はＣＰＵ(Central Processing Unit)などであってもよい。プロセッサ１５３は、複数のプロセッサを含んでもよい。
このように、分析システム１０は、コンピュータとしての機能を備えている。

【0035】

プログラムは、コンピュータに読み込まれた場合に、実施形態で説明される１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0036】

次に、分析システム１０の処理の流れについて説明する。図３は、分析システム１０の処理の流れの一例を示すフローチャートである。以下、図３に沿って、処理の流れについて説明する。

【0037】

ステップＳ１００において、データ収集部１００が、製造条件データ（条件データ）、製品の画像、検査結果データ（正解データ）などの分析システム１０の処理に用いられるデータを収集して、データベース１０１に記憶する。

【0038】

次に、ステップＳ１０１において、ブラックボックスモデル生成部１０２が、製品の画像と製品の検査結果データを学習データとして用いてブラックボックス型機械学習モデルを生成する。

【0039】

次に、ステップＳ１０２において、予測実行部１０３が、正解データが得られている製品の画像をステップＳ１０１で生成したブラックボックス型機械学習モデルに入力して予測処理を行う。

【0040】

次に、ステップＳ１０３において、予測関連情報取得部１０４が、ステップＳ１０２で得られた予測結果と、この予測結果に対応する条件データと、この予測結果に対応する正解データを取得する。なお、上述した通り、さらに予測結果の尤度が取得されてもよい。

【0041】

次に、ステップＳ１０４において、データ抽出部１０５が、予測結果と正解データの比較結果に基づいて、条件データ（製造条件データ）の集合から、要因分析に用いる条件データ（製造条件データ）を抽出する。すなわち、本ステップにおいて、データ抽出部１０５は、ホワイトボックス型機械学習モデルの生成に用いる条件データを抽出する。なお、本ステップにおいて、上述した通り、予測結果の尤度も用いて、条件データが抽出されてもよい。

【0042】

次に、ステップＳ１０５において、ホワイトボックスモデル生成部１０６が、ステップＳ１０４で抽出された条件データと、当該条件データに対応する正解データとを用いて分類木を生成する。

【0043】

次に、ステップＳ１０６において、可視化部１０７が、ステップＳ１０５で生成されたホワイトボックス型機械学習モデルのモデル構造を可視化して出力する。図４及び図５は、可視化部１０７によって可視化されたモデル構造の例を示す模式図である。図４及び図５に示したいずれの例においても、ステップＳ１０４においてデータ抽出部１０５は１５３００個のサンプル（製品）について製造条件データを抽出している。図４及び図５に示した例では、各製造条件データは、金型の温度のデータと冷却水量のデータからなる２次元データである。なお、図４及び図５では、理解を容易にするため、製造条件データは２次元データであるが、次元数は２に限られない。また、図４及び図５に示したいずれの例においても、１５３００個のサンプルのうち、１５０００個のサンプルについては良品を示す正解データが製造条件データと関連付けられており、３００個のサンプルについては不良品を示す正解データが製造条件データと関連付けられている。

【0044】

生成されたホワイトボックス型機械学習モデルのモデル構造が図４に示されるモデル構造である場合、例えば、金型の温度を５０以上にして製品を製造することにより、不良品の発生をなくすことができることを、ユーザはモデル構造から理解することができる。また、例えば、ユーザは、金型の温度が５０未満であっても冷却水量を５０以下にして製品を製造することにより、不良品の発生を少なくすることができることを、モデル構造から理解することができる。このように、ユーザは、可視化部１０７の出力を確認することにより、製品の品質に影響を与える要因を分析することができる。このような分析を行ったユーザは、不良品の発生を抑制できるよう、製品の製造条件を変更する。図４に示した例では、例えば、ユーザは、金型の温度を５０以上にして製品が製造されるように、対策を実施する。なお、設備の運用上の理由など、何らかの理由によりそのような対策の実施が難しい場合には、ユーザは、冷却水量を５０以下にして製品が製造されるように、対策を実施してもよい。

【0045】

生成されたホワイトボックス型機械学習モデルのモデル構造が図５に示されるモデル構造である場合、例えば、金型の温度を５０以上にして製品を製造することにより、不良品の発生をなくすことができることを、ユーザはモデル構造から理解することができる。しかし、図５にした例では、金型の温度が５０未満である製造条件で製造された３００の不良品のサンプルについて、冷却温度に基づいて、不良品の数に十分な偏りが生じるように分類できていない。具体的には、金型の温度が５０未満である製造条件で製造された不良品の３００のサンプルのうち、冷却水量が５０以下である製造条件で製造されたものは１３０であり、冷却水量が５０より多い製造条件で製造されたものは１７０である。このため、金型の温度が５０未満である製造条件で製造された不良品について要因分析を行うことが難しい。そこで、ステップＳ１０６で可視化されたモデル構造からは十分な要因分析ができないと判断したユーザは、分析システム１０に対して、別のホワイトボックス型機械学習モデルのモデル構造を出力するよう指示する。このとき、ユーザは、分析システム１０に対して、データの条件を指示する。例えば、図５に示されるモデル構造を確認したユーザは、冷却水量が５０以下である製造条件で製造された製品（サンプル）のデータだけを用いてモデルを生成するよう指示してもよいし、冷却水量が５０より多い製造条件で製造された製品（サンプル）のデータだけを用いてモデルを生成するよう指示してもよい。もちろん、ユーザは、葉ノードを分類する分岐ノードよりも、深さが浅い分岐ノードに対応する製造条件で特定されるデータを指示してもよい。例えば、図５に示される例では、ユーザは、データの条件として、金型の温度を指定してもよいし、金型の温度及び冷却水量を指定してもよい。また、もちろん、ユーザは、可視化されたモデル構造からは十分な要因分析ができないと判断した場合に限らず、対策の実施が難しい場合などの任意の場合に、分析システム１０に対して別のホワイトボックス型機械学習モデルのモデル構造を出力するよう指示してもよい。

【0046】

分析システム１０は、ユーザから別のホワイトボックス型機械学習モデルのモデル構造を出力するよう指示を受けた場合（ステップＳ１０７でＹｅｓ）、処理はステップＳ１０８へ移行する。これに対し、そのような指示を受けなかった場合（ステップＳ１０７でＮｏ）、処理は終了する。

【0047】

ステップＳ１０８において、データ決定部１０８は、ユーザから受付けた指示にしたがってブラックボックス型機械学習モデルの再学習のためのデータの条件を決定し、条件に合致するデータをデータベース１０１から抽出する。ステップＳ１０８の後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が繰り返されることとなる。

【0048】

次に、分析システム１０の効果について述べる。一般的に、ブラックボックス型機械学習モデルの予測精度が高いサンプル（製品）と低いサンプル（製品）では事象の前提条件（製造条件）に異なる特性があることが予想される。第一の特性を有するサンプル群にとって、第二の特性を有するサンプル群はノイズとなり得る。このため、このような特性の異なるサンプルをまとめて用いてホワイトボックス型機械学習モデルを生成すると、モデル構造の複雑化を招きやすい。例えば、鋳造製品の場合、欠陥の一種である鋳巣が目立つ製品について、製品画像をブラックボックス型機械学習モデルに入力すると、高精度で不良と判断できるのに対し、目立たない製品については予測精度が落ちる傾向がある。製品に発生した鋳巣が目立つかどうかには、その製品の製造条件が影響していると考えられる。このため、全てのサンプルを対象に、製造条件を説明変数とした分類木を生成すると、複雑なモデルが生成され、事象に影響する要因を理解するのが難しくなる恐れがある。

【0049】

これに対し、分析システム１０によれば、予測結果及び正解データの比較結果を用いて条件データが抽出されるため、予測精度が所定の基準を満たしたデータ群だけを抽出することができる。つまり、異なる特性を有するサンプルが混じったサンプル群ではなく、同じような特性を有するサンプルが混じったサンプル群だけを用いて、ホワイトボックス型機械学習モデルを生成することが期待できる。すなわち、分析システム１０によれば、予測精度に影響を与える要因を除外してホワイトボックス型機械学習モデルを生成することができる。このため、モデル構造が複雑化することを抑制することができる。そして、分析システム１０によれば、そのようなモデルを可視化することができる。よって、分析システム１０によれば、事象の要因の分析を行い易い情報を提供することができる。

【0050】

また、上述した通り、予測結果及び正解データの比較結果に加え、さらに尤度を用いて条件データが抽出されてもよい。この場合、尤度も考慮された予測精度が所定の基準を満たしたデータ群だけを抽出することができる。このため、予測精度に影響を与える要因をより適切に除外してホワイトボックス型機械学習モデルを生成することが期待できる。

【0051】

また、ステップＳ１０８及びそれに続く処理により、モデルの生成に用いるデータを指定した上で新たにブラックボックス型機械学習モデルが生成される。そして、このモデルを用いた予測に基づいて抽出されたデータを使って、新たにホワイトボックス型機械学習モデルが生成される。このため、分析システム１０によれば、新たな観点で整理されたデータ群を用いて、新たなホワイトボックス型機械学習モデルを生成し、そのモデル構造を可視化できる。このため、ユーザが所望するモデル構造が得られなかった場合でも、新たなモデル構造を得ることができるため、ユーザの利便性が向上する。なお、上述したフローチャートでは、ステップＳ１０８の後、ブラックボックス型機械学習モデルとホワイトボックス型機械学習モデルの両方が新たに生成されたが、ホワイトボックス型機械学習モデルの新たな生成だけが行われてもよい。この場合、データ抽出部１０５は、モデル構造の可視化後にユーザからの指示を受付け、当該指示に基づいて、要因分析に用いる条件データ、すなわち新たなホワイトボックス型機械学習モデルの生成に用いる条件データを抽出し、ホワイトボックスモデル生成部１０６は、新たに抽出された条件データを用いて、新たなホワイトボックス型機械学習モデルを生成してもよい。例えば、この場合、データ抽出部１０５は、ステップＳ１０４で抽出されたデータのうち、ユーザから指示された条件に合致するデータだけをさらに抽出する。

【0052】

また、上述した通り、条件データは、製品の製造条件を示すデータであってもよく、事象は製品の品質であってもよい。このような条件データ及び事象を用いることにより、製品の品質に影響を与える製造条件についての分析を補助することができる。このため、製品の品質の向上に寄与することができる。

【0053】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記実施の形態では、製品の画像を入力として受付け、製品が良品であるか不良品であるかを示す情報を出力するブラックボックス型機械学習モデルが生成されたが、他のモデルが生成されてもよい。例えば、塗装工程を経て製造される製品の塗装膜厚などのように、数値を予測するブラックボックス型機械学習モデルが生成されてもよい。この場合、データ収集部１００は、製品の個体毎に、製造条件データに加え、製品データとして、製品における所定の測定項目における測定データ（例えば膜厚の測定値）を取得する。なお、所定の測定項目における数値によって、製品の品質が定まってもよい。そして、ブラックボックスモデル生成部１０２は、データ収集部１００が収集した製造条件データ及び測定データを学習データとして用いてブラックボックス型機械学習モデルを生成する。この場合、具体的には、ブラックボックスモデル生成部１０２は、製品の製造条件データを入力として受付け、当該製品における所定の測定項目における数値（例えば、塗装膜厚）を予測結果として出力するブラックボックス型機械学習モデルを生成する。したがって、モデルにより予測される事象は、所定の測定項目における数値である。なお、この場合、条件データを、次のように言うこともできる。すなわち、条件データは、予測結果を得るためにブラックボックス型機械学習モデルに入力されたデータであり、入力データとも称される。また、ホワイトボックスモデル生成部１０６は、ホワイトボックス型機械学習モデルとして、上述したような分類木に代えて、回帰木を生成してもよい。例えば、ホワイトボックスモデル生成部１０６は、製造条件データを説明変数として用い、正解データ（所定の測定項目における数値）を目的変数として用いることにより、回帰木を生成してもよい。

【符号の説明】

【0054】

１０ 分析システム
１００ データ収集部
１０１ データベース
１０２ ブラックボックスモデル生成部
１０３ 予測実行部
１０４ 予測関連情報取得部
１０５ データ抽出部
１０６ ホワイトボックスモデル生成部
１０７ 可視化部
１０８ データ決定部
１５０ 入出力インタフェース
１５１ ネットワークインタフェース
１５２ メモリ
１５３ プロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】