知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024111484
(43)【公開日】2024-08-19
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G05B 19/418 20060101AFI20240809BHJP
G06Q 50/04 20120101ALI20240809BHJP
G06N 20/00 20190101ALI20240809BHJP
【ＦＩ】
G05B19/418 Z
G06Q50/04
G06N20/00 130
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023016018
(22)【出願日】2023-02-06
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】木村 克行
【テーマコード（参考）】
3C100
5L049
5L050
【Ｆターム（参考）】
3C100AA29
3C100AA38
3C100AA57
3C100BB05
3C100BB12
3C100BB13
3C100BB17
3C100BB19
3C100BB27
3C100CC02
3C100CC03
5L049CC03
5L050CC03
(57)【要約】
【課題】製造ラインに適用される学習済モデルの再学習すべきタイミングを把握できる情報処理装置を提供する。
【解決手段】情報処理装置は、教師データセットの状態データが取得されたときの製造ラインに関わる１以上の要素の属性を示す第１属性データに基づいて、学習期間における１以上の要素の属性の偏りを評価する第１評価部を備える。１以上の要素は、５Ｍ１Ｅのうちの少なくとも１つを含む。情報処理装置は、さらに、対象期間における互いに異なる複数のタイミングの各々における１以上の要素の属性を示す第２属性データに基づいて、対象期間における１以上の要素の属性の偏りを評価する第２評価部と、評価結果を出力する出力部とを備える。
【選択図】図１
【解決手段】情報処理装置は、教師データセットの状態データが取得されたときの製造ラインに関わる１以上の要素の属性を示す第１属性データに基づいて、学習期間における１以上の要素の属性の偏りを評価する第１評価部を備える。１以上の要素は、５Ｍ１Ｅのうちの少なくとも１つを含む。情報処理装置は、さらに、対象期間における互いに異なる複数のタイミングの各々における１以上の要素の属性を示す第２属性データに基づいて、対象期間における１以上の要素の属性の偏りを評価する第２評価部と、評価結果を出力する出力部とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
製造ラインの状態を示す状態データの入力を受けて、目的変数の予測値を出力する学習済モデルを評価する情報処理装置であって、
前記学習済モデルは、学習期間における前記状態データを含む複数の教師データセットを用いて生成され、前記情報処理装置は、
前記複数の教師データセットの各々の前記状態データが取得されたときの前記製造ラインに関わる１以上の要素の属性を示す第１属性データに基づいて、前記学習期間における前記１以上の要素の属性の偏りを評価する第１評価部を備え、前記１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含み、前記情報処理装置は、さらに、
前記学習期間より後の対象期間における互いに異なる複数のタイミングの各々における前記１以上の要素の属性を示す第２属性データに基づいて、前記対象期間における前記１以上の要素の属性の偏りを評価する第２評価部と、
前記第１評価部による第１評価結果と前記第２評価部による第２評価結果とを出力する出力部とを備える、情報処理装置。
前記学習済モデルは、学習期間における前記状態データを含む複数の教師データセットを用いて生成され、前記情報処理装置は、
前記複数の教師データセットの各々の前記状態データが取得されたときの前記製造ラインに関わる１以上の要素の属性を示す第１属性データに基づいて、前記学習期間における前記１以上の要素の属性の偏りを評価する第１評価部を備え、前記１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含み、前記情報処理装置は、さらに、
前記学習期間より後の対象期間における互いに異なる複数のタイミングの各々における前記１以上の要素の属性を示す第２属性データに基づいて、前記対象期間における前記１以上の要素の属性の偏りを評価する第２評価部と、
前記第１評価部による第１評価結果と前記第２評価部による第２評価結果とを出力する出力部とを備える、情報処理装置。
【請求項2】
前記第１評価結果は、前記学習期間における前記１以上の要素の属性ごとの第１公平性指標を含み、
前記第２評価結果は、前記対象期間における前記１以上の要素の属性ごとの第２公平性指標を含む、請求項１に記載の情報処理装置。
前記第２評価結果は、前記対象期間における前記１以上の要素の属性ごとの第２公平性指標を含む、請求項１に記載の情報処理装置。
【請求項3】
前記出力部は、前記第１評価結果及び前記第２評価結果を含む画面を示す画面データを出力し、
前記画面において、前記第１公平性指標との差が基準を超える前記第２公平性指標に対応する属性が強調表示される、請求項２に記載の情報処理装置。
前記画面において、前記第１公平性指標との差が基準を超える前記第２公平性指標に対応する属性が強調表示される、請求項２に記載の情報処理装置。
【請求項4】
前記画面は、前記学習期間及び前記対象期間における、前記予測値または前記予測値を決定するために前記学習済モデルによって計算されるスコアの経時変化を示すグラフを含み、
前記グラフにおいて、前記複数の教師データセットが取得された学習期間と、前記対象期間とが区別可能に表示される、請求項３に記載の情報処理装置。
前記グラフにおいて、前記複数の教師データセットが取得された学習期間と、前記対象期間とが区別可能に表示される、請求項３に記載の情報処理装置。
【請求項5】
前記画面は、前記学習期間及び前記対象期間における、前記予測値または前記予測値を決定するために前記学習済モデルによって計算されるスコアの経時変化を示すグラフを含み、
前記対象期間は、前記グラフから指定される、請求項３に記載の情報処理装置。
前記対象期間は、前記グラフから指定される、請求項３に記載の情報処理装置。
【請求項6】
前記画面は、前記学習期間及び前記対象期間における、前記１以上の要素の前記属性の経時変化を示すグラフを含む、請求項３に記載の情報処理装置。
【請求項7】
前記第１公平性指標との差が基準を超える前記第２公平性指標に対応する属性を示す前記第２属性データと同じタイミングの前記状態データを含む追加の教師データセットを用いた再学習を行なうことにより、前記学習済モデルを更新するモデル生成部をさらに備える、請求項２に記載の情報処理装置。
【請求項8】
製造ラインの状態を示す状態データの入力を受けて、目的変数の予測値を出力する学習済モデルを評価する情報処理方法であって、
前記学習済モデルは、学習期間における前記状態データを含む複数の教師データセットを用いて生成され、前記情報処理方法は、
前記複数の教師データセットの各々の前記状態データが取得されたときの前記製造ラインに関わる１以上の要素の属性を示す第１属性データに基づいて、前記学習期間における前記１以上の要素の属性の偏りを評価することを備え、前記１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含み、前記情報処理方法は、さらに、
前記学習期間より後の対象期間における互いに異なる複数のタイミングの各々における前記１以上の要素の属性を示す第２属性データに基づいて、前記対象期間における前記１以上の要素の属性の偏りを評価することと、
前記学習期間に対する第１評価結果と前記対象期間に対する第２評価結果とを出力することとを備える、情報処理方法。
前記学習済モデルは、学習期間における前記状態データを含む複数の教師データセットを用いて生成され、前記情報処理方法は、
前記複数の教師データセットの各々の前記状態データが取得されたときの前記製造ラインに関わる１以上の要素の属性を示す第１属性データに基づいて、前記学習期間における前記１以上の要素の属性の偏りを評価することを備え、前記１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含み、前記情報処理方法は、さらに、
前記学習期間より後の対象期間における互いに異なる複数のタイミングの各々における前記１以上の要素の属性を示す第２属性データに基づいて、前記対象期間における前記１以上の要素の属性の偏りを評価することと、
前記学習期間に対する第１評価結果と前記対象期間に対する第２評価結果とを出力することとを備える、情報処理方法。
【請求項9】
請求項８に記載の情報処理方法をコンピュータに実行させる、情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
近年、様々な用途に、機械学習によって生成された学習済モデルが適用されている。学習済モデルの生成のために使用された教師データとは異なる状況下で取得されたデータが学習済モデルに入力された場合、学習済モデルの予測精度が低下し得る。これは、実際の状況下で取得されるデータと比較して教師データに偏りがあるために、学習済モデルの結果にも偏りが反映されるというバイアス問題に起因する。
【0003】
特開２０２１－１７９９７４号公報（特許文献１）には、このようなバイアスを緩和する技術が開示されている。当該技術は、タスク特有の質問に対応するユーザ応答に基づいて、バイアスのセットとバイアスを緩和するための妥当なアクションのセットとを表示する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－１７９９７４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
製造ラインにおいても、例えば品質判定及び工場ＫＰＩ（Key Performance Indicators）などの予測のために学習済モデルが活用されている。製造ラインの状況は、時間とともに変化し得る。そのため、製造ラインの状況の変化に従って、学習期間に取得された教師データを用いて生成された学習済モデルの予測精度が低下し得る。
【0006】
学習済モデルの予測精度の低下を抑制する手法として、追加の教師データを用いた再学習が知られている。そのため、適切なタイミングで学習済モデルを再学習することが望まれる。しかしながら、特許文献１に開示の技術は、製造ラインへの適用を考慮していない。そのため、ユーザは、製造ラインに適用される学習済モデルの再学習すべきタイミングがわからない。
【0007】
本開示は、上記の問題に鑑みてなされたものであり、その目的は、製造ラインに適用される学習済モデルの再学習すべきタイミングを把握できる情報処理装置、情報処理方法及び情報処理プログラムを提供することである。
【課題を解決するための手段】
【0008】
本開示の一例によれば、情報処理装置は、製造ラインの状態を示す状態データの入力を受けて、目的変数の予測値を出力する学習済モデルを評価する。学習済モデルは、学習期間における状態データを含む複数の教師データセットを用いて生成される。情報処理装置は、複数の教師データセットの各々の状態データが取得されたときの製造ラインに関わる１以上の要素の属性を示す第１属性データに基づいて、学習期間における１以上の要素の属性の偏りを評価する第１評価部を備える。１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含む。情報処理装置は、さらに、第２評価部と、出力部とを備える。第２評価部は、学習期間より後の対象期間における互いに異なる複数のタイミングの各々における１以上の要素の属性を示す第２属性データに基づいて、対象期間における１以上の要素の属性の偏りを評価する。出力部は、第１評価部による第１評価結果と第２評価部による第２評価結果とを出力する。
【0009】
この開示によれば、学習期間及び対象期間の各々において、製造ラインに関わる人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含む１以上の要素の属性の偏りが評価される。そのため、ユーザは、第１評価結果と第２評価結果とを比較することにより、学習期間と対象期間との間の１以上の要素の属性の偏りの変化を確認できる。当該偏りの変化が見られる場合、対象期間において、学習期間に取得された教師データセットを用いて生成された学習済モデルの予測精度が低下していることが予想される。従って、ユーザは、学習済モデルを再学習すべきタイミングを適切に把握できる。
【0010】
上述の開示において、第１評価結果は、学習期間における１以上の要素の属性ごとの第１公平性指標を含む。第２評価結果は、対象期間における１以上の要素の属性ごとの第２公平性指標を含む。
【0011】
この開示によれば、第１，第２公平性指標に基づいて、学習期間及び対象期間における１以上の要素の属性の偏りを容易に把握できる。
【0012】
上述の開示において、出力部は、第１評価結果及び第２評価結果を含む画面を示す画面データを出力する。画面において、第１公平性指標との差が基準を超える第２公平性指標に対応する属性が強調表示される。
【0013】
この開示によれば、ユーザは、強調表示された属性のときの製造ラインの状態を示す状態データを入力したときの学習済モデルの予測精度が低下し得ることを認識できる。そのため、ユーザは、学習済モデルの再学習のための追加の教師データセットとして、強調表示された属性のときの状態データを含むデータセットを選択できる。
【0014】
上述の開示において、画面は、学習期間及び対象期間における、予測値または予測値を決定するために学習済モデルによって計算されるスコアの経時変化を示すグラフを含む。グラフにおいて、複数の教師データセットが取得された学習期間と対象期間とが区別可能に表示される。
【0015】
この開示によれば、ユーザは、学習期間及び対象期間における予測値またはスコアの経時変化を容易に比較でき、学習済モデルの予測精度の低下を早期に気付くことができる。
【0016】
上述の開示において、画面は、学習期間及び対象期間における、予測値または予測値を決定するために学習済モデルによって計算されるスコアの経時変化を示すグラフを含む。対象期間は、グラフから指定される。
【0017】
この開示によれば、ユーザは、予測値またはスコアの経時変化に異常が見られる期間を対象期間として指定することができる。
【0018】
上述の開示において、画面は、学習期間及び対象期間における、１以上の要素の属性の経時変化を示すグラフを含む。
【0019】
この開示によれば、ユーザは、学習期間と対象期間との属性の偏りを把握しやすくなる。
【0020】
上述の開示において、情報処理装置は、第１公平性指標との差が基準を超える第２公平性指標に対応する属性を示す第２属性データと同じタイミングの状態データを含む追加の教師データセットを用いた再学習を行なうことにより、学習済モデルを更新するモデル生成部をさらに備える。この開示によれば、学習済モデルの予測精度の低下が自動的に抑制される。
【0021】
本開示の別の例によれば、情報処理方法は、製造ラインの状態を示す状態データの入力を受けて、目的変数の予測値を出力する学習済モデルを評価する。学習済モデルは、学習期間における状態データを含む複数の教師データセットを用いて生成される。情報処理方法は、複数の教師データセットの各々の状態データが取得されたときの製造ラインに関わる１以上の要素の属性を示す第１属性データに基づいて、学習期間における１以上の要素の属性の偏りを評価することを備える。１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含む。情報処理方法は、さらに、学習期間より後の対象期間における互いに異なる複数のタイミングの各々における１以上の要素の属性を示す第２属性データに基づいて、対象期間における１以上の要素の属性の偏りを評価することと、学習期間に対する第１評価結果と対象期間に対する第２評価結果とを出力することとを備える。
【0022】
本開示のさらに別の例によれば、プログラムは、上記の情報処理方法をコンピュータに実行させる。
【0023】
これらの開示によっても、製造ラインに適用される学習済モデルの再学習すべきタイミングを把握できる。
【発明の効果】
【0024】
本開示によれば、製造ラインに適用される学習済モデルの再学習すべきタイミングを把握できる。
【図面の簡単な説明】
【0025】
【図1】実施の形態に係る情報処理装置の一形態である解析装置を含む生産システムの一例を模式的に例示する図である。
【図2】実施の形態に係る解析装置のハードウェア構成の一例を模式的に例示する図である。
【図3】実施の形態に係るＰＬＣのハードウェア構成の一例を模式的に例示する図である。
【図4】実施の形態に従うＭＥＳサーバのハードウェア構成の一例を模式的に例示する図である。
【図5】データセットの一例を示す図である。
【図6】データセットの別の例を示す図である。
【図7】モデル評価部によって評価される公平性指標の一例を示す図である。
【図8】モデル評価部によって評価される公平性指標の別の例を示す図である。
【図9】モデル評価部によって評価される公平性指標のさらに別の例を示す図である。
【図10】実施の形態に係る解析装置の処理の流れの一例を示す図である。
【図11】評価結果を含む画面の一例を示す図である。
【図12】変形例３に係る生産システムの構成を模式的に示す図である。
【図13】解析装置１Ｃから出力される画面の一例を示す図である。
【発明を実施するための形態】
【0026】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【0027】
§１ 適用例
図１は、実施の形態に係る情報処理装置の一形態である解析装置を含む生産システムの一例を模式的に例示する図である。図１に示すように、実施の形態に係る生産システム１００は、解析装置１と、ＰＬＣ（Programmable Logic Controller）２と、製造ライン３と、ＭＥＳ（Manufacturing Execution System）サーバ４と、を備える。
図１は、実施の形態に係る情報処理装置の一形態である解析装置を含む生産システムの一例を模式的に例示する図である。図１に示すように、実施の形態に係る生産システム１００は、解析装置１と、ＰＬＣ（Programmable Logic Controller）２と、製造ライン３と、ＭＥＳ（Manufacturing Execution System）サーバ４と、を備える。
【0028】
製造ライン３は、何らかの物を製造可能であればよく、複数の機器３１で構成されてもよいし、包装機等の１つの機器３１で構成されてもよい。機器３１は、製造工程の何らかの処理を実施可能であればよい。機器３１は、例えば、サーボモータ、コンベア、ロボットアーム、シリンダ（成形機等）、吸着パッド、カッター装置、シール装置等の製造装置又はその製造装置の一部で構成されてよい。機器３１は、例えば、印刷機、実装機、リフロー炉、基板検査装置等の複合装置であってもよい。機器３１は、上記のような何らかの物理的な動作を伴う装置の他に、例えば、各種センサにより何らかの情報を検知する装置、各種センサからデータを取得する装置、取得したデータから何らかの情報を検知する装置、取得したデータを情報処理する装置等の内部処理を行なう装置を含んでもよい。具体例として、コンベアを流れる対象物に付与されたマークを検知する光学センサを備える製造ラインにおいて、当該光学センサ及び光学センサにより検知した情報を利用する装置が各機器３１として取り扱われてよい。
【0029】
ＰＬＣ２は、予め作成された制御プログラム２２２に従って、製造ライン３の動作を制御するための制御演算を実行する。
【0030】
ＰＬＣ２は、製造ライン３の動作を制御するために、予め定められた制御周期毎に入出力データ（以下、「ＩＯデータ２２４」と称する）を取得（収集）するデータ収集部２１２を備える。ＩＯデータ２２４は、各機器３１からＰＬＣ２へ転送されるデータと、制御演算によって算出される各種のデータとを含む。例えば、ＩＯデータ２２４は、各機器３１の状態（例えば、トルク、速度、加速度、温度、電流、電圧、空圧、圧力、流量、位置、寸法など）を示すデータ、及び、製造された製品の品質を示すデータなどを含む。各機器３１の状態を示すデータには、当該機器３１への指令値を示すデータも含まれる。
【0031】
ＭＥＳサーバ４は、予め作成された生産計画に従って、ＰＬＣ２に対する製造指示の出力、ＰＬＣ２から出力されたＩＯデータ２２４の管理、作業者への指示及び支援などを行なう。
【0032】
さらに、ＭＥＳサーバ４は、一定周期（例えばＰＬＣ２の制御周期）ごとの、製造ライン３に関わる１以上の要素の属性を示す属性データ４２４を管理する。属性データ４２４は、対応する周期における製造ライン３の５Ｍ１Ｅ（Man（人），Machine（機械），Method（方法），Material（材料），Management（管理），Environment（環境））の少なくとも１つの属性を示す。例えば、属性データ４２４は、製造ライン３の作業者、製造ライン３において稼働している設備、製造ライン３の製造条件、製造ライン３に投入されている材料のロット、製造ライン３のレイアウト、製造ライン３の周囲の温度などの属性を示す。さらに、属性データは、製造ライン３において生産されている製品の属性（品種）を示してもよい。
【0033】
解析装置１は、製造ライン３の状態を示す状態データの入力を受けて、目的変数の予測値を出力する学習済モデル１１０を評価する。目的変数は、例えば製品の品質及び工場ＫＰＩなどである。工場ＫＰＩとして、例えば、生産レート（＝生産量／生産時間）、平均故障時間（Mean Time To Failure（ＭＴＴＦ））（＝総稼働時間／故障数）などが挙げられる。なお、目的変数の値は、数値であってもよいし、文字列であってもよい。
【0034】
学習済モデル１１０は、一定周期（例えばＰＬＣ２の制御周期）ごとに状態データの入力を受け、目的変数の予測値を出力する。具体的には、学習済モデル１１０は、状態データの入力を受けると、目的変数の予測値を決定するためのスコアを計算する。学習済モデル１１０は、スコアに応じた予測値を出力する。学習済モデル１１０から出力された目的変数の予測値は、例えば、ＰＬＣ２の制御演算に使用され得る。
【0035】
図１に示すように、解析装置１は、データ取得部１１２と、モデル生成部１１４と、モデル評価部１１６と、出力部１１８と、データベース１２０とを備える。
【0036】
データ取得部１１２は、ＩＯデータ２２４及び属性データ４２４を時系列に基づいて互いに対応付けることにより複数のデータセットを取得し、取得したデータセットをデータベース１２０に格納する。データ取得部１１２は、第１取得部１１２Ａと第２取得部１１２Ｂとを含む。
【0037】
第１取得部１１２Ａは、学習期間における複数のデータセット１２０Ａを取得する。学習期間は、例えば、ユーザによって指定される。
【0038】
第２取得部１１２Ｂは、学習期間より後の運用期間における複数のデータセット１２０Ｂを取得する。なお、第２取得部１１２Ｂは、運用期間中の一部の対象期間における複数のデータセット１２０Ｂのみを取得してもよい。対象期間は、運用期間の中から自動的にまたはユーザ指定によって選択される。例えば、直近の所定長さ（例えば１時間）の期間が対象期間として自動的に選択される。
【0039】
データセット１２０Ａは、学習期間における、製造ライン３の状態を示す状態データ１２２Ａと、目標変数の実測値を示す正解データ１２３Ａと、属性データ１２４Ａとを含む。データセット１２０Ｂは、運用期間における、製造ライン３の状態を示す状態データ１２２Ｂと、目標変数の実測値を示す正解データ１２３Ｂと、属性データ１２４Ｂとを含む。状態データ１２２Ａ及び正解データ１２３Ａは、学習済モデル１１０の生成のための教師データセット１２５Ａを構成する。状態データ１２２Ｂ及び正解データ１２３Ｂは、学習済モデル１１０の再学習のための教師データセット１２５Ｂを構成し得る。
【0040】
第１取得部１１２Ａは、学習期間における互いに異なる複数のタイミング（例えば制御周期ごとのタイミング）の各々について、当該タイミングにおいて収集（取得）されたＩＯデータ２２４の少なくとも一部を状態データ１２２Ａとして含むデータセット１２０Ａを生成する。さらに、第１取得部１１２Ａは、状態データ１２２Ａとして設定されたＩＯデータ２２４が取得（収集）されたときの製造ライン３の属性データ４２４を取得し、当該状態データ１２２Ａを含むデータセット１２０Ａの属性データ１２４Ａとして設定する。
【0041】
第１取得部１１２Ａは、状態データ１２２Ａとして設定するＩＯデータ２２４を、ＰＬＣ２またはＭＥＳサーバ４から取得する。第１取得部１１２Ａは、属性データ１２４Ａとして設定する属性データ４２４をＭＥＳサーバ４から取得する。
【0042】
通常、あるタイミングに対応する目的変数の実測値は、当該タイミングよりも後に判明される。例えば、目的変数が製品の品質である場合、当該製品を製造中の製造ライン３の状態を示すＩＯデータ２２４が収集されるタイミングよりも後に実施される検査によって製品の品質が判明する。そのため、例えば、第１取得部１１２Ａは、あるタイミングに対応するデータセット１２０Ａの正解データ１２３Ａとして、当該タイミングよりも所定期間経過後のＩＯデータ２２４の一部を設定する。
【0043】
なお、正解データ１２３Ａの設定方法は、上記の例に限定されず、目的変数の種類に応じて適宜選択される。例えば、第１取得部１１２Ａは、ＩＯデータ２２４から計算される値を示すデータを正解データ１２３Ａとして設定してもよい。あるいは、データ取得部１１２は、ユーザから入力されたデータまたは外部装置から取得したデータを正解データ１２３Ａとして設定してもよい。
【0044】
第２取得部１１２Ｂは、運用期間における互いに異なる複数のタイミング（例えば制御周期ごとのタイミング）の各々について、データセット１２０Ｂを生成する。第２取得部１１２Ｂは、第１取得部１１２Ａによるデータセット１２０Ａの生成と同じ方法に従って、データセット１２０Ｂを生成すればよい。
【0045】
モデル生成部１１４は、学習期間の複数のデータセット１２０Ａに含まれる教師データセット１２５Ａを用いた機械学習を行なうことにより、学習済モデル１１０を生成する。なお、モデル生成部１１４は、出力される目的変数が互いに異なる複数の学習済モデル１１０を生成してもよい。学習済モデル１１０は、学習期間よりも後の運用期間における製造ライン３の状態を示す状態データの入力を受けて、目的変数の予測値を出力するために利用される。
【0046】
さらに、モデル生成部１１４は、運用期間の複数のデータセット１２０Ｂから選択された一部のデータセット１２０Ｂの教師データセット１２５Ｂを用いた再学習を行なうことにより、学習済モデル１１０を更新してもよい。
【0047】
モデル評価部１１６は、学習済モデル１１０のバイアスを評価する。図１に示されるように、モデル評価部１１６は、第１評価部１１６Ａと第２評価部１１６Ｂとを含む。
【0048】
第１評価部１１６Ａは、学習済モデル１１０の生成に用いられた複数の教師データセット１２５Ａの各々に対応する属性データ１２４Ａ（各データセット１２０Ａに含まれる属性データ１２４Ａ）に基づいて、学習期間における１以上の要素の属性の偏りを評価する。例えば、第１評価部１１６Ａは、１以上の要素の属性ごとに、公知の公平性指標（以下、「第１公平性指標」と称する）を計算する。公平性指標とは、対象の属性のときのデータとそれ以外の属性のときのデータとを学習済モデル１１０に入力したときの予測値の偏りの相違を表す指標である。
【0049】
第２評価部１１６Ｂは、運用期間内の対象期間における複数のデータセット１２０Ｂに含まれる属性データ１２４Ｂに基づいて、対象期間における１以上の要素の属性の偏りを評価する。例えば、第２評価部１１６Ｂは、１以上の要素の属性ごとに、公知の公平性指標（以下、「第２公平性指標」と称する）を計算する。対象期間は、運用期間の中から自動的にまたはユーザ指定によって選択される。
【0050】
出力部１１８は、第１評価部１１６Ａによる第１評価結果と第２評価部１１６Ｂによる第２評価結果とを出力する。例えば、出力部１１８は、第１評価結果及び第２評価結果を含む画面をディスプレイに表示する。
【0051】
製造ライン３に関わる人、機械、方法、材料、環境、及び管理のうちの少なくとも１つの属性の偏りは、学習済モデル１１０の出力結果の偏りに反映され得る。上記の構成によれば、学習期間におけるこれらの要素の属性の偏りと、運用期間内の対象期間におけるこれらの要素の属性の偏りとが評価される。そのため、ユーザは、第１評価結果と第２評価結果とを比較することにより、学習期間と対象期間との間のこれらの要素の属性の偏りの変化を確認できる。当該偏りの変化が見られる場合、学習期間に取得された教師データセット１２５Ａを用いて生成された学習済モデル１１０の予測精度が低下していることが予想される。従って、ユーザは、学習済モデル１１０を再学習すべきタイミングを適切に把握できる。さらに、ユーザは、第１評価結果と第２評価結果との比較により、どのような属性のときの教師データセットを用いて再学習すべきかを容易に認識できる。
【0052】
§２ 具体例
＜解析装置のハードウェア構成＞
図２は、実施の形態に係る解析装置のハードウェア構成の一例を模式的に例示する図である。図２に示されるとおり、解析装置１は、制御部１１、記憶部１２、通信インタフェース１３、入力装置１４、出力装置１５、及びドライブ１６が電気的に接続されたコンピュータである。なお、図２では、通信インタフェースを「通信Ｉ／Ｆ」と記載している。
＜解析装置のハードウェア構成＞
図２は、実施の形態に係る解析装置のハードウェア構成の一例を模式的に例示する図である。図２に示されるとおり、解析装置１は、制御部１１、記憶部１２、通信インタフェース１３、入力装置１４、出力装置１５、及びドライブ１６が電気的に接続されたコンピュータである。なお、図２では、通信インタフェースを「通信Ｉ／Ｆ」と記載している。
【0053】
制御部１１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御を行なう。記憶部１２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部１１で実行される解析プログラム１７等を記憶する。
【0054】
解析プログラム１７は、製造ライン３の状態を示す状態データの入力を受けて、目的変数の値を出力する学習済モデル１１０を評価する処理を解析装置１に実行させるためのプログラムである。さらに、実施の形態に係る解析プログラム１７は、学習済モデル１１０を生成する処理を解析装置１に実行させる。
【0055】
通信インタフェース１３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行なうためのインタフェースである。解析装置１は、この通信インタフェース１３により、ＰＬＣ２及びＭＥＳサーバ４との間でネットワークを介したデータ通信を行なうことができる。なお、ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。
【0056】
入力装置１４は、例えば、マウス、キーボード等の入力を行なうための装置である。また、出力装置１５は、例えば、ディスプレイ、スピーカ等の出力を行なうための装置である。オペレータは、入力装置１４及び出力装置１５を介して、解析装置１を操作することができる。
【0057】
ドライブ１６は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９１に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ１６の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。解析プログラム１７は、この記憶媒体９１に記憶されていてもよい。
【0058】
記憶媒体９１は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。解析装置１は、この記憶媒体９１から、解析プログラム１７を取得してもよい。
【0059】
ここで、図２では、記憶媒体９１の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９１の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
【0060】
なお、解析装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。解析装置１は、複数台の情報処理装置で構成されてもよい。また、解析装置１は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ（Personal Computer）等であってもよい。
【0061】
図１に示すデータ取得部１１２は、解析プログラム１７を実行するプロセッサと通信インタフェースとによって実現される。モデル生成部１１４及びモデル評価部１１６は、解析プログラム１７を実行するプロセッサによって実現される。出力部１１８は、解析プログラム１７を実行するプロセッサと出力装置１５とによって実現される。
【0062】
＜ＰＬＣのハードウェア構成＞
図３は、実施の形態に係るＰＬＣのハードウェア構成の一例を模式的に例示する図である。図３に示されるとおり、ＰＬＣ２は、制御部２１、記憶部２２、入出力インタフェース２３、及び通信インタフェース２４が電気的に接続されたコンピュータである。これにより、ＰＬＣ２は、製造ライン３の各機器３１の動作を制御するように構成される。なお、図３では、入出力インタフェース及び通信インタフェースをそれぞれ「入出力Ｉ／Ｆ」及び「通信Ｉ／Ｆ」と記載している。
図３は、実施の形態に係るＰＬＣのハードウェア構成の一例を模式的に例示する図である。図３に示されるとおり、ＰＬＣ２は、制御部２１、記憶部２２、入出力インタフェース２３、及び通信インタフェース２４が電気的に接続されたコンピュータである。これにより、ＰＬＣ２は、製造ライン３の各機器３１の動作を制御するように構成される。なお、図３では、入出力インタフェース及び通信インタフェースをそれぞれ「入出力Ｉ／Ｆ」及び「通信Ｉ／Ｆ」と記載している。
【0063】
制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部２２は、例えば、ＲＡＭ、ＲＯＭ等で構成され、制御プログラム２２２、ＩＯデータ２２４等を記憶する。入出力インタフェース２３は、外部装置と接続するためのインタフェースであり、接続する外部装置に応じて適宜構成される。ＰＬＣ２は、入出力インタフェース２３を介して、製造ライン３に接続される。なお、単一の装置について異なるＩＯデータ２２４の通信を行なう場合、当該対象の単一の装置は、複数の機器３１とみなされてもよいし、単一の機器３１とみなされてもよい。そのため、入出力インタフェース２３の数は、製造ライン３を構成する機器３１の数と同じであってもよいし、製造ライン３を構成する機器３１の数と相違していてもよい。
【0064】
通信インタフェース２４は、例えば、有線ＬＡＮモジュール、無線ＬＡＮモジュール等であり、有線又は無線通信を行なうためのインタフェースである。ＰＬＣ２は、通信インタフェース２４により、解析装置１及びＭＥＳサーバ４との間でデータ通信を行なうことができる。
【0065】
なお、ＰＬＣ２の具体的なハードウェア構成に関して、実施の形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部２１は、複数のプロセッサを含んでもよい。記憶部２２は、制御部２１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。記憶部２２は、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置で構成されてもよい。また、ＰＬＣ２は、提供されるサービス専用に設計された情報処理装置の他、制御する対象に応じて、汎用のデスクトップＰＣ、タブレットＰＣ等に置き換えられてもよい。
【0066】
図１に示すデータ収集部２１２は、制御プログラム２２２を実行するプロセッサと入出力インタフェース２３とによって実現される。
【0067】
＜ＭＥＳサーバのハードウェア構成＞
図４は、実施の形態に従うＭＥＳサーバのハードウェア構成の一例を模式的に例示する図である。図４に示されるとおり、ＭＥＳサーバ４は、制御部４１、記憶部４２及び通信インタフェース４３が電気的に接続されたコンピュータである。なお、図４では、通信インタフェースを「通信Ｉ／Ｆ」と記載している。
図４は、実施の形態に従うＭＥＳサーバのハードウェア構成の一例を模式的に例示する図である。図４に示されるとおり、ＭＥＳサーバ４は、制御部４１、記憶部４２及び通信インタフェース４３が電気的に接続されたコンピュータである。なお、図４では、通信インタフェースを「通信Ｉ／Ｆ」と記載している。
【0068】
制御部４１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、情報処理に応じて各構成要素の制御を行なう。記憶部４２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部４１で実行される製造管理プログラム４２２、属性データ４２４等を記憶する。
【0069】
製造管理プログラム４２２は、予め作成された生産計画に従って、ＰＬＣ２に対する製造指示の出力、ＰＬＣ２から出力されたＩＯデータ２２４の管理、作業者への指示及び支援など処理をＭＥＳサーバ４に実行させるためのプログラムである。さらに、製造管理プログラム４２２は、一定周期（例えばＰＬＣ２の制御周期）ごとに、製造ライン３に関わる１以上の要素の属性を示す属性データ４２４の生成及び格納をＭＥＳサーバ４に実行させる。
【0070】
通信インタフェース４３は、例えば、有線ＬＡＮモジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行なうためのインタフェースである。ＭＥＳサーバ４は、この通信インタフェース４３により、ＰＬＣ２及び解析装置１との間でネットワークを介したデータ通信を行なうことができる。なお、ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。
【0071】
なお、ＭＥＳサーバ４の具体的なハードウェア構成に関して、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部４１は、複数のプロセッサを含んでもよい。ＭＥＳサーバ４は、複数台の情報処理装置で構成されてもよい。また、ＭＥＳサーバ４は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ等であってもよい。
【0072】
＜データセット＞
図５は、データセットの一例を示す図である。図６は、データセットの別の例を示す図である。図５及び図６に示す例では、複数のデータセット１２０Ａ（または複数のデータセット１２０Ｂ）がテーブル形式で表され、各レコードが１つのデータセット１２０Ａ（またはデータセット１２０Ｂ）に対応する。
図５は、データセットの一例を示す図である。図６は、データセットの別の例を示す図である。図５及び図６に示す例では、複数のデータセット１２０Ａ（または複数のデータセット１２０Ｂ）がテーブル形式で表され、各レコードが１つのデータセット１２０Ａ（またはデータセット１２０Ｂ）に対応する。
【0073】
図５及び図６に示されるように、データセット１２０Ａ，１２０Ｂは、教師データセット１２５Ａ，１２５Ｂと属性データ１２４Ａ，１２４Ｂとをそれぞれ含む。教師データセット１２５Ａ，１２５Ｂは、状態データ１２２Ａ，１２２Ｂと正解データ１２３Ａ，１２３Ｂとをそれぞれ含む。
【0074】
図５に示す正解データ１２３Ａ，１２３Ｂは、製品の品質の実測値（文字列「良品（ＯＫ）」又は「不良品（ＮＧ）」）を示す。そのため、図５に示すデータセット１２０Ａ，１２０Ｂは、製品の品質の予測値を出力する学習済モデル１１０の生成、再学習及び評価に用いられる。
【0075】
図６に示す正解データ１２３Ａ，１２３Ｂは、工場ＫＰＩである生産レートの実測値（数値）を示す。そのため、図６に示すデータセット１２０Ａ，１２０Ｂは、生産レートの値を出力する学習済モデル１１０の生成、再学習及び評価に用いられる。
【0076】
第１取得部１１２Ａは、状態データ１２２Ａと正解データ１２３Ａと属性データ１２４Ａとを対応付けのために、タイムスタンプを利用することができる。例えば、第１取得部１１２Ａは、ＩＯデータ２２４に付与される第１タイムスタンプと、属性データ４２４に付与される第２タイムスタンプとに基づいて、ＩＯデータ２２４と属性データ４２４とを対応付ける。第１タイムスタンプは、ＩＯデータ２２４が取得された制御周期の時刻を表す。第２タイムスタンプは、１以上の要素が属性データ４２４によって示される属性であったときの時刻を表す。具体的には、第１取得部１１２Ａは、ある制御周期に対応するデータセット１２０Ａの状態データ１２２Ａ及び属性データ１２４Ａとして、当該制御周期に含まれる第１タイムスタンプが付与されたＩＯデータ２２４の少なくとも一部と、当該制御周期に含まれる第２スタンプが付与された属性データ４２４とをそれぞれ取得する。
【0077】
あるいは、第１取得部１１２Ａは、状態データ１２２Ａと正解データ１２３Ａと属性データ１２４Ａとを対応付けのために、各製品を識別する製品ＩＤを利用してもよい。製品ＩＤは、ＭＥＳサーバ４によって管理される。ＭＥＳサーバ４は、各製品に対する処理命令を各工程に出力する際に、当該製品の製品ＩＤを処理命令に付与する。ＭＥＳサーバ４は、処理命令に応じて取得されたＩＯデータ２２４と、当該処理命令に付与した製品ＩＤとを対応付けて管理する。第１取得部１１２Ａは、ある制御周期に対応する状態データ１２２Ａに対して、当該制御周期に取得されたＩＯデータ２２４に対応する製品ＩＤの製品の品質を示す正解データ１２３Ａを対応付ける。
【0078】
同様の方法を用いて、第２取得部１１２Ｂは、状態データ１２２Ｂと正解データ１２３Ｂと属性データ１２４Ｂとを対応づける。
【0079】
＜公平性指標＞
図７は、モデル評価部によって評価される公平性指標の一例を示す図である。図８は、モデル評価部によって評価される公平性指標の別の例を示す図である。図９は、モデル評価部によって評価される公平性指標のさらに別の例を示す図である。図７～図９には、目的変数の予測値として品質の良否を出力する学習済モデル１１０を評価するときに計算される公平性指標が示される。
図７は、モデル評価部によって評価される公平性指標の一例を示す図である。図８は、モデル評価部によって評価される公平性指標の別の例を示す図である。図９は、モデル評価部によって評価される公平性指標のさらに別の例を示す図である。図７～図９には、目的変数の予測値として品質の良否を出力する学習済モデル１１０を評価するときに計算される公平性指標が示される。
【0080】
図７に示す公平性指標は「統計均衡差」とも称される。図７において、丸印は、データセット１２０Ａ，１２０Ｂを表す。図７に示されるように、第１評価部１１６Ａは、対象の属性を示す属性データ１２４Ａを含む１以上のデータセット１２０Ａのうち、入力されたときに学習済モデル１１０から予測値「不良品（ＮＧ）」が出力される状態データ１２２Ａを含むデータセット１２０Ａの割合Ｒ１を計算する。言い換えると、第１評価部１１６Ａは、対象の属性を示す属性データ１２４Ａに対応する１以上の教師データセット１２５Ａのうち、入力されたときに学習済モデル１１０から予測値「不良品（ＮＧ）」が出力される状態データ１２２Ａを含む教師データセットの割合Ｒ１を計算する。さらに、第１評価部１１６Ａは、対象の属性を示さない属性データ１２４Ａを含む１以上のデータセット１２０Ａのうち、入力されたときに学習済モデル１１０から予測値「不良品（ＮＧ）」が出力される状態データ１２２Ａを含むデータセット１２０Ａの割合Ｒ２を計算する。言い換えると、第１評価部１１６Ａは、対象の属性を示さない属性データ１２４Ａに対応する１以上の教師データセット１２５Ａのうち、入力されたときに学習済モデル１１０から予測値「不良品（ＮＧ）」が出力される状態データ１２２Ａを含む教師データセットの割合Ｒ１を計算する。第１評価部１１６Ａは、割合Ｒ１と割合Ｒ２との差を第１公平性指標（統計均衡差）として計算する。
【0081】
【0082】
図９に示す公平性指標は「機会均等差」とも称される。図９において、丸印は、「不良品（ＮＧ）」を示す正解データ１２３Ａ，１２３Ｂを含む１以上のデータセット１２０Ａ，１２０Ｂを表す。三角印は、「良品（ＯＫ）」を示す正解データ１２３Ａ，１２３Ｂを含む１以上のデータセット１２０Ａ，１２０Ｂを表す。
【0083】
図９に示されるように、第１評価部１１６Ａは、対象の属性を示す属性データ１２４Ａと「不良品（ＮＧ）」を示す正解データ１２３Ａとを含む１以上のデータセット１２０Ａのうち、入力されたときに学習済モデル１１０から予測値「不良品（ＮＧ）」が出力される状態データ１２２Ａを含むデータセット１２０Ａの割合Ｒ３を計算する。言い換えると、第１評価部１１６Ａは、対象の属性を示す属性データ１２４Ａに対応し、かつ、「不良品（ＮＧ）」を示す正解データ１２３Ａを含む１以上の教師データセット１２５Ａのうち、入力されたときに学習済モデル１１０から予測値「不良品（ＮＧ）」が出力される状態データ１２２Ａを含む教師データセットの割合Ｒ１を計算する。さらに、第１評価部１１６Ａは、対象の属性を示さない属性データ１２４Ａと「不良品（ＮＧ）」を示す正解データ１２３Ａとを含む１以上のデータセット１２０Ａのうち、入力されたときに学習済モデル１１０から予測値「不良品（ＮＧ）」が出力される状態データ１２２Ａを含むデータセット１２０Ａの割合Ｒ４を計算する。言い換えると、第１評価部１１６Ａは、対象の属性を示さない属性データ１２４Ａに対応し、かつ、「不良品（ＮＧ）」を示す正解データ１２３Ａを含む１以上の教師データセット１２５Ａのうち、入力されたときに学習済モデル１１０から予測値「不良品（ＮＧ）」が出力される状態データ１２２Ａを含む教師データセットの割合Ｒ１を計算する。第１評価部１１６Ａは、割合Ｒ３と割合Ｒ４との差を第１公平性指標（機会均等差）として計算する。
【0084】
第１評価部１１６Ａは、割合Ｒ３と割合Ｒ４との比（Ｒ３／Ｒ４）を第１公平性指標として計算してもよい。
【0085】
このようにして、第１評価部１１６Ａは、１以上の要素の属性ごとに第１公平性指標を計算する。例えば、属性データ１２４Ａが１つの要素の属性のみを示す場合、第１評価部１１６Ａは、当該１つの要素の属性ごとに第１公平性指標を計算する。属性データ１２４Ａが複数の要素の属性を示す場合、第１評価部１１６Ａは、当該複数の要素のうちの選択された１つの要素の属性ごとに第１公平性指標を計算してもよい。あるいは、第１評価部１１６Ａは、当該複数の要素の属性の組み合わせごとに第１公平性指標を計算してもよい。あるいは、第１評価部１１６Ａは、当該複数の要素のうちの選択された２以上の要素の属性の組み合わせごとに第１公平性指標を計算してもよい。例えば、第１評価部１１６Ａは、要素「製品」の属性が「製品Ａ」，「製品Ｄ」のいずれかであり、要素「方法」の属性が「処理速度６０」，「処理速度１００」のいずれかである場合、以下の４つの組み合わせの各々について第１公平性指標を計算する。
・属性「製品Ａ」と属性「処理速度６０」の組み合わせ、
・属性「製品Ａ」と属性「処理速度１００」の組み合わせ、
・属性「製品Ｄ」と属性「処理速度６０」の組み合わせ、
・属性「製品Ｄ」と属性「処理速度１００」の組み合わせ。
・属性「製品Ａ」と属性「処理速度６０」の組み合わせ、
・属性「製品Ａ」と属性「処理速度１００」の組み合わせ、
・属性「製品Ｄ」と属性「処理速度６０」の組み合わせ、
・属性「製品Ｄ」と属性「処理速度１００」の組み合わせ。
【0086】
第１評価部１１６Ａによる第１公平性指標の計算方法と同じ手法に従って、第２評価部１１６Ｂは、第２公平性指標を計算すればよい。
【0087】
＜処理の流れ＞
図１０は、実施の形態に係る解析装置の処理の流れの一例を示す図である。図１０に示されるように、解析装置１のプロセッサは、学習期間における複数のデータセット１２０Ａを取得する（ステップＳ１）。データセット１２０Ａは、学習済モデル１１０を生成するために用いられる教師データセット１２５Ａに対応する属性データ１２４Ａを含む。そのため、言い換えると、ステップＳ１は、学習済モデル１１０の生成のための各教師データセット１２５Ａについて、当該教師データセット１２５Ａの状態データ１２２Ａが取得されたときの製造ライン３に関わる１以上の要素の属性を示す属性データ１２４Ａを取得するステップである。
図１０は、実施の形態に係る解析装置の処理の流れの一例を示す図である。図１０に示されるように、解析装置１のプロセッサは、学習期間における複数のデータセット１２０Ａを取得する（ステップＳ１）。データセット１２０Ａは、学習済モデル１１０を生成するために用いられる教師データセット１２５Ａに対応する属性データ１２４Ａを含む。そのため、言い換えると、ステップＳ１は、学習済モデル１１０の生成のための各教師データセット１２５Ａについて、当該教師データセット１２５Ａの状態データ１２２Ａが取得されたときの製造ライン３に関わる１以上の要素の属性を示す属性データ１２４Ａを取得するステップである。
【0088】
次に、プロセッサは、複数の属性データ１２４Ａに基づいて、学習期間における１以上の要素の属性の偏りを評価する（ステップＳ２）。
【0089】
次に、プロセッサは、運用期間内の対象期間における複数のタイミングの各々について、当該タイミングにおける製造ライン３に関わる１以上の要素の属性を示す属性データ１２４Ｂを取得する。具体的には、プロセッサは、各タイミングについて、状態データ１２２Ｂ，正解データ１２３Ｂ及び属性データ１２４Ｂを含むデータセット１２０Ｂを取得する（ステップＳ３）。
【0090】
次に、プロセッサは、対象期間における複数のタイミングの各々に対応する属性データ１２４Ｂに基づいて、対象期間における１以上の要素の属性の偏りを評価する（ステップＳ４）。
【0091】
次に、プロセッサは、学習期間における属性の偏りの評価結果と、対象期間における属性の偏りの評価結果とを出力する（ステップＳ５）。
【0092】
＜画面例＞
図１１は、評価結果を含む画面の一例を示す図である。図１１に示す画面５０は、出力部１１８として動作するプロセッサが出力する画面データに基づいて、出力装置１５に含まれるディスプレイに表示される。あるいは、画面５０は、解析装置１に接続されたディスプレイに表示されてもよい。
図１１は、評価結果を含む画面の一例を示す図である。図１１に示す画面５０は、出力部１１８として動作するプロセッサが出力する画面データに基づいて、出力装置１５に含まれるディスプレイに表示される。あるいは、画面５０は、解析装置１に接続されたディスプレイに表示されてもよい。
【0093】
図１１に示す画面５０は、フィルムを送る搬送機を含む製造ライン３に対して適用される学習済モデル１１０の評価結果を示す。
【0094】
図１１に示されるように、画面５０は、グラフ５１，５２と、表示欄５３ａ，５３ｂとを含む。グラフ５１は、予測値を決定するために学習済モデル１１０によって計算されるスコアの経時変化を示す。学習済モデル１１０は、スコアが閾値ＴＨ１を超える場合に、目的変数「品質」の予測値を「不良品（ＮＧ）」に決定する。
【0095】
グラフ５１において、学習期間と対象期間とが区別可能に表示される。具体的には、グラフ５１には、学習期間を示す枠線５１ａと、対象期間を示す枠線５１ｂとが表示される。
【0096】
プロセッサは、例えば、対象期間のデフォルトとして、直近の所定長さの期間を設定し、画面５０を出力装置１５に表示する。画面５０において、対象期間を示す枠線５１ｂは、操作に応じて幅及び位置が変更可能に表示される。プロセッサは、枠線５１ｂの幅及び位置が変更されると、変更後の枠線５１ｂによって囲まれる期間を対象期間として設定してもよい。このように、対象期間は、グラフ５１から指定される。これにより、ユーザは、例えば、スコアの推移に異常が見られる期間を対象期間として指定することができる。
【0097】
グラフ５２は、１以上の要素（図１１に示す例では、要素「製品」，「方法（フィルム搬送速度（ＣＰＭ））」の属性の経時変化を示す。図１１に示す例では、グラフ５２は、ガントチャートである。グラフ５１，５２は、共通の時間軸を有する。
【0098】
表示欄５３ａには、学習期間における１以上の要素の属性ごとの第１公平性指標が表示される。表示欄５３ｂには、対象期間における１以上の要素の属性ごとの第２公平性指標が表示される。図１１に示す例では、表示欄５３ａ，５３ｂの各々において、要素「製品」，「方法（フィルム搬送速度（ＣＰＭ））」の属性の組み合わせごとに、当該組み合わせを表すテキスト５４と、当該組み合わせに対応する公平性指標を表す円グラフ５５とが表示される。円グラフ５５は、図７に示す公平性指標（統計均衡差）を示す。公平性指標（統計均衡差）が大きいほど、より不公平であることを表す。
【0099】
画面５０において、予め定められた基準よりも不公平であることを示す公平性指標に対応する属性が強調表示される。図１１に示す例では、表示欄５３ａにおいて、閾値を超える第１公平性指標（統計均衡差）を示す円グラフ５５ａに対応するテキスト５４ａの枠線が他のテキスト５４の枠線よりも太くなるように表示されている。さらに、表示欄５３ｂにおいて、閾値を超える第２公平性指標（統計均衡差）を示す円グラフ５５ｂに対応するテキスト５４ｂの枠線が他のテキスト５４の枠線よりも太くなるように表示されている。これにより、ユーザは、テキスト５４ａ，５４ｂによって示される属性に対応し、「良品（ＯＫ）」を示す正解データを含む教師データセットが不足していることを認識できる。その結果、ユーザは、教師データセットの補充を検討できる。
【0100】
例えば、製造ライン３と同じ製造ラインを新たに立ち上げるときに、製造ライン３に適用していた学習済モデル１１０を新たな製造ラインにも適用することが想定される。ただし、製造ライン３と新たな製造ラインとの間で１以上の要素（例えば、人、方法、機械、材料）が相違することにより、製造ライン３に適用していた学習済モデル１１０を新たな製造ラインに適用した場合、学習済モデル１１０の予測精度が低下し得る。そこで、製造ライン３に適用していた学習済モデル１１０のバイアスを評価し、予測精度の低下を抑制するための教師データセットの補充などの対策を行なうことができる。
【0101】
さらに、画面５０において、第１公平性指標との差が基準を超える第２公平性指標に対応する属性が強調表示される。図１１に示す例では、要素「製品」，「方法（フィルム搬送速度（ＣＰＭ））」の属性「製品Ｄ」，「８０」について、円グラフ５５ｃによって表される第１公平性指標と、円グラフ５５ｄによって表される第２公平性指標との差が基準を超える。そのため、表示欄５３ｂにおいて、当該属性を示すテキスト５４ｄの枠線が他のテキストの枠線と異なる形式で表示されている。これにより、ユーザは、テキスト５４ｄによって示される属性に対応する状態データを入力したときの学習済モデル１１０の予測精度が低下し得ることを認識できる。その結果、ユーザは、再学習のための追加の教師データセットとして、強調表示された属性のときの状態データ１２２Ｂを含む教師データセット１２５Ｂを選択できる。
【0102】
＜変形例１＞
モデル生成部１１４は、モデル評価部１１６の評価結果に応じて、学習済モデル１１０を更新してもよい。具体的には、モデル生成部１１４は、第１取得部１１２Ａによって取得された、学習期間の複数の教師データセット１２５Ａに対して、１以上の要素の属性の偏りの影響を減少させるための前処理を行なう。モデル生成部１１４は、前処理が行なわれた複数の教師データセット１２５Ａを用いた機械学習を行なうことにより、更新後の学習済モデル１１０を生成する。
モデル生成部１１４は、モデル評価部１１６の評価結果に応じて、学習済モデル１１０を更新してもよい。具体的には、モデル生成部１１４は、第１取得部１１２Ａによって取得された、学習期間の複数の教師データセット１２５Ａに対して、１以上の要素の属性の偏りの影響を減少させるための前処理を行なう。モデル生成部１１４は、前処理が行なわれた複数の教師データセット１２５Ａを用いた機械学習を行なうことにより、更新後の学習済モデル１１０を生成する。
【0103】
前処理として公知の手法が採用される。例えば、前処理は、各教師データセット１２５Ａに対する重み付けである。具体的には、モデル生成部１１４は、相対的により不公平であることを表す公平性指標の属性に対応する教師データセット１２５Ａに対して、より大きい重みを付与する。例えば、図７に示す公平性指標が計算される場合、相対的により不公平であることを表す公平性指標の属性に対応し、かつ、正解データ１２３Ａが「良品（ＯＫ）」を示す教師データセット１２５Ａの重みを他の教師データセット１２５Ａの重みよりも大きくする。
【0104】
あるいは、前処理は、教師データセット１２５Ａの間引きであってもよい。具体的には、モデル生成部１１４は、属性ごとの公平性指標が均一になるように、一部の教師データセット１２５Ａを間引く。
【0105】
さらに、モデル生成部１１４は、第１評価部１１６Ａによる評価結果と第２評価部１１６Ｂによる評価結果との比較に基づいて、学習済モデル１１０を更新してもよい。例えば、モデル生成部１１４は、第１公平性指標との差が基準を超える第２公平性指標に対応する属性を示す属性データ１２４Ｂと同じタイミングの状態データ１２２Ｂを含む教師データセット１２５Ｂを用いた再学習を行なうことにより、学習済モデル１１０を更新する。これにより、学習済モデル１１０の予測精度の低下が自動的に抑制される。
【0106】
＜変形例２＞
上記の説明では、画面５０のグラフ５１は、学習済モデル１１０によって計算されるスコアの経時変化を示すものとした。しかしながら、グラフ５１は、学習済モデル１１０から出力される予測値の経時変化を示してもよい。
上記の説明では、画面５０のグラフ５１は、学習済モデル１１０によって計算されるスコアの経時変化を示すものとした。しかしながら、グラフ５１は、学習済モデル１１０から出力される予測値の経時変化を示してもよい。
【0107】
【0108】
生産システム１００Ａは、解析装置１Ａ，１Ｂ，１Ｃと、ＰＬＣ２Ａ＿１，２Ａ＿２，２Ｂと、製造ライン３Ａ，３Ｂと、ＭＥＳサーバ４Ａ，４Ｂと、を備える。製造ライン３Ａは、製造装置３１Ａ＿１，３１Ａ＿２を含む。製造ライン３Ｂは、製造装置３１Ｂ＿１，３１Ｂ＿２を含む。
【0109】
ＰＬＣ２Ａ＿１は、製造装置３１Ａ＿１の動作を制御する。ＰＬＣ２Ａ＿２は、製造装置３１Ａ＿２の動作を制御する。ＰＬＣ２Ｂは、製造装置３１Ｂ＿１，３１Ｂ＿２の動作を制御する。
【0110】
ＭＥＳサーバ４Ａは、製造ライン３Ａに対して作成された生産計画に従って、ＰＬＣ２Ａ＿１，２Ａ＿２に対する製造指示の出力、ＰＬＣ２Ａ＿１，２Ａ＿２から出力されたＩＯデータ２２４の管理、作業者への指示及び支援などを行なう。
【0111】
ＭＥＳサーバ４Ｂは、製造ライン３Ｂに対して作成された生産計画に従って、ＰＬＣ２Ｂに対する製造指示の出力、ＰＬＣ２Ｂから出力されたＩＯデータ２２４の管理、作業者への指示及び支援などを行なう。
【0112】
解析装置１Ａは、製造ライン３Ａの状態を示す状態データの入力を受けて、目的変数の予測値を出力する学習済モデル１１０Ａを評価する。解析装置１Ｂは、製造ライン３Ｂの状態を示す状態データの入力を受けて、目的変数の予測値を出力する学習済モデル１１０Ｂを評価する。解析装置１Ａ，１Ｂの機能構成及びハードウェア構成は、図１及び図２に示す解析装置１の機能構成及びハードウェア構成と同じである。
【0113】
解析装置１Ｃは、学習済モデル１１０Ａ，１１０Ｂの評価結果を比較可能に出力する。解析装置１Ｃの機能構成及びハードウェア構成は、図１及び図２に示す解析装置１の機能構成及びハードウェア構成と同じである。ただし、解析装置１Ｃにおいて、データ取得部１１２は、解析装置１Ａ，１Ｂの各々から複数のデータセットを取得する。また、解析装置１Ｃは、モデル生成部１１４を備えておらず、解析装置１Ａ，１Ｂから学習済モデル１１０Ａ，１１０Ｂをそれぞれ取得すればよい。
【0114】
図１３は、解析装置１Ｃから出力される画面の一例を示す図である。図１３に示す画面５０Ｃは、解析装置１Ｃのプロセッサが出力する画面データに基づいて、解析装置１Ｃの出力装置１５に含まれるディスプレイに表示される。あるいは、画面５０Ｃは、解析装置１Ｃに接続されたディスプレイに表示されてもよい。
【0115】
図１３に示されるように、画面５０Ｃは、グラフ５１Ｃ，５２Ｃ＿１，５２Ｃ＿２と、表示欄５３Ｃ＿１，５３Ｃ＿２とを含む。
【0116】
グラフ５１Ｃは、学習済モデル１１０Ａ，１１０Ｂによって計算されるスコアの経時変化を示す。グラフ５１Ｃにおいて、実線６０Ａは、学習済モデル１１０Ａによって計算されるスコアの経時変化を示す。破線６０Ｂは、学習済モデル１１０Ｂによって計算されるスコアの経時変化を示す。グラフ５１Ｃには、学習期間を示す枠線５１ａと、対象期間を示す枠線５１ｂとが表示される。プロセッサは、枠線５１ａ，５１ｂのうち選択された一方を太線にする。図１３に示す例では、枠線５１ｂが選択されている。
【0117】
グラフ５２Ｃ＿１は、製造ライン３Ａに関する１以上の要素の属性の経時変化を示す。グラフ５２Ｃ＿２には、製造ライン３Ｂに関する１以上の要素の属性の経時変化を示す。グラフ５２Ｃ＿１，５２Ｃ＿２は、ガントチャートである。グラフ５１Ｃ，５２Ｃ＿１，５２Ｃ＿２は、共通の時間軸を有する。
【0118】
表示欄５３Ｃ＿１には、製造ライン３Ａに関する１以上の要素の属性ごとの第１公平性指標が表示される。表示欄５３Ｃ＿２には、製造ライン３Ｂに関する１以上の要素の属性ごとの第２公平性指標が表示される。図１１に示す表示欄５３ａ，５３ｂと同様に、表示欄５３Ｃ＿１，５３Ｃ＿２において、予め定められた基準よりも不公平であることを示す公平性指標に対応する属性が強調表示される。
【0119】
なお、グラフ５１Ｃの枠線５１ａ，５１ｂのうち枠線５１ｂが選択されている場合、表示欄５３Ｃ＿１，５３Ｃ＿２には、対象期間に対応する第１，第２公平性指標がそれぞれ表示される。一方、枠線５１ａが選択されている場合、表示欄５３Ｃ＿１，５３Ｃ＿２には、学習期間に対応する第１，第２公平性指標がそれぞれ表示される。
【0120】
ユーザ（例えば工場長、工場管理者）は、画面５０Ｃを確認することにより、製造ライン３Ａ，３Ｂの状況に変化に伴う学習済モデル１１０Ａ，１１０Ｂの予測精度の低下を認識できる。その結果、ユーザは、学習済モデル１１０Ａ，１１０Ｂの各々について、対象期間の教師データセット１２５Ｂを用いた再学習を行なうべきタイミングを把握できる。再学習が行なわれることにより、学習済モデル１１０の予測精度の低下が抑制できる。
【0121】
＜変形例４＞
上記の説明では、解析装置１において、学習済モデル１１０が生成されるものとした。しかしながら、学習済モデル１１０は、解析装置１とは異なる外部装置において生成されてもよい。この場合、解析装置１は、学習済モデル１１０の生成に使用された教師データセット１２５Ａに対応する属性データ１２４ＡをＭＥＳサーバ４から取得し、学習期間における１以上の要素の属性の偏りを評価すればよい。
上記の説明では、解析装置１において、学習済モデル１１０が生成されるものとした。しかしながら、学習済モデル１１０は、解析装置１とは異なる外部装置において生成されてもよい。この場合、解析装置１は、学習済モデル１１０の生成に使用された教師データセット１２５Ａに対応する属性データ１２４ＡをＭＥＳサーバ４から取得し、学習期間における１以上の要素の属性の偏りを評価すればよい。
【0122】
＜変形例５＞
上記の説明では、解析装置１は、ＰＬＣ２及びＭＥＳサーバ４と別体である。しかしながら、解析装置１の機能は、ＰＬＣ２またはＭＥＳサーバ４に組み込まれてもよい（内蔵されてもよい）。言い換えると、解析装置１とＰＬＣ２およびＭＥＳサーバ４の少なくとも一方とが１つの装置として統合されてもよい。解析装置１の機能がＰＬＣ２に組み込まれる場合、ＰＬＣ２は、学習済モデル１１０を評価する情報処理装置として動作する。解析装置１の機能がＭＥＳサーバ４に組み込まれる場合、ＭＥＳサーバ４は、学習済モデル１１０を評価する情報処理装置として動作する。
上記の説明では、解析装置１は、ＰＬＣ２及びＭＥＳサーバ４と別体である。しかしながら、解析装置１の機能は、ＰＬＣ２またはＭＥＳサーバ４に組み込まれてもよい（内蔵されてもよい）。言い換えると、解析装置１とＰＬＣ２およびＭＥＳサーバ４の少なくとも一方とが１つの装置として統合されてもよい。解析装置１の機能がＰＬＣ２に組み込まれる場合、ＰＬＣ２は、学習済モデル１１０を評価する情報処理装置として動作する。解析装置１の機能がＭＥＳサーバ４に組み込まれる場合、ＭＥＳサーバ４は、学習済モデル１１０を評価する情報処理装置として動作する。
【0123】
§３ 付記
以上のように、本実施の形態は以下のような開示を含む。
以上のように、本実施の形態は以下のような開示を含む。
【0124】
（構成１）
製造ライン（３，３Ａ，３Ｂ）の状態を示す状態データの入力を受けて、目的変数の予測値を出力する学習済モデル（１１０，１１０Ａ，１１０Ｂ）を評価する情報処理装置（１，１Ａ～１Ｃ）であって、
前記学習済モデル（１１０，１１０Ａ，１１０Ｂ）は、学習期間における前記状態データ（１２２Ａ）を含む複数の教師データセット（１２５Ａ）を用いて生成され、前記情報処理装置（１，１Ａ～１Ｃ）は、
前記複数の教師データセット（１２５Ａ）の各々の前記状態データ（１２２Ａ）が取得されたときの前記製造ライン（３，３Ａ，３Ｂ）に関わる１以上の要素の属性を示す第１属性データ（１２４Ａ）に基づいて、前記学習期間における前記１以上の要素の属性の偏りを評価する第１評価部（１１，１１６Ａ）を備え、前記１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含み、前記情報処理装置（１，１Ａ～１Ｃ）は、さらに、
前記学習期間より後の対象期間における互いに異なる複数のタイミングの各々における前記１以上の要素の属性を示す第２属性データ（１２４Ｂ）に基づいて、前記対象期間における前記１以上の要素の属性の偏りを評価する第２評価部（１１，１１６Ｂ）と、
前記第１評価部（１１，１１６Ａ）による第１評価結果と前記第２評価部（１１，１１６Ｂ）による第２評価結果とを出力する出力部（１１，１１８）とを備える、情報処理装置（１，１Ａ～１Ｃ）。
製造ライン（３，３Ａ，３Ｂ）の状態を示す状態データの入力を受けて、目的変数の予測値を出力する学習済モデル（１１０，１１０Ａ，１１０Ｂ）を評価する情報処理装置（１，１Ａ～１Ｃ）であって、
前記学習済モデル（１１０，１１０Ａ，１１０Ｂ）は、学習期間における前記状態データ（１２２Ａ）を含む複数の教師データセット（１２５Ａ）を用いて生成され、前記情報処理装置（１，１Ａ～１Ｃ）は、
前記複数の教師データセット（１２５Ａ）の各々の前記状態データ（１２２Ａ）が取得されたときの前記製造ライン（３，３Ａ，３Ｂ）に関わる１以上の要素の属性を示す第１属性データ（１２４Ａ）に基づいて、前記学習期間における前記１以上の要素の属性の偏りを評価する第１評価部（１１，１１６Ａ）を備え、前記１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含み、前記情報処理装置（１，１Ａ～１Ｃ）は、さらに、
前記学習期間より後の対象期間における互いに異なる複数のタイミングの各々における前記１以上の要素の属性を示す第２属性データ（１２４Ｂ）に基づいて、前記対象期間における前記１以上の要素の属性の偏りを評価する第２評価部（１１，１１６Ｂ）と、
前記第１評価部（１１，１１６Ａ）による第１評価結果と前記第２評価部（１１，１１６Ｂ）による第２評価結果とを出力する出力部（１１，１１８）とを備える、情報処理装置（１，１Ａ～１Ｃ）。
【0125】
（構成２）
前記第１評価結果は、前記学習期間における前記１以上の要素の属性ごとの第１公平性指標を含み、
前記第２評価結果は、前記対象期間における前記１以上の要素の属性ごとの第２公平性指標を含む、構成１に記載の情報処理装置（１，１Ａ～１Ｃ）。
前記第１評価結果は、前記学習期間における前記１以上の要素の属性ごとの第１公平性指標を含み、
前記第２評価結果は、前記対象期間における前記１以上の要素の属性ごとの第２公平性指標を含む、構成１に記載の情報処理装置（１，１Ａ～１Ｃ）。
【0126】
（構成３）
前記出力部（１１，１１８）は、前記第１評価結果及び前記第２評価結果を含む画面（５０，５０Ｃ）を示す画面データを出力し、
前記画面（５０，５０Ｃ）において、前記第１公平性指標との差が基準を超える前記第２公平性指標に対応する属性が強調表示される、構成２に記載の情報処理装置（１，１Ａ～１Ｃ）。
前記出力部（１１，１１８）は、前記第１評価結果及び前記第２評価結果を含む画面（５０，５０Ｃ）を示す画面データを出力し、
前記画面（５０，５０Ｃ）において、前記第１公平性指標との差が基準を超える前記第２公平性指標に対応する属性が強調表示される、構成２に記載の情報処理装置（１，１Ａ～１Ｃ）。
【0127】
（構成４）
前記画面（５０，５０Ｃ）は、前記学習期間及び前記対象期間における、前記予測値または前記予測値を決定するために前記学習済モデルによって計算されるスコアの経時変化を示すグラフ（５１，５１Ｃ）を含み、
前記グラフ（５１，５１Ｃ）において、前記複数の教師データセット（１２５Ａ）が取得された学習期間と、前記対象期間とが区別可能に表示される、構成３に記載の情報処理装置（１，１Ａ～１Ｃ）。
前記画面（５０，５０Ｃ）は、前記学習期間及び前記対象期間における、前記予測値または前記予測値を決定するために前記学習済モデルによって計算されるスコアの経時変化を示すグラフ（５１，５１Ｃ）を含み、
前記グラフ（５１，５１Ｃ）において、前記複数の教師データセット（１２５Ａ）が取得された学習期間と、前記対象期間とが区別可能に表示される、構成３に記載の情報処理装置（１，１Ａ～１Ｃ）。
【0128】
（構成５）
前記画面（５０，５０Ｃ）は、前記学習期間及び前記対象期間における、前記予測値または前記予測値を決定するために前記学習済モデルによって計算されるスコアの経時変化を示すグラフ（５１，５１Ｃ）を含み、
前記対象期間は、前記グラフから指定される、構成３に記載の情報処理装置（１，１Ａ～１Ｃ）。
前記画面（５０，５０Ｃ）は、前記学習期間及び前記対象期間における、前記予測値または前記予測値を決定するために前記学習済モデルによって計算されるスコアの経時変化を示すグラフ（５１，５１Ｃ）を含み、
前記対象期間は、前記グラフから指定される、構成３に記載の情報処理装置（１，１Ａ～１Ｃ）。
【0129】
（構成６）
前記画面（５０，５０Ｃ）は、前記学習期間及び前記対象期間における、前記１以上の要素の前記属性の経時変化を示すグラフ（５２，５２Ｃ＿１，５２Ｃ＿２）を含む、構成３から５のいずれかに記載の情報処理装置（１，１Ａ～１Ｃ）。
前記画面（５０，５０Ｃ）は、前記学習期間及び前記対象期間における、前記１以上の要素の前記属性の経時変化を示すグラフ（５２，５２Ｃ＿１，５２Ｃ＿２）を含む、構成３から５のいずれかに記載の情報処理装置（１，１Ａ～１Ｃ）。
【0130】
（構成７）
前記情報処理装置（１，１Ａ～１Ｃ）は、
前記第１公平性指標との差が基準を超える前記第２公平性指標に対応する属性を示す前記第２属性データ（１２４Ｂ）と同じタイミングの前記状態データ（１２２Ｂ）を含む追加の教師データセット（１２５Ｂ）を用いた再学習を行なうことにより、前記学習済モデル（１１０，１１０Ａ，１１０Ｂ）を更新するモデル生成部（１１，１１４）をさらに備える、構成２から６のいずれかに記載の情報処理装置（１，１Ａ～１Ｃ）。
前記情報処理装置（１，１Ａ～１Ｃ）は、
前記第１公平性指標との差が基準を超える前記第２公平性指標に対応する属性を示す前記第２属性データ（１２４Ｂ）と同じタイミングの前記状態データ（１２２Ｂ）を含む追加の教師データセット（１２５Ｂ）を用いた再学習を行なうことにより、前記学習済モデル（１１０，１１０Ａ，１１０Ｂ）を更新するモデル生成部（１１，１１４）をさらに備える、構成２から６のいずれかに記載の情報処理装置（１，１Ａ～１Ｃ）。
【0131】
（構成８）
製造ライン（３，３Ａ，３Ｂ）の状態を示す状態データの入力を受けて、目的変数の予測値を出力する学習済モデル（１１０，１１０Ａ，１１０Ｂ）を評価する情報処理方法であって、
前記学習済モデル（１１０，１１０Ａ，１１０Ｂ）は、学習期間における前記状態データを含む複数の教師データセット（１２５Ａ）を用いて生成され、前記情報処理方法は、
前記複数の教師データセット（１２５Ａ）の各々の前記状態データ（１２２Ａ）が取得されたときの前記製造ラインに関わる１以上の要素の属性を示す第１属性データ（１２４Ａ）に基づいて、前記学習期間における前記１以上の要素の属性の偏りを評価すること（Ｓ２）を備え、前記１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含み、前記情報処理方法は、さらに、
前記学習期間より後の対象期間における互いに異なる複数のタイミングの各々における前記１以上の要素の属性を示す第２属性データ（１２４Ｂ）に基づいて、前記対象期間における前記１以上の要素の属性の偏りを評価すること（Ｓ４）と、
前記学習期間に対する第１評価結果と前記対象期間に対する第２評価結果とを出力すること（Ｓ５）とを備える、情報処理方法。
製造ライン（３，３Ａ，３Ｂ）の状態を示す状態データの入力を受けて、目的変数の予測値を出力する学習済モデル（１１０，１１０Ａ，１１０Ｂ）を評価する情報処理方法であって、
前記学習済モデル（１１０，１１０Ａ，１１０Ｂ）は、学習期間における前記状態データを含む複数の教師データセット（１２５Ａ）を用いて生成され、前記情報処理方法は、
前記複数の教師データセット（１２５Ａ）の各々の前記状態データ（１２２Ａ）が取得されたときの前記製造ラインに関わる１以上の要素の属性を示す第１属性データ（１２４Ａ）に基づいて、前記学習期間における前記１以上の要素の属性の偏りを評価すること（Ｓ２）を備え、前記１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含み、前記情報処理方法は、さらに、
前記学習期間より後の対象期間における互いに異なる複数のタイミングの各々における前記１以上の要素の属性を示す第２属性データ（１２４Ｂ）に基づいて、前記対象期間における前記１以上の要素の属性の偏りを評価すること（Ｓ４）と、
前記学習期間に対する第１評価結果と前記対象期間に対する第２評価結果とを出力すること（Ｓ５）とを備える、情報処理方法。
【0132】
（構成９）
構成８に記載の情報処理方法をコンピュータ（１１）に実行させる、情報処理プログラム（１７）。
構成８に記載の情報処理方法をコンピュータ（１１）に実行させる、情報処理プログラム（１７）。
【0133】
（構成１０）
前記第１公平性指標は、対応する属性を示す前記第１属性データ（１２４Ａ）に対応する１以上の教師データセット（１２５Ａ）のうち、入力されたときに前記学習済モデルから所定値が出力される前記状態データ（１２２Ａ）を含む教師データセットの第１割合と、対応する属性を示さない前記第１属性データ（１２４Ａ）に対応する１以上の教師データセット（１２５Ａ）のうち、入力されたときに前記学習済モデルから所定値が出力される前記状態データ（１２２Ａ）を含む教師データセットの第２割合との差または比であり、
前記第２公平性指標は、対応する属性を示す１以上の第２属性データ（１２４Ｂ）のうち、入力されたときに前記学習済モデルから所定値が出力される前記状態データ（１２２Ｂ）と同じタイミングに対応する第２属性データの第３割合と、対応する属性を示さない１以上の第２属性データ（１２４Ｂ）のうち、入力されたときに前記学習済モデルから所定値が出力される前記状態データ（１２２Ｂ）と同じタイミングに対応する第２属性データの第４割合との差または比である、構成２から７のいずれかに記載の情報処理装置。
前記第１公平性指標は、対応する属性を示す前記第１属性データ（１２４Ａ）に対応する１以上の教師データセット（１２５Ａ）のうち、入力されたときに前記学習済モデルから所定値が出力される前記状態データ（１２２Ａ）を含む教師データセットの第１割合と、対応する属性を示さない前記第１属性データ（１２４Ａ）に対応する１以上の教師データセット（１２５Ａ）のうち、入力されたときに前記学習済モデルから所定値が出力される前記状態データ（１２２Ａ）を含む教師データセットの第２割合との差または比であり、
前記第２公平性指標は、対応する属性を示す１以上の第２属性データ（１２４Ｂ）のうち、入力されたときに前記学習済モデルから所定値が出力される前記状態データ（１２２Ｂ）と同じタイミングに対応する第２属性データの第３割合と、対応する属性を示さない１以上の第２属性データ（１２４Ｂ）のうち、入力されたときに前記学習済モデルから所定値が出力される前記状態データ（１２２Ｂ）と同じタイミングに対応する第２属性データの第４割合との差または比である、構成２から７のいずれかに記載の情報処理装置。
【0134】
（構成１１）
前記教師データセット（１２５Ａ）は、前記目的変数の実測値を示す正解データ（１２３Ａ）をさらに含み、
前記第１公平性指標は、対応する属性を示す前記第１属性データ（１２４Ａ）に対応し、かつ、所定値を示す前記正解データ（１２３Ａ）を含む１以上の教師データセット（１２５Ａ）のうち、入力されたときに前記学習済モデルから所定値が出力される前記状態データ（１２２Ａ）を含む教師データセットの第５割合と、対応する属性を示さない前記第１属性データ（１２４Ａ）に対応し、かつ、所定値を示す前記正解データ（１２３Ａ）を含む１以上の教師データセット（１２５Ａ）のうち、入力されたときに前記学習済モデルから所定値が出力される前記状態データ（１２２Ａ）を含む教師データセットの第６割合との差または比であり、
前記第２公平性指標は、対応する属性を示し、かつ、対応する前記目標変数の実測値が前記所定値を示すタイミングの１以上の第２属性データ（１２４Ｂ）のうち、入力されたときに前記学習済モデルから所定値が出力される前記状態データ（１２２Ｂ）と同じタイミングに対応する第２属性データの第７割合と、対応する属性を示さず、かつ、対応する前記目標変数の実測値が前記所定値を示すタイミングの１以上の第２属性データ（１２４Ｂ）のうち、入力されたときに前記学習済モデルから所定値が出力される前記状態データ（１２２Ｂ）と同じタイミングに対応する第２属性データの第８割合との差または比である、構成２から７のいずれかに記載の情報処理装置。
前記教師データセット（１２５Ａ）は、前記目的変数の実測値を示す正解データ（１２３Ａ）をさらに含み、
前記第１公平性指標は、対応する属性を示す前記第１属性データ（１２４Ａ）に対応し、かつ、所定値を示す前記正解データ（１２３Ａ）を含む１以上の教師データセット（１２５Ａ）のうち、入力されたときに前記学習済モデルから所定値が出力される前記状態データ（１２２Ａ）を含む教師データセットの第５割合と、対応する属性を示さない前記第１属性データ（１２４Ａ）に対応し、かつ、所定値を示す前記正解データ（１２３Ａ）を含む１以上の教師データセット（１２５Ａ）のうち、入力されたときに前記学習済モデルから所定値が出力される前記状態データ（１２２Ａ）を含む教師データセットの第６割合との差または比であり、
前記第２公平性指標は、対応する属性を示し、かつ、対応する前記目標変数の実測値が前記所定値を示すタイミングの１以上の第２属性データ（１２４Ｂ）のうち、入力されたときに前記学習済モデルから所定値が出力される前記状態データ（１２２Ｂ）と同じタイミングに対応する第２属性データの第７割合と、対応する属性を示さず、かつ、対応する前記目標変数の実測値が前記所定値を示すタイミングの１以上の第２属性データ（１２４Ｂ）のうち、入力されたときに前記学習済モデルから所定値が出力される前記状態データ（１２２Ｂ）と同じタイミングに対応する第２属性データの第８割合との差または比である、構成２から７のいずれかに記載の情報処理装置。
【0135】
本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0136】
１，１Ａ～１Ｃ 解析装置、２，２Ａ，２Ｂ ＰＬＣ、３，３Ａ，３Ｂ 製造ライン、４，４Ａ，４Ｂ ＭＥＳサーバ、１１，２１，４１ 制御部、１２，２２，４２ 記憶部、１３，２４，４３ 通信インタフェース、１４ 入力装置、１５ 出力装置、１６ ドライブ、１７ 解析プログラム、２３ 入出力インタフェース、３１ 機器、３１Ａ＿１，３１Ａ＿２，３１Ｂ＿１，３１Ｂ＿２ 製造装置、５０，５０Ｃ 画面、５１，５１Ｃ，５２，５２Ｃ＿１，５２Ｃ＿２ グラフ、５１ａ，５１ｂ 枠線，５３ａ，５３ｂ，５３Ｃ＿１，５Ｃ＿２ 表示欄、５４，５４ａ，５４ｂ，５４ｄ テキスト、５５，５５ａ～５５ｄ 円グラフ、９１ 記憶媒体、１００，１００Ａ 生産システム、１１０，１１０Ａ，１１０Ｂ 学習済モデル、１１２ データ取得部、１１２Ａ 第１取得部、１１２Ｂ 第２取得部、１１４ モデル生成部、１１６ モデル評価部、１１６Ａ 第１評価部、１１６Ｂ 第２評価部、１１８ 出力部、１２０ データベース、１２０Ａ，１２０Ｂ データセット、１２２Ａ，１２２Ｂ 状態データ、１２３Ａ，１２３Ｂ 正解データ、１２４Ａ，１２４Ｂ，４２４ 属性データ、１２５Ａ，１２５Ｂ 教師データセット、２１２ データ収集部、２２２ 制御プログラム、２２４ ＩＯデータ、４２２ 製造管理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】