知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024111483
(43)【公開日】2024-08-19
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G05B 19/418 20060101AFI20240809BHJP
G06Q 50/04 20120101ALI20240809BHJP
G06N 20/00 20190101ALI20240809BHJP
【ＦＩ】
G05B19/418 Z
G06Q50/04
G06N20/00 130
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023016017
(22)【出願日】2023-02-06
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】木村 克行
【テーマコード（参考）】
3C100
5L049
5L050
【Ｆターム（参考）】
3C100AA29
3C100AA38
3C100AA57
3C100BB05
3C100BB12
3C100BB13
3C100BB17
3C100BB19
3C100BB27
3C100CC02
3C100CC03
5L049CC03
5L050CC03
(57)【要約】
【課題】製造ラインに適用される学習済モデルについてのバイアスの状況を確認できる情報処理装置を提供する。
【解決手段】情報処理装置は、学習済モデルを生成するために用いられた複数の教師データセットの各々の状態データが取得されたときの製造ラインに関わる１以上の要素の属性を示す属性データに基づいて、学習期間における１以上の要素の属性の偏りを評価する評価部を備える。１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含む。情報処理装置は、さらに、評価結果を出力する出力部を備える。
【選択図】図１
【解決手段】情報処理装置は、学習済モデルを生成するために用いられた複数の教師データセットの各々の状態データが取得されたときの製造ラインに関わる１以上の要素の属性を示す属性データに基づいて、学習期間における１以上の要素の属性の偏りを評価する評価部を備える。１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含む。情報処理装置は、さらに、評価結果を出力する出力部を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
製造ラインの状態を示す状態データの入力を受けて、目的変数の値を出力する学習済モデルを評価する情報処理装置であって、
前記学習済モデルは、学習期間における前記状態データを含む複数の教師データセットを用いて生成され、前記情報処理装置は、
前記複数の教師データセットの各々の前記状態データが取得されたときの前記製造ラインに関わる１以上の要素の属性を示す属性データに基づいて、前記学習期間における前記１以上の要素の属性の偏りを評価する評価部を備え、前記１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含み、前記情報処理装置は、さらに、
前記評価部による評価結果を出力する出力部を備える、情報処理装置。
前記学習済モデルは、学習期間における前記状態データを含む複数の教師データセットを用いて生成され、前記情報処理装置は、
前記複数の教師データセットの各々の前記状態データが取得されたときの前記製造ラインに関わる１以上の要素の属性を示す属性データに基づいて、前記学習期間における前記１以上の要素の属性の偏りを評価する評価部を備え、前記１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含み、前記情報処理装置は、さらに、
前記評価部による評価結果を出力する出力部を備える、情報処理装置。
【請求項2】
前記評価部は、前記１以上の要素の属性ごとに公平性指標を計算する、請求項１に記載の情報処理装置。
【請求項3】
前記出力部は、前記評価結果を含む画面を示す画面データを出力し、
前記画面において、基準よりも不公平であることを示す前記公平性指標に対応する属性が強調表示される、請求項２に記載の情報処理装置。
前記画面において、基準よりも不公平であることを示す前記公平性指標に対応する属性が強調表示される、請求項２に記載の情報処理装置。
【請求項4】
前記画面は、前記１以上の要素の前記属性の経時変化を示すグラフを含む、請求項３に記載の情報処理装置。
【請求項5】
前記評価部の評価結果に応じて、前記学習済モデルを更新するモデル生成部をさらに備え、
前記モデル生成部は、
前記複数の教師データセットに対して、前記１以上の要素の属性の偏りの影響を減少させるための前処理を行ない、
前処理が行なわれた前記複数の教師データセットを用いた機械学習を行なうことにより、更新後の学習済モデルを生成する、請求項１から４のいずれか１項に記載の情報処理装置。
前記モデル生成部は、
前記複数の教師データセットに対して、前記１以上の要素の属性の偏りの影響を減少させるための前処理を行ない、
前処理が行なわれた前記複数の教師データセットを用いた機械学習を行なうことにより、更新後の学習済モデルを生成する、請求項１から４のいずれか１項に記載の情報処理装置。
【請求項6】
製造ラインの状態を示す状態データの入力を受けて、目的変数の値を出力する学習済モデルを評価する情報処理方法であって、
前記学習済モデルは、学習期間における前記状態データを含む複数の教師データセットを用いて生成され、前記情報処理方法は、
前記複数の教師データセットの各々の前記状態データが取得されたときの前記製造ラインに関わる１以上の要素の属性を示す属性データに基づいて、前記学習期間における前記１以上の要素の属性の偏りを評価することを備え、前記１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含み、前記情報処理方法は、さらに、
評価結果を出力することを備える、情報処理方法。
前記学習済モデルは、学習期間における前記状態データを含む複数の教師データセットを用いて生成され、前記情報処理方法は、
前記複数の教師データセットの各々の前記状態データが取得されたときの前記製造ラインに関わる１以上の要素の属性を示す属性データに基づいて、前記学習期間における前記１以上の要素の属性の偏りを評価することを備え、前記１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含み、前記情報処理方法は、さらに、
評価結果を出力することを備える、情報処理方法。
【請求項7】
請求項６に記載の情報処理方法をコンピュータに実行させる、情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
近年、様々な用途に、機械学習によって生成された学習済モデルが適用されている。学習済モデルを生成するために用いられる教師データに偏りがあると、学習済モデルの結果にも偏りが反映されるバイアス問題が知られている。
【0003】
特開２０２１－１７９９７４号公報（特許文献１）には、このようなバイアスを緩和する技術が開示されている。当該技術は、タスク特有の質問に対応するユーザ応答に基づいて、バイアスのセットとバイアスを緩和するための妥当なアクションのセットとを表示する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－１７９９７４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
製造ラインに対して、例えば品質判定及び工場ＫＰＩ（Key Performance Indicators）などの予測のために学習済モデルが活用されている。特許文献１に開示の技術は、製造ラインへの適用を考慮しておらず、製造ラインに適用される学習済モデルについてのバイアスを適切に評価できない。その結果、ユーザは、製造ラインに適用している学習済モデルについてのバイアスの状況を確認できない。
【0006】
本開示は、上記の問題に鑑みてなされたものであり、その目的は、製造ラインに適用される学習済モデルについてのバイアスの状況を確認できる情報処理装置、情報処理方法及び情報処理プログラムを提供することである。
【課題を解決するための手段】
【0007】
本開示の一例によれば、情報処理装置は、製造ラインの状態を示す状態データの入力を受けて、目的変数の予測値を出力する学習済モデルを評価する。学習済モデルは、学習期間における状態データを含む複数の教師データセットを用いて生成される。情報処理装置は、複数の教師データセットの各々の状態データが取得されたときの製造ラインに関わる１以上の要素の属性を示す属性データに基づいて、学習期間における１以上の要素の属性の偏りを評価する評価部を備える。１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含む。情報処理装置は、さらに、評価部による評価結果を出力する出力部を備える。
【0008】
この開示によれば、学習期間における製造ラインに関わる人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含む１以上の要素の属性の偏りが評価される。当該１以上の要素の属性の偏りは、学習済モデルの出力結果の偏りに反映され得る。そのため、ユーザは、評価結果に基づいて、学習済モデルについてのバイアスの状況を確認できる。
【0009】
上述の開示において、評価部は、１以上の要素の属性ごとに公平性指標を計算する。この開示によれば、公平性指標に基づいて、１以上の要素の属性の偏りを容易に把握できる。
【0010】
上述の開示において、出力部は、評価結果を含む画面を示す画面データを出力する。画面において、基準よりも不公平であることを示す公平性指標に対応する属性が強調表示される。
【0011】
この開示によれば、ユーザは、画面を確認することにより、偏りが生じている属性を容易に把握できる。その結果、ユーザは、バイアスを軽減するために、どのような属性のときの教師データセットを補充すべきかを判断できる。
【0012】
上述の開示において、画面は、１以上の要素の属性の経時変化を示すグラフを含む。この開示によれば、ユーザは、属性の偏りを把握しやすくなる。
【0013】
上述の開示において、評価部の評価結果に応じて、学習済モデルを更新するモデル生成部をさらに備える。モデル生成部は、複数の教師データセットに対して、１以上の要素の属性の偏りの影響を減少させるための前処理を行ない、前処理が行なわれた複数の教師データセットを用いた機械学習を行なうことにより、更新後の学習済モデルを生成する。この開示によれば、バイアスの軽減された学習済モデルに自動的に更新される。
【0014】
本開示の別の例によれば、情報処理方法は、製造ラインの状態を示す状態データの入力を受けて、目的変数の予測値を出力する学習済モデルを評価する。学習済モデルは、学習期間における状態データを含む複数の教師データセットを用いて生成される。情報処理方法は、複数の教師データセットの各々の状態データが取得されたときの製造ラインに関わる１以上の要素の属性を示す属性データに基づいて、学習期間における１以上の要素の属性の偏りを評価することを備える。１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含む。情報処理方法は、さらに、評価結果を出力することを備える。
【0015】
本開示のさらに別の例によれば、プログラムは、上記の情報処理方法をコンピュータに実行させる。
【0016】
これらの開示によっても、製造ラインに適用される学習済モデルについてのバイアスの状況を確認できる。
【発明の効果】
【0017】
本開示によれば、製造ラインに適用される学習済モデルについてのバイアスの状況を確認できる。
【図面の簡単な説明】
【0018】
【図1】実施の形態に係る情報処理装置の一形態である解析装置を含む生産システムの一例を模式的に例示する図である。
【図2】実施の形態に係る解析装置のハードウェア構成の一例を模式的に例示する図である。
【図3】実施の形態に係るＰＬＣのハードウェア構成の一例を模式的に例示する図である。
【図4】実施の形態に従うＭＥＳサーバのハードウェア構成の一例を模式的に例示する図である。
【図5】データセット１２０の一例を示す図である。
【図6】データセット１２０の別の例を示す図である。
【図7】評価部によって評価される公平性指標の一例を示す図である。
【図8】評価部によって評価される公平性指標の別の例を示す図である。
【図9】評価部によって評価される公平性指標のさらに別の例を示す図である。
【図10】実施の形態に係る解析装置の処理の流れの一例を示す図である。
【図11】評価結果を含む画面の一例を示す図である。
【図12】変形例３に係る生産システムの構成を模式的に示す図である。
【図13】解析装置１Ｃから出力される画面の一例を示す図である。
【発明を実施するための形態】
【0019】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【0020】
§１ 適用例
図１は、実施の形態に係る情報処理装置の一形態である解析装置を含む生産システムの一例を模式的に例示する図である。図１に示すように、実施の形態に係る生産システム１００は、解析装置１と、ＰＬＣ（Programmable Logic Controller）２と、製造ライン３と、ＭＥＳ（Manufacturing Execution System）サーバ４と、を備える。
図１は、実施の形態に係る情報処理装置の一形態である解析装置を含む生産システムの一例を模式的に例示する図である。図１に示すように、実施の形態に係る生産システム１００は、解析装置１と、ＰＬＣ（Programmable Logic Controller）２と、製造ライン３と、ＭＥＳ（Manufacturing Execution System）サーバ４と、を備える。
【0021】
製造ライン３は、何らかの物を製造可能であればよく、複数の機器３１で構成されてもよいし、包装機等の１つの機器３１で構成されてもよい。機器３１は、製造工程の何らかの処理を実施可能であればよい。機器３１は、例えば、サーボモータ、コンベア、ロボットアーム、シリンダ（成形機等）、吸着パッド、カッター装置、シール装置等の製造装置又はその製造装置の一部で構成されてよい。機器３１は、例えば、印刷機、実装機、リフロー炉、基板検査装置等の複合装置であってもよい。機器３１は、上記のような何らかの物理的な動作を伴う装置の他に、例えば、各種センサにより何らかの情報を検知する装置、各種センサからデータを取得する装置、取得したデータから何らかの情報を検知する装置、取得したデータを情報処理する装置等の内部処理を行う装置を含んでもよい。具体例として、コンベアを流れる対象物に付与されたマークを検知する光学センサを備える製造ラインにおいて、当該光学センサ及び光学センサにより検知した情報を利用する装置が各機器３１として取り扱われてよい。
【0022】
ＰＬＣ２は、予め作成された制御プログラム２２２に従って、製造ライン３の動作を制御するための制御演算を実行する。
【0023】
ＰＬＣ２は、製造ライン３の動作を制御するために、予め定められた制御周期毎に入出力データ（以下、「ＩＯデータ２２４」と称する）を取得する（収集）するデータ収集部２１２を備える。ＩＯデータ２２４は、各機器３１からＰＬＣ２へ転送されるデータと、制御演算によって算出される各種のデータとを含む。例えば、ＩＯデータ２２４は、各機器３１の状態（例えば、トルク、速度、加速度、温度、電流、電圧、空圧、圧力、流量、位置、寸法など）を示すデータ、及び、製造された製品の品質を示すデータなどを含む。各機器３１の状態を示すデータには、当該機器３１への指令値を示すデータも含まれる。
【0024】
ＭＥＳサーバ４は、予め作成された生産計画に従って、ＰＬＣ２に対する製造指示の出力、ＰＬＣ２から出力されたＩＯデータ２２４の管理、作業者への指示及び支援などを行なう。
【0025】
さらに、ＭＥＳサーバ４は、一定周期（例えばＰＬＣ２の制御周期）ごとの、製造ライン３に関わる１以上の要素の属性を示す属性データ４２４を管理する。属性データ４２４は、対応する周期における製造ライン３の５Ｍ１Ｅ（Man（人），Machine（機械），Method（方法），Material（材料），Management（管理），Environment（環境））の少なくとも１つの属性を示す。例えば、属性データ４２４は、製造ライン３の作業者、製造ライン３において稼働している設備、製造ライン３の製造条件、製造ライン３に投入されている材料のロット、製造ライン３のレイアウト、製造ライン３の周囲の温度などの属性を示す。さらに、属性データは、製造ライン３において生産されている製品の属性（品種）を示してもよい。
【0026】
解析装置１は、製造ライン３の状態を示す状態データの入力を受けて、目的変数の値（予測値）を出力（予測）する学習済モデル１１０を評価する。目的変数は、例えば製品の品質及び工場ＫＰＩなどである。工場ＫＰＩとして、例えば、生産レート（＝生産量／生産時間）、平均故障時間（Mean Time To Failure（ＭＴＴＦ））（＝総稼働時間／故障数）などが挙げられる。なお、目的変数の値は、数値であってもよいし、文字列であってもよい。
【0027】
学習済モデル１１０は、一定周期（例えばＰＬＣ２の制御周期）ごとに状態データの入力を受け、目的変数の予測値を出力する。具体的には、学習済モデル１１０は、状態データの入力を受けると、目的変数の予測値を決定するためのスコアを計算する。学習済モデル１１０は、スコアに応じた予測値を出力する。学習済モデル１１０から出力された目的変数の予測値は、例えば、ＰＬＣ２の制御演算に使用され得る。
【0028】
図１に示すように、解析装置１は、データ取得部１１２と、モデル生成部１１４と、評価部１１６と、出力部１１８と、を備える。
【0029】
データ取得部１１２は、ＩＯデータ２２４及び属性データを時系列に基づいて互いに対応付けることにより、複数のデータセット１２０を生成する。データ取得部１１２は、少なくとも学習期間において複数のデータセット１２０の生成を行なう。学習期間は、例えば、ユーザによって指定される。ただし、データ取得部１１２は、学習期間の終了後においても、データセット１２０の生成を継続して行なってもよい。
【0030】
複数のデータセット１２０の各々は、製造ライン３の状態を示す状態データ１２２と、目標変数の実測値を示す正解データ１２３と、属性データ１２４とを含む。状態データ１２２及び正解データ１２３は、学習済モデル１１０の生成のための教師データセット１２５を構成する。
【0031】
データ取得部１１２は、互いに異なる複数のタイミング（例えば制御周期ごとのタイミング）の各々について、当該タイミングにおいて取得（収集）されたＩＯデータ２２４の少なくとも一部を状態データ１２２として含むデータセット１２０を生成する。さらに、データ取得部１１２は、状態データ１２２として設定されたＩＯデータ２２４が取得（収集）されたときの製造ライン３の属性データ４２４を取得し、当該状態データ１２２を含むデータセット１２０の属性データ１２４として設定する。
【0032】
データ取得部１１２は、状態データ１２２として設定するＩＯデータ２２４を、ＰＬＣ２またはＭＥＳサーバ４から取得する。また、データ取得部１１２は、属性データ１２４として設定する属性データ４２４をＭＥＳサーバ４から取得する。
【0033】
通常、あるタイミングに対応する目的変数の実測値は、当該タイミングよりも後に判明される。例えば、目的変数が製品の品質である場合、当該製品を製造中の製造ライン３の状態を示すＩＯデータ２２４が収集されるタイミングよりも後に実施される検査によって製品の品質が判明する。そのため、例えば、データ取得部１１２は、あるタイミングに対応するデータセット１２０の正解データ１２３として、当該タイミングよりも所定期間経過後のＩＯデータ２２４の一部を設定する。
【0034】
なお、正解データ１２３の設定方法は、上記の例に限定されず、目的変数の種類に応じて適宜選択される。例えば、データ取得部１１２は、ＩＯデータ２２４から計算される値を示すデータを正解データ１２３として設定してもよい。あるいは、データ取得部１１２は、ユーザから入力されたデータまたは外部装置から取得したデータを正解データ１２３として設定してもよい。
【0035】
モデル生成部１１４は、学習期間の複数のデータセット１２０に含まれる複数の教師データセット１２５を用いた機械学習を行なうことにより、学習済モデル１１０を生成する。なお、モデル生成部１１４は、出力される目的変数が互いに異なる複数の学習済モデル１１０を生成してもよい。学習済モデル１１０は、学習期間よりも後の運用期間における製造ライン３の状態を示す状態データの入力を受けて、目的変数の予測値を出力するために利用される。
【0036】
評価部１１６は、学習期間の複数の教師データセット１２５の各々に対応する属性データ１２４に基づいて、学習期間における１以上の要素の属性の偏りを評価する。例えば、評価部１１６は、１以上の要素の属性ごとに、公知の公平性指標を計算する。公平性指標とは、対象の属性のときのデータとそれ以外の属性のときのデータとを学習済モデル１１０に入力したときの予測値の偏りの相違を表す指標である。
【0037】
出力部１１８は、評価部１１６による評価結果を出力する。例えば、出力部１１８は、評価結果を含む画面をディスプレイに表示する。
【0038】
学習期間における製造ライン３に関わる人、機械、方法、材料、環境、及び管理のうちの少なくとも１つの属性の偏りは、学習済モデル１１０の出力結果の偏りに反映され得る。上記の構成によれば、これらの要素の属性の偏りが評価されるため、ユーザは、評価結果に基づいて、学習済モデル１１０についてのバイアスの状況を容易に確認できる。その結果、ユーザは、バイアスを解消するための対策（例えば、教師データセットの補充）を行なうべきか否かを判断できる。
【0039】
§２ 具体例
＜解析装置のハードウェア構成＞
図２は、実施の形態に係る解析装置のハードウェア構成の一例を模式的に例示する図である。図２に示されるとおり、解析装置１は、制御部１１、記憶部１２、通信インタフェース１３、入力装置１４、出力装置１５、及びドライブ１６が電気的に接続されたコンピュータである。なお、図２では、通信インタフェースを「通信Ｉ／Ｆ」と記載している。
＜解析装置のハードウェア構成＞
図２は、実施の形態に係る解析装置のハードウェア構成の一例を模式的に例示する図である。図２に示されるとおり、解析装置１は、制御部１１、記憶部１２、通信インタフェース１３、入力装置１４、出力装置１５、及びドライブ１６が電気的に接続されたコンピュータである。なお、図２では、通信インタフェースを「通信Ｉ／Ｆ」と記載している。
【0040】
制御部１１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御を行う。記憶部１２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部１１で実行される解析プログラム１７等を記憶する。
【0041】
解析プログラム１７は、製造ライン３の状態を示す状態データの入力を受けて、目的変数の値を出力する学習済モデル１１０を評価する処理を解析装置１に実行させるためのプログラムである。さらに、実施の形態に係る解析プログラム１７は、学習済モデル１１０を生成する処理を解析装置１に実行させる。
【0042】
通信インタフェース１３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。解析装置１は、この通信インタフェース１３により、ＰＬＣ２及びＭＥＳサーバ４との間でネットワークを介したデータ通信を行うことができる。なお、ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。
【0043】
入力装置１４は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置１５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置１４及び出力装置１５を介して、解析装置１を操作することができる。
【0044】
ドライブ１６は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９１に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ１６の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。解析プログラム１７は、この記憶媒体９１に記憶されていてもよい。
【0045】
記憶媒体９１は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。解析装置１は、この記憶媒体９１から、解析プログラム１７を取得してもよい。
【0046】
ここで、図２では、記憶媒体９１の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９１の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
【0047】
なお、解析装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。解析装置１は、複数台の情報処理装置で構成されてもよい。また、解析装置１は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ（Personal Computer）等であってもよい。
【0048】
図１に示すデータ取得部１１２は、解析プログラム１７を実行するプロセッサと通信インタフェース１３とによって実現される。モデル生成部１１４及び評価部１１６は、解析プログラム１７を実行するプロセッサによって実現される。出力部１１８は、解析プログラム１７を実行するプロセッサと出力装置１５とによって実現される。
【0049】
＜ＰＬＣのハードウェア構成＞
図３は、実施の形態に係るＰＬＣのハードウェア構成の一例を模式的に例示する図である。図３に示されるとおり、ＰＬＣ２は、制御部２１、記憶部２２、入出力インタフェース２３、及び通信インタフェース２４が電気的に接続されたコンピュータである。これにより、ＰＬＣ２は、製造ライン３の各機器３１の動作を制御するように構成される。なお、図３では、入出力インタフェース及び通信インタフェースをそれぞれ「入出力Ｉ／Ｆ」及び「通信Ｉ／Ｆ」と記載している。
図３は、実施の形態に係るＰＬＣのハードウェア構成の一例を模式的に例示する図である。図３に示されるとおり、ＰＬＣ２は、制御部２１、記憶部２２、入出力インタフェース２３、及び通信インタフェース２４が電気的に接続されたコンピュータである。これにより、ＰＬＣ２は、製造ライン３の各機器３１の動作を制御するように構成される。なお、図３では、入出力インタフェース及び通信インタフェースをそれぞれ「入出力Ｉ／Ｆ」及び「通信Ｉ／Ｆ」と記載している。
【0050】
制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部２２は、例えば、ＲＡＭ、ＲＯＭ等で構成され、制御プログラム２２２、ＩＯデータ２２４等を記憶する。入出力インタフェース２３は、外部装置と接続するためのインタフェースであり、接続する外部装置に応じて適宜構成される。ＰＬＣ２は、入出力インタフェース２３を介して、製造ライン３に接続される。なお、単一の装置について異なるＩＯデータ２２４の通信を行なう場合、当該対象の単一の装置は、複数の機器３１とみなされてもよいし、単一の機器３１とみなされてもよい。そのため、入出力インタフェース２３の数は、製造ライン３を構成する機器３１の数と同じであってもよいし、製造ライン３を構成する機器３１の数と相違していてもよい。
【0051】
通信インタフェース２４は、例えば、有線ＬＡＮモジュール、無線ＬＡＮモジュール等であり、有線又は無線通信を行うためのインタフェースである。ＰＬＣ２は、通信インタフェース２４により、解析装置１及びＭＥＳサーバ４との間でデータ通信を行うことができる。
【0052】
なお、ＰＬＣ２の具体的なハードウェア構成に関して、実施の形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部２１は、複数のプロセッサを含んでもよい。記憶部２２は、制御部２１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。記憶部２２は、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置で構成されてもよい。また、ＰＬＣ２は、提供されるサービス専用に設計された情報処理装置の他、制御する対象に応じて、汎用のデスクトップＰＣ、タブレットＰＣ等に置き換えられてもよい。
【0053】
図１に示すデータ収集部２１２は、制御プログラム２２２を実行するプロセッサと入出力インタフェース２３とによって実現される。
【0054】
＜ＭＥＳサーバのハードウェア構成＞
図４は、実施の形態に従うＭＥＳサーバのハードウェア構成の一例を模式的に例示する図である。図４に示されるとおり、ＭＥＳサーバ４は、制御部４１、記憶部４２及び通信インタフェース４３が電気的に接続されたコンピュータである。なお、図４では、通信インタフェースを「通信Ｉ／Ｆ」と記載している。
図４は、実施の形態に従うＭＥＳサーバのハードウェア構成の一例を模式的に例示する図である。図４に示されるとおり、ＭＥＳサーバ４は、制御部４１、記憶部４２及び通信インタフェース４３が電気的に接続されたコンピュータである。なお、図４では、通信インタフェースを「通信Ｉ／Ｆ」と記載している。
【0055】
制御部４１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、情報処理に応じて各構成要素の制御を行う。記憶部４２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部４１で実行される製造管理プログラム４２２、属性データ４２４等を記憶する。
【0056】
製造管理プログラム４２２は、予め作成された生産計画に従って、ＰＬＣ２に対する製造指示の出力、ＰＬＣ２から出力されたＩＯデータ２２４の管理、作業者への指示及び支援など処理をＭＥＳサーバ４に実行させるためのプログラムである。さらに、製造管理プログラム４２２は、一定周期（例えばＰＬＣ２の制御周期）ごとに、製造ライン３に関わる１以上の要素の属性を示す属性データ４２４の生成及び格納をＭＥＳサーバ４に実行させる。
【0057】
通信インタフェース４３は、例えば、有線ＬＡＮモジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。ＭＥＳサーバ４は、この通信インタフェース４３により、ＰＬＣ２及び解析装置１との間でネットワークを介したデータ通信を行うことができる。なお、ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。
【0058】
なお、ＭＥＳサーバ４の具体的なハードウェア構成に関して、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部４１は、複数のプロセッサを含んでもよい。ＭＥＳサーバ４は、複数台の情報処理装置で構成されてもよい。また、ＭＥＳサーバ４は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ等であってもよい。
【0059】
＜データセット＞
図５は、データセット１２０の一例を示す図である。図６は、データセット１２０の別の例を示す図である。図５及び図６に示す例では、複数のデータセット１２０がテーブル形式で表され、各レコードが１つのデータセット１２０に対応する。
図５は、データセット１２０の一例を示す図である。図６は、データセット１２０の別の例を示す図である。図５及び図６に示す例では、複数のデータセット１２０がテーブル形式で表され、各レコードが１つのデータセット１２０に対応する。
【0060】
【0061】
図５に示すデータセット１２０の正解データ１２３は、製品の品質の実測値（文字列「良品（ＯＫ）」又は「不良品（ＮＧ）」）を示す。そのため、図５に示すデータセット１２０は、製品の品質の予測値を出力する学習済モデル１１０の生成及び評価に用いられる。
【0062】
図６に示すデータセット１２０の正解データ１２３は、工場ＫＰＩである生産レートの実測値（数値）を示す。そのため、図６に示すデータセット１２０は、生産レートの予測値を出力する学習済モデル１１０の生成及び評価に用いられる。
【0063】
データ取得部１１２は、状態データ１２２と正解データ１２３と属性データ１２４とを対応付けのために、タイムスタンプを利用することができる。例えば、データ取得部１１２は、ＩＯデータ２２４に付与される第１タイムスタンプと、属性データ４２４に付与される第２タイムスタンプとに基づいて、状態データ１２２と属性データ４２４とを対応付ける。第１タイムスタンプは、ＩＯデータ２２４が取得された制御周期の時刻を表す。第２タイムスタンプは、１以上の要素が属性データ４２４によって示される属性であったときの時刻を表す。具体的には、データ取得部１１２は、ある制御周期に対応するデータセット１２０の状態データ１２２及び属性データ１２４として、当該制御周期に含まれる第１タイムスタンプが付与されたＩＯデータ２２４の少なくとも一部と、当該制御周期に含まれる第２スタンプが付与された属性データ４２４とをそれぞれ取得する。
【0064】
あるいは、データ取得部１１２は、状態データ１２２と正解データ１２３と属性データ１２４とを対応付けのために、各製品を識別する製品ＩＤを利用してもよい。製品ＩＤは、ＭＥＳサーバ４によって管理される。ＭＥＳサーバ４は、各製品に対する処理命令を各工程に出力する際に、当該製品の製品ＩＤを処理命令に付与する。ＭＥＳサーバ４は、処理命令に応じて取得されたＩＯデータ２２４と、当該処理命令に付与した製品ＩＤとを対応付けて管理する。データ取得部１１２は、ある制御周期に対応する状態データ１２２に対して、当該制御周期に取得されたＩＯデータ２２４に対応する製品ＩＤの製品の品質を示す正解データ１２３を対応付ける。
【0065】
＜公平性指標＞
図７は、評価部によって評価される公平性指標の一例を示す図である。図８は、評価部によって評価される公平性指標の別の例を示す図である。図９は、評価部によって評価される公平性指標のさらに別の例を示す図である。図７～図９には、目的変数の予測値として品質の良否を出力する学習済モデル１１０を評価するときに計算される公平性指標が示される。
図７は、評価部によって評価される公平性指標の一例を示す図である。図８は、評価部によって評価される公平性指標の別の例を示す図である。図９は、評価部によって評価される公平性指標のさらに別の例を示す図である。図７～図９には、目的変数の予測値として品質の良否を出力する学習済モデル１１０を評価するときに計算される公平性指標が示される。
【0066】
図７に示す公平性指標は「統計均衡差」とも称される。図７において、丸印は、教師データセット１２５を表す。図７に示されるように、評価部１１６は、対象の属性を示す属性データ１２４を含む１以上のデータセット１２０のうち、入力されたときに学習済モデル１１０から予測値「不良品（ＮＧ）」が出力される状態データ１２２を含むデータセットの割合Ｒ１を計算する。言い換えると、評価部１１６は、対象の属性を示す属性データ１２４に対応する１以上の教師データセット１２５のうち、入力されたときに学習済モデル１１０から予測値「不良品（ＮＧ）」が出力される状態データ１２２を含む教師データセットの割合Ｒ１を計算する。さらに、評価部１１６は、対象の属性を示さない属性データ１２４を含む１以上のデータセット１２０のうち、入力されたときに学習済モデル１１０から予測値「不良品（ＮＧ）」が出力される状態データ１２２を含むデータセットの割合Ｒ２を計算する。言い換えると、評価部１１６は、対象の属性を示さない属性データ１２４に対応する１以上の教師データセット１２５のうち、入力されたときに学習済モデル１１０から予測値「不良品（ＮＧ）」が出力される状態データ１２２を含む教師データセットの割合Ｒ２を計算する。評価部１１６は、割合Ｒ１と割合Ｒ２との差を公平性指標（統計均衡差）として計算する。
【0067】
【0068】
図９に示す公平性指標は「機会均等差」とも称される。図９において、丸印は、「不良品（ＮＧ）」を示す正解データ１２３を含むデータセット１２０を表す。三角印は、「良品（ＯＫ）」を示す正解データ１２３を含むデータセット１２０を表す。
【0069】
図９に示されるように、評価部１１６は、対象の属性を示す属性データ１２４と「不良品（ＮＧ）」を示す正解データ１２３とを含む１以上のデータセット１２０のうち、入力されたときに学習済モデル１１０から予測値「不良品（ＮＧ）」が出力される状態データ１２２を含むデータセットの割合Ｒ３を計算する。言い換えると、評価部１１６は、対象の属性を示す属性データ１２４に対応し、かつ、「不良品（ＮＧ）」を示す正解データ１２３を含む１以上の教師データセット１２５のうち、入力されたときに学習済モデル１１０から予測値「不良品（ＮＧ）」が出力される状態データ１２２を含む教師データセットの割合Ｒ１を計算する。さらに、評価部１１６は、対象の属性を示さない属性データ１２４と「不良品（ＮＧ）」を示す正解データ１２３とを含む１以上のデータセット１２０のうち、入力されたときに学習済モデル１１０から予測値「不良品（ＮＧ）」が出力される状態データ１２２を含むデータセットの割合Ｒ４を計算する。言い換えると、評価部１１６は、対象の属性を示さない属性データ１２４に対応し、かつ、「不良品（ＮＧ）」を示す正解データ１２３を含む１以上の教師データセット１２５のうち、入力されたときに学習済モデル１１０から予測値「不良品（ＮＧ）」が出力される状態データ１２２を含む教師データセットの割合Ｒ１を計算する。評価部１１６は、割合Ｒ３と割合Ｒ４との差を公平性指標（機会均等差）として計算する。
【0070】
評価部１１６は、割合Ｒ３と割合Ｒ４との比（Ｒ３／Ｒ４）を公平性指標として計算してもよい。
【0071】
このようにして、評価部１１６は、１以上の要素の属性ごとに公平性指標を計算する。例えば、属性データ１２４が１つの要素の属性のみを示す場合、評価部１１６は、当該１つの要素の属性ごとに公平性指標を計算する。属性データ１２４が複数の要素の属性を示す場合、評価部１１６は、当該複数の要素のうちの選択された１つの要素の属性ごとに公平性指標を計算してもよい。あるいは、評価部１１６は、当該複数の要素の属性の組み合わせごとに公平性指標を計算してもよい。あるいは、評価部１１６は、当該複数の要素のうちの選択された２以上の要素の属性の組み合わせごとに公平性指標を計算してもよい。例えば、評価部１１６は、要素「製品」の属性が「製品Ａ」，「製品Ｄ」のいずれかであり、要素「方法」の属性が「処理速度６０」，「処理速度１００」のいずれかである場合、以下の４つの組み合わせの各々について公平性指標を計算する。
・属性「製品Ａ」と属性「処理速度６０」の組み合わせ、
・属性「製品Ａ」と属性「処理速度１００」の組み合わせ、
・属性「製品Ｄ」と属性「処理速度６０」の組み合わせ、
・属性「製品Ｄ」と属性「処理速度１００」の組み合わせ。
・属性「製品Ａ」と属性「処理速度６０」の組み合わせ、
・属性「製品Ａ」と属性「処理速度１００」の組み合わせ、
・属性「製品Ｄ」と属性「処理速度６０」の組み合わせ、
・属性「製品Ｄ」と属性「処理速度１００」の組み合わせ。
【0072】
＜処理の流れ＞
図１０は、実施の形態に係る解析装置の処理の流れの一例を示す図である。図１０に示されるように、解析装置１のプロセッサは、学習期間の各教師データセット１２５について、属性データ１２４を取得する（ステップＳ１）。次に、プロセッサは、複数の教師データセット１２５の属性データ１２４に基づいて、学習期間における１以上の要素の属性の偏りを評価する（ステップＳ２）。次に、プロセッサは、評価結果を出力する（ステップＳ３）。
図１０は、実施の形態に係る解析装置の処理の流れの一例を示す図である。図１０に示されるように、解析装置１のプロセッサは、学習期間の各教師データセット１２５について、属性データ１２４を取得する（ステップＳ１）。次に、プロセッサは、複数の教師データセット１２５の属性データ１２４に基づいて、学習期間における１以上の要素の属性の偏りを評価する（ステップＳ２）。次に、プロセッサは、評価結果を出力する（ステップＳ３）。
【0073】
＜画面例＞
図１１は、評価結果を含む画面の一例を示す図である。図１１に示す画面５０は、出力部１１８として動作するハードウェアプロセッサが出力する画面データに基づいて、出力装置１５に含まれるディスプレイに表示される。あるいは、画面５０は、解析装置１に接続されたディスプレイに表示されてもよい。
図１１は、評価結果を含む画面の一例を示す図である。図１１に示す画面５０は、出力部１１８として動作するハードウェアプロセッサが出力する画面データに基づいて、出力装置１５に含まれるディスプレイに表示される。あるいは、画面５０は、解析装置１に接続されたディスプレイに表示されてもよい。
【0074】
図１１に示す画面５０は、包装機と包装機にフィルムを送る搬送機とを含む製造ライン３に対して適用される学習済モデル１１０の評価結果を示す。
【0075】
図１１に示されるように、画面５０は、グラフ５１，５２と、表示欄５３とを含む。グラフ５１は、予測値を決定するために学習済モデル１１０によって計算されるスコアの経時変化を示す。学習済モデル１１０は、スコアが閾値ＴＨ１を超える場合に、目的変数「品質」の予測値を「不良品（ＮＧ）」に決定する。グラフ５１には、学習期間を示す枠線５１ａが表示される。
【0076】
グラフ５２は、１以上の要素（図１１に示す例では、要素「製品」，「方法（フィルム搬送速度（ＣＰＭ））」の属性の経時変化を示す。図１１に示す例では、グラフ５２は、ガントチャートである。グラフ５１，５２は、共通の時間軸を有する。
【0077】
表示欄５３には、１以上の要素の属性ごとの公平性指標が表示される。図１１に示す例では、要素「製品」，「方法（フィルム搬送速度（ＣＰＭ））」の属性の組み合わせごとに、当該組み合わせを表すテキスト５４と、当該組み合わせに対応する公平性指標を表す円グラフ５５とが表示される。円グラフ５５は、図７に示す公平性指標（統計均衡差）を示す。図７に示す公平性指標（統計均衡差）が大きいほど、より不公平であることを表す。ここで、「より不公平であること」とは、より偏りが大きいことを意味する。
【0078】
画面５０において、予め定められた基準よりも不公平であること（言い換えると、予め定められた基準よりも偏りが大きいこと）を示す公平性指標に対応する属性が強調表示される。図１１に示す例では、閾値を超える公平性指標（統計均衡差）を示す円グラフ５５ａに対応するテキスト５４ａの枠線が他のテキスト５４の枠線よりも太くなるように表示されている。これにより、ユーザは、テキスト５４ａによって示される属性に対応し、正解データ１２３が「良品（ＯＫ）」を示す教師データセットが不足していることを認識できる。その結果、ユーザは、教師データセットの補充の検討できる。
【0079】
例えば、製造ライン３と同じ製造ラインを新たに立ち上げるときに、製造ライン３に適用していた学習済モデル１１０を新たな製造ラインにも適用することが想定される。ただし、製造ライン３と新たな製造ラインとの間で１以上の要素（例えば、人、方法、機械、材料）が相違することにより、製造ライン３に適用していた学習済モデル１１０を新たな製造ラインに適用した場合、学習済モデル１１０の予測精度が低下し得る。そこで、製造ライン３に適用していた学習済モデル１１０のバイアスを評価し、予測精度の低下を抑制するための教師データセットの補充などの対策を行なうことができる。
【0080】
＜変形例１＞
モデル生成部１１４は、評価部１１６の評価結果に応じて、学習済モデル１１０を更新してもよい。具体的には、モデル生成部１１４は、データ取得部１１２によって取得された、学習期間の複数の教師データセット１２５に対して、１以上の要素の属性の偏りの影響を減少させるための前処理を行う。モデル生成部１１４は、前処理が行なわれた複数の教師データセット１２５を用いた機械学習を行なうことにより、更新後の学習済モデル１１０を生成する。
モデル生成部１１４は、評価部１１６の評価結果に応じて、学習済モデル１１０を更新してもよい。具体的には、モデル生成部１１４は、データ取得部１１２によって取得された、学習期間の複数の教師データセット１２５に対して、１以上の要素の属性の偏りの影響を減少させるための前処理を行う。モデル生成部１１４は、前処理が行なわれた複数の教師データセット１２５を用いた機械学習を行なうことにより、更新後の学習済モデル１１０を生成する。
【0081】
前処理として公知の手法が採用される。例えば、前処理は、各教師データセット１２５に対する重み付けである。具体的には、モデル生成部１１４は、相対的により不公平であることを表す公平性指標の属性に対応する教師データセット１２５に対して、より大きい重みを付与する。例えば、図７に示す公平性指標が計算される場合、相対的により不公平であることを表す公平性指標の属性に対応し、かつ、正解データ１２３が「良品（ＯＫ）」を示す教師データセット１２５の重みを他の教師データセット１２５の重みよりも大きくする。
【0082】
あるいは、前処理は、教師データセット１２５の間引きであってもよい。具体的には、モデル生成部１１４は、属性ごとの公平性指標が均一になるように、一部の教師データセット１２５を間引く。
【0083】
＜変形例２＞
上記の説明では、画面５０のグラフ５１は、学習済モデル１１０によって計算されるスコアの経時変化を示すものとした。しかしながら、グラフ５１は、学習済モデル１１０から出力される予測値の経時変化を示してもよい。
上記の説明では、画面５０のグラフ５１は、学習済モデル１１０によって計算されるスコアの経時変化を示すものとした。しかしながら、グラフ５１は、学習済モデル１１０から出力される予測値の経時変化を示してもよい。
【0084】
【0085】
生産システム１００Ａは、解析装置１Ａ，１Ｂ，１Ｃと、ＰＬＣ２Ａ＿１，２Ａ＿２，２Ｂと、製造ライン３Ａ，３Ｂと、ＭＥＳサーバ４Ａ，４Ｂと、を備える。製造ライン３Ａは、製造装置３１Ａ＿１，３１Ａ＿２を含む。製造ライン３Ｂは、製造装置３１Ｂ＿１，３１Ｂ＿２を含む。
【0086】
ＰＬＣ２Ａ＿１は、製造装置３１Ａ＿１の動作を制御する。ＰＬＣ２Ａ＿２は、製造装置３１Ａ＿２の動作を制御する。ＰＬＣ２Ｂは、製造装置３１Ｂ＿１，３１Ｂ＿２の動作を制御する。
【0087】
ＭＥＳサーバ４Ａは、製造ライン３Ａに対して作成された生産計画に従って、ＰＬＣ２Ａ＿１，２Ａ＿２に対する製造指示の出力、ＰＬＣ２Ａ＿１，２Ａ＿２から出力されたＩＯデータ２２４の管理、作業者への指示及び支援などを行なう。
【0088】
ＭＥＳサーバ４Ｂは、製造ライン３Ｂに対して作成された生産計画に従って、ＰＬＣ２Ｂに対する製造指示の出力、ＰＬＣ２Ｂから出力されたＩＯデータ２２４の管理、作業者への指示及び支援などを行なう。
【0089】
解析装置１Ａは、製造ライン３Ａの状態を示す状態データの入力を受けて、目的変数の値を出力する学習済モデル１１０Ａを評価する。解析装置１Ｂは、製造ライン３Ｂの状態を示す状態データの入力を受けて、目的変数の値を出力する学習済モデル１１０Ｂを評価する。解析装置１Ａ，１Ｂの機能構成及びハードウェア構成は、図１及び図２に示す解析装置１の機能構成及びハードウェア構成と同じである。
【0090】
解析装置１Ｃは、学習済モデル１１０Ａ，１１０Ｂの評価結果を比較可能に出力する。解析装置１Ｃの機能構成及びハードウェア構成は、図１及び図２に示す解析装置１の機能構成及びハードウェア構成と同じである。ただし、解析装置１Ｃにおいて、データ取得部１１２は、解析装置１Ａ，１Ｂの各々から複数のデータセット１２０を取得する。また、解析装置１Ｃは、モデル生成部１１４を備えておらず、解析装置１Ａ，１Ｂから学習済モデル１１０Ａ，１１０Ｂをそれぞれ取得すればよい。
【0091】
図１３は、解析装置１Ｃから出力される画面の一例を示す図である。図１３に示す画面５０Ｃは、解析装置１Ｃのハードウェアプロセッサが出力する画面データに基づいて、解析装置１Ｃの出力装置１５に含まれるディスプレイに表示される。あるいは、画面５０Ｃは、解析装置１Ｃに接続されたディスプレイに表示されてもよい。
【0092】
図１３に示されるように、画面５０Ｃは、グラフ５１Ｃ，５２Ｃ＿１，５２Ｃ＿２と、表示欄５３Ｃ＿１，５３Ｃ＿２と、を含む。
【0093】
グラフ５１Ｃは、学習済モデル１１０Ａ，１１０Ｂによって計算されるスコアの経時変化を示す。グラフ５１Ｃにおいて、実線６０Ａは、学習済モデル１１０Ａによって計算されるスコアの経時変化を示す。破線６０Ｂは、学習済モデル１１０Ｂによって計算されるスコアの経時変化を示す。グラフ５１Ｃには、学習期間を示す枠線５１ａが表示される。
【0094】
グラフ５２Ｃ＿１は、製造ライン３Ａに関する１以上の要素の属性の経時変化を示す。グラフ５２Ｃ＿２には、製造ライン３Ｂに関する１以上の要素の属性の経時変化を示す。グラフ５２Ｃ＿１，５２Ｃ＿２は、ガントチャートである。グラフ５１Ｃ，５２Ｃ＿１，５２Ｃ＿２は、共通の時間軸を有する。
【0095】
表示欄５３Ｃ＿１には、製造ライン３Ａに関する１以上の要素の属性ごとの公平性指標が表示される。表示欄５３Ｃ＿２には、製造ライン３Ｂに関する１以上の要素の属性ごとの公平性指標が表示される。図１１に示す表示欄５３と同様に、表示欄５３Ｃ＿１，５３Ｃ＿２において、予め定められた基準よりも不公平であることを示す公平性指標に対応する属性が強調表示される。
【0096】
ユーザ（例えば工場長、工場管理者）は、画面５０Ｃを確認することにより、製造ライン３Ａ，３Ｂにそれぞれ適用されている学習済モデル１１０Ａ，１１０Ｂのバイアスの状況を容易に比較できる。これにより、ユーザは、学習済モデル１１０Ａ，１１０Ｂの各々について、教師データセットの補充が必要か否か、及び、どのような属性のときの教師データセットを補充すべきかを判断できる。
【0097】
＜変形例４＞
上記の説明では、解析装置１において、学習済モデル１１０が生成されるものとした。しかしながら、学習済モデル１１０は、解析装置１とは異なる外部装置において生成されてもよい。この場合、解析装置１は、学習済モデル１１０の生成に使用された教師データセット１２５に対応する属性データ１２４をＭＥＳサーバ４から取得し、学習期間における１以上の要素の属性の偏りを評価すればよい。
上記の説明では、解析装置１において、学習済モデル１１０が生成されるものとした。しかしながら、学習済モデル１１０は、解析装置１とは異なる外部装置において生成されてもよい。この場合、解析装置１は、学習済モデル１１０の生成に使用された教師データセット１２５に対応する属性データ１２４をＭＥＳサーバ４から取得し、学習期間における１以上の要素の属性の偏りを評価すればよい。
【0098】
＜変形例５＞
上記の説明では、解析装置１は、ＰＬＣ２及びＭＥＳサーバ４と別体である。しかしながら、解析装置１の機能は、ＰＬＣ２またはＭＥＳサーバ４に組み込まれてもよい（内蔵されてもよい）。言い換えると、解析装置１とＰＬＣ２およびＭＥＳサーバ４の少なくとも一方とが１つの装置として統合されてもよい。解析装置１の機能がＰＬＣ２に組み込まれる場合、ＰＬＣ２は、学習済モデル１１０を評価する情報処理装置として動作する。解析装置１の機能がＭＥＳサーバ４に組み込まれる場合、ＭＥＳサーバ４は、学習済モデル１１０を評価する情報処理装置として動作する。
上記の説明では、解析装置１は、ＰＬＣ２及びＭＥＳサーバ４と別体である。しかしながら、解析装置１の機能は、ＰＬＣ２またはＭＥＳサーバ４に組み込まれてもよい（内蔵されてもよい）。言い換えると、解析装置１とＰＬＣ２およびＭＥＳサーバ４の少なくとも一方とが１つの装置として統合されてもよい。解析装置１の機能がＰＬＣ２に組み込まれる場合、ＰＬＣ２は、学習済モデル１１０を評価する情報処理装置として動作する。解析装置１の機能がＭＥＳサーバ４に組み込まれる場合、ＭＥＳサーバ４は、学習済モデル１１０を評価する情報処理装置として動作する。
【0099】
§３ 付記
以上のように、本実施の形態は以下のような開示を含む。
以上のように、本実施の形態は以下のような開示を含む。
【0100】
（構成１）
製造ライン（３，３Ａ，３Ｂ）の状態を示す状態データの入力を受けて、目的変数の値を出力する学習済モデル（１１０，１１０Ａ，１１０Ｂ）を評価する情報処理装置（１，１Ａ～１Ｃ）であって、
前記学習済モデル（１１０，１１０Ａ，１１０Ｂ）は、学習期間における前記状態データを含む複数の教師データセット（１２５）を用いて生成され、前記情報処理装置（１，１Ａ～１Ｃ）は、
前記複数の教師データセット（１２５）の各々の前記状態データが取得されたときの前記製造ライン（３，３Ａ，３Ｂ）に関わる１以上の要素の属性を示す属性データ（１２４）に基づいて、前記学習期間における前記１以上の要素の属性の偏りを評価する評価部（１１，１１６）を備え、前記１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含み、前記情報処理装置（１，１Ａ～１Ｃ）は、さらに、
前記評価部（１１，１１６）による評価結果を出力する出力部（１１，１１８）を備える、情報処理装置（１，１Ａ～１Ｃ）。
製造ライン（３，３Ａ，３Ｂ）の状態を示す状態データの入力を受けて、目的変数の値を出力する学習済モデル（１１０，１１０Ａ，１１０Ｂ）を評価する情報処理装置（１，１Ａ～１Ｃ）であって、
前記学習済モデル（１１０，１１０Ａ，１１０Ｂ）は、学習期間における前記状態データを含む複数の教師データセット（１２５）を用いて生成され、前記情報処理装置（１，１Ａ～１Ｃ）は、
前記複数の教師データセット（１２５）の各々の前記状態データが取得されたときの前記製造ライン（３，３Ａ，３Ｂ）に関わる１以上の要素の属性を示す属性データ（１２４）に基づいて、前記学習期間における前記１以上の要素の属性の偏りを評価する評価部（１１，１１６）を備え、前記１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含み、前記情報処理装置（１，１Ａ～１Ｃ）は、さらに、
前記評価部（１１，１１６）による評価結果を出力する出力部（１１，１１８）を備える、情報処理装置（１，１Ａ～１Ｃ）。
【0101】
（構成２）
前記評価部（１１，１１６）は、前記１以上の要素の属性ごとに公平性指標を計算する、構成１に記載の情報処理装置（１，１Ａ～１Ｃ）。
前記評価部（１１，１１６）は、前記１以上の要素の属性ごとに公平性指標を計算する、構成１に記載の情報処理装置（１，１Ａ～１Ｃ）。
【0102】
（構成３）
前記出力部（１１，１１８）は、前記評価結果を含む画面（５０，５０Ｃ）を示す画面データを出力し、
前記画面（５０，５０Ｃ）において、基準よりも不公平であることを示す前記公平性指標に対応する属性が強調表示される、構成２に記載の情報処理装置（１，１Ａ～１Ｃ）。
前記出力部（１１，１１８）は、前記評価結果を含む画面（５０，５０Ｃ）を示す画面データを出力し、
前記画面（５０，５０Ｃ）において、基準よりも不公平であることを示す前記公平性指標に対応する属性が強調表示される、構成２に記載の情報処理装置（１，１Ａ～１Ｃ）。
【0103】
（構成４）
前記画面（５０，５０Ｃ）は、前記１以上の要素の前記属性の経時変化を示すグラフ（５２，５２Ｃ＿１，５２Ｃ＿２）を含む、構成３に記載の情報処理装置（１，１Ａ～１Ｃ）。
前記画面（５０，５０Ｃ）は、前記１以上の要素の前記属性の経時変化を示すグラフ（５２，５２Ｃ＿１，５２Ｃ＿２）を含む、構成３に記載の情報処理装置（１，１Ａ～１Ｃ）。
【0104】
（構成５）
前記評価部の評価結果に応じて、前記学習済モデル（１１０，１１０Ａ，１１０Ｂ）を更新するモデル生成部（１１，１１４）をさらに備え、
前記モデル生成部（１１，１１４）は、
前記複数の教師データセット（１２５）に対して、前記１以上の要素の属性の偏りの影響を減少させるための前処理を行ない、
前処理が行なわれた前記複数の教師データセットを用いた機械学習を行なうことにより、更新後の学習済モデルを生成する、構成１から４のいずれか１項に記載の情報処理装置（１，１Ａ～１Ｃ）。
前記評価部の評価結果に応じて、前記学習済モデル（１１０，１１０Ａ，１１０Ｂ）を更新するモデル生成部（１１，１１４）をさらに備え、
前記モデル生成部（１１，１１４）は、
前記複数の教師データセット（１２５）に対して、前記１以上の要素の属性の偏りの影響を減少させるための前処理を行ない、
前処理が行なわれた前記複数の教師データセットを用いた機械学習を行なうことにより、更新後の学習済モデルを生成する、構成１から４のいずれか１項に記載の情報処理装置（１，１Ａ～１Ｃ）。
【0105】
（構成６）
製造ライン（３，３Ａ，３Ｂ）の状態を示す状態データの入力を受けて、目的変数の値を出力する学習済モデル（１１０，１１０Ａ，１１０Ｂ）を評価する情報処理方法であって、
前記学習済モデル（１１０，１１０Ａ，１１０Ｂ）は、学習期間における前記状態データを含む複数の教師データセット（１２５）を用いて生成され、前記情報処理方法は、
前記複数の教師データセット（１２５）の各々の前記状態データが取得されたときの前記製造ライン（３，３Ａ，３Ｂ）に関わる１以上の要素の属性を示す属性データ（１２４）に基づいて、前記学習期間における前記１以上の要素の属性の偏りを評価すること（Ｓ２）を備え、前記１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含み、前記情報処理方法は、さらに、
評価結果を出力すること（Ｓ３）を備える、情報処理方法。
製造ライン（３，３Ａ，３Ｂ）の状態を示す状態データの入力を受けて、目的変数の値を出力する学習済モデル（１１０，１１０Ａ，１１０Ｂ）を評価する情報処理方法であって、
前記学習済モデル（１１０，１１０Ａ，１１０Ｂ）は、学習期間における前記状態データを含む複数の教師データセット（１２５）を用いて生成され、前記情報処理方法は、
前記複数の教師データセット（１２５）の各々の前記状態データが取得されたときの前記製造ライン（３，３Ａ，３Ｂ）に関わる１以上の要素の属性を示す属性データ（１２４）に基づいて、前記学習期間における前記１以上の要素の属性の偏りを評価すること（Ｓ２）を備え、前記１以上の要素は、人、機械、方法、材料、環境、及び管理のうちの少なくとも１つを含み、前記情報処理方法は、さらに、
評価結果を出力すること（Ｓ３）を備える、情報処理方法。
【0106】
（構成７）
構成６に記載の情報処理方法をコンピュータ（１１）に実行させる、情報処理プログラム（１７）。
構成６に記載の情報処理方法をコンピュータ（１１）に実行させる、情報処理プログラム（１７）。
【0107】
（構成８）
前記公平性指標は、対応する属性を示す前記属性データ（１２４）に対応する１以上の教師データセット（１２５）のうち、入力されたときに前記学習済モデル（１１０）から所定値が出力される前記状態データ（１２２）を含む教師データセットの第１割合と、対応する属性を示さない前記属性データに対応する１以上の教師データセット（１２５）のうち、入力されたときに前記学習済モデル（１１０）から所定値が出力される前記状態データ（１２２）を含む教師データセットの第２割合との差または比である、構成２に記載の情報処理装置（１，１Ａ～１Ｃ）。
前記公平性指標は、対応する属性を示す前記属性データ（１２４）に対応する１以上の教師データセット（１２５）のうち、入力されたときに前記学習済モデル（１１０）から所定値が出力される前記状態データ（１２２）を含む教師データセットの第１割合と、対応する属性を示さない前記属性データに対応する１以上の教師データセット（１２５）のうち、入力されたときに前記学習済モデル（１１０）から所定値が出力される前記状態データ（１２２）を含む教師データセットの第２割合との差または比である、構成２に記載の情報処理装置（１，１Ａ～１Ｃ）。
【0108】
（構成９）
前記複数の教師データセット（１２５）の各々は、前記目的変数の実測値を示す正解データをさらに含み、
前記公平性指標は、対応する属性を示す前記属性データに対応し、かつ、所定値を示す前記正解データを含む１以上の教師データセットのうち、入力されたときに前記学習済モデル（１１０）から所定値が出力される前記状態データ（１２２）を含む教師データセットの第１割合と、対応する属性を示さない前記属性データに対応し、かつ、所定値を示す前記正解データを含む１以上の教師データセットのうち、入力されたときに前記学習済モデル（１１０）から所定値が出力される前記状態データ（１２２）を含む教師データセットの第２割合との差または比である、構成２に記載の情報処理装置（１，１Ａ～１Ｃ）。
前記複数の教師データセット（１２５）の各々は、前記目的変数の実測値を示す正解データをさらに含み、
前記公平性指標は、対応する属性を示す前記属性データに対応し、かつ、所定値を示す前記正解データを含む１以上の教師データセットのうち、入力されたときに前記学習済モデル（１１０）から所定値が出力される前記状態データ（１２２）を含む教師データセットの第１割合と、対応する属性を示さない前記属性データに対応し、かつ、所定値を示す前記正解データを含む１以上の教師データセットのうち、入力されたときに前記学習済モデル（１１０）から所定値が出力される前記状態データ（１２２）を含む教師データセットの第２割合との差または比である、構成２に記載の情報処理装置（１，１Ａ～１Ｃ）。
【0109】
本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0110】
１，１Ａ～１Ｃ 解析装置、２，２Ａ＿１，２Ａ＿２，２Ｂ ＰＬＣ、３，３Ａ，３Ｂ 製造ライン、４，４Ａ，４Ｂ ＭＥＳサーバ、１１，２１，４１ 制御部、１２，２２，４２ 記憶部、１３，２４，４３ 通信インタフェース、１４ 入力装置、１５ 出力装置、１６ ドライブ、１７ 解析プログラム、２３ 入出力インタフェース、３１ 機器、３１Ａ＿１，３１Ａ＿２，３１Ｂ＿１，３１Ｂ＿２ 製造装置、５０，５０Ｃ 画面、５１，５１Ｃ，５２，５２Ｃ＿１，５２Ｃ＿２ グラフ、５１ａ 枠線、５３，５３Ｃ＿１，５３Ｃ＿２ 表示欄、５４，５４ａ テキスト、５５，５５ａ 円グラフ、９１ 記憶媒体、１００，１００Ａ 生産システム、１１０，１１０Ａ，１１０Ｂ 学習済モデル、１１２ データ取得部、１１４ モデル生成部、１１６ 評価部、１１８ 出力部、１２０ データセット、１２２ 状態データ、１２３ 正解データ、１２４，４２４ 属性データ、１２５ 教師データセット、２１２ データ収集部、２２２ 制御プログラム、２２４ ＩＯデータ、４２２ 製造管理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】