ホーム > 特許ランキング > 三菱重工航空エンジン株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ 三菱重工航空エンジン株式会社の特許一覧 ▶ 株式会社エヌ・ティ・ティ・データの特許一覧
特許6896590予知モデル維持システム、予知モデル維持方法及び予知モデル維持プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6896590
(24)【登録日】2021年6月11日
(45)【発行日】2021年6月30日
(54)【発明の名称】予知モデル維持システム、予知モデル維持方法及び予知モデル維持プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20210621BHJP
G05B 23/02 20060101ALI20210621BHJP
【ＦＩ】
G06N20/00 130
G05B23/02 R
【請求項の数】9
【全頁数】25
(21)【出願番号】特願2017-215730(P2017-215730)
(22)【出願日】2017年11月8日
(65)【公開番号】特開2019-87101(P2019-87101A)
(43)【公開日】2019年6月6日
【審査請求日】2020年10月14日
【早期審査対象出願】
(73)【特許権者】
【識別番号】514275772
【氏名又は名称】三菱重工航空エンジン株式会社
(73)【特許権者】
【識別番号】000102728
【氏名又は名称】株式会社エヌ・ティ・ティ・データ
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】政井 佑介
(72)【発明者】
【氏名】佐藤 新
(72)【発明者】
【氏名】駒崎 絢也
(72)【発明者】
【氏名】近藤 立志
【審査官】
石川 亮
(56)【参考文献】
【文献】
特開２００６−０２４１９５（ＪＰ，Ａ）
【文献】
米国特許出願公開第２００９／０１０６１７８（ＵＳ，Ａ１）
【文献】
特開２００２−２８７８０３（ＪＰ，Ａ）
【文献】
特開２００９−１８７１７５（ＪＰ，Ａ）
【文献】
特開２００１−２３６３３７（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｎ ２０／００
Ｇ０５Ｂ ２３／０２
(57)【特許請求の範囲】
【請求項1】
所定の条件に基づいて所定の要件を満たすか否かを予知する予知モデルの予知確率を維持する予知モデル維持システムであって、
制御部を含み、
前記制御部は、
新規予知モデルを作成するために用いる学習データを作成する学習データ作成部と、
前記学習データ作成部が作成した前記学習データを用いて、前記新規予知モデルを作成する新規予知モデル作成部と、
前記予知モデルと前記新規予知モデルとを評価するために用いる評価データを作成する評価データ作成部と、
前記評価データ作成部が作成した前記評価データを用いて、前記予知モデルと前記新規予知モデルとを評価し、評価の高い方を運用予知モデルに選定する運用予知モデル選定部と、
を含み、
前記運用予知モデル選定部は、前記評価の高い方が評価の閾値以上である場合、前記評価の高い方を運用予知モデルに選定し、前記評価の高い方が評価の閾値未満である場合、いずれも運用予知モデルに選定しないことを特徴とする予知モデル維持システム。
制御部を含み、
前記制御部は、
新規予知モデルを作成するために用いる学習データを作成する学習データ作成部と、
前記学習データ作成部が作成した前記学習データを用いて、前記新規予知モデルを作成する新規予知モデル作成部と、
前記予知モデルと前記新規予知モデルとを評価するために用いる評価データを作成する評価データ作成部と、
前記評価データ作成部が作成した前記評価データを用いて、前記予知モデルと前記新規予知モデルとを評価し、評価の高い方を運用予知モデルに選定する運用予知モデル選定部と、
を含み、
前記運用予知モデル選定部は、前記評価の高い方が評価の閾値以上である場合、前記評価の高い方を運用予知モデルに選定し、前記評価の高い方が評価の閾値未満である場合、いずれも運用予知モデルに選定しないことを特徴とする予知モデル維持システム。
【請求項2】
前記予知モデルの前記予知確率が劣化しているか否かを検知するために用いる劣化検知データを作成する劣化検知データ作成部と、
前記劣化検知データ作成部が作成した前記劣化検知データを用いて、前記予知モデルの前記予知確率が低下しているか否かを判定する劣化検知判定部と、
をさらに含み、
前記学習データ作成部は、前記劣化検知判定部が前記予知モデルの前記予知確率が低下していると判定した場合、前記学習データを作成することを特徴とする請求項１に記載の予知モデル維持システム。
前記劣化検知データ作成部が作成した前記劣化検知データを用いて、前記予知モデルの前記予知確率が低下しているか否かを判定する劣化検知判定部と、
をさらに含み、
前記学習データ作成部は、前記劣化検知判定部が前記予知モデルの前記予知確率が低下していると判定した場合、前記学習データを作成することを特徴とする請求項１に記載の予知モデル維持システム。
【請求項3】
所定の条件は、工程における設備データに基づいて定められ、
所定の要件は、前記工程を経た商品の品質データが所定の範囲内にあることである、ことを特徴とする請求項１または請求項２に記載の予知モデル維持システム。
所定の要件は、前記工程を経た商品の品質データが所定の範囲内にあることである、ことを特徴とする請求項１または請求項２に記載の予知モデル維持システム。
【請求項4】
前記予知モデル及び前記新規予知モデルは、所定の要件を満たさない可能性がある場合に、アラートを出すように設定されていることを特徴とする請求項１から請求項３のいずれか１項に記載の予知モデル維持システム。
【請求項5】
前記学習データ作成部は、前記評価データ作成部が前記評価データの作成に用いるデータよりも時系列で過去に取得したデータを用いて前記学習データを作成することを特徴とする請求項１から請求項４のいずれか１項に記載の予知モデル維持システム。
【請求項6】
前記学習データ作成部は、前記評価データ作成部が前記評価データの作成に用いるデータよりも同じ量または多い量のデータを用いて前記学習データを作成することを特徴とする請求項５に記載の予知モデル維持システム。
【請求項7】
前記学習データ作成部は、前記評価データ作成部が作成する１種類の前記評価データに対して、複数種類の量のデータを用いて複数種類の前記学習データを作成し、
前記新規予知モデル作成部は、複数種類の前記学習データを用いて、複数種類の前記新規予知モデルを作成することを特徴とする請求項６に記載の予知モデル維持システム。
前記新規予知モデル作成部は、複数種類の前記学習データを用いて、複数種類の前記新規予知モデルを作成することを特徴とする請求項６に記載の予知モデル維持システム。
【請求項8】
所定の要件を満たすか否かを予知する予知モデルの予知確率を維持する予知モデル維持方法であって、
新規予知モデルを作成するために用いる学習データを作成する学習データ作成ステップと、
前記学習データ作成ステップで作成した前記学習データを用いて、前記新規予知モデルを作成する新規予知モデル作成ステップと、
前記予知モデルと前記新規予知モデルとを評価するために用いる評価データを作成する評価データ作成ステップと、
前記評価データ作成ステップで作成した前記評価データを用いて、前記予知モデルと前記新規予知モデルとを評価し、評価の高い方を運用予知モデルに選定する運用予知モデル選定ステップと、
を有し、
前記運用予知モデル選定ステップでは、前記評価の高い方が評価の閾値以上である場合、前記評価の高い方を運用予知モデルに選定し、前記評価の高い方が評価の閾値未満である場合、いずれも運用予知モデルに選定しないことを特徴とする予知モデル維持方法。
新規予知モデルを作成するために用いる学習データを作成する学習データ作成ステップと、
前記学習データ作成ステップで作成した前記学習データを用いて、前記新規予知モデルを作成する新規予知モデル作成ステップと、
前記予知モデルと前記新規予知モデルとを評価するために用いる評価データを作成する評価データ作成ステップと、
前記評価データ作成ステップで作成した前記評価データを用いて、前記予知モデルと前記新規予知モデルとを評価し、評価の高い方を運用予知モデルに選定する運用予知モデル選定ステップと、
を有し、
前記運用予知モデル選定ステップでは、前記評価の高い方が評価の閾値以上である場合、前記評価の高い方を運用予知モデルに選定し、前記評価の高い方が評価の閾値未満である場合、いずれも運用予知モデルに選定しないことを特徴とする予知モデル維持方法。
【請求項9】
所定の条件に基づいて所定の要件を満たすか否かを予知する予知モデルの予知確率を維持するための予知モデル維持方法をコンピュータに実行させる予知モデル維持プログラムであって、
前記コンピュータに、
新規予知モデルを作成するために用いる学習データを作成する学習データ作成ステップと、
前記学習データ作成ステップで作成した前記学習データを用いて、前記新規予知モデルを作成する新規予知モデル作成ステップと、
前記予知モデルと前記新規予知モデルとを評価するために用いる評価データを作成する評価データ作成ステップと、
前記評価データ作成ステップで作成した前記評価データを用いて、前記予知モデルと前記新規予知モデルとを評価し、評価の高い方を運用予知モデルに選定する運用予知モデル選定ステップと、
を実行させ、
前記運用予知モデル選定ステップでは、前記評価の高い方が評価の閾値以上である場合、前記評価の高い方を運用予知モデルに選定し、前記評価の高い方が評価の閾値未満である場合、いずれも運用予知モデルに選定しないことを実行させることを特徴とする予知モデル維持プログラム。
前記コンピュータに、
新規予知モデルを作成するために用いる学習データを作成する学習データ作成ステップと、
前記学習データ作成ステップで作成した前記学習データを用いて、前記新規予知モデルを作成する新規予知モデル作成ステップと、
前記予知モデルと前記新規予知モデルとを評価するために用いる評価データを作成する評価データ作成ステップと、
前記評価データ作成ステップで作成した前記評価データを用いて、前記予知モデルと前記新規予知モデルとを評価し、評価の高い方を運用予知モデルに選定する運用予知モデル選定ステップと、
を実行させ、
前記運用予知モデル選定ステップでは、前記評価の高い方が評価の閾値以上である場合、前記評価の高い方を運用予知モデルに選定し、前記評価の高い方が評価の閾値未満である場合、いずれも運用予知モデルに選定しないことを実行させることを特徴とする予知モデル維持プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、予知モデル維持システム、予知モデル維持方法及び予知モデル維持プログラムに関する。
【背景技術】
【0002】
予知モデルを用いて、工程における所定の条件に基づいて、その工程が行われた後に所定の要件を満たすか否かを予知する方法が知られている。例えば、多変量解析プログラムを介して作成したモデルを用いて、プラズマ処理装置の装置状態及びプラズマ処理装置による処理結果を予知する方法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００４−０３９８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、工程に関する変更、すなわち、工程を実行する装置または設備の劣化、修理、及び設計変更、並びに工程自体の改善を含む変更等といった工程の変更、工程が実行される材料の変更、及び工程を実行する環境の変化等により、同じ予知モデルを用いた予知の精度が劣化してしまうという問題があった。そこで、特許文献１では、モデルを用いて求められる検出データの残差に基づいて新しいモデルを作成することで、この問題に対して対応を試みている。
【0005】
しかしながら、特許文献１の方法では、新しいモデルが前のモデルよりも予知の精度が上回らない可能性があるので、予知の精度が劣化してしまうという問題に十分に対応できない可能性がある。
【0006】
本発明は、上記に鑑みてなされたものであって、工程に関する変更に伴って予知の精度が劣化してしまうことを十分に低減する予知モデル維持システム、予知モデル維持方法及び予知モデル維持プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、予知モデル維持システムは、所定の条件に基づいて所定の要件を満たすか否かを予知する予知モデルの予知確率を維持する予知モデル維持システムであって、制御部を含み、前記制御部は、新規予知モデルを作成するために用いる学習データを作成する学習データ作成部と、前記学習データ作成部が作成した前記学習データを用いて、前記新規予知モデルを作成する新規予知モデル作成部と、前記予知モデルと前記新規予知モデルとを評価するために用いる評価データを作成する評価データ作成部と、前記評価データ作成部が作成した前記評価データを用いて、前記予知モデルと前記新規予知モデルとを評価し、評価の高い方を運用予知モデルに選定する運用予知モデル選定部と、を含むことを特徴とする。
【0008】
この構成によれば、新たに作成した新規予知モデルと、元々使用していた予知モデルとを評価して、評価の高い方を運用予知モデルに選定するため、元々使用していた予知モデルよりも予知の精度が劣化したものを新たに用いてしまうことがないので、工程に関する変更に伴って予知の精度が劣化してしまうことを十分に低減することができる。
【0009】
この構成において、前記予知モデルの前記予知確率が劣化しているか否かを検知するために用いる劣化検知データを作成する劣化検知データ作成部と、前記劣化検知データ作成部が作成した前記劣化検知データを用いて、前記予知モデルの前記予知確率が低下しているか否かを判定する劣化検知判定部と、をさらに含み、前記学習データ作成部は、前記劣化検知判定部が前記予知モデルの前記予知確率が低下していると判定した場合、前記学習データを作成することが好ましい。この構成によれば、現在使用している予知モデルが劣化していると判定される場合にのみ、新たに新規予知モデルを作成することとするため、効率よく、工程に関する変更に伴って予知の精度が劣化してしまうことを十分に低減することができる。
【0010】
これらの構成において、前記運用予知モデル選定部は、前記評価の高い方が評価の閾値以上である場合、前記評価の高い方を運用予知モデルに選定し、前記評価の高い方が評価の閾値未満である場合、いずれも運用予知モデルに選定しないことが好ましい。この構成によれば、閾値未満の評価の予知モデルを運用予知モデルに選定しないため、予知の精度が低い予知モデルを用いてしまうことによる工程への悪影響を低減することができる。
【0011】
これらの構成において、所定の条件は、工程における設備データに基づいて定められ、所定の要件は、前記工程を経た商品の品質データが所定の範囲内にあることである、ことが好ましい。この構成によれば、工程の管理及び評価に一般的に用いられる設備データ及び品質データを好適に用いることができるため、効率よく、工程に関する変更に伴って予知の精度が劣化してしまうことを十分に低減することができる。
【0012】
これらの構成において、前記予知モデル及び前記新規予知モデルは、所定の要件を満たさない可能性がある場合に、アラートを出すように設定されていることが好ましい。この構成によれば、アラートにより、所定の要件を満たさない可能性がある場合である旨を注意喚起することができるため、工程において所定の要件を満たさない場合を見逃してしまう可能性を十分に低減することができる。
【0013】
これらの構成において、前記学習データ作成部は、前記評価データ作成部が前記評価データの作成に用いるデータよりも時系列で過去に取得したデータを用いて前記学習データを作成することが好ましい。この構成によれば、時系列でより過去に取得したデータを用いて作成した学習データに基づいて作成した新規予知モデルが、時系列でより未来に取得したデータを用いて作成した評価データにおいても十分な精度で予知が可能か否かを評価するので、実質的に学習データにおいても評価データにおいても十分な予知の精度を有する新規予知モデルを作成することができる。このため、効率よく、工程に関する変更に伴って予知の精度が劣化してしまうことを十分に低減することができる。
【0014】
学習データ作成部が、評価データ作成部が評価データの作成に用いるデータよりも時系列で過去に取得したデータを用いて学習データを作成する構成において、前記学習データ作成部は、前記評価データ作成部が前記評価データの作成に用いるデータよりも同じ量または多い量のデータを用いて前記学習データを作成することが好ましい。この構成によれば、新規予知モデルが十分な予知の精度を有すると考えられるデータのうち、より多くの比率のデータを新規予知モデルの作成に用いることができる。このため、より効率よく、工程に関する変更に伴って予知の精度が劣化してしまうことを十分に低減することができる。
【0015】
学習データ作成部が、評価データ作成部が評価データの作成に用いるデータよりも同じ量または多い量のデータを用いて学習データを作成する構成において、前記学習データ作成部は、前記評価データ作成部が作成する１種類の前記評価データに対して、複数種類の量のデータを用いて複数種類の前記学習データを作成し、前記新規予知モデル作成部は、複数種類の前記学習データを用いて、複数種類の前記新規予知モデルを作成することが好ましい。この構成によれば、１度に複数種類の学習データを作成し、複数種類の新規予知モデルを作成することができる。このため、学習データの作成に用いたデータが取得された間に工程に関する変更があった場合に、より現在の工程に適切な新規予知モデルを作成することができるので、工程に関する変更に伴って予知の精度が劣化してしまうことをさらに十分に低減することができる。
【0016】
上述した課題を解決し、目的を達成するために、予知モデル維持方法は、所定の要件を満たすか否かを予知する予知モデルの予知確率を維持する予知モデル維持方法であって、新規予知モデルを作成するために用いる学習データを作成する学習データ作成ステップと、前記学習データ作成ステップで作成した前記学習データを用いて、前記新規予知モデルを作成する新規予知モデル作成ステップと、前記予知モデルと前記新規予知モデルとを評価するために用いる評価データを作成する評価データ作成ステップと、前記評価データ作成ステップで作成した前記評価データを用いて、前記予知モデルと前記新規予知モデルとを評価し、評価の高い方を運用予知モデルに選定する運用予知モデル選定ステップと、を有することを特徴とする。
【0017】
この構成によれば、新たに作成した新規予知モデルと、元々使用していた予知モデルとを評価して、評価の高い方を運用予知モデルに選定するため、元々使用していた予知モデルよりも予知の精度が劣化したものを新たに用いてしまうことがないので、工程に関する変更に伴って予知の精度が劣化してしまうことを十分に低減することができる。
【0018】
上述した課題を解決し、目的を達成するために、予知モデル維持プログラムは、所定の条件に基づいて所定の要件を満たすか否かを予知する予知モデルの予知確率を維持するための予知モデル維持方法をコンピュータに実行させる予知モデル維持プログラムであって、前記コンピュータに、新規予知モデルを作成するために用いる学習データを作成する学習データ作成ステップと、前記学習データ作成ステップで作成した前記学習データを用いて、前記新規予知モデルを作成する新規予知モデル作成ステップと、前記予知モデルと前記新規予知モデルとを評価するために用いる評価データを作成する評価データ作成ステップと、前記評価データ作成ステップで作成した前記評価データを用いて、前記予知モデルと前記新規予知モデルとを評価し、評価の高い方を運用予知モデルに選定する運用予知モデル選定ステップと、を実行させることを特徴とする。
【0019】
この構成によれば、新たに作成した新規予知モデルと、元々使用していた予知モデルとを評価して、評価の高い方を運用予知モデルに選定するため、元々使用していた予知モデルよりも予知の精度が劣化したものを新たに用いてしまうことがないので、工程に関する変更に伴って予知の精度が劣化してしまうことを十分に低減することができる。
【発明の効果】
【0020】
本発明によれば、工程に関する変更に伴って予知の精度が劣化してしまうことを十分に低減する予知モデル維持システム、予知モデル維持方法及び予知モデル維持プログラムを提供することができる。
【図面の簡単な説明】
【0021】
【発明を実施するための形態】
【0022】
以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能である。
【0023】
［実施形態］図１は、本発明の実施形態に係る予知モデル維持システム１０（図３参照）で用いられる予知モデル１の性質を説明する説明図である。予知モデル１は、図１に示すように、所定の工程において所定の条件を満たす設備データ２１（図３参照）及び品質データ２２（図３参照）が入力されると、この工程を経た商品の品質データ２２（図３参照）が望ましい所定の範囲内にある、すなわち所定の要件を満たす可能性が高いと予知し、所定の要件を満たす可能性が高い旨の出力をする。一方で、予知モデル１は、図１に示すように、所定の工程において所定の条件を満たさない設備データ２１（図３参照）及び品質データ２２（図３参照）が入力されると、この工程を経た商品の品質データ２２（図３参照）が望ましい所定の範囲内にない、すなわち所定の要件を満たさない可能性が高いと予知し、所定の要件を満たさない可能性が高い旨の出力をする。予知モデル１は、設備データ２１（図３参照）及び品質データ２２（図３参照）を説明変数とし、品質データ２２（図３参照）を目的変数として、作成されたものである。品質データ２２（図３参照）は、説明変数にも、目的変数にもなり得るデータである。
【0024】
図２は、本発明の実施形態に係る予知モデル維持システム１０（図３参照）で用いられる予知モデル１の品質を説明する説明図である。予知モデル１は、図２の破線Ｌ２に示すように、予知モデル１の予知の精度を示すモデル品質が、その初期値がＱＦであり、時間経過に伴い、予知モデル１を運用している工程に関する変更、すなわち、工程を実行する装置または設備の劣化、修理、及び設計変更、並びに工程自体の改善を含む変更等といった工程の変更、工程が実行される材料の変更、及び工程を実行する環境の変化等が生じて、次第に低下する傾向を有する。ここで、モデル品質としては、例えば、予知モデル１の予知確率が用いられ、この場合、ＱＦは、工程の性質等に応じて、８５％、９０％、９５％等に定められる。
【0025】
そこで、予知モデル１は、本発明の実施形態に係る予知モデル維持システム１０（図３参照）を用いることにより所定の時間ごとに改定することで、図２の実線Ｌ１に示すように、予知モデル１の予知の精度を示すモデル品質が、所定の閾値であるＱＴ未満とならないように、維持することができる。すなわち、本発明の実施形態に係る予知モデル維持システム１０（図３参照）は、予知モデル１を所定の時間ごとに改定することで、予知モデル１の予知の精度を示すモデル品質が、所定の閾値であるＱＴ未満とならないように、維持することができるものである。ＱＴは、モデル品質として予知モデル１の予知確率が用いられる場合、工程の性質等に応じて、８０％、８５％等に定められる。
【0026】
ここで、予知モデル１を用いる工程は、航空機エンジンに用いられるタービン動翼の各製造工程が挙げられるが、これに限定されず、一定以上の量産数を有しており、取得できる設備データ２１（図３参照）及び品質データ２２（図３参照）が統計的に優位となる程度に十分な量を取得できる工程であれば、いかなる工程に用いられてもよい。ここで、予知モデル１を用いる工程は、工程全体に対して細かく分離したものであることが好ましく、この場合、設備データ２１（図３参照）と品質データ２２（図３参照）との相関関係が明確になるため、各工程で用いられる予知モデル１のモデル品質を高く維持することができる。
【0027】
予知モデル１は、一定水準以上の予知精度を持つ予知ルールの集合である形態が例示される。予知ルールは、設備データ２１（図３参照）及び品質データ２２（図３参照）を説明変数とし、品質データ２２（図３参照）を目的変数として、分析処理をすることで、作成されるものである。ここで、分析処理は、決定木分析、サポートベクターマシン（Support Vector Machine、ＳＶＭ）による分析、判別分析、ロジスティック回帰分析及びマハラノビス・タグチメソッド（Mahalanobis Taguchi Method、ＭＴ法）による分析のうちいずれかの分析方法に基づく処理が例示される。本実施形態では、予知モデル１が決定木分析に基づく分析処理がされて作成された事例を主として詳細な説明をするが、本発明はこれに限定されず、予知モデル１が上で例示したものを含むいかなる分析処理がされて作成されたものについても、好適に用いることができる。
【0028】
図３は、本発明の実施形態に係る予知モデル維持システム１０の概略構成図である。予知モデル維持システム１０は、図３に示すように、制御部１１を含む。制御部１１は、図３に示すように、劣化検知データ作成部１２と、劣化検知判定部１３と、学習データ作成部１４と、新規予知モデル作成部１５と、評価データ作成部１６と、運用予知モデル選定部１７と、を含む。制御部１１と、データベース２０と、予知部３０とは、互いに情報通信可能に電気的に接続されている。
【0029】
データベース２０は、例えばＲＡＭ、ＲＯＭ及びフラッシュメモリー等の記憶装置であり、図３に示すように、設備データ２１と、品質データ２２と、を格納している。設備データ２１は、工程の環境に関する履歴のデータ等であり、温度や圧力など、工程の管理のために取得される種々の物理量が例示される。品質データ２２は、この工程を経た商品の品質に関するデータ等であり、サイズや形状、強度など、商品の品質の管理のために取得される種々の物理量が例示される。品質データ２２は、品質データ２２に含まれる種々の物理量が望ましい所定の範囲内にあるか否かの情報も、これらの種々の物理量に合わせて含まれている。設備データ２１及び品質データ２２は、いずれもシリアル番号に基づく形でトレースされており、互いに関連付けて、データベース２０に保存される。具体的には、シリアル番号がＸＸＸの設備データ２１の時の工程を経て製造された商品の品質は、シリアル番号が同じＸＸＸの品質データ２２となっている。
【0030】
データベース２０は、図３に示すように、予知モデル維持システム１０における制御部１１と情報通信可能に電気的に接続されている。データベース２０は、制御部１１からの要求に応じて、設備データ２１及び品質データ２２を送信する。データベース２０は、図３に示すように、予知部３０と情報通信可能に電気的に接続されている。データベース２０は、予知部３０からの要求に応じて、設備データ２１を送信する。
【0031】
データベース２０は、図示しない工程の設備と情報通信可能に電気的に接続されていることが好ましく、この場合、この工程の設備から設備データ２１をリアルタイムに取得して蓄積することができる。また、データベース２０は、図示しない品質管理の設備と情報通信可能に電気的に接続されていることが好ましく、この場合、この品質管理の設備から品質データ２２をリアルタイムに取得して蓄積することができる。データベース２０は、図示しない工程の設備及び品質管理の設備と情報通信可能に電気的に接続されていなくてもよく、この場合には、別の方法で適宜、設備データ２１及び品質データ２２が概ねリアルタイムに更新されることが好ましい。
【0032】
予知部３０は、図３に示すように、予知モデル維持システム１０における制御部１１と情報通信可能に電気的に接続されており、予知に用いる予知モデル１を制御部１１から受信する。予知部３０は、図３に示すように、データベース２０と情報通信可能に電気的に接続されており、予知に用いる設備データ２１をデータベース２０から受信する。なお、予知部３０は、設備データ２１をデータベース２０から取得する形態に限定されず、図示しない工程の設備から直接取得してもよい。
【0033】
予知部３０は、予知モデル１を用いて、データベース２０から受信した設備データ２１に基づいて得られる可能性のある品質データ２２を予測する。予知部３０は、予知モデル１を用いて、この予測した品質データ２２が所定の条件を満たすか否かを判定し、この判定結果を予知結果として種々の方法により出力する。
【0034】
予知部３０は、図３に示すように、アラート部３２を含む。予知部３０は、本実施形態では、予測した品質データ２２が所定の条件を満たさない場合にのみ、その旨の予知結果を、アラート部３２にアラートを出すよう指令を出すことで出力する。アラート部３２は、予知部３０が予知モデル１を用いて、工程を経た商品の品質データ２２が望ましい所定の範囲内にない、すなわち所定の要件を満たさない可能性が高いと予知した場合に、アラートを出す。アラート部３２は、音によるアラートを出す音報知器、点灯または点滅した光によるアラートを出す光報知器、音および光によるアラートを出す複合報知器等が例示される。アラート部３２は、予知部３０が複数の工程についてそれぞれの予知モデル１を運用している場合、所定の要件を満たさない可能性が高いと予知したことに起因する予知モデル１に応じて、アラートの種類を変えることができる。この場合、アラート部３２は、アラートの種類により、どの工程にどのような状況が生じたかを出力することができる。
【0035】
予知部３０は、記憶部と、処理部と、を備える。予知部３０は、コンピュータが例示される。記憶部は、例えばＲＡＭ、ＲＯＭ及びフラッシュメモリー等の記憶装置を有し、処理部により処理されるソフトウェア・プログラム及びこのソフトウェア・プログラムにより参照されるデータ等を記憶する。また、記憶部は、処理部が処理結果等を一時的に記憶する記憶領域としても機能する。処理部は、記憶部からソフトウェア・プログラム等を読み出して処理することで、ソフトウェア・プログラムの内容に応じた機能、具体的には、制御部１１から受信した予知モデル１を用いて、データベース２０から受信した設備データ２１に基づいて得られる可能性のある品質データ２２を予測し、予測した品質データ２２が所定の条件を満たすか否かを予知するという予知部３０の機能を発揮する。
【0036】
劣化検知データ作成部１２は、予知モデル１のモデル品質としての予知確率が劣化しているか否かを検知するために用いるデータである劣化検知データを作成する。劣化検知データ作成部１２は、具体的には、劣化検知データを作成するタイミングまでの一定期間内に取得した設備データ２１及び品質データ２２を採用し、採用した設備データ２１及び品質データ２２に基づいて、劣化検知データを作成する。
【0037】
劣化検知判定部１３は、劣化検知データ作成部１２が作成した劣化検知データを用いて、予知モデル１の予知確率が低下しているか否かを判定する。劣化検知判定部１３は、具体的には、まず、設備データ２１において、予知モデル１に採用されている予知ルールごとに、所定の条件を満たさない確率である傾向の変化の有無を判定する。劣化検知判定部１３は、次に、予知モデル１の所定の条件を満たさない設備データ２１と関連付けられた品質データ２２において、予知モデル１に採用されている予知ルールごとに、所定の要件を満たさない確率である精度の変化の有無を判定する。劣化検知判定部１３は、その後に、全ての予知ルールにおいて傾向の変化が無い、または、精度の変化が無いと判定された場合のみ、予知モデル１の予知確率が低下していないと判定し、それ以外の場合には、予知モデル１の予知確率が低下していると判定する、すなわち、劣化を検知する。
【0038】
学習データ作成部１４は、新規予知モデルを作成するために用いる学習データを作成する。ここで、新規予知モデルは、予知モデル１とは異なるモデルとなることが一般的であるが、予知モデル１と同一のモデルとなってもよい。学習データ作成部１４は、劣化検知判定部１３が予知モデル１の予知確率が低下していると判定した場合のみ、学習データを作成することとしてもよいし、劣化検知判定部１３による予知モデル１の予知確率が低下しているか否かの判定に関わらず、学習データを作成することとしてもよい。学習データ作成部１４は、具体的には、学習データを作成するタイミングよりも時系列で一定期間以上過去に取得した設備データ２１及び品質データ２２を採用し、採用した設備データ２１及び品質データ２２に基づいて、学習データを作成する。なお、学習データを作成するタイミングまでの一定期間内に取得される設備データ２１及び品質データ２２は、後述する評価データ作成部１６による評価データの作成に用いられる。学習データ作成部１４は、この評価データに用いられる設備データ２１及び品質データ２２よりも同じ量または多い量の設備データ２１及び品質データ２２を用いて、学習データを作成することが好ましい。また、学習データ作成部１４は、１度の学習データの作成において、複数種類の量の設備データ２１及び品質データ２２を用いて複数種類の学習データを作成することが好ましい。
【0039】
新規予知モデル作成部１５は、学習データ作成部１４が作成した学習データを用いて、新規予知モデルを作成する。新規予知モデル作成部１５は、具体的には、まず、新規予知モデルに採用する可能性のある予知ルールを抽出する。新規予知モデル作成部１５は、次に、抽出した予知ルールごとに、所定の条件を満たさない確率である傾向を算出する。新規予知モデル作成部１５は、その次に、抽出した予知ルールごとに、所定の条件を満たさない設備データ２１と関連付けられた品質データ２２において、所定の要件を満たさない確率である精度を算出する。新規予知モデル作成部１５は、その後に、傾向の値が高く、精度の値が高い予知ルールを、新規予知モデルに採用する予知ルールに決定する。新規予知モデル作成部１５は、そのさらに後に、新規予知モデルに採用することを決定した予知ルールがある場合、これらの予知ルールを組み合わせることで、１種類または複数種類の新規予知モデルを作成する。新規予知モデル作成部１５は、学習データ作成部１４が複数種類の学習データを作成した場合、各種類の学習データを用いて、複数種類の新規予知モデルを作成することが好ましい。
【0040】
評価データ作成部１６は、予知モデル１と新規予知モデル作成部１５が作成した新規予知モデルとを評価するために用いる評価データを作成する。評価データ作成部１６は、具体的には、学習データに採用した設備データ２１及び品質データ２２よりも時系列で未来に取得した設備データ２１及び品質データ２２を採用し、採用した設備データ２１及び品質データ２２に基づいて、評価データを作成する。評価データ作成部１６は、詳細には、評価データを作成するタイミングまでの一定期間内に取得した設備データ２１及び品質データ２２を、評価データの作成に用いる。評価データ作成部１６は、学習データ作成部１４が作成する学習データに用いられる設備データ２１及び品質データ２２よりも同じ量または少ない量の設備データ２１及び品質データ２２を用いて、評価データを作成することが好ましい。
【0041】
運用予知モデル選定部１７は、評価データ作成部１６が作成した評価データを用いて、予知モデル１と新規予知モデルとを評価し、評価の高い方を運用予知モデルに選定する。運用予知モデル選定部１７は、具体的には、まず、予知モデル１と、新規予知モデル作成部１５が作成した新規予知モデルと、に対して、評価データ作成部１６が作成した評価データを用いて、予知確率を算出する。運用予知モデル選定部１７は、次に、算出した予知確率が最も高い予知モデル１または新規予知モデルを、新たに予知部３０が運用する運用予知モデルに選択する。
【0042】
運用予知モデル選定部１７は、評価の高い方の予知モデル１または新規予知モデルが評価の閾値以上である場合、評価の高い方の予知モデル１または新規予知モデルを運用予知モデルに選定し、評価の高い方の予知モデル１または新規予知モデルが評価の閾値未満である場合、いずれの予知モデル１または新規予知モデルも運用予知モデルに選定しないこととしてもよい。運用予知モデル選定部１７は、具体的には、算出した予知確率のうち最も高い予知確率が図２に示す所定の閾値ＱＴ以上である場合、評価の高い方の予知モデル１または新規予知モデルを運用予知モデルに選定し、算出した予知確率のうち最も高い予知確率が所定の閾値ＱＴ未満である場合、いずれの予知モデル１または新規予知モデルも運用予知モデルに選定しないこととする。
【0043】
なお、運用予知モデル選定部１７によって運用予知モデルが選定されていない状態では、適宜、新たに、学習データ作成部１４による学習データの作成、新規予知モデル作成部１５による新規予知モデルの作成、評価データ作成部１６による評価データの作成、及び、運用予知モデル選定部１７による新規予知モデルの評価及び選定が、順次行われる。
【0044】
制御部１１は、記憶部と、処理部と、を備える。制御部１１は、コンピュータが例示される。記憶部は、例えばＲＡＭ、ＲＯＭ及びフラッシュメモリー等の記憶装置を有し、処理部により処理されるソフトウェア・プログラム及びこのソフトウェア・プログラムにより参照されるデータ等を記憶する。また、記憶部は、処理部が処理結果等を一時的に記憶する記憶領域としても機能する。処理部は、記憶部からソフトウェア・プログラム等を読み出して処理することで、ソフトウェア・プログラムの内容に応じた機能、具体的には、劣化検知データ作成部１２、劣化検知判定部１３、学習データ作成部１４、新規予知モデル作成部１５、評価データ作成部１６、及び、運用予知モデル選定部１７の各機能を含む制御部１１の機能を発揮し、本発明の実施形態に係る予知モデル維持方法を実行する。処理部が記憶部から読み出して処理するソフトウェア・プログラムは、本発明の実施形態に係る予知モデル維持プログラムである。
【0045】
なお、本実施形態では、予知部３０の記憶部及び処理部と、制御部１１の記憶部及び処理部とがそれぞれ別々に設けられているが、これに限定されることなく、これらの記憶部及び処理部が一体化されていてもよい。すなわち、本実施形態では、予知部３０に例示されるコンピュータと、制御部１１に例示されるコンピュータとがそれぞれ別々に設けられているが、これに限定されることなく、これらのコンピュータが一体化されていてもよい。
【0046】
以上のような構成を有する実施形態に係る予知モデル維持システム１０の作用について以下に説明する。図４は、本発明の実施形態に係る予知モデル維持方法のフローチャートである。実施形態に係る予知モデル維持方法は、実施形態に係る予知モデル維持システム１０によって実行される処理方法である。実施形態に係る予知モデル維持方法について、図４を用いて説明する。実施形態に係る予知モデル維持方法は、図４に示すように、劣化検知データ作成ステップＳ１１と、劣化検知判定ステップＳ１２と、学習データ作成ステップＳ１３と、新規予知モデル作成ステップＳ１４と、評価データ作成ステップＳ１５と、運用予知モデル選定ステップＳ１６と、を有する。
【0047】
劣化検知データ作成ステップＳ１１は、劣化検知データ作成部１２が、予知モデル１のモデル品質としての予知確率が劣化しているか否かを検知するために用いるデータである劣化検知データを作成するステップである。図５は、図４の劣化検知データ作成ステップＳ１１の詳細を説明する説明図である。劣化検知データ作成ステップＳ１１では、具体的には、図５に示すように、一定時間ごとに設けられた劣化を検知するタイミングである検知タイミングｔ１１，ｔ１２，ｔ１３，ｔ１４，ｔ１５ごとに処理を実行する。なお、本実施形態では検知タイミングｔ１１，ｔ１２，ｔ１３，ｔ１４，ｔ１５の間隔を一定時間としたが、これに限定されず、検知タイミングｔ１１，ｔ１２，ｔ１３，ｔ１４，ｔ１５を所定の定刻としてもよいし、一定量の設備データ２１及び品質データ２２を取得するたびごととしてもよい。
【0048】
劣化検知データ作成ステップＳ１１では、例えば、図５に示すように、劣化検知データ作成部１２が、検知タイミングｔ１５において、検知タイミングｔ１５までの一定期間内に取得した設備データ２１及び品質データ２２を採用し、採用した設備データ２１及び品質データ２２に基づいて、劣化検知データＤ１５を作成する。劣化検知データ作成ステップＳ１１では、同様に、図５に示すように、劣化検知データ作成部１２が、それぞれ、検知タイミングｔ１１，ｔ１２，ｔ１３，ｔ１４，ｔ１６，ｔ１７，ｔ１８において、検知タイミングｔ１１，ｔ１２，ｔ１３，ｔ１４，ｔ１６，ｔ１７，ｔ１８までの一定期間内に取得した設備データ２１及び品質データ２２を採用して、採用した設備データ２１及び品質データ２２に基づいて、劣化検知データＤ１１，Ｄ１２，Ｄ１３，Ｄ１４，Ｄ１６，Ｄ１７，Ｄ１８を作成する。
【0049】
劣化検知判定ステップＳ１２は、劣化検知判定部１３が、劣化検知データ作成ステップＳ１１で作成した劣化検知データを用いて、予知モデル１の予知確率が低下しているか否かを判定するステップである。図６は、図４の劣化検知判定ステップＳ１２で判定を受ける予知モデル１の一例を説明する説明図である。予知モデル１は、図６に示すように、決定木分析によって作成されたものであり、決定木分析による４種類の予知ルールのうち、第２番目の予知ルールと第３番目の予知ルールとが採用されているモデルが例示されている。
【0050】
図７は、図４の劣化検知判定ステップＳ１２におけるデータ処理の一例を説明する説明図である。劣化検知判定ステップＳ１２では、劣化検知判定部１３が、まず、予知モデル１を作成した際の学習データ及び評価データを用いて、予知モデル１に含まれる予知ルールごとに、図７に示すように、ルール出現数、ルール正解数、ルール正解率、ルール出現率の４つの数値を求める。劣化検知判定ステップＳ１２では、劣化検知判定部１３が、次に、劣化検知データ作成ステップＳ１１で作成した劣化検知データを用いて、予知モデル１に含まれる予知ルールごとに、図７に示すように、ルール出現数、ルール正解数、ルール正解率、ルール出現率の４つの数値を求める。ここで、図６に示す予知モデル１では、第２番目の予知ルールと第３番目の予知ルールとが採用されており、また、図７では、第１番目の予知ルールに関してのみ図示されているが、劣化検知判定ステップＳ１２では、劣化検知判定部１３が、第２番目の予知ルールと第３番目の予知ルールとそれぞれ対になる第１番目の予知ルールと第４番目の予知ルールとについても、それぞれの数値を求める処理を行う。
【0051】
ここで、ルール出現数は、設備データ２１において、当該予知ルールによって定められた所定の条件を満たさない回数である。ルール正解数は、品質データ２２において、当該ルールによって定められた所定の要件を満たさない回数である。ルール正解率は、ルール出現数に対するルール正解数の割合であり、すなわち、設備データ２１に基づいて所定の条件を満たさないと判定したもののうち、品質データ２２に基づいて所定の要件を満たさないと判定された割合であり、予知ルールの検知の精度の指標である。ルール出現率は、設備データ２１の総数に対するルール出現数の割合であり、すなわち、工程の全体に対して設備データ２１に基づいて所定の条件を満たさないと判定する割合であり、予知ルールの傾向の指標である。
【0052】
劣化検知判定ステップＳ１２では、劣化検知判定部１３が、予知モデル１の作成時と予知モデル１の劣化検知時との２種類のデータを用いて予知ルールごとのルール出現数、ルール正解数、ルール正解率、ルール出現率の４つの数値を求めた後、予知ルールごとのルール正解率及びルール出現率のそれぞれについて、予知モデル１の作成時と予知モデル１の劣化検知時との間で有意の変化が見られるか否かを判定する。劣化検知判定ステップＳ１２では、具体的には、劣化検知判定部１３が、図７に示すように、予知ルールごとのルール正解率及びルール出現率のそれぞれについて、検定統計量を算出し、有意水準を例えば５％として有意の変化が見られるか否かを判定する。
【0053】
劣化検知判定ステップＳ１２では、劣化検知判定部１３が、ある予知ルールにおいてルール正解率について下側に有意の変化が見られると判定した場合、当該予知ルールの検知の精度が下振れしたと判定する。劣化検知判定ステップＳ１２では、劣化検知判定部１３が、ある予知ルールにおいてルール正解率について上側に有意の変化が見られると判定した場合、当該予知ルールの検知の精度が上振れしたと判定する。劣化検知判定ステップＳ１２では、劣化検知判定部１３が、ある予知ルールにおいてルール正解率について有意の変化が見られないと判定した場合、当該予知ルールの検知の精度が変化なしであると判定する。
【0054】
劣化検知判定ステップＳ１２では、劣化検知判定部１３が、ある予知ルールにおいてルール出現率について有意の変化が見られると判定した場合、当該予知ルールの傾向が変化したと判定する。劣化検知判定ステップＳ１２では、劣化検知判定部１３が、ある予知ルールにおいてルール出現率について有意の変化が見られないと判定した場合、当該予知ルールの傾向が変化なしであると判定する。
【0055】
図８は、図４の劣化検知判定ステップＳ１２における判定基準の一例を説明する説明図である。劣化検知判定ステップＳ１２では、劣化検知判定部１３が、図８に示すように、ある予知ルールにおいて検知の精度が下振れまたは上振れしたと判定した場合、当該ルールにおいて傾向が変化したと判定した場合でも変化なしであると判定した場合でも、当該予知ルールが劣化したと判定する。劣化検知判定ステップＳ１２では、劣化検知判定部１３が、図８に示すように、ある予知ルールにおいて検知の精度が変化なしであると判定した場合、かつ、当該ルールにおいて傾向が変化したと判定した場合、当該予知ルールが劣化したと判定する。劣化検知判定ステップＳ１２では、劣化検知判定部１３が、図８に示すように、ある予知ルールにおいて検知の精度が変化なしであると判定した場合、かつ、当該ルールにおいて傾向が変化なしであると判定した場合、当該予知ルールが劣化していないと判定する。
【0056】
ここで、ある予知ルールにおいて検知の精度が変化なしであると判定した場合、かつ、当該ルールにおいて傾向が変化なしであると判定した場合を除き、仮に当該予知ルールにおいて検知の精度が上振れしたと判定した場合であっても、当該ルールが劣化したと判定する理由は、当該ルールの精度または傾向の少なくともいずれかに変化がある場合、予知モデル１を運用している工程に有意の変更があったとみなすことができるため、予知モデル１の改定をすることが好ましい可能性が高いと考えられるからである。
【0057】
図９は、図４の劣化検知判定ステップＳ１２における判定結果の一例を説明する説明図である。劣化検知判定ステップＳ１２では、劣化検知判定部１３が、図９に示すように、第１番目の予知ルールについて、検知の精度が変化なしであると判定し、かつ、傾向が変化なしであると判定しているので、劣化していないと判定している。劣化検知判定ステップＳ１２では、劣化検知判定部１３が、図９に示すように、第２番目の予知ルールについて、検知の精度が上振れしたと判定し、かつ、傾向が変化したと判定しているので、劣化したと判定している。劣化検知判定ステップＳ１２では、劣化検知判定部１３が、図９に示すように、第３番目の予知ルールについて、検知の精度が下振れしたと判定し、かつ、傾向が変化したと判定しているので、劣化したと判定している。劣化検知判定ステップＳ１２では、劣化検知判定部１３が、図９に示すように、第４番目の予知ルールについて、検知の精度が上振れしたと判定し、かつ、傾向が変化したと判定しているので、劣化したと判定している。このように、劣化検知判定ステップＳ１２では、劣化検知判定部１３が、図９に示すように、第１番目の予知ルールについては劣化していないと判定し、第２番目から第４番目の各予知ルールについては劣化したと判定しているので、第２番目の予知ルールと第３番目の予知ルールとが採用されている予知モデルが劣化したと検知する。
【0058】
以上のように、劣化検知判定ステップＳ１２では、劣化検知判定部１３が、全ての予知ルールにおいて傾向の変化が無く、かつ、精度の変化が無いと判定された場合のみ、予知モデル１の予知確率が低下していないと判定し、それ以外の場合には、予知モデル１の予知確率が低下していると判定する、すなわち、劣化を検知する。
【0059】
劣化検知データ作成ステップＳ１１及び劣化検知判定ステップＳ１２は、本実施形態では実行しているが、これに限定されず、合わせて省略することもできる。劣化検知データ作成ステップＳ１１及び劣化検知判定ステップＳ１２を実行する場合、劣化検知判定ステップＳ１２において予知モデル１の予知確率が低下していると判定した場合のみ、学習データ作成ステップＳ１３、新規予知モデル作成ステップＳ１４、評価データ作成ステップＳ１５及び運用予知モデル選定ステップＳ１６を実行する形態が好ましい形態として例示される。一方、劣化検知データ作成ステップＳ１１及び劣化検知判定ステップＳ１２を実行しない場合、予知モデル１の予知確率が低下しているか否かに関わらず、学習データ作成ステップＳ１３、新規予知モデル作成ステップＳ１４、評価データ作成ステップＳ１５及び運用予知モデル選定ステップＳ１６を実行する形態が例示される。
【0060】
また、予知部３０がいずれの予知モデル１も運用していない場合、劣化検知判定ステップＳ１２で判定する予知モデル１がないので、劣化検知データ作成ステップＳ１１及び劣化検知判定ステップＳ１２が省略され、予知モデル維持方法における処理が、最初から学習データ作成ステップＳ１３に移行する。
【0061】
学習データ作成ステップＳ１３は、学習データ作成部１４が、新規予知モデルを作成するために用いる学習データを作成するステップである。図１０は、図４の学習データ作成ステップＳ１３の詳細を説明する説明図である。学習データ作成ステップＳ１３では、具体的には、図１０に示すように、一定時間ごとに設けられた学習データを作成するタイミングでもある検知タイミングｔ２１，ｔ２２，ｔ２３，ｔ２４，ｔ２５，ｔ２６，ｔ２７，ｔ２８，ｔ２９，ｔ３０，ｔ３１，ｔ３２，ｔ３３ごとに処理を実行する。なお、本実施形態では検知タイミングｔ２１，ｔ２２，ｔ２３，ｔ２４，ｔ２５，ｔ２６，ｔ２７，ｔ２８，ｔ２９，ｔ３０，ｔ３１，ｔ３２，ｔ３３の間隔を一定時間としたが、これに限定されず、検知タイミングｔ２１，ｔ２２，ｔ２３，ｔ２４，ｔ２５，ｔ２６，ｔ２７，ｔ２８，ｔ２９，ｔ３０，ｔ３１，ｔ３２，ｔ３３を所定の定刻としてもよいし、一定量の設備データ２１及び品質データ２２を取得するたびごととしてもよい。
【0062】
学習データ作成ステップＳ１３では、例えば、図１０に示すように、学習データ作成部１４が、検知タイミングｔ２５において、検知タイミングｔ２３と検知タイミングｔ２４との中間から検知タイミングｔ２５までの一定期間内に取得した設備データ２１及び品質データ２２よりも時系列で過去に取得した設備データ２１及び品質データ２２を採用し、採用した設備データ２１及び品質データ２２に基づいて、第１の学習データＬ＿Ｎ１，・・・，Ｌ＿Ｎｎを作成する。
【0063】
なお、検知タイミングｔ２５までの一定期間内に取得した設備データ２１及び品質データ２２は、追って説明する評価データ作成ステップＳ１５において第１の評価データを作成する上で採用されるものである。学習データ作成ステップＳ１３では、追って説明する評価データ作成ステップＳ１５において作成される第１の評価データよりも同じ量または多い量の設備データ２１及び品質データ２２を用いて、第１の学習データを作成することが好ましい。
【0064】
例えば、学習データ作成ステップＳ１３では、図１０に示すように、学習データ作成部１４が、検知タイミングｔ２５において、検知タイミングｔ２２から検知タイミングｔ２３と検知タイミングｔ２４との中間までに取得した設備データ２１及び品質データ２２を採用し、この採用した設備データ２１及び品質データ２２に基づいて、第１の学習データＬ＿Ｎ１を作成する。また、学習データ作成ステップＳ１３では、図１０に示すように、学習データ作成部１４が、検知タイミングｔ２５において、検知タイミングｔ２１よりも前のタイミングから検知タイミングｔ２３と検知タイミングｔ２４との中間までに取得した設備データ２１及び品質データ２２を採用し、この採用した設備データ２１及び品質データ２２に基づいて、第１の学習データＬ＿Ｎｎを作成する。このように、学習データ作成ステップＳ１３では、図１０に示すように、学習データ作成部１４が、検知タイミングまでの一定期間内に取得した設備データ２１及び品質データ２２よりも時系列における過去の時間帯において、採用する設備データ２１及び品質データ２２を取得した期間を、複数種類に設定することで、この設定に応じた複数種類の学習データを作成することができる。
【0065】
また、学習データ作成ステップＳ１３では、図１０に示すように、学習データ作成部１４が、検知タイミングｔ３１において、検知タイミングｔ２８から検知タイミングｔ２９と検知タイミングｔ３０との中間までに取得した設備データ２１及び品質データ２２を採用し、この採用した設備データ２１及び品質データ２２に基づいて、第２の学習データＬ＿Ｎ１を作成する。また、学習データ作成ステップＳ１３では、図１０に示すように、学習データ作成部１４が、検知タイミングｔ３１において、検知タイミングｔ２６と検知タイミングｔ２７との間から検知タイミングｔ２９と検知タイミングｔ３０との中間までに取得した設備データ２１及び品質データ２２を採用し、この採用した設備データ２１及び品質データ２２に基づいて、第２の学習データＬ＿Ｎｎを作成する。
【0066】
また、学習データ作成ステップＳ１３では、図１０に示すように、学習データ作成部１４が、検知タイミングｔ３２において、検知タイミングｔ２９から検知タイミングｔ３０と検知タイミングｔ３１との中間までに取得した設備データ２１及び品質データ２２を採用し、この採用した設備データ２１及び品質データ２２に基づいて、第３の学習データＬ＿Ｎ１を作成する。また、学習データ作成ステップＳ１３では、図１０に示すように、学習データ作成部１４が、検知タイミングｔ３２において、検知タイミングｔ２７と検知タイミングｔ２８との間から検知タイミングｔ３０と検知タイミングｔ３１との中間までに取得した設備データ２１及び品質データ２２を採用し、この採用した設備データ２１及び品質データ２２に基づいて、第３の学習データＬ＿Ｎｎを作成する。
【0067】
このように、学習データ作成ステップＳ１３では、検知タイミングｔ２１，ｔ２２，ｔ２３，ｔ２４，ｔ２５，ｔ２６，ｔ２７，ｔ２８，ｔ２９，ｔ３０，ｔ３１，ｔ３２，ｔ３３ごとに、採用する設備データ２１及び品質データ２２を取得した期間の設定に応じた複数種類の学習データを作成することができる。
【0068】
新規予知モデル作成ステップＳ１４は、新規予知モデル作成部１５が、学習データ作成ステップＳ１３で作成した学習データを用いて、新規予知モデルを作成するステップである。図１１は、図４の新規予知モデル作成ステップＳ１４における予知ルールの抽出の一例を説明する説明図である。新規予知モデル作成ステップＳ１４では、具体的には、まず、新規予知モデル作成部１５が、図１１に示すように、新規予知モデルに採用する可能性のある予知ルールを抽出する。新規予知モデル作成ステップＳ１４では、新規予知モデル作成部１５が、図１１に示すように、決定木分析により、学習データＬ＿Ｎ１を分析して新たに４種類以上の予知ルールを抽出している。
【0069】
図１２は、図４の新規予知モデル作成ステップＳ１４における予知ルールの評価の一例を説明する説明図である。新規予知モデル作成ステップＳ１４では、次に、新規予知モデル作成部１５が、図１２に示すように、抽出した予知ルールごとに、ルール出現数、ルール正解数、ルール正解率、ルール出現率の４つの数値を算出する。なお、図１２では、ルール出現率の記載を省略している。
【0070】
新規予知モデル作成ステップＳ１４では、次に、新規予知モデル作成部１５が、図１２に示すように、抽出したルールのうち、ルール正解率が閾値未満のものを新規予知モデルに採用する可能性のある予知ルールから除外し、これに加えて、ルール正解数が閾値未満のものをさらに除外してもよい。新規予知モデル作成ステップＳ１４では、新規予知モデル作成部１５が、図１２に示すように、ルール正解数が閾値の１０個未満である第４番目の予知ルールと、ルール正解率が閾値の１０％未満である第１番目の予知ルールとを、新規予知モデルに採用する可能性のある予知ルールから除外している。そして、新規予知モデル作成ステップＳ１４では、新規予知モデル作成部１５が、図１２に示すように、除外されなかった第２番目の予知ルールと第３番目の予知ルールとを、新規予知モデルに採用することを決定する。
【0071】
ここで、ルール正解率が閾値未満のものを新規予知モデルに採用する可能性のある予知ルールから除外する理由は、ルール正解数が十分に高い場合であっても、予知確率を下げる割合が高いと考えられるからである。また、ルール正解数が閾値未満のものを、新規予知モデルに採用する可能性のある予知ルールから除外することが好ましい理由は、ルール正解数が閾値未満のものは、ルール正解率が十分に高い場合であっても、予知に寄与しない割合が高いと考えられるからである。
【0072】
その後、新規予知モデル作成ステップＳ１４では、新規予知モデル作成部１５が、新規モデルに採用することを決定した第２番目の予知ルールと第３番目の予知ルールとを組み合わせることで、１種類または複数種類の新規予知モデルを作成する。新規予知モデル作成ステップＳ１４では、学習データ作成ステップＳ１３で複数種類の学習データを作成した場合、各種類の学習データを用いて、複数種類の新規予知モデルを作成する。
【0073】
評価データ作成ステップＳ１５は、評価データ作成部１６が、予知モデル１と新規予知モデル作成ステップＳ１４で作成した新規予知モデルとを評価するために用いる評価データを作成するステップである。図１３は、図４の評価データ作成ステップＳ１５の詳細を説明する説明図である。評価データ作成ステップＳ１５では、具体的には、図１３に示すように、一定時間ごとに設けられた評価データを作成するタイミングでもある検知タイミングｔ２１，ｔ２２，ｔ２３，ｔ２４，ｔ２５，ｔ２６，ｔ２７，ｔ２８，ｔ２９，ｔ３０，ｔ３１，ｔ３２，ｔ３３ごとに処理を実行する。なお、検知タイミングｔ２１，ｔ２２，ｔ２３，ｔ２４，ｔ２５，ｔ２６，ｔ２７，ｔ２８，ｔ２９，ｔ３０，ｔ３１，ｔ３２，ｔ３３については、学習データ作成ステップＳ１３の説明の項目で記載したものと同様である。
【0074】
評価データ作成ステップＳ１５では、例えば、図１３に示すように、評価データ作成部１６が、検知タイミングｔ２５において、検知タイミングｔ２３と検知タイミングｔ２４との中間から検知タイミングｔ２５までの一定期間内に取得したＴ＿Ｎ個の設備データ２１及び品質データ２２に基づいて、第１の評価データを作成する。
【0075】
評価データ作成ステップＳ１５では、学習データ作成ステップＳ１３において作成される第１の学習データよりも同じ量または少ない量の設備データ２１及び品質データ２２を用いて、第１の評価データを作成することが好ましい。
【0076】
例えば、評価データ作成ステップＳ１５では、図１３に示すように、評価データ作成部１６が、検知タイミングｔ２５において、検知タイミングｔ２３と検知タイミングｔ２４との中間から検知タイミングｔ２５までに取得した設備データ２１及び品質データ２２を採用し、この採用した設備データ２１及び品質データ２２に基づいて、第１の評価データを作成する。また、評価データ作成ステップＳ１５では、図１３に示すように、評価データ作成部１６が、検知タイミングｔ３１において、検知タイミングｔ２９と検知タイミングｔ３０との中間から検知タイミングｔ３１までに取得した設備データ２１及び品質データ２２を採用し、この採用した設備データ２１及び品質データ２２に基づいて、第２の評価データを作成する。また、評価データ作成ステップＳ１５では、図１３に示すように、評価データ作成部１６が、検知タイミングｔ３２において、検知タイミングｔ３０と検知タイミングｔ３１との中間から検知タイミングｔ３２までに取得した設備データ２１及び品質データ２２を採用し、この採用した設備データ２１及び品質データ２２に基づいて、第３の評価データを作成する。
【0077】
このように、評価データ作成ステップＳ１５では、検知タイミングｔ２１，ｔ２２，ｔ２３，ｔ２４，ｔ２５，ｔ２６，ｔ２７，ｔ２８，ｔ２９，ｔ３０，ｔ３１，ｔ３２，ｔ３３ごとに、採用する設備データ２１及び品質データ２２を取得した期間の設定に応じた各１種類の評価データを作成することができる。
【0078】
なお、評価データ作成ステップＳ１５は、学習データ作成ステップＳ１３及び新規予知モデル作成ステップＳ１４の後に行われなくてもよく、例えば、学習データ作成ステップＳ１３及び新規予知モデル作成ステップＳ１４の前に行われてもよいし、学習データ作成ステップＳ１３と並行して行われてもよい。
【0079】
運用予知モデル選定ステップＳ１６は、運用予知モデル選定部１７が、評価データ作成ステップＳ１５で作成した評価データを用いて、予知モデル１と新規予知モデル作成ステップＳ１４で作成した新規予知モデルとを評価し、評価の高い方を運用予知モデルに選定するステップである。図１４は、図４の運用予知モデル選定ステップＳ１６において評価する予知モデル１及び新規予知モデルの一例を説明する説明図である。運用予知モデル選定ステップＳ１６では、具体的には、運用予知モデル選定部１７が、図１４に示すように、１番目に図示されている予知モデル１と、２番目以降に図示されている新規予知モデル作成ステップＳ１４で作成した複数の新規予知モデルとのそれぞれに対し、評価データ作成ステップＳ１５で作成した評価データを使用する。
【0080】
図１５は、図４の運用予知モデル選定ステップＳ１６における予知モデル１及び新規予知モデルの評価の一例を説明する説明図である。運用予知モデル選定ステップＳ１６では、次に、運用予知モデル選定部１７が、図１５に示すように、予知モデル１と新規予知モデル作成ステップＳ１４で作成した複数の新規予知モデルとのそれぞれについて、評価データ作成ステップＳ１５で作成した評価データを用いて、予知モデル１及び複数の新規予知モデルにそれぞれ含まれる予知ルールごとに、ルール出現数、ルール正解数、ルール正解率、ルール出現率の４つの数値を算出する。運用予知モデル選定ステップＳ１６では、そして、運用予知モデル選定部１７が、図１５に示すように、予知モデル１と新規予知モデル作成ステップＳ１４で作成した複数の新規予知モデルとのそれぞれについて、モデル全体のルール出現数、ルール正解数、ルール正解率、ルール出現率の４つの数値を算出する。なお、図１５では、図１２と同様に、ルール出現率の記載を省略している。
【0081】
図１６は、図４の運用予知モデル選定ステップＳ１６における予知モデル１及び新規予知モデルの評価の比較の一例を説明する説明図である。運用予知モデル選定ステップＳ１６では、運用予知モデル選定部１７が、図１６に示すように、予知モデル１と新規予知モデル作成ステップＳ１４で作成した複数の新規予知モデルとのそれぞれのモデル全体のルール正解率、すなわち予知確率を比較し、最もこのモデル全体のルール正解率が高いものを、新たに予知部３０が運用する予知モデルの最有力候補に選択する。
【0082】
ここで、運用予知モデル選定ステップＳ１６では、運用予知モデル選定部１７が、最有力候補に選択した予知モデルの予知確率が図２に示す所定の閾値ＱＴ以上である場合、この最有力候補の予知モデルを運用予知モデルに選定して予知部３０に運用させることとし、最有力候補に選択した予知モデルの予知確率が所定の閾値ＱＴ未満である場合、この最有力候補の予知モデルを運用予知モデルに選定しないで予知部３０にいかなる予知モデルをも運用させないこととすることができる。
【0083】
図１７は、図４の運用予知モデル選定ステップＳ１６において選定された運用予知モデルの一例を説明する説明図である。運用予知モデル選定ステップＳ１６では、運用予知モデル選定部１７が、図１７に示すように、検知タイミングｔ４１において、第１の学習データ及び第１の評価データに基づいて作成された新規予知モデル１の予知確率が所定の閾値ＱＴ未満であるために、新規予知モデル１を運用予知モデルに選定していない。運用予知モデル選定ステップＳ１６では、運用予知モデル選定部１７が、図１７に示すように、検知タイミングｔ４２において、第２−Ａの学習データ及び第２−Ａの評価データに基づいて作成された新規予知モデル２−Ａの予知確率が、第２−Ｂの学習データ及び第２−Ｂの評価データに基づいて作成された新規予知モデル２−Ｂの予知確率よりも高く、所定の閾値ＱＴ以上であるために、新規予知モデル２−Ａを運用予知モデルに選定している。これにより、検知タイミングｔ４２より前では、いかなる予知モデルも運用予知モデルに選定されていない状態となっており、検知タイミングｔ４２において、新規予知モデル２−Ａが運用予知モデルに選定されている状態に切り替わっている。
【0084】
運用予知モデル選定ステップＳ１６では、運用予知モデル選定部１７が、図１７に示すように、検知タイミングｔ４３において、検知タイミングｔ４２において運用予知モデルに選定されている予知モデル２−Ａが、第３−Ａの学習データ及び第３−Ａの評価データに基づいて作成された新規予知モデル３−Ａの予知確率と、第３−Ｂの学習データ及び第３−Ｂの評価データに基づいて作成された新規予知モデル３−Ｂの予知確率とのいずれよりも高く、依然として所定の閾値ＱＴ以上を維持しているために、引き続き予知モデル２−Ａを運用予知モデルに選定している。
【0085】
運用予知モデル選定ステップＳ１６では、運用予知モデル選定部１７が、図１７に示すように、検知タイミングｔ４４において、検知タイミングｔ４２において運用予知モデルに選定されている予知モデル２−Ａが、第４−Ａの学習データ及び第４−Ａの評価データに基づいて作成された新規予知モデル４−Ａの予知確率と、第４−Ｂの学習データ及び第４−Ｂの評価データに基づいて作成された新規予知モデル４−Ｂの予知確率と、所定の閾値ＱＴと、のいずれかよりも下回ったために、予知モデル２−Ａを運用予知モデルから除外している。また、運用予知モデル選定ステップＳ１６では、運用予知モデル選定部１７が、図１７に示すように、検知タイミングｔ４４において、新規予知モデル４−Ａ及び新規予知モデル４−Ｂについても、その予知確率が、予知モデル２−Ａの予知確率または所定の閾値ＱＴよりも下回っているために、運用予知モデルに選定していない。これにより、検知タイミングｔ４２から検知タイミングｔ４４までは予知モデル２−Ａが運用予知モデルに選定されている状態となっており、検知タイミングｔ４４において、いかなる予知モデルも運用予知モデルに選定されていない状態に切り替わっている。
【0086】
運用予知モデル選定ステップＳ１６では、運用予知モデル選定部１７が、図１７に示すように、検知タイミングｔ４５において、第５−Ｂの学習データ及び第５−Ｂの評価データに基づいて作成された新規予知モデル５−Ｂの予知確率が、第５−Ａの学習データ及び第５−Ａの評価データに基づいて作成された新規予知モデル５−Ａの予知確率よりも高く、所定の閾値ＱＴ以上であるために、新規予知モデル５−Ｂを運用予知モデルに選定している。これにより、検知タイミングｔ４５より前では、いかなる予知モデルも運用予知モデルに選定されていない状態となっており、検知タイミングｔ４５において、新規予知モデル５−Ｂが運用予知モデルに選定されている状態に切り替わっている。
【0087】
このように、実施形態に係る予知モデル維持システム１０によって実行される実施形態に係る予知モデル維持方法は、所定の時間ごとに、現状の工程において予知確率が所定の閾値ＱＴ以上である予知モデルがあることが確認できた場合にはその予知モデルを予知部３０に運用させ、現状の工程において予知確率が所定の閾値ＱＴ以上である予知モデルがないことが確認できた場合にはいかなる予知モデルをも予知部３０に運用させないという状態を維持することができる。このため、実施形態に係る予知モデル維持システム１０によって実行される実施形態に係る予知モデル維持方法は、所定の閾値ＱＴを下回った予知モデルを使用し続けないようにすることができる。
【0088】
実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、以上のような構成を有するので、新たに作成した新規予知モデルと、元々使用していた予知モデルとを評価して、評価の高い方を運用予知モデルに選定する。このため、実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、元々使用していた予知モデルよりも予知の精度が劣化したものを新たに用いてしまうことがないので、工程に関する変更に伴って予知の精度が劣化してしまうことを十分に低減することができる。
【0089】
実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、さらに、予知モデルの予知確率が劣化しているか否かを検知するために用いる劣化検知データを作成し、作成した劣化検知データを用いて、予知モデルの予知確率が低下しているか否かを判定し、予知モデルの予知確率が低下していると判定した場合、学習データを作成するものとしている。このため、実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、現在使用している予知モデルが劣化していると判定される場合にのみ、新たに新規予知モデルを作成することとするため、効率よく、工程に関する変更に伴って予知の精度が劣化してしまうことを十分に低減することができる。
【0090】
実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、評価の高い方が評価の閾値以上である場合、評価の高い方を運用予知モデルに選定し、評価の高い方が評価の閾値未満である場合、いずれも運用予知モデルに選定しないものとしている。このため、実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、閾値未満の評価の予知モデルを運用予知モデルに選定しないため、予知の精度が低い予知モデルを用いてしまうことによる工程への悪影響を低減することができる。
【0091】
実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、所定の条件が工程における設備データに基づいて定められ、所定の要件が工程を経た商品の品質データが所定の範囲内にあることであるとしている。このため、実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、工程の管理及び評価に一般的に用いられる設備データ及び品質データを好適に用いることができるため、効率よく、工程に関する変更に伴って予知の精度が劣化してしまうことを十分に低減することができる。
【0092】
実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、所定の要件を満たさない可能性がある場合に、アラートを出すように設定している。このため、実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、アラートにより、所定の要件を満たさない可能性がある場合である旨を注意喚起することができるため、工程において所定の要件を満たさない場合を見逃してしまう可能性を十分に低減することができる。
【0093】
実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、評価データの作成に用いるデータよりも時系列で過去に取得したデータを用いて学習データを作成している。このため、実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、時系列でより過去に取得したデータを用いて作成した学習データに基づいて作成した新規予知モデルが、時系列でより未来に取得したデータを用いて作成した評価データにおいても十分な精度で予知が可能か否かを評価するので、実質的に学習データにおいても評価データにおいても十分な予知の精度を有する新規予知モデルを作成することができる。このため、実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、効率よく、工程に関する変更に伴って予知の精度が劣化してしまうことを十分に低減することができる。
【0094】
実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、さらに、評価データの作成に用いるデータよりも同じ量または多い量のデータを用いて学習データを作成している。このため、実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、新規予知モデルが十分な予知の精度を有すると考えられるデータのうち、より多くの比率のデータを新規予知モデルの作成に用いることができる。このため、実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、より効率よく、工程に関する変更に伴って予知の精度が劣化してしまうことを十分に低減することができる。
【0095】
実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、さらに、１種類の評価データに対して、複数種類の量のデータを用いて複数種類の学習データを作成し、複数種類の学習データを用いて、複数種類の新規予知モデルを作成している。このため、実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、１度に複数種類の学習データを作成し、複数種類の新規予知モデルを作成することができる。これにより、実施形態に係る予知モデル維持システム１０、実施形態に係る予知モデル維持方法及び実施形態に係る予知モデル維持プログラムは、学習データの作成に用いたデータが取得された間に工程に関する変更があった場合に、より現在の工程に適切な新規予知モデルを作成することができるので、工程に関する変更に伴って予知の精度が劣化してしまうことをさらに十分に低減することができる。
【符号の説明】
【0096】
１ 予知モデル１０ 予知モデル維持システム
１１ 制御部
１２ 劣化検知データ作成部
１３ 劣化検知判定部
１４ 学習データ作成部
１５ 新規予知モデル作成部
１６ 評価データ作成部
１７ 運用予知モデル選定部
２０ データベース
２１ 設備データ
２２ 品質データ
３０ 予知部
３２ アラート部