(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024072085
(43)【公開日】2024-05-27
(54)【発明の名称】成形条件修正装置、成形機、成形条件修正方法及びコンピュータプログラム
(51)【国際特許分類】
B29C 45/76 20060101AFI20240520BHJP
【FI】
B29C45/76
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022182708
(22)【出願日】2022-11-15
(71)【出願人】
【識別番号】000004215
【氏名又は名称】株式会社日本製鋼所
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】横田 工
(72)【発明者】
【氏名】佐伯 明彦
(72)【発明者】
【氏名】赤木 誉志
【テーマコード(参考)】
4F206
【Fターム(参考)】
4F206AM22
4F206AM23
4F206AP02
4F206AP06
4F206AP07
4F206AP10
4F206JA07
4F206JL02
4F206JP12
4F206JP13
4F206JP14
4F206JP15
4F206JP17
4F206JP30
(57)【要約】
【課題】成形条件を修正する標準モデルとしての学習器であって、任意の成形品の製造に適用することができる学習器を備えた成形条件修正装置を提供する。
【解決手段】成形機の成形条件を修正する成形条件修正装置であって、成形機の状態を測定して得られる測定データ、及び成形機にて成形された成形品の状態を検査して得られる検査結果データを取得する取得部と、測定データ及び検査結果データと、成形条件の修正量との関係を学習しており、取得した測定データ及び検査結果データに基づいて修正量を決定する学習器とを備える。学習器が扱う測定データ、検査結果データ及び修正量の少なくとも一つは標準化又は正規化されている。
【選択図】
図5
【特許請求の範囲】
【請求項1】
成形機の成形条件を修正する成形条件修正装置であって、
前記成形機の状態を測定して得られる測定データ、及び前記成形機にて成形された成形品の状態を検査して得られる検査結果データを取得する取得部と、
前記測定データ及び前記検査結果データと、前記成形条件の修正量との関係を学習しており、取得した前記測定データ及び前記検査結果データに基づいて前記修正量を決定する学習器と
を備え、
前記学習器が扱う前記測定データ、前記検査結果データ及び前記修正量の少なくとも一つは標準化又は正規化されている
成形条件修正装置。
【請求項2】
前記測定データ、前記検査結果データ及び前記修正量は標準化又は正規化されたデータである
請求項1に記載の成形条件修正装置。
【請求項3】
前記測定データは、データの分布を標準化したデータであり、
前記検査結果データ及び前記修正量は、最小値及び最大値を正規化したデータである
請求項2に記載の成形条件修正装置。
【請求項4】
前記取得部は、
量産成形前に正規化及び標準化用の前記測定データ、前記検査結果データ及び前記修正量を取得し、
前記学習器は、
前記取得部が取得した標準化用の測定データに基づいて、該測定データの平均値及び標準偏差を算出し、
前記取得部が取得した正規化用の前記検査結果データ及び前記修正量に基づいて、前記検査結果データ及び前記修正量の最小値及び最大値を特定し、
量産成形時に前記取得部が取得した測定データを、標準化用の前記検査結果データを用いて算出された平均値及び標準偏差に基づいて標準化し、
量産成形時に前記取得部が取得した前記検査結果データを、正規化用の前記検査結果データを用いて特定された最大値及び最小値を用いて正規化し、
前記学習器が決定した正規化された前記修正量を、正規化用の前記修正量を用いて特定された最大値及び最小値を用いて逆変換する
請求項3に記載の成形条件修正装置。
【請求項5】
前記取得部は、
追加学習用の前記測定データ、前記検査結果データ及び前記修正量を取得し、
前記学習器は、
追加学習用の前記測定データに基づいて、該測定データの平均値及び標準偏差を算出し、
算出された平均値及び標準偏差に基づいて、追加学習用の前記測定データを標準化し、
追加学習用の前記検査結果データ及び前記修正量に基づいて、前記検査結果データ及び前記修正量の最小値及び最大値を特定し、
特定された最小値及び最大値に基づいて、追加学習用の前記検査結果データ及び前記修正量を正規化し、
標準化及び正規化された追加学習用の前記測定データ、前記検査結果データ及び前記修正量を用いて追加学習を行う
請求項3に記載の成形条件修正装置。
【請求項6】
前記学習器は、
量産成形時に前記取得部が取得した前記測定データを、前記追加学習用の測定データを用いて算出された平均値及び標準偏差を用いて標準化し、
量産成形時に前記取得部が取得した前記検査結果データを、前記追加学習用の検査結果データを用いて特定された最大値及び最小値を用いて正規化し、
前記学習器が決定した正規化された前記修正量を、前記追加学習用の修正量を用いて特定された最大値及び最小値を用いて逆変換する
請求項5に記載の成形条件修正装置。
【請求項7】
前記成形機は射出成形機であり、
前記測定データは、
サイクル時間、射出時間、保圧時間、保圧切替位置、保圧切替速度、保圧切替圧力、クッション位置、保圧完了位置、計量時間、背圧、又は計量完了位置を含み、
前記検査結果データは、
成形品のバリ面積、又はショート面積を含み、
前記修正量は、
保圧圧力の修正量、保圧切替位置の修正量、又は射出速度の修正量を含む
請求項1から請求項6のいずれか1項に記載の成形条件修正装置。
【請求項8】
請求項1から請求項6のいずれか1項に記載の成形条件修正装置を備える成形機。
【請求項9】
成形機の成形条件を修正する成形条件修正方法であって、
前記成形機の状態を測定して得られる測定データ、及び前記成形機にて成形された成形品の状態を検査して得られる検査結果データを取得するステップと、
前記測定データ及び前記検査結果データと、前記成形条件の修正量との関係を学習した学習器を用いて、取得した前記測定データ及び前記検査結果データに基づいて前記修正量を決定するステップと
を備え、
前記学習器が扱う前記測定データ、前記検査結果データ及び前記修正量の少なくとも一つは標準化又は正規化されている
成形条件修正方法。
【請求項10】
成形機の成形条件を修正する処理を、コンピュータに実行させるためのコンピュータプログラムであって、
前記コンピュータに、
前記成形機の状態を測定して得られる測定データ、及び前記成形機にて成形された成形品の状態を検査して得られる検査結果データを取得するステップと、
前記測定データ及び前記検査結果データと、前記成形条件の修正量との関係を学習した学習器を用いて、取得した前記測定データ及び前記検査結果データに基づいて前記修正量を決定する決定ステップと
を実行させ、
前記決定ステップは、
前記測定データ、前記検査結果データ及び前記修正量の少なくとも一つが標準化又は正規化された前記学習器を用いて、前記修正量を決定する
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、成形条件修正装置、成形機、成形条件修正方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
射出成形機を用いた射出成形を行う場合、まず条件出し作業を行って各種成形条件項目の設定値を修正し、成形条件を求める必要がある。成形条件の修正は、オペレータの経験に基づいて行われており、適切な成形条件を得るためには、試行錯誤を繰り返す必要がある。押出機を用いた押出成形を行う場合も同様である。
特許文献1には、強化学習により、射出成形機の成形条件を修正する射出成形機システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、成形条件を修正する学習器(AIモデル)を構築するためには、数千ショットの学習データが必要である。また、1つの金型又は製品につき1つの学習器が必要である。
学習に必要なデータには不良品データも含まれているため、意図的に不良品を生産することになる。量産工場で大量の不良品を生産することは、工場の生産計画に悪影響を及ぼすという技術的な問題がある。
【0005】
本開示の目的は、成形条件を修正する標準モデルとしての学習器であって、任意の成形品の製造に適用することができる学習器を備えた成形条件修正装置、成形機、成形条件修正方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本開示の一側面に係る成形条件修正装置は、成形機の成形条件を修正する成形条件修正装置であって、前記成形機の状態を測定して得られる測定データ、及び前記成形機にて成形された成形品の状態を検査して得られる検査結果データを取得する取得部と、前記測定データ及び前記検査結果データと、前記成形条件の修正量との関係を学習しており、取得した前記測定データ及び前記検査結果データに基づいて前記修正量を決定する学習器とを備え、前記学習器が扱う前記測定データ、前記検査結果データ及び前記修正量の少なくとも一つは標準化又は正規化されている。
【0007】
本開示の一側面に係る成形機は、上記成形条件修正装置を備える。
【0008】
本開示の一側面に係る成形条件修正方法は、成形機の成形条件を修正する成形条件修正方法であって、前記成形機の状態を測定して得られる測定データ、及び前記成形機にて成形された成形品の状態を検査して得られる検査結果データを取得するステップと、前記測定データ及び前記検査結果データと、前記成形条件の修正量との関係を学習した学習器を用いて、取得した前記測定データ及び前記検査結果データに基づいて前記修正量を決定するステップとを備え、前記学習器が扱う前記測定データ、前記検査結果データ及び前記修正量の少なくとも一つは標準化又は正規化されている。
【0009】
本開示の一側面に係るコンピュータプログラムは、成形機の成形条件を修正する処理を、コンピュータに実行させるためのコンピュータプログラムであって、前記コンピュータに、前記成形機の状態を測定して得られる測定データ、及び前記成形機にて成形された成形品の状態を検査して得られる検査結果データを取得するステップと、前記測定データ及び前記検査結果データと、前記成形条件の修正量との関係を学習した学習器を用いて、取得した前記測定データ及び前記検査結果データに基づいて前記修正量を決定する決定ステップとを実行させ、前記決定ステップは、前記測定データ、前記検査結果データ及び前記修正量の少なくとも一つが標準化又は正規化された前記学習器を用いて、前記修正量を決定する。
【発明の効果】
【0010】
本開示によれば、成形条件を修正する標準モデルとしての学習器であって、任意の成形品の製造に適用することができる学習器を備えた成形条件修正装置、成形機、成形条件修正方法及びコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【0011】
【
図1】本実施形態に係る射出成形装置の構成例を説明する模式図である。
【
図2】本実施形態に係る成形条件修正装置の構成例を示すブロック図である。
【
図3】本実施形態に係るプロセッサの機能ブロック図である。
【
図4】本実施形態に係る学習器(標準モデル)の生成及び流用方法を示すフローチャートである。
【
図5】本実施形態に係る学習器(標準モデル)の流用方法を示す概念図である。
【
図6】本実施形態に係る学習器(標準モデル)の追加学習方法を示す概念図である。
【
図7】学習器(標準モデル)の生成処理手順を示すフローチャートである。
【
図8】学習器(標準モデル)の導入処理手順を示すフローチャートである。
【
図10】学習器(標準モデル)の追加学習処理手順を示すフローチャートである。
【発明を実施するための形態】
【0012】
本発明の実施形態に係る成形条件修正装置、成形機、成形条件修正方法及びコンピュータプログラムの具体例を、以下に図面を参照しつつ説明する。以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【0013】
<本実施形態の概要>
本実施形態では、予め特定の不良、例えばバリ及びショートに特化した成形条件修正用の学習器(AIモデル)を構築し、他の金型へ流用する例を説明する。成形条件修正用の学習器の動作に大きく関わる3つのパラメータを標準化及び正規化することによって、金型の違いを吸収した学習器を構築することができる。標準化又は正規化する3つのパラメータは、射出成形機の状態を測定して得られる測定データ、射出成形品にて成形された成形品の状態を検査して得られる検査結果データ、成形条件の修正量(1回の修正で変更される成形条件の量)である。
上記パラメータを標準化及び正規化した学習器を適宜、標準モデルと呼ぶ。標準モデルによれば、標準モデルの構築に使用した金型と異なる金型においても成形条件を適切に修正することができる。また、異なる金型で収集したデータを使って標準モデルを追加学習させることで性能を向上させることも可能である。
【0014】
<射出成形機の構成>
図1は、本実施形態に係る射出成形機101の構成例を示す模式図である。本本実施形態に係る射出成形機101は、金型21を型締めする型締装置2と、成形材料を可塑化して射出する射出装置3と、制御装置4と、検査装置5とを備える。型締装置2及び射出装置3は成形機本体1を構成している。制御装置4は、本実施形態に係る成形条件修正装置として機能する。
【0015】
型締装置2はベッド20上に固定された固定盤22と、ベッド20上をスライド可能に設けられた型締ハウジング23と、ベッド20上を同様にスライドする可動盤24とを備える。固定盤22と型締ハウジング23は複数本、例えば4本のタイバー25、25、…によって連結されている。可動盤24は、固定盤22と型締ハウジング23の間でスライド自在に構成されている。型締ハウジング23と可動盤24の間には型締機構26が設けられている。
【0016】
型締機構26は、例えばトグル機構から構成されている。なお、型締機構26は、直圧式の型締機構、つまり型締シリンダによって構成してもよい。固定盤22と可動盤24にはそれぞれ固定金型21aと、可動金型21bが設けられ、型締機構26を駆動すると金型21が型開閉されるようになっている。
【0017】
射出装置3は、基台30上に設けられている。射出装置3は、先端部にノズル31aを有する加熱シリンダ31と、当該加熱シリンダ31内に周方向と軸方向とに回転可能に配されたスクリュ32とを備える。スクリュ32は駆動機構33によって回転方向と軸方向とに駆動する。駆動機構33は、スクリュ32を回転方向に駆動する回転モータと、スクリュ32を軸方向に駆動するモータ等から構成されている。なお、
図1に示す駆動機構33は、カバーにより覆われているため内部構成が図示されていない。
【0018】
加熱シリンダ31の後端部近傍には、成形材料が投入されるホッパ34が設けられている。また、射出成形機101は、射出装置3を前後方向(
図1中左右方向)に移動させるノズルタッチ装置35を備える。ノズルタッチ装置35を駆動すると、射出装置3が前進して加熱シリンダ31のノズル31aが固定盤22の密着部にタッチするように構成されている。
【0019】
図2は、本実施形態に係る制御装置4の構成例を示すブロック図である。制御装置4は、型締装置2及び射出装置3の動作を制御するコンピュータであり、ハードウェア構成としてプロセッサ41、記憶部42、制御信号出力部43、第1取得部44と、第2取得部45、操作パネル46を備える。プロセッサ41は、機能部として学習器40を有する。なお、学習器40の一部をハードウェア的に実現しても良い。
【0020】
制御装置4は、射出成形機101(
図1参照)の成形条件を修正する装置である。なお、制御装置4は、ネットワークに接続されたサーバ装置であっても良い。また、制御装置4は、複数台のコンピュータで構成し分散処理する構成でもよいし、1台のサーバ内に設けられた複数の仮想マシンによって実現されていてもよいし、クラウドサーバを用いて実現されていてもよい。
【0021】
プロセッサ41は、CPU(Central Processing Unit)、マルチコアCPU、GPU(Graphics Processing Unit)、GPGPU(General-purpose computing on graphics processing units)、TPU(Tensor Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、NPU(Neural Processing Unit)等の演算回路、ROM(Read Only Memory)、RAM(Random Access Memory)等の内部記憶装置、I/O端子、計時部等を有する。プロセッサ41は、後述の記憶部42が記憶するコンピュータプログラム(プログラム製品)42aを実行することにより、本実施形態に係る成形条件修正方法を実施する。なお、制御装置4の各機能部は、ソフトウェア的に実現しても良いし、一部又は全部をハードウェア的に実現しても良い。
【0022】
記憶部42は、ハードディスク、EEPROM(Electrically Erasable Programmable
ROM)、フラッシュメモリ等の不揮発性メモリである。記憶部42は、射出成形機101及び成形品の状態に応じた成形条件の修正方法を強化学習し、成形条件修正処理をコンピュータに実行させるためのコンピュータプログラム42aを記憶している。記憶部42は、強化学習モデルである学習器40を特徴付ける各種係数を記憶する。
【0023】
本実施形態に係るコンピュータプログラム42aは、記録媒体49にコンピュータ読み取り可能に記録されている態様でも良い。記憶部42は、読出装置によって記録媒体49から読み出されたコンピュータプログラム42aを記憶する。記録媒体49はフラッシュメモリ等の半導体メモリである。また、記録媒体49はCD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM、BD(Blu-ray(登録商標)Disc)等の光ディスクでも良い。更に、記録媒体49は、フレキシブルディスク、ハードディスク等の磁気ディスク、磁気光ディスク等であっても良い。
【0024】
更にまた、通信網に接続されている外部サーバから本実施形態に係るコンピュータプログラム42aをダウンロードし、記憶部42に記憶させても良い。
【0025】
制御信号出力部43は、成形条件に基づくプロセッサ41の制御に従って射出成形機101の動作を制御するための制御信号を成形機本体1へ出力する。
【0026】
操作パネル46は、射出成形機101の成形条件などを設定し、射出成形機101の動作を操作するためのインタフェースである。操作パネル46は、表示パネル及び操作装置を備える。表示パネルは、液晶表示パネル、有機EL表示パネルなどの表示装置であり、プロセッサ41の制御に従って、射出成形機101の成形条件の設定を受け付けるための受付画面を表示したり、射出成形機101の状態、本実施形態に係る成形条件修正方法の実施状況を表示したりする。操作装置は、射出成形機101の成形条件を入力及び修正するための入力装置であり、操作ボタン、タッチパネルなどを有する。操作装置は受け付けた成形条件を示すデータをプロセッサ41に与える。
【0027】
射出成形機101には、各種の成形条件に係る設定値が設定される。成形条件には、射出開始位置、金型内樹脂温度、ノズル温度、シリンダ温度(ヒータ温度)、ホッパ温度、型締力、射出速度、射出加速度、射出ピーク圧力(射出圧力)、射出ストロークが含まれる。また成形条件には、シリンダ先端樹脂圧、逆防リング着座状態、保圧圧力、保圧切替速度、保圧切替位置、保圧完了位置、クッション位置、計量背圧、計量トルクが含まれる。更に成形条件には、計量完了位置、スクリュ後退速度、サイクル時間、型閉時間、射出時間、保圧時間、計量時間、型開時間が含まれる。更に成形条件には、冷却時間,スクリュ回転数,金型開閉速度,突き出し速度,突き出し回数が含まれる。
【0028】
これらの設定値が設定された射出成形機101は、当該設定値に従って動作する。上記した成形条件の内、特に保圧圧力、保圧切替位置、射出速度は、成形品のバリ、ショート等の成形不良に関連するものである。本実施形態では、学習器40を用いて、保圧圧力[Mpa]、保圧切替位置[mm]、射出速度[mm/秒]を修正する例を説明する。
【0029】
第1取得部44は、射出成形機101の状態を測定して得られる測定データを取得する入力回路である。
【0030】
型締装置2及び射出装置3(
図1参照)には、射出成形機101の状態を示す情報であって、成形機本体1の動作を制御するために必要な物理量を検出する一又は複数のセンサ1aが設けられている。センサ1aは第1取得部44に接続されている。物理量には、例えば電圧、電流、温度、湿度、トルク、圧力等の力、可動部の速度、加速度、回転角、位置、流体の流量、速度等が含まれる。センサ1aは、例えば、電流センサ、電圧センサ、温度センサ、湿度センサ、トルクセンサ、圧力センサ、速度センサ、加速度センサ、回転角度センサ、測位センサ、流量センサ、流速計等である。センサ1aは物理量を示す測定信号を制御装置4へ出力する。センサ1aから出力された測定信号は第1取得部44に入力し、第1取得部44は測定信号を測定データとして取得する。
【0031】
測定データは、射出成形機101の運転状況を示すデータであり、例えば、サイクル時間[秒]、射出時間[秒]、保圧時間[秒]、保圧切替位置[mm]、保圧切替速度[mm/秒]、保圧切替圧力[Pa]、クッション位置[mm]、保圧完了位置[mm]、計量時間[秒]、背圧[Pa]、計量完了位置[mm]等が含まれる。
【0032】
第2取得部45は、射出成形機101にて成形された成形品の状態を検査して得られる検査結果データを取得する入力回路である。第2出力部には検査装置5が接続されている。検査装置5は、成形品の状態を検出するカメラ、測距センサ、重量計等であり、成形品の状態に係る物理量を測定し、測定して得た物理量データに基づいて、成形品の状態を示す検査結果データを得る。検査結果データは、例えば、成形品のバリ面積[mm2 ]、ショート面積[mm2 ]を示すデータである。
【0033】
図3は、本実施形態に係るプロセッサ41の機能ブロック図である。制御装置4のプロセッサ41は、学習器40として機能する。学習器40は、観測部41a、報酬算出部41b、エージェント41c、及び修正部41dを備える。なお、制御装置4の学習器40及び各機能部は、ソフトウェア的に実現しても良いし、一部又は全部をハードウェア的に実現しても良い。
【0034】
観測部41aは、第1取得部44及び第2取得部45からそれぞれ測定データ及び検査結果データを取得する。観測部41aは、第1取得部44にて取得した測定データを標準化する標準化処理部41eと、第2取得部45にて取得した検査結果データを正規化する正規化処理部41fとを備える。
【0035】
標準化処理部41eは、量産成形開始前にデータ標準化のために予め算出した測定データの平均値及び標準偏差を用いて、第1取得部44が取得した測定データを標準化する(Ave-Stdスケール変換)。例えば、標準化処理部41eは、下記式(1)に示すように、第1取得部44にて得られる測定データの平均値が0、標準偏差が1となるように、測定データを標準化する。標準化された測定データの値は、±3σ等の所定の数値範囲を0~255とする等とすればよい。標準化された測定データのスケールは、測定データの分布を確認して任意に設定すればよい。スケールは、測定データの種類毎に異なるものであってもよい。また、標準化された測定データが、±3σ等の所定の数値範囲を外れる場合、当該数値範囲の最大値又は最小値を標準化された測定データとすればよい。なお、標準化された測定データが、±3σ等の所定の数値範囲を外れることが多い場合、平均値に代えて、中央値又はn分位数(nは3以上の整数)を用いて標準化するように構成してもよい。
X=(x-xave)/σ…(1)
但し、
X:標準化された測定データ
x:標準化前の測定データ
xave:測定データの平均値
σ:測定データの標準偏差
【0036】
正規化処理部41fは、量産成形開始前にデータ正規化のために予め特定した検出結果データの最大値及び最小値を用いて、第2取得部45が取得した測定データを正規化する(Min-Maxスケール変換)。例えば、正規化処理部41fは、下記式(2)に示すように、第2取得部45にて得られる検出結果データの最小値が0、最大値が1となるように、検出結果データを標準化する。
Y=(y-ymin)/(ymax-ymin)…(2)
但し、
Y:正規化された検査結果データ
y:正規化前の検査結果データ
ymin:検査結果データの最小値
ymax:検査結果データの最大値
【0037】
観測部41aは、標準化処理部41eにて標準化された測定データと、正規化処理部41fにて正規化された検査結果データとを、観測データとしてエージェント41cへ出力する。また、観測部41aは、正規化された検査結果データを報酬算出部41bへ出力する。射出成形機101の運転状況を加味して報酬データを算出する構成の場合、観測部41aは、正規化された検査結果データと共に、標準化された測定データを報酬算出部41bへ出力するように構成してもよい。
【0038】
報酬算出部41bは、観測部41aが観測して得たデータ、特に検査結果データに基づいて、現在設定されている成形条件を評価して得た報酬データを算出し、算出された報酬データをエージェント41cへ出力する。具体的には、報酬算出部41bは、検査結果データに基づいて、バリ面積及びショート面積が大きい程、報酬の値が減少するように報酬データの値を決定する。バリ面積及びショート面積がゼロである場合、報酬の値が最大となる。
【0039】
エージェント41cは、例えば、DQN(Deep Q-Network)、A3C、D4PG等の深層ニューラルネットワークを有する強化学習モデル、PlaNet、SLAC等のモデルベースの強化学習モデル等である。以下、エージェント41cがDQNを備える例を説明する。
【0040】
エージェント41cは、DQNを用いて、観測データが示す射出成形機101の状態sに基づいて、当該状態sに応じた行動aを決定する。観測データに係る状態sは、測定データ及び検査結果データを含む。
【0041】
DQNは、観測データの示す状態sが入力された場合、複数の行動aそれぞれの価値を出力するニューラルネットワークモデルである。複数の行動aは、修正対象の項目、修正量を含む。修正量の数値範囲は正規化されており、例えば0~1の値である。価値の高い行動aは、適切な条件出しの修正項目及び修正量を表している。エージェント41cは、価値の高い行動aを選択し、選択された行動aにより射出成形機101は他の状態へ遷移する。状態遷移後、エージェント41cは、報酬算出部41bで算出された報酬を受け取り、収益、つまり報酬の累積が最大になるようにエージェント41cを学習させる。
【0042】
より具体的には、DQNは、入力層、中間層及び出力層を有する。入力層は、状態s、つまり観測データが入力される複数のノードを備える。出力層は、複数の行動aにそれぞれ対応し、入力された状態sにおける当該行動aの価値Q(s,a)を出力する複数のノードを備える。
【0043】
状態s、行動aと、当該行動により得られた報酬rに基づいて、下記式(3)で表される価値Qを正解とする教師データとして、DQNを特徴付ける各種重み係数を修正することにより、エージェント41cのDQNを強化学習させることができる。
Q(s,a)←Q(s,a)+α(r+γmaxQ(snext,anext)-Q(s,a))・・・(3)
但し、
s:状態
a:行動
α:学習係数
r:報酬
γ:割引率
maxQ(snext,anext):次に取り得る行動に対するQ値のうち最大値
【0044】
エージェント41cは、正規化された成形条件の修正量を、実際の修正量に逆変換する逆変換部41gを備える。エージェント41cは、逆変換部41gにて逆変換された修正量を修正部41dへ出力する。
【0045】
逆変換部41gは、量産成形開始前にデータ正規化のために予め特定した修正量の最大値及び最小値を用いて、修正量を逆変換する(Min-Maxスケール変換)。例えば、逆変換部41gは、下記式(4)に示すように、エージェント41cにて算出された、正規化された修正量を、実際の修正量に逆変換する。
z=Z×(zmax-zmin)+zmin…(4)
但し、
z:逆変換された修正量
Z:正規化された修正量
zmin:修正量の最小値
zmax:修正量の最大値
【0046】
修正部41dは、エージェント41cで算出された修正量に基づいて成形条件を修正し、修正後の成形条件を制御信号出力部43に与える。制御信号出力部43は、修正後の成形条件に応じた制御信号を成形機本体1へ出力する。
【0047】
<標準モデルの生成及び流用方法>
図4は、本実施形態に係る学習器40(標準モデル)の生成及び流用方法を示すフローチャート、
図5は、本実施形態に係る学習器40(標準モデル)の流用方法を示す概念図、
図6は、本実施形態に係る学習器40(標準モデル)の追加学習方法を示す概念図である。
【0048】
まず、特定の不良、例えばバリ及びショートに特化した成形条件修正用の標準モデル、つまり標準化及び正規化された学習器40を生成する(ステップS11)。標準モデルである学習器40は、例えば、
図5及び
図6に示すように、モデル生成工場において生成される。モデル生成工場は、量産工場と異なる工場である。例えば、モデル生成工場は、射出成形機101を製造販売する会社の工場である。
【0049】
図7は、学習器40(標準モデル)の生成処理手順を示すフローチャートである。本実施形態では、モデル生成工場で使用される射出成形機101と、量産工場で使用される射出成形機101が同様のものであり、プロセッサ41の処理によって、学習器40を生成するものとして説明する。
【0050】
モデル生成工場において射出成形機101を動作させることによって、標準モデル学習用の、測定データ、検査結果データ及び修正量を収集する(ステップS31)。
【0051】
次いで、プロセッサ41は、収集した測定データの平均値及び標準偏差を算出する(ステップS32)。また、プロセッサ41は、収集した検査結果データの最大値及び最小値を特定する(ステップS33)。同様にプロセッサ41は、収集した修正量の最大値及び最小値を特定する(ステップS34)。
【0052】
次いで、プロセッサ41は、収集した測定データを、ステップS32で算出した平均値及び標準偏差に基づいて標準化する(ステップS35)。また、プロセッサ41は、収集した検査結果データを、ステップS33で算出した最大値及び最小値に基づいて正規化する(ステップS36)。同様にして、プロセッサ41は、収集した修正量を、ステップS34で算出した最大値及び最小値に基づいて正規化する(ステップS37)。
【0053】
プロセッサ41は、標準化及び正規化された測定データ、検査結果データ及び修正量に基づいて、測定データ及び検査結果データと、成形条件の修正量との関係を強化学習させることによって、標準モデルとしての学習器40を生成する(ステップS38)。プロセッサ41は、生成した標準モデルとしての学習器40を特徴付ける各種係数を記憶部42に記憶する。
【0054】
図4~
図6に戻り、標準モデルの流用について説明する。学習器40の導入を行う作業者は、ステップS11、及びステップS31~ステップS38の処理で生成した学習器40を、量産工場に設置された射出成形機101に導入し(ステップS12)、成形品を生産する(ステップS13)。ステップS13は、標準モデルの学習器40の運用結果を評価するための成形工程である。なお、ステップS13で成形品の量産を開始するようにしてもよい。
【0055】
図8は、学習器40(標準モデル)の導入処理手順を示すフローチャートである。学習器40の導入を行う作業者は、標準モデルである学習器40を、量産工場の射出成形機101へ転送する(ステップS51)。具体的には、作業者は、標準モデルである学習器40を特徴付ける各種係数を射出成形機101の制御装置4へ送信し、記憶部42に記憶させる。標準モデルである学習器40の転送は、有線又は無線の通信ネットワークを介して行ってもよいし、可搬型記録媒体を介して制御装置4へ転送してもよい。量産工場の射出成形機101が使用する金型21は、モデル生成工場で標準モデルを生成する際に使用した金型21と異なるものである。
【0056】
次いで、作業者は、量産工場における量産開始前に、射出成形機101を動作させ、標準化及び正規化用の測定データ、検査結果データ及び修正量を収集する(ステップS52)。測定データ、検査結果データ及び修正量を標準化及び正規化するためのデータであるため、各データの値が比較的大きく振れるように、成形条件を変更して射出成形機101を動作させるとよい。
なお、本実施形態では、標準化及び正規化用の平均値及び標準偏差、最小値及び最大値等を求める例を説明するが、標準モデル生成時に算出及び特定された標準化及び正規化用の平均値及び標準偏差、最小値及び最大値が妥当であれば、これらをそのまま利用してもよい。
また、成形品を生産せずに、適当に標準化及び正規化用の平均値及び標準偏差、最小値及び最大値を設定するように構成してもよい。
【0057】
制御装置4のプロセッサ41は、収集した標準化用の測定データに基づいて、当該測定データの平均値及び標準偏差を算出する(ステップS53)。また、プロセッサ41は、収集した正規化用の検査結果データに基づいて、当該検査結果データの最大値及び最小値を特定する(ステップS54)。同様にプロセッサ41は、収集した正規化用の修正量に基づいて、当該修正量の最大値及び最小値を特定する(ステップS55)。プロセッサ41は、標準化及び正規化するための平均値、標準偏差、最大値及び最小値を記憶部42に記憶し(ステップS56)、処理を終える。
【0058】
図9は、成形処理手順を示すフローチャートである。プロセッサ41は、射出成形機101の動作を制御し、成形サイクル制御を行う(ステップS71)。つまり、射出成形機101にて成形を行い、成形品を生産する。例えば、成形サイクルは、周知の型閉工程、型締工程、射出ユニット前進工程、射出工程、冷却工程、計量工程、射出ユニット後退工程、型開工程、及びエジェクト工程を含み、プロセッサ41は、これらの工程が順次実行されるように、成形機本体1の動作を制御する。なお、1回の成形品を製造する型閉工程からエジェクト工程を1サイクルとし、1サイクルに要する時間をサイクル時間と呼ぶ。
【0059】
次いで、プロセッサ41は、第1取得部44及び第2取得部45にて測定データ及び検査結果データを取得する(ステップS72)。プロセッサ41は、取得した測定データを、記憶部42が記憶する測定データの平均値及び標準偏差に基づいて標準化する(ステップS73)。プロセッサ41は、取得した検査結果データを、記憶部42が記憶する検査結果データの最大値及び最小値に基づいて正規化する(ステップS74)。
【0060】
プロセッサ41は、標準化及び正規化された測定データ及び検査結果データを学習器40のエージェント41cに入力することによって、成形条件の正規化された修正量を算出する(ステップS75)。そして、プロセッサ41は、正規化されている修正量を、記憶部42が記憶する修正量の最大値及び最小値に基づいて逆変換し(ステップS76)、逆変換した修正量に基づいて修正量を修正する(ステップS77)。修正された成形条件が設定され、次回の成形では修正された成形条件に基づいて成形が行われる。
【0061】
ステップS77の処理を終えたプロセッサ41は、成形品の生産を終了するか否かを判定する(ステップS78)。成形品の生産を終了しないと判定した場合(ステップS78:NO)、処理をステップS71に戻し、成形サイクル工程が繰り返される。なお、成形条件の修正は、成形品を成形する都度行ってもよいし、所定回数の成形を行う都度行ってもよい。成形品の生産を終了すると判定した場合(ステップS78:YES)、プロセッサ41は、成形サイクル工程に係る制御処理を終了する。
【0062】
図4~
図6に戻り、標準モデルを用いた運用結果に基づく、追加学習等の処理を説明する。学習器40の導入を行う作業者は、ステップS12及びステップS13で標準モデルを導入して成形を行った結果、学習器40の運用結果が良好であったか否かを判定する(ステップS14)。例えば、意図的に成形不良が発生し易い成形条件を設定し、成形条件の修正により成形品の不良が所定回数以内に改善されるか否かを判定することによって、学習器40の運用結果が良好であるか否かを判定する。また、意図的に成形不良が発生し易い成形条件を設定したときに生産される成形品の不良発生率によって、学習器40の運用結果が良好であるか否かを判定してもよい。学習器40の運用結果が良好であるか否かの判定方法は一例であり、上記した方法に限定されるものでは無い。
【0063】
なお、標準モデルとしての学習器40の性能が十分に高い場合、運用結果の良否を判定して追加学習等を行う処理(ステップS14~ステップS17)を行わずに、学習器40の流用工程を終えてもよい。
【0064】
運用結果が良好であると判定した場合(ステップS14:YES)、学習器40の流用に係る処理を終える。以後、
図5に示すように、量産工場の射出成形機101に導入された標準モデルをそのまま利用して、射出成形機101を運転させることができる。
【0065】
運用結果が不良であると判定した場合(ステップS14:NO)、学習器40の導入を行う作業者は、運用結果不良の原因が標準化又は正規化に問題であるか否かを判定する(ステップS15)。例えば、標準化された測定データの多くが2σ又は3σから外れた値になっていた場合、標準化に問題があると判定する。また、良品及び不良品のいずれを生成しても、検査結果データ又は修正量の値が最小値又は最大値付近に集中する異常がある場合、正規化に問題があると判定する。
【0066】
標準化又は正規化に問題があると判定された場合(ステップS15:YES)、
図6に示すように、作業者は、ステップS12で行った、標準化及び正規化の前処理を再度実行し(ステップS16)、処理をステップS13へ戻す。
【0067】
標準化又は正規化に問題がないと判定された場合(ステップS15:NO)、学習器40の追加学習を行い(ステップS17)、処理をステップS13へ戻す。
【0068】
図10は、学習器40(標準モデル)の追加学習処理手順を示すフローチャートである。量産工場において射出成形機101を動作させることによって、追加学習用の、測定データ、検査結果データ及び修正量を収集する(ステップS91)。
【0069】
次いで、プロセッサ41は、収集した測定データの平均値及び標準偏差を算出する(ステップS92)。また、プロセッサ41は、収集した検査結果データの最大値及び最小値を特定する(ステップS93)。同様にプロセッサ41は、収集した修正量の最大値及び最小値を特定する(ステップS94)。
【0070】
次いで、プロセッサ41は、収集した測定データを、ステップS92で算出した平均値及び標準偏差に基づいて標準化する(ステップS95)。また、プロセッサ41は、収集した検査結果データを、ステップS93で算出した最大値及び最小値に基づいて正規化する(ステップS96)。同様にして、プロセッサ41は、収集した修正量を、ステップS94で算出した最大値及び最小値に基づいて正規化する(ステップS97)。
【0071】
プロセッサ41は、標準化及び正規化された測定データ、検査結果データ及び修正量に基づいて、測定データ及び検査結果データと、成形条件の修正量との関係を強化学習させることによって、学習器40の追加学習を行う(ステップS98)。プロセッサ41は、追加学習した学習器40を特徴付ける各種係数を記憶部42に記憶する(ステップS99)。
追加学習後の成形制御処理において、学習器40を用いる場合、ここで記憶した平均値及び標準偏差、最大値及び最小値を利用して成形条件の修正処理を実行するとよい。
【0072】
上記のように構成された本実施形態に係る射出成形機101、制御装置4(成形条件修正装置)等によれば、標準モデルとしての学習器40を流用し、射出成形の成形条件を修正することができる。
基本的に、射出成形機101の制御装置4は、標準モデルの学習器40をそのまま用いて、成形条件を修正することができる。また、学習器40の運用結果が好ましくない場合であっても、学習器40の追加学習を行うことによって、成形条件をより効果的に修正することができる。学習器40は標準化及び正規化されているため、標準化及び正規化されていない場合に比べて、少ないデータで追加学習を行うことができる。
このように、量産工場における、学習器40を導入する際に必要な学習用データの収集量を削減することができる。学習用データを削減することができるため、量産工程前に生産される不良品の数が減り、量産工場における成形品の生産計画への影響を低減することができる。
【0073】
特に、射出成形機101の成形条件の修正に大きく関わる測定データ、検査結果データ及び修正量を標準化又は正規化することによって、標準モデルの学習器40をより汎用性のあるモデルにすることができる。従って、射出成形機101の制御装置4は、金型21の違いをより効果的に吸収し、成形条件を修正することができる。
【0074】
また、測定データを標準化し、検査結果データ及び修正量を正規化することによって、標準モデルの学習器40をより汎用性のあるモデルにすることができる。金型21の違いによって測定データの平均値及び標準偏差が変化するため、測定データは正規化よりも標準化の方がよりその特徴を一般化することができる。また、検査結果データは、バリ面積及びショート面積であるため、標準化よりも正規化が適している。修正量は、成形条件の修正量であるため、標準化よりも正規化が適している。学習器40に入出力するデータの特徴に応じて標準化及び正規化を使い分けることによって、学習器40の汎用性を向上させることができる。
【0075】
更に、本実施形態の学習器40は、バリ及びショートの成形不良を修正することができる汎用性のあるモデルであり、金型21を取り替えた場合であっても、データを標準化及び正規化するだけで、バリ及びショートが発生しないよう成形条件を修正することができる。
【0076】
なお、本実施形態では射出成形機101の成形条件を修正する学習器40の流用について説明したが、押出機、その他の成形機の成形条件を修正する学習器40に本技術を適用してもよい。
また、測定データ、検査結果データ及び修正量を標準化及び正規化する例を説明したが、これらのいずれか一つ又は2つを標準化又は正規化するように構成してもよい。
【0077】
更に、測定データをAve-Stdスケール変換し、検査結果データ及び修正量をMin-Maxスケール変換する例を説明したが、標準化及び正規化の方法は一例であり、公知の他の方法で標準化及び正規化するように構成してもよい。
【0078】
更にまた、本実施形態では、標準モデルの生成と、標準モデルの導入が異なる工場で行われる例を説明したが、同じ工場で標準モデルの生成及び導入を行ってもよい。
【0079】
更にまた、本実施形態では、強化学習モデルを用いて、成形条件を修正する例を説明したが、学習器40を教師有り学習モデルで構成してもよい。教師有り学習に係る学習モデルは、測定データ及び検査結果データが入力された場合、最適な成形条件又は成形量を出力するモデルである。測定データ及び検査結果データに、教師データとして最適な成形条件又は成形量を付加した学習用データを用いて、当該学習モデルを生成することができる。
【0080】
本開示の課題を解決するための手段を付記する。
(付記1)
成形機の成形条件を修正する成形条件修正装置であって、
前記成形機の状態を測定して得られる測定データ、及び前記成形機にて成形された成形品の状態を検査して得られる検査結果データを取得する取得部と、
前記測定データ及び前記検査結果データと、前記成形条件の修正量との関係を学習しており、取得した前記測定データ及び前記検査結果データに基づいて前記修正量を決定する学習器と
を備え、
前記学習器が扱う前記測定データ、前記検査結果データ及び前記修正量の少なくとも一つは標準化又は正規化されている
成形条件修正装置。
(付記2)
前記測定データ、前記検査結果データ及び前記修正量は標準化又は正規化されたデータである
付記1に記載の成形条件修正装置。
(付記3)
前記測定データは、前記測定データは、データの分布を標準化したデータであり、
前記検査結果データ及び前記修正量は、最小値及び最大値を正規化したデータである
付記1又は付記2に記載の成形条件修正装置。
(付記4)
前記取得部は、
量産成形前に正規化及び標準化用の前記測定データ、前記検査結果データ及び前記修正量を取得し、
前記学習器は、
前記取得部が取得した標準化用の測定データに基づいて、該測定データの平均値及び標準偏差を算出し、
前記取得部が取得した正規化用の前記検査結果データ及び前記修正量に基づいて、前記検査結果データ及び前記修正量の最小値及び最大値を特定し、
量産成形時に前記取得部が取得した測定データを、標準化用の前記検査結果データを用いて算出された平均値及び標準偏差に基づいて標準化し、
量産成形時に前記取得部が取得した前記検査結果データを、正規化用の前記検査結果データを用いて特定された最大値及び最小値を用いて正規化し、
前記学習器が決定した正規化された前記修正量を、正規化用の前記修正量を用いて特定された最大値及び最小値を用いて逆変換する
付記1から付記3のいずれか1つに記載の成形条件修正装置。
(付記5)
前記取得部は、
追加学習用の前記測定データ、前記検査結果データ及び前記修正量を取得し、
前記学習器は、
追加学習用の前記測定データに基づいて、該測定データの平均値及び標準偏差を算出し、
算出された平均値及び標準偏差に基づいて、追加学習用の前記測定データを標準化し、
追加学習用の前記検査結果データ及び前記修正量に基づいて、前記検査結果データ及び前記修正量の最小値及び最大値を特定し、
特定された最小値及び最大値に基づいて、追加学習用の前記検査結果データ及び前記修正量を正規化し、
標準化及び正規化された追加学習用の前記測定データ、前記検査結果データ及び前記修正量を用いて追加学習を行う
付記1から付記4のいずれか1つに記載の成形条件修正装置。
(付記6)
前記学習器は、
量産成形時に前記取得部が取得した前記測定データを、前記追加学習用の測定データを用いて算出された平均値及び標準偏差を用いて標準化し、
量産成形時に前記取得部が取得した前記検査結果データを、前記追加学習用の検査結果データを用いて特定された最大値及び最小値を用いて正規化し、
前記学習器が決定した正規化された前記修正量を、前記追加学習用の修正量を用いて特定された最大値及び最小値を用いて逆変換する
付記1から付記5のいずれか1つに記載の成形条件修正装置。
(付記7)
前記成形機は射出成形機であり、
前記測定データは、
サイクル時間、射出時間、保圧時間、保圧切替位置、保圧切替速度、保圧切替圧力、クッション位置、保圧完了位置、計量時間、背圧、又は計量完了位置を含み、
前記検査結果データは、
成形品のバリ面積、又はショート面積を含み、
前記修正量は、
保圧圧力の修正量、保圧切替位置の修正量、又は射出速度の修正量を含む
付記1から付記6のいずれか1つに記載の成形条件修正装置。
(付記8)
付記1から付記7のいずれか1つに記載の成形条件修正装置を備える成形機。
【符号の説明】
【0081】
1 :成形機本体
1a :センサ
2 :型締装置
3 :射出装置
4 :制御装置
5 :検査装置
40 :学習器
41 :プロセッサ
41a :観測部
41b :報酬算出部
41c :エージェント
41d :修正部
41e :標準化処理部
41f :正規化処理部
41g :逆変換部
42 :記憶部
42a :コンピュータプログラム
43 :制御信号出力部
44 :第1取得部
45 :第2取得部
46 :操作パネル
49 :記録媒体
101 :射出成形機