(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024018556
(43)【公開日】2024-02-08
(54)【発明の名称】成形条件調整装置、成形機、成形条件調整方法及びコンピュータプログラム
(51)【国際特許分類】
B29C 45/76 20060101AFI20240201BHJP
【FI】
B29C45/76
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022121967
(22)【出願日】2022-07-29
(71)【出願人】
【識別番号】000004215
【氏名又は名称】株式会社日本製鋼所
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】横田 工
(72)【発明者】
【氏名】赤木 誉志
(72)【発明者】
【氏名】佐伯 明彦
【テーマコード(参考)】
4F206
【Fターム(参考)】
4F206AM02
4F206AM19
4F206AM32
4F206AR00
4F206JA07
4F206JL02
4F206JP01
4F206JP13
4F206JP14
4F206JP26
4F206JP27
4F206JQ88
(57)【要約】
【課題】成形品の状態を検出する検査装置を導入することなく、成形機に設定される成形条件の調整方法を強化学習し、当該成形条件を調整することができる成形条件調整装置を提供する。
【解決手段】成形機の成形条件を調整する成形条件調整装置であって、成形機から得られる出力データを取得する第1取得部と、成形機から得られる成形品の状態を示す状態データを取得する第2取得部と、出力データ及び状態データと、成形条件の調整量との関係を学習し、取得した出力データ及び状態データに基づいて調整量を決定する学習器と、成形機から得られる成形品の観察者による入力操作を受け付ける外部入力装置とを備え、第2取得部は、外部入力装置を介して成形品の状態を示す状態データを取得する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
成形機の成形条件を調整する成形条件調整装置であって、
前記成形機から得られる出力データを取得する第1取得部と、
前記成形機から得られる成形品の状態を示す状態データを取得する第2取得部と、
前記出力データ及び前記状態データと、前記成形条件の調整量との関係を学習し、取得した前記出力データ及び前記状態データに基づいて前記調整量を決定する学習器と、
前記成形機から得られる前記成形品の観察者による入力操作を受け付ける外部入力装置と
を備え、
前記第2取得部は、
前記外部入力装置を介して前記成形品の状態を示す前記状態データを取得する
成形条件調整装置。
【請求項2】
前記外部入力装置は、成形品の複数種類の状態それぞれに対応する複数の操作部と、
操作された前記操作部に対応する成形品の状態を示す前記状態データを出力する状態データ出力部と
を備える請求項1に記載の成形条件調整装置。
【請求項3】
前記複数種類の状態は、前記成形品が良品である良状態と、前記成形品が不良品である一又は複数種類の不良状態とを含む
請求項2に記載の成形条件調整装置。
【請求項4】
前記複数の操作部それぞれに対応し、該操作部が操作されたことを示す複数の発光部を備える請求項2又は請求項3に記載の成形条件調整装置。
【請求項5】
前記複数の操作部は操作状態を保持するオルタネイト式である
請求項2又は請求項3に記載の成形条件調整装置。
【請求項6】
前記第2取得部は、
所定時間が経過する都度、該所定時間が経過した時点で操作状態を保持している前記操作部に対応した前記状態データを取得する
請求項5に記載の成形条件調整装置。
【請求項7】
前記成形品が不良品であることを示す前記状態データを取得した場合、所定の通知を行う通知部を備える
請求項6に記載の成形条件調整装置。
【請求項8】
前記第2取得部が前記状態データを取得する都度、成形品が良品である状態に対応する前記操作部が操作された状態に初期化される
請求項6に記載の成形条件調整装置。
【請求項9】
前記出力データは、前記成形機の運転状況を示す運転状況データを含み、
前記状態データは、前記成形品が良品である良状態を示すデータ、又は前記成形品が形状欠陥又は表面欠陥を有する不良状態を示すデータを含む
請求項1又は請求項2に記載の成形条件調整装置。
【請求項10】
前記学習器は、
取得した前記出力データ及び前記状態データが入力された場合、前記成形条件の調整量を出力するエージェントと、
取得した前記状態データに基づいて報酬データを算出する報酬算出部と
を備え、
取得した前記出力データ及び前記状態データと、算出された前記報酬データとに基づいて、前記エージェントを強化学習させる
請求項1又は請求項2に記載の成形条件調整装置。
【請求項11】
請求項1又は請求項2に記載の成形条件調整装置を備える成形機。
【請求項12】
学習器を用いて成形機の成形条件を調整する成形条件調整方法であって、
前記成形機から得られる出力データを取得し、
前記成形機から得られる成形品の観察者による入力操作を受け付ける外部入力装置を介して、前記成形品の状態を示す状態データを取得し、
前記出力データ及び前記状態データと、前記成形条件の調整量との関係を前記学習器に学習させ、
前記学習器を用いて、取得した前記出力データ及び前記状態データに基づいて前記調整量を決定する
成形条件調整方法。
【請求項13】
成形機の成形条件を調整する処理を、学習器を有するコンピュータに実行させるためのコンピュータプログラムであって、
前記成形機から得られる出力データを取得し、
前記成形機から得られる成形品の観察者による入力操作を受け付ける外部入力装置を介して、前記成形品の状態を示す状態データを取得し、
前記出力データ及び前記状態データと、前記成形条件の調整量との関係を前記学習器に学習させ、
前記学習器を用いて、取得した前記出力データ及び前記状態データに基づいて前記調整量を決定する
処理を前記コンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、成形条件調整装置、成形機、成形条件調整方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
射出成形機を用いた射出成形を行う場合、まず条件出し作業を行って各種成形条件項目の設定値を調整し、成形条件を求める必要がある。成形条件項目には、例えば射出シリンダの温度、射出圧力、射出速度、保圧切替位置、スクリューバック位置などがある。これらの成形条件の調整は、オペレータの経験に基づいて行われており、適切な成形条件を得るためには、試行錯誤を繰り返す必要がある。押出機を用いた押出成形を行う場合も同様である。
【0003】
特許文献1には、強化学習により、射出成形機の成形条件を調整する射出成形機システムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
成形条件の調整方法を強化学習する場合、成形品の状態に応じた報酬データを学習器に入力する必要がある。成形品を目視で検査している工場においては、成形品の状態を検出することができる専用の検査装置を追加的に導入する必要がある。教師有り学習においても正解データを得るために検査装置を追加的に導入する必要がある。
【0006】
本開示の目的は、成形品の状態を検出する検査装置を導入することなく、成形機に設定される成形条件の調整方法を強化学習し、当該成形条件を調整することができる成形条件調整装置等を提供することにある。
【課題を解決するための手段】
【0007】
本開示の一側面に係る成形条件調整装置は、成形機の成形条件を調整する成形条件調整装置であって、前記成形機から得られる出力データを取得する第1取得部と、前記成形機から得られる成形品の状態を示す状態データを取得する第2取得部と、前記出力データ及び前記状態データと、前記成形条件の調整量との関係を学習し、取得した前記出力データ及び前記状態データに基づいて前記調整量を決定する学習器と、前記成形機から得られる前記成形品の観察者による入力操作を受け付ける外部入力装置とを備え、前記第2取得部は、前記外部入力装置を介して前記成形品の状態を示す前記状態データを取得する。
【0008】
本開示の一側面に係る成形機は、上記成形条件調整装置を備える。
【0009】
本開示の一側面に係る成形条件調整方法は、学習器を用いて成形機の成形条件を調整する成形条件調整方法であって、前記成形機から得られる出力データを取得し、前記成形機から得られる成形品の観察者による入力操作を受け付ける外部入力装置を介して、前記成形品の状態を示す状態データを取得し、前記出力データ及び前記状態データと、前記成形条件の調整量との関係を前記学習器に学習させ、前記学習器を用いて、取得した前記出力データ及び前記状態データに基づいて前記調整量を決定する。
【0010】
本開示の一側面に係るコンピュータプログラムは、成形機の成形条件を調整する処理を、学習器を有するコンピュータに実行させるためのコンピュータプログラムであって、前記成形機から得られる出力データを取得し、前記成形機から得られる成形品の観察者による入力操作を受け付ける外部入力装置を介して、前記成形品の状態を示す状態データを取得し、前記出力データ及び前記状態データと、前記成形条件の調整量との関係を前記学習器に学習させ、前記学習器を用いて、取得した前記出力データ及び前記状態データに基づいて前記調整量を決定する処理を前記コンピュータに実行させる。
【発明の効果】
【0011】
上記によれば、成形品の状態を検出する検査装置を導入することなく、成形機に設定される成形条件の調整方法を強化学習し、当該成形条件を調整することができる。
【図面の簡単な説明】
【0012】
【
図1】実施形態1に係る射出成形装置の構成例を説明する模式図である。
【
図2】実施形態1に係る成形条件調整装置の構成例を示すブロック図である。
【
図3】実施形態1に係る外部入力装置の構成例を示す斜視図である。
【
図4】実施形態1に係る外部入力装置の構成例を示すブロック図である。
【
図5】実施形態1に係る報酬テーブルの構成を示す概念図である。
【
図6】実施形態1に係る射出成形機の機能ブロック図である。
【
図7】実施形態1に係るプロセッサの処理手順を示すフローチャートである。
【
図8】実施形態2に係るプロセッサの処理手順を示すフローチャートである。
【発明を実施するための形態】
【0013】
本発明の実施形態に係る成形条件調整装置、成形機、成形条件調整方法及びコンピュータプログラムの具体例を、以下に図面を参照しつつ説明する。以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【0014】
図1は、実施形態1に係る射出成形機101の構成例を示す模式図である。本実施形態1に係る射出成形機101は、金型21を型締めする型締装置2と、成形材料を可塑化して射出する射出装置3と、制御装置4と、外部入力装置5とを備える。型締装置2及び射出装置3は成形機本体1を構成している。外部入力装置5は、成形品の状態を観察するオペレータ(観察者)による入力操作を受け付け、射出成形機101から得られる成形品の状態を示す状態データを制御装置4に入力するための装置である。制御装置4は、本実施形態1に係る成形条件調整装置として機能する。
【0015】
型締装置2はベッド20上に固定された固定盤22と、ベッド20上をスライド可能に設けられた型締ハウジング23と、ベッド20上を同様にスライドする可動盤24とを備える。固定盤22と型締ハウジング23は複数本、例えば4本のタイバー25、25、…によって連結されている。可動盤24は、固定盤22と型締ハウジング23の間でスライド自在に構成されている。型締ハウジング23と可動盤24の間には型締機構26が設けられている。
【0016】
型締機構26は、例えばトグル機構から構成されている。なお、型締機構26は、直圧式の型締機構、つまり型締シリンダによって構成してもよい。固定盤22と可動盤24にはそれぞれ固定金型21aと、可動金型21bが設けられ、型締機構26を駆動すると金型21が型開閉されるようになっている。
【0017】
射出装置3は、基台30上に設けられている。射出装置3は、先端部にノズル31aを有する加熱シリンダ31と、当該加熱シリンダ31内に周方向と軸方向とに回転可能に配されたスクリュ32とを備える。スクリュ32は駆動機構33によって回転方向と軸方向とに駆動する。駆動機構33は、スクリュ32を回転方向に駆動する回転モータと、スクリュ32を軸方向に駆動するモータ等から構成されている。なお、
図1に示す駆動機構33は、カバーにより覆われているため内部構成が図示されていない。
【0018】
加熱シリンダ31の後端部近傍には、成形材料が投入されるホッパ34が設けられている。また、射出成形機101は、射出装置3を前後方向(
図1中左右方向)に移動させるノズルタッチ装置35を備える。ノズルタッチ装置35を駆動すると、射出装置3が前進して加熱シリンダ31のノズル31aが固定盤22の密着部にタッチするように構成されている。
【0019】
図2は実施形態1に係る制御装置4の構成例を示すブロック図である。制御装置4は、型締装置2及び射出装置3の動作を制御するコンピュータであり、ハードウェア構成としてプロセッサ(強化学習器)41、記憶部42、制御信号出力部43、第1取得部44と、第2取得部45、通知部46及び操作パネル40を備える。
【0020】
制御装置4は、射出成形機101の成形条件を調整する装置である。なお、制御装置4は、ネットワークに接続されたサーバ装置であっても良い。また、制御装置4は、複数台のコンピュータで構成し分散処理する構成でもよいし、1台のサーバ内に設けられた複数の仮想マシンによって実現されていてもよいし、クラウドサーバを用いて実現されていてもよい。
【0021】
プロセッサ41は、CPU(Central Processing Unit)、マルチコアCPU、GPU(Graphics Processing Unit)、GPGPU(General-purpose computing on graphics processing units)、TPU(Tensor Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、NPU(Neural Processing Unit)等の演算回路、ROM(Read Only Memory)、RAM(Random Access Memory)等の内部記憶装置、I/O端子、計時部等を有する。プロセッサ41は、後述の記憶部42が記憶するコンピュータプログラム(プログラム製品)42aを実行することにより、本実施形態1に係る成形条件調整方法を実施する。なお、制御装置4の各機能部は、ソフトウェア的に実現しても良いし、一部又は全部をハードウェア的に実現しても良い。
【0022】
記憶部42は、ハードディスク、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリ等の不揮発性メモリである。記憶部42は、射出成形機101及び成形品の状態に応じた成形条件の調整方法を強化学習し、成形条件調整処理をコンピュータに実行させるためのコンピュータプログラム42aを記憶している。記憶部42は、強化学習モデルを特徴付ける各種係数を記憶する。また、記憶部42は、強化学習モデルを学習させるための報酬を算出するための報酬テーブル42bを記憶する。なお、コンピュータプログラム42aが報酬テーブル42bを内包するように構成してもよい。報酬テーブル42bの詳細は後述する。
【0023】
本実施形態1に係るコンピュータプログラム42a及び報酬テーブル42bは、記録媒体49にコンピュータ読み取り可能に記録されている態様でも良い。記憶部42は、読出装置によって記録媒体49から読み出されたコンピュータプログラム42aを記憶する。記録媒体49はフラッシュメモリ等の半導体メモリである。また、記録媒体49はCD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM、BD(Blu-ray(登録商標)Disc)等の光ディスクでも良い。更に、記録媒体49は、フレキシブルディスク、ハードディスク等の磁気ディスク、磁気光ディスク等であっても良い。
【0024】
更にまた、通信網に接続されている外部サーバから本実施形態1に係るコンピュータプログラム42a及び報酬テーブル42bをダウンロードし、記憶部42に記憶させても良い。
【0025】
制御信号出力部43は、成形条件に基づくプロセッサ41の制御に従って射出成形機101の動作を制御するための制御信号を射出成形機101へ出力する。
【0026】
操作パネル40は、射出成形機101の成形条件などを設定し、射出成形機101の動作を操作するためのインタフェースである。操作パネル40は、表示パネル及び操作装置を備える。
【0027】
表示パネルは、液晶表示パネル、有機EL表示パネルなどの表示装置であり、プロセッサ41の制御に従って、射出成形機101の成形条件の設定を受け付けるための受付画面を表示したり、射出成形機101の状態、本実施形態1に係る成形条件調整方法の実施状況を表示したりする。
【0028】
操作装置は、射出成形機101の成形条件を入力及び調整するための入力装置であり、操作ボタン、タッチパネルなどを有する。操作装置は受け付けた成形条件を示すデータをプロセッサ41に与える。
【0029】
射出成形機101には、成形条件として、射出開始位置、金型内樹脂温度、ノズル温度、シリンダ温度(ヒータ温度)、ホッパ温度、型締力、射出速度、射出加速度、射出ピーク圧力(射出圧力)、射出ストローク等の成形条件を定める設定値が設定される。
【0030】
また射出成形機101には、成形条件として、シリンダ先端樹脂圧、逆防リング着座状態、保圧圧力、保圧切替速度、保圧切替位置、保圧完了位置、クッション位置、計量背圧、計量トルク等の成形条件を定める設定値が設定される。
【0031】
更に射出成形機101には、成形条件として、計量完了位置、スクリュ後退速度、サイクル時間、型閉時間、射出時間、保圧時間、計量時間、型開時間等の成形条件を定める設定値が設定される。更に射出成形機101には、成形条件として、冷却時間,スクリュ回転数,金型開閉速度,突き出し速度,突き出し回数が設定される。そして、これらの設定値が設定された射出成形機101は、当該設定値に従って動作する。
【0032】
第1取得部44は、射出成形機101の運転状況を示す運転状況データ(出力データ)を取得する入力回路である。運転状況データは、例えば、射出成形機101が成形を実行したときの当該射出成形機101における射出圧力、サーボモータの電流、加熱シリンダ31のヒータ電流、ヒータ温度、サーボモータ又はスクリュ32の回転速度などを示すデータである。運転状況データは、上記射出圧力等の時系列データが好ましい。
【0033】
型締装置2及び射出装置3には、射出成形機101の運転状況を示す情報であって、成形機本体1の動作を制御するために必要な物理量を検出する一又は複数のセンサ1aが設けられている。センサ1aは第1取得部44に接続されている。物理量には、例えば電圧、電流、温度、湿度、トルク、圧力等の力、可動部の速度、加速度、回転角、位置、流体の流量、速度等が含まれる。センサ1aは、例えば、電流センサ、電圧センサ、温度センサ、湿度センサ、トルクセンサ、圧力センサ、速度センサ、加速度センサ、回転角度センサ、測位センサ、流量センサ、流速計等である。
【0034】
具体的には、センサ1aには、当該射出成形機101における射出圧力を検出するロードセル、サーボモータの電流を検出する電流センサ、加熱シリンダ31のヒータ電流を検出する電流センサ、ヒータ温度を検出する温度センサ、サーボモータ又はスクリュ32の回転速度を検出する回転速度センサなどが含まれる。センサ1aは物理量を示す測定信号を制御装置4へ出力する。センサ1aから出力された測定信号は第1取得部44に入力し、第1取得部44は測定信号を運転状況データとして取得する。
【0035】
第2取得部45は、成形品の状態を示す成形品状態データを取得する入力回路である。第2出力部には外部入力装置5が接続されている。成形品状態データは、例えば、成形品が良品である良品状態を示すデータ、成形品が形状欠陥を有する不良状態であることを示すデータ、又は成形品が表面欠陥を有する不良状態であることを示すデータである。成形品の形状欠陥には、例えばバリ、ヒケ、ボイド(気泡)、ショート、そり、ゲート残りなどが含まれる。成形品の表面欠陥には、例えばシルバーストリーク、ウェルドライン、ジェッティング、フローマーク、クラック、クレージングなどが含まれる。
【0036】
通知部46は、外部入力装置5によって、不良状態を示す成形品状態データが入力されたことを通知する出力回路である。通知部46は、例えばLED等の発光素子、ブザー音等の音声を出力するスピーカ等である。通知部46は、不良状態を示す成形品状態データが入力されたことを示す情報を、オペレータが所持する通信端末へ送信して通知する通信回路であってもよい。通知部46は、発光素子、スピーカ及び通信回路を適宜組み合わせて構成してもよい。なお、操作パネル40の表示パネルを通知部46として利用してもよい。
なお、制御装置4に通知部46を設ける例を説明したが、外部入力装置5に通知部46を設けてもよい。
【0037】
図3は、実施形態1に係る外部入力装置5の構成例を示す斜視図、
図4は、実施形態1に係る外部入力装置5の構成例を示すブロック図である。外部入力装置5は、操作面を有する筐体50を備える。筐体50の形状は特に限定されるものでは無いが、例えば略直方体形状である。筐体50の操作面には、成形品の複数種類の状態それぞれに対応する複数の操作部51,52,53,54が設けられている。複数種類の状態には、成形品が良品である良状態と、成形品が不良品である一又は複数種類の不良状態とが含まれる。不良状態には形状欠陥又は表面欠陥が含まれる。成形品の形状欠陥には、例えばバリ、ヒケ、ボイド(気泡)、ショート、そり、ゲート残りなどが含まれる。成形品の表面欠陥には、例えばシルバーストリーク、ウェルドライン、ジェッティング、フローマーク、クラック、クレージングなどが含まれる。
本実施形態1では、例えば、操作部51は良状態に対応する。操作部52は、バリの不良状態に対応し、操作部53は、ショートの不良状態、操作部53は、フローチャートマークの不良状態に対応する。
【0038】
複数の操作部51,52,53,54は、押しボタンスイッチである。複数の操作部51,52,53,54の個数は特に限定されるものでは無いが、3~6個程度が望ましい。操作部51,52,53,54の表面積、つまりオペレータの指が触れる表面の面積はオペレータの指面積より大きい構成が望ましい。外部入力装置5の操作性を向上させることができる。
【0039】
複数の操作部51,52,53,54は操作状態を保持するオルタネイト式であり、一の操作部51,52,53,54が操作された場合、当該一の操作部51,52,53,54が操作された状態が保持される。操作部51,52,53,54の操作状態は、機械的に保持してもよいし、ソフトウェア的に保持してもよい。
【0040】
外部入力装置5は、複数の操作部51,52,53,54それぞれに対応し、当該操作部51,52,53,54が操作されたことを示す複数の発光部51a,52a,53a,54aを備える。複数の発光部51a,52a,53a,54aは、例えば、LEDであり、対応する複数の操作部51,52,53,54に設けられている。複数の発光部51a,52a,53a,54aは、複数の操作部51,52,53,54それぞれの近傍に設けてもよい。複数の発光部51a,52a,53a,54aを設ける位置は、複数の発光部51a,52a,53a,54aと、複数の操作部51,52,53,54とが一対一で対応することを示すことができれば特に限定されるものでは無い。
【0041】
外部入力装置5は、
図4に示すようにマイコン(マイクロコンピュータ)5aを備える。マイコン5aには、複数の操作部51,52,53,54と、複数の発光部51a,52a,53a,54aと、出力端子(状態データ出力部)5bとが接続されている。出力端子5bには、外部入力装置5と、制御装置4(
図2参照)とを接続するケーブル55の一端が接続されている。マイコン5aは、複数の操作部51,52,53,54それぞれの操作状態を検出し、各操作部51,52,53,54の操作状態を認識することができる。マイコン5aは、操作された操作部51,52,53,54に対応する成形品状態データを出力端子5bから制御装置4へ出力する。成形品状態データは、例えば、成形品が良品である状態を示すデータ、成形品が形状欠陥を有する状態であることを示すデータ、又は成形品が表面欠陥を有する状態であることを示すデータである。
また、マイコン5aは、複数の発光部51a,52a,53a,54aそれぞれに電流を供給することによって、各発光部51a,52a,53a,54aを発光させることができる。具体的には、マイコン5aは、オペレータに操作された操作部51,52,53,54、及び操作状態が保持されている操作部51,52,53,54に対応する発光部51a,52a,53a,54aを発光させる。
【0042】
なお、有線のケーブル55を介して成形品状態データを制御装置4へ出力する外部入力装置5を説明したが、無線通信にて成形品状態データを制御装置4へ送信するように構成してもよい。
【0043】
図5は、実施形態1に係る報酬テーブル42bの構成を示す概念図である。報酬テーブル42bは、例えば、成形品の状態を示す統計量と、当該成形品の状態に応じた報酬データとを対応付けて記憶している。
【0044】
成形品状態の統計量は、成形品の状態を示す成形品状態データから求められる統計量である。例えば、統計量は、成形品の良品が得られる割合、複数種類の不良について不良品が得られる割合等を含む。
【0045】
なお、上記した成形品の状態を示す統計量は一例であり、成形品の状態が良好な状態にあるか否かを表現できる形態であれば、その表現方法、表現形式は特に限定されるものでは無い。報酬算出部41bは、成形品状態データと、報酬データとを対応付けて記憶したものであってもよい。
【0046】
また、報酬テーブル42bは、射出成形機101の運転状況を示す運転状況特徴量と、成形品の状態を示す統計量と、当該運転状況及び成形品の状態に応じた報酬データとを対応付けたものであってもよい。
運転状況特徴量は、射出成形機101の運転状況を示す運転状況データから求められる特徴量である。例えば、運転状況特徴量は、時系列データである運転状況データの平均値、最大値、偏差等、運転状況を表現したデータである。
なお、上記した運転状況の特徴量は一例であり、射出成形機101の状態が良好な状態にあるか否かを表現できる形態であれば、その表現方法、表現形式は特に限定されるものでは無い。
【0047】
図6は、実施形態1に係る射出成形機101の機能ブロック図である。制御装置4のプロセッサ41は、強化学習器として、観測部41a、報酬算出部41b、エージェント41c、及び調整部41dを備える。なお、制御装置4の各機能部は、ソフトウェア的に実現しても良いし、一部又は全部をハードウェア的に実現しても良い。
【0048】
観測部41aは、射出成形機101に設定されている成形条件を示す成形条件データを取得する。例えば、記憶部42が成形条件データを記憶している場合、観測部41aは記憶部42から成形条件データを読み出す。また、観測部41aは、第1取得部44及び第2取得部45からそれぞれ運転状況データ及び成形品状態データを取得する。
観測部41aは、取得した成形条件データ、運転状況データ及び成形品状態データをエージェント41cへ出力する。また、観測部41aは、取得した成形品状態データを報酬算出部41bへ出力する。運転状況を加味して報酬データを算出する構成の場合、観測部41aは、成形品状態データ及び運転状況データを報酬算出部41bへ出力する。
【0049】
報酬算出部41bは、観測部41aが観測して得たデータ、特に成形品状態データに基づいて、現在設定されている成形条件を評価して得た報酬データを算出し、算出された報酬データをエージェント41cへ出力する。具体的には、報酬算出部41bは、成形品状態データに基づいて、成形品の複数種類の状態それぞれの発生確率を算出する。そして、報酬算出部41bは、算出された成形品の状態を示す統計量をキーにして、報酬テーブル42bから対応する報酬データを読み出すことによって、報酬データを求める。
【0050】
運転状況を加味して報酬データを算出する構成の場合、報酬算出部41bは、観測部41aが観測して得た運転状況データ及び成形品状態データに基づいて、現在設定されている成形条件を評価して得た報酬データを算出し、算出された報酬データをエージェント41cへ出力する。具体的には、報酬算出部41bは、運転状況データに基づいて、運転状況の特徴量を算出する。そして、報酬算出部41bは、算出された運転状況の特徴量及び成形品の状態を示す統計量をキーにして、報酬テーブル42bから対応する報酬データを読み出すことによって、報酬データを求める。
【0051】
なお、報酬テーブル42bを参照することによって報酬データを求める例を説明したが、報酬算出部41bは、所定の演算式又は関数に運転状況データ及び成形品状態データを入力することによって、報酬データを算出するように構成してもよい。報酬データは、例えば成形品の不良の程度が大きい場合、報酬の値が小さく又は負の値になる。また、報酬データは、運転状況の特徴量が、正常範囲から外れた場合、報酬の値が小さく又は負の値になる。
【0052】
エージェント41cは、例えば、DQN(Deep Q-Network)、A3C、D4PG等の深層ニューラルネットワークを有する強化学習モデル、PlaNet、SLAC等のモデルベースの強化学習モデル等である。以下、エージェント41cがDQNを備える例を説明する。
【0053】
エージェント41cは、DQNを用いて、観測データが示す射出成形機101の状態sに基づいて、当該状態sに応じた行動aを決定する。状態sは、成形条件データ、運転状況データ及び成形品状態データを含む。
【0054】
DQNは、観測データ示す状態sが入力された場合、複数の行動aそれぞれの価値を出力するニューラルネットワークモデルである。複数の行動aは、調整対象の項目、調整量を含む。価値の高い行動aは、適切な条件出しの調整項目及び調整量を表している。エージェント41cは、価値の高い行動aを選択し、選択された行動aにより射出成形機101は他の状態へ遷移する。状態遷移後、エージェント41cは、報酬算出部41bで算出された報酬を受け取り、収益、つまり報酬の累積が最大になるようにエージェント41cを学習させる。
【0055】
より具体的には、DQNは、入力層、中間層及び出力層を有する。入力層は、状態s、つまり観測データが入力される複数のノードを備える。出力層は、複数の行動aにそれぞれ対応し、入力された状態sにおける当該行動aの価値Q(s,a)を出力する複数のノードを備える。
【0056】
状態s、行動aと、当該行動により得られた報酬rに基づいて、下記式(1)で表される価値Qを正解とする教師データとして、DQNを特徴付ける各種重み係数を調整することにより、エージェント41cのDQNを強化学習させることができる。
Q(s,a)←Q(s,a)+α(r+γmaxQ(snext,anext)-Q(s,a))・・・(1)
但し、
s:状態
a:行動
α:学習係数
r:報酬
γ:割引率
maxQ(snext,anext):次に取り得る行動に対するQ値のうち最大値
【0057】
図7は、実施形態1に係るプロセッサ41の処理手順を示すフローチャートである。プロセッサ41は、操作パネル40を介して成形条件の初期設定を受け付け、受け付けた成形条件に係る各種項目の設定値を設定する(ステップS111)。そして、プロセッサ41は、設定された成形条件に従って、射出成形機101の動作を制御する(ステップS112)。
【0058】
ステップS112で行われる射出成形は、強化学習器の強化学習を行うためのテストショットである。オペレータは、テストショットを実行して得られる成形品を観察し、成形品の状態を確認する。そして、オペレータは外部入力装置5の操作部51,52,53,54を操作することによって、成形品の状態を入力する。なお、オペレータが操作部51,52,53,54を操作しても、入力内容が直ちに確定される訳では無い。後述するように成形が行われた後、所定時間経過後に入力内容が確定する。
【0059】
一方、プロセッサ41は、第1取得部44を介して成形機本体1の運転状況データを取得する(ステップS113)。
【0060】
プロセッサ41は、成形を完了した時点からの経過時間を計時しており、成形完了後、所定時間が経過したか否かを判定する(ステップS114)。なお、成形完了時点は、特に厳密に定義されるものでは無く、およそ成形が完了した時点を適宜、成形完了時点として定めればよい。例えば、エジェクタピンが駆動して金型21から成形品が押し出された時点を成形完了時点とするとよい。所定時間は、オペレータが成形品の状態を確認し、外部入力装置5を操作するために必要な時間である。所定時間は成形サイクル時間以下の時間である。
【0061】
成形完了後、所定時間が経過していないと判定した場合(ステップS114:NO)、プロセッサ41は処理をステップS112へ戻す。成形完了後、所定時間が経過したと判定した場合(ステップS114:YES)、プロセッサ41は、外部入力装置5から成形品状態データを取得する(ステップS115)。成形完了後、所定時間が経過した時点で外部入力装置5の操作状態が確定され、当該時点で操作状態にある操作部51,52,53,54に対応する成形品状態データが制御装置4に入力される。
【0062】
次いで、プロセッサ41は、設定されている成形条件データ、取得した運転状況データ及び成形品状態データを対応付けて記憶部42に記憶する(ステップS116)。
【0063】
次いで、プロセッサ41は、成形品が不良であることを示す成形品状態データが入力されたか否かを判定する(ステップS117)。不良であることを示す成形品状態データが入力された場合(ステップS117:YES)、プロセッサ41は、成形品が不良状態であることを示す成形品状態データが入力されていることを通知部46にて通知する(ステップS118)。
【0064】
外部入力装置5の操作部51,52,53,54は操作状態を保持しており、成形完了後、所定時間が経過する都度、操作状態にある操作部51,52,53,54に対する成形品状態データが自動的に入力される構成である。例えば、成形品にバリがある不良状態に対応する操作部52が操作された場合、操作部52が操作された状態が保持される。このままオペレータが何も操作されなければ、所定時間が経過する都度、操作部52に対応する状態、つまり成形品にバリがあることを示す成形品状態データが制御装置4に入力されることになる。このため、オペレータが意図せず、不良状態を示す成形品状態データが入力され続けるおそれがある。
しかし、本実施形態1では、不良状態を示す成形品状態データが入力されたことを通知部46にて通知する構成であるため、オペレータは不良状態を示す成形品状態データが入力されたことを認識することができ、オペレータによる意図しない不良状態を示す成形品状態データの入力を防ぐことができる。
【0065】
なお、良状態を示す成形品状態データが入力された場合についても通知部46にて、良状態を示す成形品状態データが入力されたことを通知部46にて通知するように構成してもよい。言うまでも無く、通知部46は、異なる発光態様、異なる音声、内容にて、良状態及び不良状態を区別して通知する。
また、成形品状態データの入力状態をオペレータが所持する通信端末へ送信して通知するように構成してもよい。
【0066】
ステップS118の処理を終えた場合、又は不良であることを示す成形品状態データが入力されていない場合(ステップS117:NO)、プロセッサ41は、強化学習を行うために必要な所定数の成形品状態データ等が蓄積されたか否かを判定する(ステップS119)。所定数の成形品状態データ等が蓄積されていないと判定した場合(ステップS119:NO)、プロセッサ41は、処理をステップS112へ戻す。
【0067】
所定数の成形品状態データが蓄積されたと判定した場合(ステップS119:YES)、プロセッサ41は、成形品状態データに基づいて、報酬テーブル42bを参照し、報酬データを算出する(ステップS120)。
【0068】
次いで、プロセッサ41は、観測データである成形条件データ、運転状況データ及び成形品状態データと、報酬データとに基づいて、エージェント41cの強化学習を実行する(ステップS121)。例えば、上記式(1)で表される価値Qが正解となるように、DQNを特徴付ける各種重み係数を調整することにより、エージェント41cのDQNを強化学習させる。
【0069】
次いで、プロセッサ41は、強化学習を終了するか否かを判定する(ステップS122)。例えば、良品及び不良品の発生確率等に基づいて、強化学習を終了するか否かを判定する。プロセッサ41は、操作パネル40を介してオペレータによる強化学習の終了指示を受け付けるように構成してもよい。強化学習を終了しないと判定した場合(ステップS122:NO)、プロセッサ41は、処理をステップS112へ戻す。強化学習を終了すると判定した場合(ステップS122:YES)、プロセッサ41は、強化学習処理を終える。
【0070】
上記のように構成された実施形態1に係る成形条件調整装置等によれば、成形品の状態を検出する検査装置を導入することなく、射出成形機101の成形条件を強化学習し、射出成形機101に設定される成形条件を調整することができる。
具体的には、プロセッサ41又はエージェント41cは、現在の成形条件、運転状況及び成形品の状態と、成形条件の適切な調整量との関係を強化学習し、射出成形機101の成形条件を自動的に調整することができる。
【0071】
外部入力装置5は、成形品の複数種類の状態それぞれに対応する複数の操作部51,52,53,54を備えているため、オペレータは該当する操作部51,52,53,54を操作するだけで、成形品状態データを入力することができる。具体的には、外部入力装置5は、成形品が良品である良状態に対応した操作部51と、成形品が不良品である複数種類の不良状態に対応した複数の操作部52,53,54とを備える。オペレータは、これらの操作部51,52,53,54を選択的に操作することによって、成形品が良品であることを示す成形品状態データ、成形品が形状欠陥又は表面欠陥等を有することを示す成形品状態データ等を簡易に制御装置4に入力することができる。
【0072】
外部入力装置5の操作部51,52,53,54はオルタネイト式であるため、同じ状態の成形品が成形されている場合、オペレータは都度、外部入力装置5を操作せずとも当該状態の成形品状態データを入力することができる。
【0073】
操作状態にある操作部51,52,53,54に対応する発光部51a,52a,53a,54aが発光する構成であるため、オペレータは現在操作状態にある操作部51,52,53,54を視覚的に認識することができる。
【0074】
また、入力された成形品状態データはプロセッサ41によって報酬データに変換される。プロセッサ41は、算出された報酬データを用いて、成形条件を調整するエージェント41cを強化学習させることができる。
【0075】
更に、成形完了後、所定時間が経過する都度、操作状態にある操作部51,52,53,54に対応する成形品状態データが制御装置4に入力される構成であるため、オペレータは都度、外部入力装置5を操作せずとも成形品状態データを入力することができる。
【0076】
成形品が不良状態にあることを示す成形品状態データが入力された場合、通知部46がその旨を通知する構成であるため、オペレータは、不良状態にあることを示す成形品状態データが入力されていることを認識することができる。従って、オペレータの意図に反して、成形品が不良状態にあることを示す成形品状態データが入力され続けることを防ぐことができる。
【0077】
なお、本実施形態では主に射出成形装置の成形条件を調整する例を説明したが、本実施形態に係る成形条件調整方法を用いて、押出機の成形条件を調整するように構成してもよい。
【0078】
なお、本実施形態1では、ニューラルネットワークを用いた深層強化学習を説明したが、DQNに代えてQ値のテーブルを備えた強化学習モデル、その他の公知の強化学習モデルを用いて成形品状態を調整するように構成してもよい。また、ニューラルネットワークを備えた教師有り学習モデル、SVM(Support Vector Machine)、ベイジアンネットワーク等のその他の公知の機械学習モデルを用いて、成形品状態を調整するように構成してもよい。
【0079】
また、成形が行われてから所定時間が経過する都度、自動で成形品状態データが制御装置4に入力される例を説明したが、外部入力装置5に入力確定操作部を設けるように構成してもよい。なお、操作部54を入力確定操作部としてもよい。オペレータは、成形品の状態に対応する操作部51,52,53,54を操作し、入力確定操作部を操作することによって、確定した成形品状態データを制御装置4に入力することができる。
【0080】
更に、第2取得部45に外部入力装置5が接続される構成を説明したが、第2取得部に、成形品の状態を検出する検出装置及び外部入力装置5を選択的に接続できるように構成してもよい。検出装置は、例えば、成形品の状態を検出するカメラ、測距センサ、重量計等であり、成形品の状態に係る物理量を測定し、測定して得た物理量データを制御装置4へ出力する。第2取得部45に検出装置が接続されている場合、プロセッサ41は、検出装置から出力される物理量データを取得し、取得した物理量データに基づいて、成形品の状態を示す成形品状態データを算出する。プロセッサ41は、例えば、成形品を撮像して得た画像データの画像認識処理によって、成形品が良品であるか不良品であるかを判別する。画像認識処理は、パターンマッチングのようなルールベースの処理でもよいし、機械学習モデルを用いた処理であってもよい。
【0081】
プロセッサ41は、第2取得部45に接続される機器が外部入力装置5又は検出装置のいずれであるかを検出するように構成するとよい。プロセッサ41は、第2取得部45に外部入力装置5が接続されている場合、本実施形態で説明する処理で成形品状態データを取得し、強化学習を行う。プロセッサ41は、第2取得部45に検出装置が接続されている場合、例えば上記した方法で成形品状態データを算出し、強化学習を行う。また、プロセッサ41は、操作パネル40を介して、外部入力装置5及び検出装置のいずれを使用するかの選択を受け付け、受け付けた装置を用いて、強化学習を行うように構成してもよい。
【0082】
また、第2取得部45に検出装置及び外部入力装置5の双方を接続できるように構成してもよい。プロセッサ41は、外部入力装置5を介して取得した状態データと、検出装置を用いて測定して得た物理量データとの双方を用いて、成形品状態データを算出する。例えば、検出装置はカメラであり、オペレータはカメラで認識できないような成形品の状態データを外部入力装置5にて入力する。プロセッサ41は、例えば、外部入力装置5及び検出装置を用いて得られた成形品状態データのうち、状態が悪い方の成形品状態データを採用するとよい。
【0083】
更に、第2取得部45に検出装置及び外部入力装置5の双方が接続されている場合、どちらのデータを優先的に使用するかを指定できるように構成してもよい。例えば、制御装置4のプロセッサ41は、操作パネル40等を介して、検出装置及び外部入力装置5のいずれのデータを優先して成形条件を評価するかを受け付ける。
外部入力装置5のデータを優先すると指定されている場合、検出装置を用いて得られた結果が良好、外部入力装置5を用いて得られた結果が不良のとき、プロセッサ41は、外部入力装置5の成形品状態データを採用して処理するように構成してもよい。
【0084】
更に、第2取得部45に検出装置及び外部入力装置5の双方が接続されている場合、どちらのデータに重きを置いて使用するかを指定できるように構成してもよい。例えば、制御装置4のプロセッサ41は、操作パネル40等を介して、検出装置及び外部入力装置5から得られるデータの重み付け係数を受け付ける。プロセッサ41は、外部入力装置5を介して取得した状態データと、検出装置を用いて測定して得た物理量データと、重み係数とを用いて、成形品状態データを算出する。例えば、プロセッサ41は、重み付け係数を用いて、各データから得られた成形品状態データの加重平均を算出する等して、総合的な評価としての成形品状態データ及び報酬を算出するように構成してもよい。
【0085】
(実施形態2)
実施形態2に係る成形条件調整装置、成形機、成形条件調整方法及びコンピュータプログラム42aは、外部入力装置5を用いて成形品状態データが制御装置4に入力される都度、外部入力装置5の操作部51,52,53,54の操作状態がリセットされる点が実施形態1と異なる。成形条件調整装置等のその他の構成は、実施形態1に係る成形条件調整装置等と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。
【0086】
図8は、実施形態2に係るプロセッサ41の処理手順を示すフローチャートである。プロセッサ41は、実施形態1のステップS111~ステップS116と同様の処理を実行し、運転状況データ及び成形品状態データを取得し、記憶する(ステップS211~ステップS216)。次いで、プロセッサ41は、外部入力装置5の操作状態をリセットする(ステップS217)。具体的には、プロセッサ41は、成形品が良品である成形品状態データを入力するための操作部51,52,53,54が操作された状態に制御する。例えば、プロセッサ41は、リセット信号を外部入力装置5へ出力することによって、外部入力装置5の操作状態をリセットする。外部入力装置5は、出力端子5bに代えて、信号を入出力できる入出力端子を備える。外部入力装置5は、リセット信号が入出力端子に入力された場合、操作状態をリセットする。つまり、外部入力装置5は、良状態に対応する操作部51が操作された状態にする。
【0087】
このように構成することによって、外部入力装置5から成形条件データが制御装置4に入力される都度、操作状態が良状態にリセットされる。このため、オペレータが意図せず、不良状態を示す成形品状態データが入力され続けることを防ぐことができる。
【0088】
以下、プロセッサ41は、実施形態1のステップS119~ステップS122と同様の処理を実行し、処理を終える。
【0089】
実施形態2に係る成形条件調整装置によれば、成形条件データが制御装置4に入力される都度、操作状態が良状態にリセットされるため、オペレータが意図せず、不良状態を示す成形品状態データが入力され続けることを防ぐことができる。
【0090】
(付記1)成形機の成形条件を調整する成形条件調整装置であって、前記成形機から得られる出力データを取得する第1取得部と、前記成形機から得られる成形品の状態を示す状態データを取得する第2取得部と、前記出力データ及び前記状態データと、前記成形条件の調整量との関係を学習し、取得した前記出力データ及び前記状態データに基づいて前記調整量を決定する学習器と、前記成形機から得られる前記成形品の観察者による入力操作を受け付ける外部入力装置とを備え、前記第2取得部は、前記外部入力装置を介して前記成形品の状態を示す前記状態データを取得する成形条件調整装置。
(付記2)前記外部入力装置は、成形品の複数種類の状態それぞれに対応する複数の操作部と、操作された前記操作部に対応する成形品の状態を示す前記状態データを出力する状態データ出力部とを備える付記1に記載の成形条件調整装置。
(付記3)前記複数種類の状態は、前記成形品が良品である良状態と、前記成形品が不良品である一又は複数種類の不良状態とを含む付記2に記載の成形条件調整装置。
(付記4)前記複数の操作部それぞれに対応し、該操作部が操作されたことを示す複数の発光部を備える付記2又は付記3に記載の成形条件調整装置。
(付記5)前記複数の操作部は操作状態を保持するオルタネイト式である付記2から付記4のいずれか1つに記載の成形条件調整装置。
(付記6)前記第2取得部は、所定時間が経過する都度、該所定時間が経過した時点で操作状態を保持している前記操作部に対応した前記状態データを取得する付記2から付記5のいずれか1つに記載の成形条件調整装置。
(付記7)前記成形品が不良品であることを示す前記状態データを取得した場合、所定の通知を行う通知部を備える付記2から付記6のいずれか1つに記載の成形条件調整装置。
(付記8)前記第2取得部が前記状態データを取得する都度、成形品が良品である状態に対応する前記操作部が操作された状態に初期化される付記2から付記7のいずれか1つに記載の成形条件調整装置。
(付記9)前記出力データは、前記成形機の運転状況を示す運転状況データを含み、前記状態データは、前記成形品が良品である良状態を示すデータ、又は前記成形品が形状欠陥又は表面欠陥を有する不良状態を示すデータを含む付記1から付記8のいずれか1つに記載の成形条件調整装置。
(付記10)前記学習器は、取得した前記出力データ及び前記状態データが入力された場合、前記成形条件の調整量を出力するエージェントと、取得した前記状態データに基づいて報酬データを算出する報酬算出部とを備え、取得した前記出力データ及び前記状態データと、算出された前記報酬データとに基づいて、前記エージェントを強化学習させる付記1から付記9のいずれか1つに記載の成形条件調整装置。
(付記11)付記1から付記10のいずれか1つに記載の成形条件調整装置を備える成形機。
【符号の説明】
【0091】
1 成形機本体
1a センサ
2 型締装置
3 射出装置
4 制御装置
5 外部入力装置
5a マイコン
5b 出力端子
40 操作パネル
41 プロセッサ
41a 観測部
41b 報酬算出部
41c エージェント
41d 調整部
42 記憶部
42a コンピュータプログラム
42b 報酬テーブル
43 制御信号出力部
46 通知部
49 記録媒体
51,52,53,54 操作部
51a,52a,53a,54a 発光部
55 ケーブル
101 射出成形機