特許 7498087 連続混練装置及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-03

(45)【発行日】2024-06-11

(54)【発明の名称】連続混練装置及びその制御方法

(51)【国際特許分類】

   B29B 7/72 20060101AFI20240604BHJP

   B29B 7/42 20060101ALI20240604BHJP

   B29B 7/48 20060101ALI20240604BHJP

   B29C 45/78 20060101ALI20240604BHJP

   B29C 48/92 20190101ALI20240604BHJP

【ＦＩ】

B29B7/72

B29B7/42

B29B7/48

B29C45/78

B29C48/92

【請求項の数】 10

(21)【出願番号】P 2020175848

(22)【出願日】2020-10-20

(65)【公開番号】P2022067240

(43)【公開日】2022-05-06

【審査請求日】2023-07-10

(73)【特許権者】

【識別番号】000004215

【氏名又は名称】株式会社日本製鋼所

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】前西 隆一郎

(72)【発明者】

【氏名】田中 蒼麻

【審査官】関口 貴夫

(56)【参考文献】

【文献】特開２００７－２７６１８９（ＪＰ，Ａ）

【文献】特開２０２０－１５２０９７（ＪＰ，Ａ）

【文献】特開２０１３－２５６０６２（ＪＰ，Ａ）

【文献】特開２００６－２８９７８１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２９Ｂ ７／００

Ｂ２９Ｃ ４５／００－４５／８４

Ｂ２９Ｃ ４８／００－４８／９６

(57)【特許請求の範囲】

【請求項1】

シリンダと、
前記シリンダに収容されたスクリューと、
前記シリンダの外周面を覆うように、前記シリンダの長手方向に沿って並べて設けられた複数の環状ヒータと、
前記シリンダにおいて前記複数の環状ヒータのそれぞれによって加熱される部位の温度を測定する複数の温度センサと、
前記複数の温度センサのそれぞれによる測定温度に基づいて、前記複数の環状ヒータのそれぞれをフィードバック制御する制御部と、を備え、
前記シリンダに投入された樹脂ペレットを、前記複数の環状ヒータによって加熱しつつ、前記スクリューによって混練する連続混練装置であって、
前記制御部は、前記複数の環状ヒータのそれぞれについて、
前記測定温度から算出した制御偏差に基づいて、現在の状態と以前に選択した行動に対する報酬とを決定し、
状態と行動との組み合わせである制御条件を前記報酬に基づいて更新すると共に、更新された制御条件から前記現在の状態に対応した最適な行動を選択する、強化学習を行いつつ、
前記最適な行動に基づいて、対象の環状ヒータを制御し、
前記強化学習において、
状態は、制御偏差の値の所定の範囲を表し、前記現在の状態は、前記算出した制御偏差を含む状態であり、
前記算出した制御偏差の絶対値が、前記以前の制御偏差の絶対値よりも小さければ、報酬を増やし、前記以前と同じ状態において前記以前に選択した行動を選択され易くし、
前記算出した制御偏差の絶対値が、前記以前の制御偏差の絶対値よりも大きければ、報酬を減らし、前記以前と同じ状態において前記以前に選択した行動を選択され難くする、
連続混練装置。

【請求項2】

前記行動が、前記対象の環状ヒータの出力の変更である、
請求項１に記載の連続混練装置。

【請求項3】

前記行動が、前記対象の環状ヒータの出力を制御するＰＩＤコントローラのパラメータの変更である、
請求項１に記載の連続混練装置。

【請求項4】

前記複数の温度センサのそれぞれは、熱電対である、
請求項１～３のいずれか一項に記載の連続混練装置。

【請求項5】

前記熱電対は、前記複数の環状ヒータのそれぞれに形成された貫通孔に挿通され、前記シリンダに接触するように設けられている、
請求項４に記載の連続混練装置。

【請求項6】

シリンダと、
前記シリンダに収容されたスクリューと、
前記シリンダの外周面を覆うように、前記シリンダの長手方向に沿って並べて設けられた複数の環状ヒータと、
前記シリンダにおいて前記複数の環状ヒータのそれぞれによって加熱される部位の温度を測定する複数の温度センサと、
前記複数の温度センサのそれぞれによる測定温度に基づいて、前記複数の環状ヒータのそれぞれをフィードバック制御する制御部と、を備え、
前記シリンダに投入された樹脂ペレットを、前記複数の環状ヒータによって加熱しつつ、前記スクリューによって混練する連続混練装置の制御方法であって、
前記制御部は、前記複数の環状ヒータのそれぞれについて、
（ａ）前記測定温度から算出した制御偏差に基づいて、現在の状態と以前に選択した行動に対する報酬とを決定し、
（ｂ）状態と行動との組み合わせである制御条件を前記報酬に基づいて更新すると共に、更新された制御条件から前記現在の状態に対応した最適な行動を選択する、強化学習を行いつつ、
（ｃ）前記最適な行動に基づいて、対象の環状ヒータを制御し、
前記工程（ａ）及び（ｂ）を含む前記強化学習において、
状態は、制御偏差の値の所定の範囲を表し、前記現在の状態は、前記算出した制御偏差を含む状態であり、
前記算出した制御偏差の絶対値が、前記以前の制御偏差の絶対値よりも小さければ、報酬を増やし、前記以前と同じ状態において前記以前に選択した行動を選択され易くし、
前記算出した制御偏差の絶対値が、前記以前の制御偏差の絶対値よりも大きければ、報酬を減らし、前記以前と同じ状態において前記以前に選択した行動を選択され難くする、
連続混練装置の制御方法。

【請求項7】

前記工程（ｂ）において選択する前記行動が、前記対象の環状ヒータの出力の変更である、
請求項６に記載の連続混練装置の制御方法。

【請求項8】

前記工程（ｂ）において選択する前記行動が、前記対象の環状ヒータの出力を制御するＰＩＤコントローラのパラメータの変更である、
請求項６に記載の連続混練装置の制御方法。

【請求項9】

前記複数の温度センサのそれぞれは、熱電対である、
請求項６～８のいずれか一項に記載の連続混練装置の制御方法。

【請求項10】

前記熱電対は、前記複数の環状ヒータのそれぞれに形成された貫通孔に挿通され、前記シリンダに接触するように設けられている、
請求項９に記載の連続混練装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は連続混練装置及びその制御方法に関する。

【背景技術】

【0002】

樹脂の射出成形装置及び押出成形装置は、シリンダに投入された樹脂ペレットをヒータによって加熱しつつ、スクリューによって混練する連続混練装置を備えている。例えば、特許文献１には、測定温度に基づいてヒータをフィードバック制御する連続混練装置を備えた射出成形装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－１７２８２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

発明者は、測定温度に基づいてヒータをフィードバック制御する連続混練装置の開発に際し、様々な課題を見出した。
その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。

【課題を解決するための手段】

【0005】

一実施の形態に係る連続混練装置では、制御部は、複数の環状ヒータのそれぞれについて、測定温度から算出した制御偏差に基づいて、現在の状態と以前に選択した行動に対する報酬とを決定し、状態と行動との組み合わせである制御条件を報酬に基づいて更新すると共に、更新された制御条件から現在の状態に対応した最適な行動を決定し、最適な行動に基づいて、対象の環状ヒータを制御する。

【発明の効果】

【0006】

前記一実施の形態によれば、優れた連続混練装置を提供できる。

【図面の簡単な説明】

【0007】

【図1】実施の形態１に係る連続混練装置及びそれを備えた射出成形装置の構成を示す模式的断面図である。

【図2】実施の形態１に係る連続混練装置及びそれを備えた射出成形装置の構成を示す模式的断面図である。

【図3】実施の形態１に係る連続混練装置及びそれを備えた射出成形装置の構成を示す模式的断面図である。

【図4】実施の形態１に係る制御部７０の構成を示すブロック図である。

【図5】実施の形態１に係る連続混練装置の制御方法を示すフローチャートである。

【図6】実施の形態２に係る制御部７０の構成を示すブロック図である。

【発明を実施するための形態】

【0008】

以下、具体的な実施の形態について、図面を参照しながら詳細に説明する。但し、以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜簡略化されている。

【0009】

（実施の形態１）
＜連続混練装置の構成＞
まず、図１～図３を参照して、実施の形態１に係る連続混練装置及びそれを備えた射出成形装置の構成について説明する。図１～図３は、実施の形態１に係る連続混練装置及びそれを備えた射出成形装置の構成を示す模式的断面図である。
なお、当然のことながら、図１～図３に示した右手系ｘｙｚ直交座標は、構成要素の位置関係を説明するための便宜的なものである。通常、ｚ軸正向きが鉛直上向き、ｘｙ平面が水平面であり、図面間で共通である。

【0010】

図１～図３に示すように、実施の形態１に係る連続混練装置１０は、シリンダ１１、スクリュー１２、ホッパ１３、環状ヒータ１４、温度センサ６０、及び制御部７０を備えている。射出成形装置は、連続混練装置１０に加え、固定型２１及び可動型２２を備えている。
図１は、射出成形装置において、金型（固定型２１及び可動型２２）のキャビティＣへ溶融樹脂８２を射出する直前の様子を示している。
図２は、射出成形装置において、金型のキャビティＣへの溶融樹脂８２の射出が完了した様子を示している。
図３は、射出成形装置において、金型から樹脂成形品８３を取り出した様子を示している。

【0011】

シリンダ１１は、ｘ軸方向に延設された筒状部材である。
スクリュー１２は、ｘ軸方向に延設され、シリンダ１１に回転可能に収容されている。図示しないが、スクリュー１２には、例えば、減速機を介してモータが回転駆動源として連結される。さらに、スクリュー１２は、図示しないアクチュエータによってｘ軸方向に移動できる。図２に示すように、スクリュー１２がｘ軸負方向に前進することによって、溶融樹脂８２が金型（固定型２１及び可動型２２）の内部に射出される。

【0012】

ホッパ１３は、図３に示した樹脂成形品８３の原料である樹脂ペレット８１をシリンダ１１の内部に投入するための筒状部材である。ホッパ１３は、シリンダ１１のｘ軸正方向側端部の上側に設けられている。
環状ヒータ１４は、シリンダ１１の外周面を覆うように、シリンダ１１の長手方向（ｘ軸方向）に沿って並べて設けられている。図１～図３に示した例では、ホッパ１３よりも先端側（ｘ軸負方向側）に、４つの環状ヒータ１４が設けられている。複数の環状ヒータ１４のそれぞれは、制御部７０によって個別に制御される。

【0013】

温度センサ６０は、シリンダ１１において複数の環状ヒータ１４のそれぞれによって加熱される部位の温度を測定する。温度センサ６０は、例えば熱電対である。図１～図３に示した例では、各温度センサ６０は、環状ヒータ１４に形成された貫通孔に挿通され、シリンダ１１に接触するように設けられている。

【0014】

制御部７０は、各温度センサ６０による測定温度に基づいて、対応する各環状ヒータ１４をフィードバック制御しつつ、各環状ヒータ１４の制御条件を学習する。より具体的には、制御部７０は、各温度センサ６０による測定温度が、それぞれ設定温度（目標温度）に近付くように、各環状ヒータ１４の出力を制御する。
なお、制御部７０のより詳細な構成及び動作については、後述する。

【0015】

実施の形態１に係る連続混練装置１０では、ホッパ１３から供給された樹脂ペレット８１は、シリンダ１１の内部において環状ヒータ１４によって加熱されつつ、回転するスクリュー１２によって混練される。樹脂ペレット８１は、加熱されると共に、スクリュー１２の根元部から先端部に向かって（ｘ軸負方向に）押し出されることによって圧縮され、溶融樹脂８２に変化する。

【0016】

固定型２１は連続混練装置１０の先端に固定されたダイスである。他方、可動型２２は、図示しない駆動源によって駆動され、ｘ軸方向にスライド移動可能なダイスである。可動型２２がｘ軸正方向に移動し、固定型２１に当接することにより、図１に示すように、固定型２１と可動型２２との間に製造される樹脂成形品８３（図３参照）の形状に応じたキャビティＣが形成される。

【0017】

次に、図２に示すように、スクリュー１２がｘ軸負方向に前進し、このキャビティＣに溶融樹脂８２が充填されることにより、樹脂成形品８３（図３参照）が成形される。
そして、図３に示すように、スクリュー１２がｘ軸正方向に後退すると共に、可動型２２がｘ軸負方向に移動し、固定型２１から離型することにより、樹脂成形品８３が取り出される。

【0018】

＜比較例に係る制御部７０の構成＞
比較例に係る連続混練装置は、図１～図３に示した実施の形態１に係る連続混練装置と同様の全体構成を有している。比較例では、制御部７０が、ＰＩＤ制御を用いて、各温度センサ６０から取得した温度に基づいて、対応する各環状ヒータ１４をフィードバック制御する。ＰＩＤ制御の場合、プロセス条件を変更する度に、パラメータを調整する必要がある。通常、作業者が試行錯誤してパラメータを調整するため、パラメータ調整に多大な時間及び樹脂材料を要するという問題があった。

【0019】

＜実施の形態１に係る制御部７０の構成＞
次に、図４を参照して、実施の形態１に係る制御部７０の構成についてより詳細に説明する。図４は、実施の形態１に係る制御部７０の構成を示すブロック図である。図４に示すように、実施の形態１に係る制御部７０は、状態観測部７１、制御条件学習部７２、記憶部７３、制御信号出力部７４を備えている。

【0020】

なお、制御部７０を構成する各機能ブロックは、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現することができる。従って、各機能ブロックは、コンピュータのハードウェアやソフトウェアやそれらの組み合わせによって色々な形態で実現できる。

【0021】

状態観測部７１は、各温度センサ６０から取得した温度の測定値ｐｖから、環状ヒータ１４毎の制御偏差を算出する。制御偏差は、目標値と測定値ｐｖとの差分である。ここで、目標値は、各環状ヒータ１４に設定された目標温度である。他方、測定値ｐｖは、対象の環状ヒータ１４に対応した温度センサ６０から取得した温度の測定値である。

【0022】

そして、状態観測部７１は、各環状ヒータ１４について、算出した制御偏差に基づいて、現在の状態ｓｔと以前（例えば前回）に選択した行動ａｃに対する報酬ｒｗとを決定する。
状態ｓｔは、無限に取り得る制御偏差の値を有限個に区分するために予め設定されている。説明のための簡易な例としては、制御偏差ｅｒｒとした場合、－４．０℃≦ｅｒｒ＜－３．０℃を状態ｓｔ１、－３．０℃≦ｅｒｒ＜－２．０℃を状態ｓｔ２、－２．０℃≦ｅｒｒ＜－１．０℃を状態ｓｔ３、－１．０℃≦ｅｒｒ＜１．０℃を状態ｓｔ４、１．０℃≦ｅｒｒ≦２．０℃を状態ｓｔ５、２．０℃≦ｅｒｒ≦３．０℃を状態ｓｔ６、３．０℃≦ｅｒｒ≦４．０℃を状態ｓｔ７、４．０℃≦ｅｒｒ≦５．０℃を状態ｓｔ８などと設定される。実際には、より細分化された多数の状態ｓｔが設定される場合が多い。

【0023】

報酬ｒｗは、以前の状態ｓｔにおいて選択した行動ａｃを評価するための指標である。
具体的には、算出した現在の制御偏差の絶対値が、以前の制御偏差の絶対値よりも小さくなっていれば、状態観測部７１は、以前に選択した行動ａｃが適切であると判断し、例えば報酬ｒｗを正の値とする。換言すると、以前と同じ状態ｓｔにおいて前回選択した行動ａｃが再度選択され易くなるように、報酬ｒｗが決定される。

【0024】

反対に、算出した現在の制御偏差の絶対値が、以前の制御偏差の絶対値よりも大きくなっていれば、状態観測部７１は、以前に選択した行動ａｃが不適切であると判断し、例えば報酬ｒｗを負の値とする。換言すると、以前と同じ状態ｓｔにおいて前回選択した行動ａｃが再度選択され難くなるように、報酬ｒｗが決定される。
なお、報酬ｒｗの具体例については後述する。また、報酬ｒｗの値は適宜決定することができる。例えば、報酬ｒｗの値が常に正の値であってもよく、報酬ｒｗの値が常に負の値であってもよい。

【0025】

制御条件学習部７２は、各環状ヒータ１４について、強化学習を行う。具体的には、制御条件学習部７２は、制御条件（学習結果）を報酬ｒｗに基づいて更新すると共に、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する。制御条件は、状態ｓｔと行動ａｃとの組み合わせである。上述の状態ｓｔ１～ｓｔ８に対応した簡易な制御条件（学習結果）を表１に示す。図４の例では、制御条件学習部７２は、更新した制御条件ｃｃを例えばメモリである記憶部７３に格納すると共に、記憶部７３から制御条件ｃｃを読み出して更新する。

【0026】

【表1】

【0027】

表１は、強化学習の一例であるＱ学習による制御条件（学習結果）を示している。表１の最上行には上述の８つの状態ｓｔ１～ｓｔ８が示されている。すなわち、２～９列目の各列が８つの状態ｓｔ１～ｓｔ８を示している。他方、表１の最左列には５つの行動ａｃ１～ａｃ５が示されている。すなわち、２～６列目の各行が、５つの行動ａｃ１～ａｃ５を示している。

【0028】

ここで、表１の例では、環状ヒータ１４への出力（例えば電圧）を１．０％減らす行動を行動ａｃ１（出力変化：－１％）と設定している。環状ヒータ１４への出力（例えば電圧）を０．５％減らす行動を行動ａｃ２（出力変化：－０．５％）と設定している。環状ヒータ１４への出力を維持する行動を行動ａｃ３（出力変化：０％）と設定している。環状ヒータ１４への出力を０．５％増やす行動を行動ａｃ４（出力変化：＋０．５％）と設定している。環状ヒータ１４への出力を１．０％増やす行動を行動ａｃ５（出力変化：＋１．０％）と設定している。表１の例は、あくまでも説明のための簡易な例であって、実際には、より細分化された多数の行動ａｃが設定される場合が多い。

【0029】

表１において状態ｓｔと行動ａｃとの組み合わせから定まる値は、価値Ｑ（ｓｔ、ａｃ）と呼ばれる。価値Ｑは、初期値が与えられた後、公知の更新式を利用して報酬ｒｗに基づいて順次更新される。価値Ｑの初期値は、例えば図４に示す学習条件に含まれる。学習条件は、例えば作業者によって入力される。価値Ｑの初期値は記憶部７３に格納されていてもよく、例えば過去の学習結果を初期値として用いてもよい。また、図４に示す学習条件には、例えば表１に示した状態ｓｔ１～ｓｔ８及び行動ａｃ１～ａｃ５も含まれる。

【0030】

表１における状態ｓｔ７を例に、価値Ｑについて説明する。状態ｓｔ７では、制御偏差が３．０℃以上４．０℃未満であるため、対象環状ヒータ１４による加熱温度が高過ぎる。そのため、対象環状ヒータ１４の出力を減らす必要がある。従って、制御条件学習部７２による学習の結果、環状ヒータ１４への出力を減少させる行動ａｃ１、ａｃ２の価値Ｑが大きくなっている。一方、環状ヒータ１４への出力を増加させる行動ａｃ４、ａｃ５の価値Ｑは小さくなっている。

【0031】

表１の例において、例えば制御偏差が３．５℃である場合、状態ｓｔは状態ｓｔ７である。そのため、制御条件学習部７２は、状態ｓｔ７において価値Ｑが最大であって最適な行動ａｃ２を選択し、制御信号出力部７４へ出力する。
制御信号出力部７４は、入力された行動ａｃ２に基づいて、環状ヒータ１４へ出力する制御信号ｃｔｒを０．５％減らす。制御信号ｃｔｒは例えば電圧信号である。

【0032】

そして、次回の制御偏差の絶対値が今回の制御偏差の絶対値３．５℃よりも小さければ、状態観測部７１は、今回の状態ｓｔ７における行動ａｃ２の選択が適切であると判断し、正の値の報酬ｒｗを出力する。そのため、制御条件学習部７２は、状態ｓｔ７における行動ａｃ２の価値＋３．６を報酬ｒｗに応じて増やすように制御条件を更新する。その結果、状態ｓｔ７の場合、制御条件学習部７２は、引き続き行動ａｃ２を選択する。

【0033】

一方、次回の制御偏差の絶対値が今回の制御偏差の絶対値３．５℃よりも大きければ、状態観測部７１は、今回の状態ｓｔ７における行動ａｃ２の選択が不適切であると判断し、負の値の報酬ｒｗを出力する。そのため、制御条件学習部７２は、状態ｓｔ７における行動ａｃ２の価値＋３．６を報酬ｒｗに応じて減らすように制御条件を更新する。その結果、状態ｓｔ７における行動ａｃ２の価値が行動ａｃ１の価値＋２．６よりも小さくなると、状態ｓｔ７の場合、制御条件学習部７２は、行動ａｃ２に代えて行動ａｃ１を選択する。

【0034】

なお、制御条件を更新するタイミングは、次回に限らず、タイムラグなどを考慮して適宜決定すればよい。また、学習初期段階では、学習を促進するために、ランダムに行動ａｃを選択してもよい。さらに、表１では、簡易なＱ学習による強化学習について説明したが、学習アルゴリズムについては、Ｑ学習、ＡＣ（Actor-Critic）法、ＴＤ学習、モンテカルロ法など様々あるが、何ら限定されるものではない。例えば、状態ｓｔ及び行動ａｃの数が増えて組み合わせ爆発が発生する場合は、ＡＣ法などを用いるなど状況によって選定すればよい。

【0035】

また、ＡＣ法では、方策関数として確率分布関数を用いる場合が多い。その確率分布関数は、正規分布関数に限らず、例えば、簡単化を目的としてシグモイド関数、ソフトマックス関数などを用いてもよい。シグモイド関数は、ニューラルネットワークで最も使用される関数である。強化学習は、ニューラルネットワークと同じ機械学習の１つであるため、シグモイド関数を採用できる。また、シグモイド関数は、関数自体も簡単であり、扱い易いという利点もある。
以上の通り、学習アルゴリズムや用いる関数は様々であるが、プロセスに対して最適なものを適宜選定すればよい。

【0036】

以上に説明した通り、実施の形態１に係る連続混練装置では、ＰＩＤ制御を用いていないため、そもそもプロセス条件の変更に伴うパラメータ調整が不要である。また、制御部７０が、強化学習によって、制御条件（学習結果）を報酬ｒｗに基づいて更新すると共に、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する。そのため、プロセス条件を変更した場合でも、比較例に比べ、調整に要する時間及び樹脂材料を抑制することができる。

【0037】

なお、実施の形態１に係る連続混練装置１０は、射出成形装置に限らず、押出成形装置にも使用できる。押出成形装置では、連続混練装置１０における射出動作が不要なため、スクリュー１２がｘ軸方向に移動できなくてもよい。連続混練装置１０におけるその他の構成は、射出成形装置でも押出成形装置でも略同様である。

【0038】

＜連続混練装置の制御方法＞
次に、図５を参照して、実施の形態１に係る連続混練装置の制御方法の詳細について説明する。図５は、実施の形態１に係る連続混練装置の制御方法を示すフローチャートである。図５の説明においては、図４も適宜参照する。

【0039】

まず、図５に示すように、図４に示した制御部７０の状態観測部７１は、各環状ヒータ１４について、対応する温度センサ６０による測定温度から制御偏差を算出する。そして、算出した制御偏差に基づいて、現在の状態ｓｔと以前に選択した行動ａｃに対する報酬ｒｗとを決定する（ステップＳ１）。なお、制御開始時には、以前（例えば前回）に選択した行動ａｃが存在せず、報酬ｒｗを決定することができないため、現在すなわち制御開始時の状態ｓｔのみを決定する。

【0040】

次に、図５に示すように、制御部７０の制御条件学習部７２は、状態ｓｔと行動ａｃとの組み合わせである制御条件を報酬ｒｗに基づいて更新する。そして、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する（ステップＳ２）。なお、制御開始時には、制御条件は初期値のまま更新されないが、制御開始時の状態ｓｔに対応した最適な行動ａｃを選択する。
そして、図５に示すように、制御部７０の制御信号出力部７４は、制御条件学習部７２が選択した最適な行動ａｃに基づいて、環状ヒータ１４に制御信号ｃｔｒを出力する（ステップＳ３）。

【0041】

樹脂成形品８３の製造が終了していなければ（ステップＳ４ＮＯ）、ステップＳ１に戻って制御を継続する。一方、樹脂成形品８３の製造が終了したら（ステップＳ４ＹＥＳ）、制御を終了する。すなわち、樹脂成形品８３の製造が終了するまで、ステップＳ１～Ｓ３を繰り返す。

【0042】

以上に説明した通り、実施の形態１に係る連続混練装置１０では、ＰＩＤ制御を用いていないため、そもそもプロセス条件の変更に伴うパラメータ調整が不要である。また、コンピュータを用いた強化学習によって、制御条件（学習結果）を報酬ｒｗに基づいて更新すると共に、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する。そのため、プロセス条件を変更した場合でも、比較例に比べ、調整に要する時間及び樹脂材料を抑制することができる。

【0043】

（実施の形態２）
次に、図６を参照して、実施の形態２に係る連続混練装置について説明する。実施の形態２に係る連続混練装置の全体構成は、図１～図３に示した実施の形態１に係る連続混練装置の全体構成と同様であるため、説明を省略する。実施の形態２に係る連続混練装置は、制御部７０の構成が実施の形態１に係る連続混練装置と異なる。

【0044】

図６は、実施の形態２に係る制御部７０の構成を示すブロック図である。図６に示すように、実施の形態２に係る制御部７０は、状態観測部７１、制御条件学習部７２、記憶部７３、ＰＩＤコントローラ７４ａを備えている。すなわち、実施の形態２に係る制御部７０は、図４に示した実施の形態１に係る制御部７０における制御信号出力部７４として、ＰＩＤコントローラ７４ａを備えている。ＰＩＤコントローラ７４ａも制御信号出力部の一形態である。

【0045】

状態観測部７１は、実施の形態１と同様に、各環状ヒータ１４について、算出した制御偏差ｅｒｒに基づいて、現在の状態ｓｔと以前に選択した行動ａｃに対する報酬ｒｗとを決定する。そして、状態観測部７１は、現在の状態ｓｔと報酬ｒｗとを制御条件学習部７２に出力する。さらに、実施の形態２に係る状態観測部７１は、算出した制御偏差ｅｒｒをＰＩＤコントローラ７４ａに出力する。

【0046】

制御条件学習部７２も、実施の形態１と同様に、各環状ヒータ１４について、強化学習を行う。具体的には、制御条件学習部７２は、制御条件（学習結果）を報酬ｒｗに基づいて更新すると共に、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する。ここで、実施の形態１では、制御条件学習部７２が選択する行動ａｃの内容が、環状ヒータ１４への出力を直接変更することである。これに対し、実施の形態２では、制御条件学習部７２が選択する行動ａｃの内容が、ＰＩＤコントローラ７４ａのパラメータを変更することである。

【0047】

図６に示すように、制御条件学習部７２から出力された行動ａｃに基づいて、ＰＩＤコントローラ７４ａのパラメータが逐次変更される。他方、ＰＩＤコントローラ７４ａは、入力された制御偏差ｅｒｒに基づいて、環状ヒータ１４へ制御信号ｃｔｒを出力する。制御信号ｃｔｒは例えば電圧信号である。
その他の構成は、実施の形態１と同様であるから説明を省略する。

【0048】

以上に説明した通り、実施の形態２に係る連続混練装置では、ＰＩＤ制御を用いているため、プロセス条件の変更に伴うパラメータ調整が必要である。実施の形態２に係る連続混練装置では、制御部７０が、強化学習によって、制御条件（学習結果）を報酬ｒｗに基づいて更新すると共に、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する。ここで、強化学習における行動ａｃが、ＰＩＤコントローラ７４ａのパラメータの変更である。そのため、プロセス条件を変更した場合でも、比較例に比べ、パラメータ調整に要する時間及び樹脂材料を抑制することができる。

【0049】

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

【符号の説明】

【0050】

１０ 連続混練装置
１１ シリンダ
１２ スクリュー
１３ ホッパ
１４ 環状ヒータ
２１ 固定型
２２ 可動型
６０ 温度センサ
７０ 制御部
７１ 状態観測部
７２ 制御条件学習部
７３ 記憶部
７４ 制御信号出力部
７４ａ ＰＩＤコントローラ
８１ 樹脂ペレット
８２ 溶融樹脂
８３ 樹脂成形品
Ｃ キャビティ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】