特許 7167404 金型監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-31

(45)【発行日】2022-11-09

(54)【発明の名称】金型監視システム

(51)【国際特許分類】

   B29C 45/76 20060101AFI20221101BHJP

   G06N 3/04 20060101ALI20221101BHJP

   G06N 3/08 20060101ALI20221101BHJP

   G06T 7/00 20170101ALI20221101BHJP

【ＦＩ】

B29C45/76

G06N3/04

G06N3/08

G06T7/00 610B

【請求項の数】 4

(21)【出願番号】P 2020186292

(22)【出願日】2020-11-09

(65)【公開番号】P2022076073

(43)【公開日】2022-05-19

【審査請求日】2021-09-06

(73)【特許権者】

【識別番号】509337517

【氏名又は名称】株式会社コジマプラスチックス

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】仲田 義敏

(72)【発明者】

【氏名】今村 大輔

(72)【発明者】

【氏名】村田 直輝

(72)【発明者】

【氏名】榊原 新

【審査官】今井 拓也

(56)【参考文献】

【文献】特開２０１２－０９１３５４（ＪＰ，Ａ）

【文献】特開平０６－１３２３３４（ＪＰ，Ａ）

【文献】特開２０２０－１５４４１３（ＪＰ，Ａ）

【文献】特開平０５－２８１１９９（ＪＰ，Ａ）

【文献】特開２０１９－１８８４６０（ＪＰ，Ａ）

【文献】特開２０１２－０２６９８２（ＪＰ，Ａ）

【文献】中国特許出願公開第１０６４２６７４４（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２９Ｃ ４５／７６

Ｇ０６Ｎ ３／０４

Ｇ０６Ｎ ３／０８

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

インサート成形用の金型を監視する金型監視システムであって、
キャビティ及びコアの少なくとも一方が形成されるとともにインサート部品が装着される装着部が形成された、前記金型の加工面を撮像する撮像器と、
前記撮像器により撮像された加工面画像から、装着部領域画像を切り取る画像抽出部と、
前記装着部領域画像における前記インサート部品の装着良否を判定するインサート判定部と、
前記装着部領域画像が切り取られた加工面残余画像における異物有無を判定する異物判定部と、
を備え、
前記インサート判定部は、前記装着部領域画像が入力層に入力され、前記インサート部品の装着良否が出力層から出力されるインサート判定用ニューラルネットワークを備え、
前記異物判定部は、前記加工面残余画像が入力層に入力され、異物の有無が出力層から出力される、異物判定用ニューラルネットワークを備え、
前記インサート判定用ニューラルネットワークに対して、前記異物判定用ニューラルネットワークの隠れ層の層数が少ない、
金型監視システム。

【請求項2】

請求項１に記載の金型監視システムであって、
前記加工面残余画像は、照度に応じて複数画像に分割され、分割された画像別に、前記異物判定用ニューラルネットワークが設けられる、
金型監視システム。

【請求項3】

請求項１または２に記載の金型監視システムであって、
前記加工面を照射する光源を備え、
前記光源は赤色光源である、
金型監視システム。

【請求項4】

請求項１から３のいずれか一つに記載の金型監視システムであって、
前記異物判定用ニューラルネットワークは、学習用の教師データが更新され、
前記教師データとして、直近の所定期間における前記加工面画像が用いられる、
金型監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書では、インサート成形用の金型を監視する金型監視システムが開示される。

【0002】

従来から、樹脂成形に用いられる金型を監視する監視システムが知られている。例えば特許文献１では、金型の映像をカメラで撮像して異常の有無が判定される。この異常有無判定について、例えば特許文献２では、予め撮像しておいた金型の基準画像と撮像画像とが比較され、異常の有無が判定される。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６５８４４７２号公報

【文献】特開２０１２－９１３５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、金型監視において、インサート成形用の金型の加工面を監視する場合がある。加工面とは、金型の、キャビティ及びコアの少なくとも一方と、インサート部品を装着させる装着部とが形成された面を指す。加工面の監視をコンピュータに実行させる場合、加工面の撮像画像と正常時の画像である基準画像とが比較される。

【0005】

例えば、加工面の監視項目として、インサート部品の装着良否判定と異物有無判定が挙げられる。前者では、例えばインサート部品が装着部に装着されていない欠品や、装着部に対するインサート部品の差し込み不足（浮き）が装着不良の例として挙げられる。インサート部品の浮きについては、装着部とインサート部品との相対位置のずれを認識する必要があり、要求される判定精度は相対的に細緻なものとなる。

【0006】

一方、異物有無の判定では、加工面にインサート部品等の異物が落下しているか否かが判定される。この判定では、要するに異物が認識できればよく、インサート部品の装着良否判定よりも粗大な判定精度で足りる。

【0007】

また、金型の加工面にはいわゆるガス焼けが発生する。ガス焼けは、金型内部の気体や樹脂材料から発生したガスが、金型の型締時に圧縮されることで高温となって燃焼し、その煤が加工面上に付着して当該加工面が黒化する現象を指す。なお、黒化による加工面の色変化や黒化領域が軽微であるなど、ガス焼けの影響が軽微である場合には、成形品の品質に影響を与えないことから、直ちに成形工程を停止させる必要は無い。

【0008】

しかしながら、インサート部品の装着良否に求められる判定精度にて異物の有無判定を行うと、加工面上の軽微なガス焼けが検出され、これに基づいて異物有りとの誤判定がされるおそれがある。

【0009】

そこで本明細書では、金型の加工面の撮像画像に基づいてインサート部品の装着良否判定と加工面上の異物有無判定を行うに当たり、それぞれ適切な精度にて判定が可能な、金型監視システムが開示される。

【課題を解決するための手段】

【0010】

本明細書では、インサート成形用の金型を監視する金型監視システムが開示される。当該システムは、撮像器、画像抽出部、インサート判定部、及び異物判定部を備える。撮像器は、キャビティ及びコアの少なくとも一方が形成されるとともにインサート部品が装着される装着部が形成された、金型の加工面を撮像する。画像抽出部は、撮像器により撮像された加工面画像から、装着部領域画像を切り取る。インサート判定部は、装着部領域画像におけるインサート部品の装着良否を判定する。異物判定部は、装着部領域画像が切り取られた加工面残余画像における異物有無を判定する。インサート判定部は、装着部領域画像が入力層に入力され、インサート部品の装着良否が出力層から出力されるインサート判定用ニューラルネットワークを備える。異物判定部は、加工面残余画像が入力層に入力され、異物の有無が出力層から出力される、異物判定用ニューラルネットワークを備える。上記構成において、インサート判定用ニューラルネットワークに対して、異物判定用ニューラルネットワークの隠れ層の層数が少ない。

【0011】

一般的に、ニューラルネットワークでは、隠れ層（中間層）の層数が増えるほど、判定精度が高くなることが知られている。上記構成によれば、異物判定用ニューラルネットワークの隠れ層の層数を、インサート判定用ニューラルネットワークの隠れ層の層数よりも少なくすることで、相対的に粗い判定が可能となり、加工面上の軽微なガス焼けを検出してこれを異物と誤判定することが抑制される。

【0012】

また上記構成において、加工面残余画像は、照度に応じて複数画像に分割され、分割された画像別に、異物判定用ニューラルネットワークが設けられてよい。

【0013】

加工面の撮像画像において、相対的に照度の高い（明るい）画像領域では、ガス焼けによる加工面の変化が相対的に大きく（明瞭に）表れ、相対的に照度の低い（暗い）画像領域では、ガス焼けによる加工面の変化が相対的に小さく表れる。照度に応じて加工面残余画像が分割されることで、照度の低い画像領域である低照度領域が、照度の高い画像領域である高照度領域から切り離される。これにより低照度領域は、高照度画像領域における、ガス焼けによる加工面の変化の影響を受けずに済む。

【0014】

また上記構成において、金型監視システムは、加工面を照射する光源を備えてもよい。この場合、光源は赤色光源であってよい。

【0015】

金型の加工面を光源で照射した際に、照射光が反射して加工面画像にハレーションが生じ、加工面の把握が困難となるおそれがある。ここで、金属鏡面に対する赤色光源の全反射率は、他の色光源と比較して低いとの特性を利用して、赤色光源を用いることで、加工面画像におけるハレーションの発生を抑制できる。

【0016】

また上記構成において、異物判定用ニューラルネットワークは、学習用の教師データが更新されてよい。この場合、教師データとして、直近の所定期間における加工面画像が用いられてよい。

【0017】

直近の所定期間における加工面画像が用いられた教師データにより異物判定用ニューラルネットワークの再学習を行うことで、特に加工面におけるガス焼けの変化が大きく表れる高照度領域における誤判定を抑制可能となる。

【発明の効果】

【0018】

本明細書で開示される作業管理システムによれば、金型の加工面の撮像画像に基づいてインサート部品の装着良否判定と加工面上の異物有無判定を行うに当たり、それぞれ適切な精度での判定が可能となる。

【図面の簡単な説明】

【0019】

【図1】本実施形態に係る金型監視システムのハードウェア構成を例示する図である。

【図2】本実施形態に係る金型監視システムの機能ブロックを例示する図である。

【図3】金型の加工面画像を例示する図である。

【図4】インサート部品が正しく装着されたときの、金型の加工面画像を例示する図である。

【図5】インサート部品が誤って装着されているときの、金型の加工面画像を例示する図である。

【図6】加工面に異物が落下したときの、金型の加工面画像を例示する図である。

【図7】装着部領域画像の切り取りについて説明する図である。

【図8】加工面残余画像を複数画像に分割する工程について説明する図である。

【図9】インサート判定部の判定ユニットを例示する図である。

【図10】インサート判定部の判定ユニットにおけるニューラルネットワーク（インサート判定用ニューラルネットワーク）を例示する図である。

【図11】異物判定部の判定ユニットを例示する図である。

【図12】異物判定部の判定ユニットにおけるニューラルネットワーク（異物判定用ニューラルネットワーク）を例示する図である。

【図13】本実施形態に係る金型監視システムにおける金型監視フローを例示する図である。

【図14】本実施形態に係る金型監視システムにおける金型監視フローの別例を示す図である。

【発明を実施するための形態】

【0020】

＜全体構成＞
図１に、本実施形態に係る金型監視システムが例示される。後述されるように、当該システムは、インサート成形用の金型を監視する。そして当該システムは、インサート成形時に、インサート部品が正しく金型に装着されている否か、及び、金型の加工面に異物が落下しているか否かを判定する。この金型監視システムは、金型監視装置１０、撮像器４０及び光源４２を含んで構成される。

【0021】

金型監視装置１０は、例えばコンピュータから構成される。金型監視装置１０は、演算装置のＣＰＵ１１と、記憶手段としてのシステムメモリ１２及びストレージ１３を備える。ストレージ１３は例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）等の非一過性の記憶装置であってよい。また金型監視装置１０は、キーボードやマウス等の入力部１４と、撮像器４０等の外部機器との情報の入出力を管理する入出力コントローラ１５を備える。

【0022】

さらに金型監視装置１０は、撮像器４０が撮像した撮像画像を処理する手段として、ＧＰＵ１６（Graphics Processing Unit）、フレームメモリ１７、ＲＡＭＤＡＣ１８（Random Access Memory Digital-to-Analog Converter）、及び表示制御部１９を備える。加えて金型監視装置１０は、処理済みの画像を表示する表示部２０を備える。なお、金型監視装置１０は、入力部１４と表示部２０とが一体となったタッチパネルディスプレイを備えていてもよい。

【0023】

ＧＰＵ１６は、画像処理用の演算装置であって、後述するインサート判定や異物判定を行う際に主に稼働される。フレームメモリ１７は、撮像器４０により撮像されＧＰＵ１６により演算処理された画像を記憶する記憶装置である。ＲＡＭＤＡＣ１８は、フレームメモリ１７に記憶された画像データを、アナログディスプレイである表示部２０向けのアナログ信号に変換する。

【0024】

表示制御部１９は、ＧＰＵ１６、フレームメモリ１７、及びＲＡＭＤＡＣ１８を通して処理された画像を表示部２０に表示させる。例えば表示制御部１９は、撮像器４０による撮像画像と、インサート判定や異物判定による異常判定の根拠となった箇所を強調する強調表示（後述される）とを表示部２０に重畳表示させる。

【0025】

また後述されるように、インサート判定部３２（図２参照）により装着不良と判定されるか、または、異物判定部３３により異物有りと判定されると、これを受けて表示制御部１９は表示部２０に警告メッセージを表示させる。また、インサート判定部３２により装着正常と判定され、かつ、異物判定部３３により異物無しと判定されると、これを受けて表示制御部１９は、表示部２０に合格メッセージを表示させる。

【0026】

なお、図１では、金型監視装置１０に表示部２０が含まれているが、例えば入力部１４及び表示部２０以外の構成を含んだ金型監視装置１０（コンピュータ）が、組立現場から離れたサーバ室に設置されてよい。また表示部２０は、インサート成形の作業者が閲覧可能となるように、作業現場に設置されてもよい。

【0027】

また、表示部２０と入力部１４が一体化されたタッチパネルディスプレイが作業現場に設置されてもよい。後述されるように、装着不良及び異物検出の少なくとも一方が生じると、成形作業が一旦停止される。インサート部品の装着不良を修正し、また異物を取り除いた後に成形作業が再開可能となるように、このタッチパネルディスプレイには確認ボタンが表示され、作業員が当該ボタンを操作可能となっている。

【0028】

図２には、金型監視装置１０の機能ブロックが、図１で示したハードウェアブロックと混合した形で例示される。この機能ブロック図は、例えばストレージ１３に記憶されるか、または、ＤＶＤ等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、ＣＰＵ１１が実行することで構成される。

【0029】

金型監視装置１０は、機能ブロックとして、画像抽出部３１、インサート判定部３２、異物判定部３３、及び成形装置制御部３４を備える。後述されるように、画像抽出部３１は、撮像器４０により撮像された加工面画像５０（図３参照）から、装着部領域画像７１，７２，７３（図７参照）を切り取る。インサート判定部３２は、装着部領域画像７１，７２，７３におけるインサート部品（図４の第一インサートネジ６１，第二インサートネジ６２，キャップ６３）の装着良否を判定する。異物判定部３３は、装着部領域画像７１，７２，７３が切り取られた加工面残余画像７５（図８参照）における異物の有無を判定する。

【0030】

成形装置制御部３４は、インサート成形装置に対して制御指令（停止指令及び再開指令）を出力可能となっている。後述されるように、インサート成形装置の金型へのインサート部品の装着が完了すると、固定金型と可動金型とを合わせる（型締めする）ために型締めボタンが作業員に押される。この際に、金型監視装置１０によって、インサート部品の装着不良や加工面上の異物が検出されると、成形装置制御部３４からインサート成形装置に停止指令が送信される。

【0031】

また後述されるように、作業者によりインサート部品の装着不良が是正され、また異物が加工面から取り除かれると、作業者により入力部１４（確認ボタン）から成形装置制御部３４に異常解消を意味する確認信号が送信される。これを受けて成形装置制御部３４は、インサート成形装置に対して、停止していた工程を再開させるための再開指令を送信する。

【0032】

撮像器４０は、例えばインサート成形の作業現場に設置されたカメラデバイスであり、インサート成形作業を静止画及び動画にて撮像可能となっている。撮像器４０は、例えばＣＭＯＳやＣＣＤ等の撮像デバイスを含んで構成される。また撮像器４０は固定撮影を行うために、位置姿勢、画角、倍率等の撮像条件が固定される。

【0033】

特に、撮像器４０は、インサート成形装置に設けられた同成形用の金型の加工面を撮像する。金型の加工面とは、金型の面のうち、キャビティ（雌型）及びコア（雄型）の少なくとも一方が形成されるとともに、インサート部品が装着される装着部が形成された面を示す。例えば可動盤の金型を固定盤の金型に合わせて閉じる場合に、互いの金型の対向面（合わせ面）が加工面となる。

【0034】

例えば撮像器４０は、所定のタイミングによって作業者の操作により撮像を行う。例えば、型開状態の金型の加工面に設けられた装着部に作業者がインサート部品を装着させた後、次の工程、例えば型閉工程に進むために、作業者によって型締めボタンが押される。この型締めボタンの押下時に撮像器４０は金型の加工面を撮像する。

【0035】

図２を参照し、光源４２は、撮像器４０の撮像対象である金型の加工面に光を照射する。光源４２は例えば赤色光源であってよく、金型の加工面は光源により赤色に照らされる。金属鏡面に対する赤色光源の全反射率は、他の色光源と比較して低いことが一般的に知られている。本実施形態に係る金型監視システムでは、この特性を利用して、光源４２として赤色光源を用いることで、加工面画像におけるハレーションの発生が抑制される。

【0036】

＜金型の撮像画像例＞
図３には、撮像器４０による加工面の撮像画像である、加工面画像５０が例示される。例えばこの加工面は、インサート成形装置の固定盤に取り付けられた金型の加工面であってよい。

【0037】

また図４には、加工面の装着部にインサート部品が正しく装着されたときの例が示される。図３の例では、装着部は第一ピン５６、第二ピン５７、及びキャップ受け５８を含む。また図４の例では、インサート部品は第一インサートネジ６１、第二インサートネジ６２及びキャップ６３を含む。しかしながら、本実施形態に係る金型監視システムにおいて、装着部及びインサート部品は上記の例には限定されない。

【0038】

図３に例示されるように、加工面画像には、主面であってパーティングラインを示すパーティング面５５が形成される。さらにパーティング面５５から陥没されるようにして、キャビティ５１が形成される。キャビティ５１は、型閉時に可動盤の金型に設けられたコアと対向し、両者の間に形成された隙間が成形品の成形スペースとなる。

【0039】

キャビティ５１内にはその底面から高さ方向に突出される円筒突起部５２が形成される。円筒突起部５２の中心開口には、円柱突起部５３が形成される。円柱突起部５３は、円筒突起部５２と同心であって、その外周面は、円筒突起部５２の内周面に対して離隔される。

【0040】

円柱突起部５３の上端面には、当該上端面から僅かに突出するキャップ受け５８が形成される。キャップ受け５８は、インサート部品であるキャップ６３（図４参照）が装着される（嵌め込まれる）装着部である。またキャップ受け５８の中心部分には、位置合わせ用の溝５８Ａが彫られており、キャップ６３の、キャップ受け５８との対向面に設けられたキー（図示せず）が当該溝５８Ａに挿入されることで、キャップ６３がキャップ受け５８に正常に装着される。

【0041】

円筒突起部５２からその径方向に沿って、棒状突起部５４が延設される。棒状突起部５４の上端面には、当該上端面から突出する装着部である第一ピン５６及び第二ピン５７が形成される。第一ピン５６及び第二ピン５７はともに円柱形状であって、図４に例示されるように、円筒状のインサート部品である第一インサートネジ６１及び第二インサートネジ６２が差し込まれる。

【0042】

図５には、インサート部品の装着不良の例が示される。この例では、第一インサートネジ６１の下端が第一ピン５６の下端まで届いていない、いわゆる「浮き」が生じている。このような異常を画像上で判定するには、少なくとも第一インサートネジ６１と第一ピン５６との相対位置がずれていることを認識可能である必要がある。

【0043】

図６には、異物落下の例が示される。本実施形態に係る金型監視システムでは、異物としてインサート部品の加工面への落下が主に想定されている。したがって、異物有無の判定に当たっては、判定対象とする異物としてインサート部品が最小物として設定されてよい。なお、インサート部品が大きさの異なる複数種類の部材から構成される場合には、そのうちの最小物が、異物としての最小物と捉え、異物有無の判定が行われてよい。

【0044】

図６の例では、キャビティ５１にインサートネジ６５が落下している。このような異常を画像上で判定するには、少なくともインサートネジ６５が目視可能な程度であればよく、図５の装着不良と比較して、要求される判定精度は低い。

【0045】

また、インサート成形においては、成形材料である樹脂が金型上で焼けて、その結果加工面が黒化する「ガス焼け」が生じることが知られている。このようなガス焼けが過度に加工面に生じると、成形品に不具合が生じるおそれがあるが、ある程度のガス焼けは成形品の品質には影響を与えない。つまり、軽微なガス焼けであれば成形作業が続行されてよい。このように加工面における異物判定では、このような軽微なガス焼けを異常として検出しない、いわば粗目の判定精度が適切な判定精度となる。

【0046】

後述されるように、本実施形態に係る金型監視システムでは、インサート部品の装着良否を判定するインサート判定用ニューラルネットワークと、異物の有無を判定する異物判定用ニューラルネットワークが設けられる。上記の判定精度の差に鑑みて、本実施形態に係る金型監視システムでは、インサート判定用ニューラルネットワークに対して、異物判定用ニューラルネットワークの隠れ層の層数が少なくなるように各ネットワークが構成される。隠れ層が相対的に少なくなることで、上記のような粗目の判定が可能となり、軽微なガス焼けを異常と誤検知することが抑制される。

【0047】

＜画像抽出部＞
図７、図８には、画像抽出部３１（図２参照）による画像抽出の例が示される。画像抽出部３１は、加工面画像５０から装着部領域画像を切り取る。図７には、装着部領域画像として、第一ピン画像７１、第二ピン画像７２、及びキャップ受け画像７３が加工面画像５０から切り取られる。

【0048】

装着部領域画像は、インサート部品の装着部への装着良否判定に用いられることから、各装着部を含みかつその周辺領域までが含まれる。加工面画像５０における装着部領域画像の領域は、例えば金型監視装置１０の管理者等により事前に設定される。

【0049】

図８を参照して、装着部領域画像が切り取られた残余の画像である、加工面残余画像７５は、複数の画像に分割される。この分割は、加工面残余画像７５における各画素の照度（明るさ）に応じて行われる。

【0050】

金型の加工面は立体的な凹凸があり、撮像画像上、暗く写る領域と明るく写る領域とが生じる。例えば円筒突起部５２、円柱突起部５３、及び棒状突起部５４による影が含まれる箇所や、光源４２から離れた箇所は、相対的に照度の低い低照度領域となる。一方、円筒突起部５２、円柱突起部５３、及び棒状突起部５４の上端面や、パーティング面５５の光源４２寄りの箇所は、相対的に照度の高い高照度領域となる。

【0051】

上述のように、高照度領域では、低照度領域と比較して、ガス焼けによる加工面の表面変化（黒化）が明瞭に表れる。例えばもともと暗めの低照度領域ではガス焼けによる加工面の黒化は画像上小さい変化に留まるが、光源４２により明るく照らされた高照度領域ではガス焼けによる加工面の変化（黒化）が明瞭に表れる。このようなガス焼けの変化度合いの違いに基づいて、加工面残余画像７５が複数の画像に分割される。

【0052】

例えば図８に例示されるように、加工面残余画像７５は、太破線を境界線として、Ａ領域７５Ａ、Ｂ領域７５Ｂ、Ｃ領域７５Ｃ、Ｄ領域７５Ｄ、及びＥ領域７５Ｅに分割される。後述されるように、異物判定では、これら分割された領域画像別に、異物判定用のニューラルネットワークが構築され、異物の有無が領域別に判定される。

【0053】

このように照度別に画像を分割して、そのそれぞれの画像別に異物判定用のニューラルネットワークを構築することで、例えば低照度領域では、高照度領域における加工面の変化（黒化）の影響を受けずに異物判定を行うことができる。また高照度領域では、後述されるように再学習を頻繁に、つまり前の学習から次の再学習前の期間を短く設定することで、加工面の変化に追従した異物判定を行うことができる。

【0054】

＜インサート判定部＞
図２を参照して、画像抽出部３１によって抽出された装着部領域画像（図７の例では第一ピン画像７１、第二ピン画像７２、キャップ受け画像７３）は、インサート判定部３２に送られる。図９にはインサート判定部３２の機能ブロックが例示される。インサート判定部３２は、画像抽出部３１から送信された複数種類の装着部領域画像別に、判定ユニットを備える。例えば図９の例では、図７において抽出された装着部領域画像に従って、第一ピン判定ユニット３２Ａ、第二ピン判定ユニット３２Ｂ、及びキャップ受判定ユニット３２Ｃがインサート判定部３２に設けられる。

【0055】

これらの判定ユニットは、それぞれ独立のニューラルネットワークである、インサート判定用ニューラルネットワークを備える。例えばこれらのニューラルネットワークは、画像認識を行う観点から、畳み込みニューラルネットワーク（ＣＮＮ、Convolutional Neural Network）から構成される。

【0056】

これらのニューラルネットワークには、予め教師データによる学習が行われる。教師データは、入力データとして装着部領域画像を含み、出力データとして当該画像に対応する組付け良否のクラスを含む。組付け良否のクラスとは、要するに装着要否判定の結果を示すものであって、大別して正常と不良とのクラスが含まれる。さらに不良については細分化され、「浮き」「欠品」「部品間違い」等のクラスが設けられる。個々の装着部領域画像の選択とそれぞれの画像に対応するクラスの付与は、例えば金型監視システムの管理者等によって行われる。

【0057】

例えば図１０には、第一ピン判定ユニット３２Ａのニューラルネットワークが例示される。第一ピン判定ユニット３２Ａの教師データは、入力データとして第一ピン画像７１を含み、それぞれの画像に応じた出力データとして「正常」「浮き」「欠品」「部品間違い」等のクラスを含む。

【0058】

第一ピン判定ユニット３２Ａをはじめとして、インサート判定部３２に設けられた各判定ユニットのニューラルネットワークの入力層のノード数は、画像抽出部３１からそれぞれ送信される装着部領域画像の画素数と同数であってよい。例えば第一ピン判定ユニット３２Ａのニューラルネットワークの入力層のノード数は、第一ピン画像７１の画素数と同数であってよい。また各判定ユニットのニューラルネットワークの出力層のノード数は、上記の組付け良否のクラスの数と同数であってよい。

【0059】

さらにインサート判定部３２の各判定ユニットのニューラルネットワークの隠れ層（中間層）の層数は、後述される異物判定部３３におけるニューラルネットワークの隠れ層の層数よりも多くなるように構成される。例えばインサート判定部３２内の各判定ユニットのニューラルネットワークのいずれも、異物判定部３３内のいずれの判定ユニットのニューラルネットワークよりも、隠れ層の層数が多くなるように設定される。

【0060】

一般的に、ニューラルネットワークでは、隠れ層が多層になるほど判定精度が高くなることが知られている。インサート判定部３２内の各判定ユニットのニューラルネットワークのいずれもが、異物判定部３３内のいずれの判定ユニットのニューラルネットワークよりも、隠れ層の層数が多くなるように設定されることで、異物判定部３３と比較して、インサート判定部３２において高い判定精度を得ることが出来る。

【0061】

また、装着部領域画像は、その画像領域の大部分がインサート部品で占められる。インサート部品は金型の型開状態のときに金型に装着され、型閉前に撮像器４０により撮像される。金型の加工面にガス焼けが生じるのは型閉後であるから、型閉前に撮像器４０に撮像されるときのインサート部品の表面は、ガス焼けの影響を受けない。つまり装着領域画像は基本的にガス焼けの影響を受けにくい領域に絞られているので、異物判定のときのように、ガス焼けによる誤判定の可能性が低い。このように、装着良否判定では、異物判定部３３と比較して判定精度を高くしても、ガス焼けによる誤判定は生じ難い。

【0062】

例えば図１０に例示されるように、第一ピン判定ユニット３２Ａの入力層に、第一ピン画像が入力される。この図の例では第一ピン５６に対して第一インサートネジ６１が浮いた状態の画像が入力される。この入力を受けて、第一ピン判定ユニット３２Ａの出力層では、インサート部品の装着要否が出力される。具体的には、インサート判定用ニューラルネットワークにて各クラスの確信度が求められ、装着不良の一態様である浮きの確信度が最も高くなるような出力が得られる。第一ピン判定ユニット３２Ａからは、最終的な判定結果として、確信度が最高値である「浮き」を出力する。

【0063】

＜異物判定部＞
図２を参照して、画像抽出部３１によって抽出された加工面残余画像７５は、照度別に分割された状態（図８の例ではＡ領域７５Ａ～７５Ｅの５画像）で、インサート判定部３２に送信される。

【0064】

図１１に異物判定部３３の機能ブロックが例示される。異物判定部３３は、画像抽出部３１から送信された加工面残余画像７５の分割領域７５Ａ～７５Ｅ別に、判定ユニットを備える。例えば図１１の例では、Ａ領域判定ユニット３３Ａ、Ｂ領域判定ユニット３３Ｂ、Ｃ領域判定ユニット３３Ｃ、Ｄ領域判定ユニット３３Ｄ、Ｅ領域判定ユニット３３Ｅが異物判定部３３に設けられる。

【0065】

これらの判定ユニットは、それぞれ独立のニューラルネットワークである、異物判定用ニューラルネットワークを備える。例えばこれらのニューラルネットワークは、インサート判定部３２の判定ユニットと同様に、畳み込みニューラルネットワーク（ＣＮＮ、Convolutional Neural Network）から構成される。これらの異物判定用ニューラルネットワークの入力層には加工面残余画像が入力され、異物の有無が出力層から出力される。

【0066】

異物判定部３３の各判定ユニットのニューラルネットワークには、予め教師データによる学習が行われる。教師データは、入力データとしてそれぞれの分割領域画像を含み、出力データとして当該画像に対応する異物有無のクラスを含む。例えばいずれの判定ユニット３３Ａ～３３Ｅに対しても、出力層として「異物有り」「異物無し」の２種類のクラスが設けられる。教師データにおける分割領域画像とこれに対応するクラスの付与は、例えば金型監視システムの管理者により行われる。

【0067】

異物判定部３３に設けられた各判定ユニット３３Ａ～３３Ｅのニューラルネットワークの入力層のノード数は、画像抽出部３１からそれぞれ送信される分割領域画像の画素数と同数であってよい。例えば図１２に例示されるＣ領域判定ユニット３３Ｃのニューラルネットワークの入力層のノード数は、加工面残余画像７５のＣ領域７５Ｃの画素数と同数であってよい。また各判定ユニットのニューラルネットワークの出力層のノード数は、「異物有り」及び「異物無し」の２つであってよい。

【0068】

さらに異物判定部３３の各判定ユニット３３Ａ～３３Ｅのニューラルネットワークの隠れ層（中間層）の層数は、インサート判定部３２におけるニューラルネットワークの隠れ層の層数よりも少なくなるように構成される。例えば異物判定部３３内の各判定ユニット３３Ａ～３３Ｅのニューラルネットワークのいずれも、インサート判定部３２内のいずれの判定ユニット３２Ａ～３２Ｃのニューラルネットワークよりも、隠れ層の層数が少なくなるように設定される。

【0069】

例えば図１２には、Ｃ領域判定ユニット３３Ｃのニューラルネットワークが例示される。Ｃ領域判定ユニット３３Ｃの隠れ層の層数ｎ＿ＳＦＣ＿Ｃは、例えばインサート判定部３２の第一ピン判定ユニット３２Ａの隠れ層の層数ｎ＿ＩＳＴ＿ＰＩＮ１（図１０参照）をはじめ、第二ピン判定ユニット３２Ｂ及びキャップ受判定ユニット３２Ｃのいずれの隠れ層の層数よりも少なくなるように、ニューラルネットワークが構築される。

【0070】

異物判定部３３内の各判定ユニット３３Ａ～３３Ｅのニューラルネットワークのいずれもが、インサート判定部３２内のいずれの判定ユニット３２Ａ～３２Ｃのニューラルネットワークよりも、隠れ層の層数が少なくなるように設定されることで、インサート判定部３２と比較して、異物判定部３３の判定精度は粗くなる。異物判定部３３の判定精度を粗くする、言い換えると加工面上の軽微な変化に対して鈍くすることで、加工面上に生じた僅かなガス焼けが無視され、これを異物と誤検知することが抑制される。

【0071】

また、異物判定部３３内の各判定ユニット３３Ａ～３３Ｅのニューラルネットワークのいずれもが、インサート判定部３２内のいずれの判定ユニット３２Ａ～３２Ｃのニューラルネットワークよりも、隠れ層のノード数が少なくなるように設定されてよい。このような手法によっても、異物判定部３３内の各判定ユニット３３Ａ～３３Ｅのニューラルネットワークのいずれも、インサート判定部３２内のいずれの判定ユニット３２Ａ～３２Ｃよりも、判定精度を下げることが可能となる。

【0072】

なお、異物判定部３３の各判定ユニット３３Ａ～３３Ｅは、インサート判定部３２の各判定ユニット３２Ａ～３２Ｃと比較して、学習用の教師データの更新期間が短くてもよい。またこれに応じて、異物判定部３３の各判定ユニット３３Ａ～３３Ｅは、インサート判定部３２の各判定ユニット３２Ａ～３２Ｃと比較して、学習の更新期間が短くなる。このとき、更新される教師データとして、直近の所定期間における加工面画像５０が用いられてよい。

【0073】

直近の所定期間（例えば、再学習時点から１週間前までの期間）における加工面画像５０が用いられた教師データにより、異物判定用ニューラルネットワークの再学習を行うことで、特に加工面におけるガス焼けの変化が大きく表れる高照度領域における誤判定を抑制可能となる。

【0074】

＜金型監視フロー＞
図１３には、本実施形態に係る金型監視システムにおける金型監視フローが例示される。このフローは、例えば作業者が金型へのインサート部品の装着を完了し、型閉工程に進むために型締めボタンを押したときに開始される。型締めボタンの押下げに伴い、撮像器４０が金型の加工面を撮像する（Ｓ１０）。これにより得られた加工面画像５０（図４参照）は画像抽出部３１（図２参照）に送られる。

【0075】

画像抽出部３１は、加工面画像５０を、装着部領域画像と加工面残余画像７５とに切り分ける（Ｓ１２）。このとき、加工面画像は、装着部別に装着部領域画像を加工面画像５０から切り取る。例えば図７を参照して、画像抽出部３１は、装着部領域画像として、第一ピン画像７１、第二ピン画像７２、キャップ受け画像７３の３種類の装着部領域画像を加工面画像５０から切り取る。切り取られた装着部領域画像は、インサート判定部３２に送られる。

【0076】

また画像抽出部３１は、加工面残余画像７５を、照度別に複数領域に分割する（Ｓ１４）。分割された画像は、異物判定部３３に送られる。

【0077】

インサート判定部３２は、各判定ユニット３２Ａ～３２Ｃの判定結果を受けて、少なくともいずれか一つの判定ユニットが、装着不良との判定結果を最終値として、つまり最も確信度の高いクラスとして出力しているか否かを判定する（Ｓ１６）。つまりインサート判定部３２は、図９を参照して、「正常」以外の結果を出力している判定ユニット３２Ａ～３２Ｃがあるか否かを確認する。

【0078】

インサート判定部３２の少なくともいずれか一つの判定ユニット３２Ａ～３２Ｃが、装着不良との判定結果を最終値として出力している場合には、インサート判定部３２は、装着不良の判定結果が出力された旨の信号（以下適宜、装着不良信号と記載する）を成形装置制御部３４に送信する。成形装置制御部３４は、この信号を受けて、成形装置の動作を停止させ、型締め工程への移行をストップさせる（Ｓ１８）。

【0079】

また、装着不良信号はインサート判定部３２から表示制御部１９にも送信される。表示制御部１９は、表示部２０（例えばタッチパネルディスプレイ）に対して警告メッセージを表示させる（Ｓ２４）。例えば表示制御部１９は表示部２０に対して、金型の撮像写真の脇に「ＮＧ」との文字を表示させる。加えて、表示制御部１９は、装着不良との判定結果が出力された画像領域（例えば第一ピン画像７１）を強調表示させる画像処理を、金型の撮像写真に対して行ってもよい。さらに表示制御部１９は、装着不良を解消させた後に型締め工程を再開させるために、確認ボタンを表示部２０に表示させる。

【0080】

一方、ステップＳ１６にて、いずれの判定ユニット３２Ａ～３２Ｃからも装着異常が出力されない、つまり、全ての装着状況が正常であったと判定された場合には、その旨の判定結果を表示制御部１９に送る。またこれと併せて、異物判定部３３による異物有無が行われる（Ｓ２０）。

【0081】

異物判定部３３は、Ａ領域判定ユニット３３Ａ～Ｅ領域判定ユニット３３Ｅの判定結果、つまり最も確信度の高いクラスを確認する。Ａ領域判定ユニット３３Ａ～Ｅ領域判定ユニット３３Ｅの判定結果が、いずれも異物無しである場合には、異物判定部３３はその旨の判定結果を表示制御部１９に送る。

【0082】

インサート判定部３２において、いずれの判定ユニット３２Ａ～３２Ｃも装着正常との判定結果を受け、また、異物判定部３３において、いずれの判定ユニット３３Ａ～３３Ｅも異物無しとの判定結果を受け、表示制御部１９は、表示部２０に合格メッセージを表示させる（Ｓ２２）。例えば表示制御部１９は表示部２０に対して、金型の撮像写真の脇に「ＯＫ」との文字を表示させる。

【0083】

一方、ステップＳ２０において、Ａ領域判定ユニット３３Ａ～Ｅ領域判定ユニット３３Ｅの少なくともいずれか一つが、異物有りとの判定結果を最終値として出力している場合には、装着不良信号を成形装置制御部３４に送信し、フローはステップＳ１８に移行する。なおその後のステップＳ２４において、表示制御部１９は、異物有りとの判定結果が出力された画像領域を強調表示させる画像処理を金型の撮像写真に対して行ってもよい。

【0084】

表示部２０に警告メッセージが表示されることで、インサート成形の作業者は装着不良と判定されたインサート部品を再度装着し、または、加工面に落下した異物を取り除く。成形装置制御部３４は、作業者から成形工程を再開させる確認ボタンが押されたか否かを判定する（Ｓ２６）。

【0085】

確認ボタンが作業者に押されていない場合には、ステップＳ２６に戻りフローが待機状態となる。一方、確認ボタンが作業者に押された場合には、成形装置制御部３４は一旦停止させていた成形装置を再開させ、成形工程を型締め工程に移行させる（Ｓ２８）。

【0086】

＜金型監視フローの別例＞
図１４には、本実施形態に係る金型監視システムによる金型監視フローの別例が示される。この例では、図１３のステップＳ２０、Ｓ２２が削除され、また、ステップＳ１６の代わりにステップＳ３０が設けられる。

【0087】

このステップでは、装着部領域画像及び加工面残余画像の少なくとも一方に異常を検出したことをもって（Ｓ３０）、成形装置制御部３４が成形装置に停止指令を送信する。このようなフローは、例えば本実施形態に係る金型監視システムによる異常検出が正常に作動しているか否かを確認するための点検時に用いられてよい。例えばこの場合、撮像画像として、意図的に加工面に異物を落下させた画像や、意図的にインサート部品を装着部に装着し忘れた画像が用いられる。このようなフローにおいても、装着良否や異物の有無が判定可能である。

【符号の説明】

【0088】

１０ 金型監視装置、２０ 表示部、３１ 画像抽出部、３２ インサート判定部、３２Ａ 第一ピン判定ユニット、３２Ｂ 第二ピン判定ユニット、３２Ｃ キャップ受判定ユニット、３３ 異物判定部、３３Ａ Ａ領域判定ユニット、３３Ｂ Ｂ領域判定ユニット、３３Ｃ Ｃ領域判定ユニット、３３Ｄ Ｄ領域判定ユニット、３３Ｅ Ｅ領域判定ユニット、３４ 成形装置制御部、４０ 撮像器、４２ 光源、５０ 加工面画像、５１ キャビティ、５２ 円筒突起部、５３ 円柱突起部、５４ 棒状突起部、５５ パーティング面、５６ 第一ピン、５７ 第二ピン、５８ キャップ受け、６１ 第一インサートネジ、６２ 第二インサートネジ、６３ キャップ、７１ 第一ピン画像、７２ 第二ピン画像、７３ キャップ受け画像、７５ 加工面残余画像、７５Ａ～７５Ｅ 加工面残余画像の分割領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】