IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日本製鋼所の特許一覧

特許7384729コンピュータプログラム、機械学習機、情報処理方法及び射出成形機
<>
  • 特許-コンピュータプログラム、機械学習機、情報処理方法及び射出成形機 図1
  • 特許-コンピュータプログラム、機械学習機、情報処理方法及び射出成形機 図2
  • 特許-コンピュータプログラム、機械学習機、情報処理方法及び射出成形機 図3
  • 特許-コンピュータプログラム、機械学習機、情報処理方法及び射出成形機 図4
  • 特許-コンピュータプログラム、機械学習機、情報処理方法及び射出成形機 図5
  • 特許-コンピュータプログラム、機械学習機、情報処理方法及び射出成形機 図6
  • 特許-コンピュータプログラム、機械学習機、情報処理方法及び射出成形機 図7
  • 特許-コンピュータプログラム、機械学習機、情報処理方法及び射出成形機 図8
  • 特許-コンピュータプログラム、機械学習機、情報処理方法及び射出成形機 図9
  • 特許-コンピュータプログラム、機械学習機、情報処理方法及び射出成形機 図10
  • 特許-コンピュータプログラム、機械学習機、情報処理方法及び射出成形機 図11
  • 特許-コンピュータプログラム、機械学習機、情報処理方法及び射出成形機 図12
  • 特許-コンピュータプログラム、機械学習機、情報処理方法及び射出成形機 図13
  • 特許-コンピュータプログラム、機械学習機、情報処理方法及び射出成形機 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-13
(45)【発行日】2023-11-21
(54)【発明の名称】コンピュータプログラム、機械学習機、情報処理方法及び射出成形機
(51)【国際特許分類】
   B29C 45/76 20060101AFI20231114BHJP
【FI】
B29C45/76
【請求項の数】 8
(21)【出願番号】P 2020059005
(22)【出願日】2020-03-27
(65)【公開番号】P2021154657
(43)【公開日】2021-10-07
【審査請求日】2022-10-03
(73)【特許権者】
【識別番号】000004215
【氏名又は名称】株式会社日本製鋼所
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】福本 健二
(72)【発明者】
【氏名】宮木 毅
(72)【発明者】
【氏名】加古 峰稔
(72)【発明者】
【氏名】樫内 弘幸
(72)【発明者】
【氏名】矢吹 康弘
(72)【発明者】
【氏名】菊川 雅之
【審査官】北澤 健一
(56)【参考文献】
【文献】特開2019-012492(JP,A)
【文献】特開2008-114403(JP,A)
【文献】特開2003-181899(JP,A)
【文献】特開2020-044836(JP,A)
【文献】特開2006-281662(JP,A)
【文献】特開2020-104395(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B29C 45/00 -45/84
B22D 15/00 -17/32
G06F 3/01
G06F 3/048- 3/04895
(57)【特許請求の範囲】
【請求項1】
コンピュータに、射出成形機を操作するための複数の設定表示画面から選択された設定表示画面を表示装置に表示させるためのコンピュータプログラムであって、
金型を示す金型情報又は金型情報と紐付けされて記憶される成形条件情報と、オペレータの識別子、オペレータの属性、成形品を示す成形品情報、射出成形機の状態を示す成形機状態情報の少なくとも一つと、オペレータの操作による設定表示画面の遷移履歴とに基づいて次に表示する設定表示画面を学習し、
金型を示す金型情報又は金型情報と紐付けされて記憶される成形条件情報と、オペレータの識別子、オペレータの属性、成形品を示す成形品情報、射出成形機の状態を示す成形機状態情報の少なくとも一つと、オペレータの操作による設定表示画面の遷移履歴とを取得し、
取得した各情報及びオペレータの操作による設定表示画面の遷移履歴とに基づいて次に表示する設定表示画面を決定し、
オペレータによる操作により、現在表示されている設定表示画面から次に表示することが決定された設定表示画面に変更する
処理を前記コンピュータに実行させるためのコンピュータプログラム。
【請求項2】
オペレータによる画面のアイコン操作若しくはキータッチ操作、又は画面のスワイプ操作若しくはフリック操作により、現在表示されている設定表示画面から前記次に表示することが決定された設定表示画面に変更する
請求項1に記載のコンピュータプログラム。
【請求項3】
設定表示画面の遷移履歴において、表示時間が所定時間未満の設定表示画面又は表示されたものの設定入力されなかった設定表示画面を表示必要性が低い設定画面であるとして学習する
処理を前記コンピュータに実行させるための請求項1又は請求項2に記載のコンピュータプログラム。
【請求項4】
コンピュータに、射出成形機を操作するための複数の設定表示画面から選択された設定表示画面を表示装置に表示させるためのコンピュータプログラムであって、
金型を示す金型情報又は金型情報と紐付けされて記憶される成形条件情報と、オペレータの識別子、オペレータの属性、成形品を示す成形品情報、射出成形機の状態を示す成形機状態情報の少なくとも一つと、オペレータの操作による設定表示画面の遷移履歴とを取得し、
取得した遷移履歴に基づいて報酬を算出し、
取得した金型を示す金型情報又は金型情報と紐付けされて記憶される成形条件情報と、オペレータの識別子、オペレータの属性、成形品を示す成形品情報、射出成形機の状態を示す成形機状態情報の少なくとも一つと、オペレータの操作による設定表示画面の遷移履歴とを含む状態量がニューラルネットワークに入力された場合、該ニューラルネットワークから出力される次に表示する設定表示画面の価値と前記報酬に基づく価値との差分が小さくなるように前記ニューラルネットワークを強化学習させ、
取得した情報に基づく前記状態量を、前記ニューラルネットワークに入力することによって出力された価値に基づいて次に表示する設定表示画面を決定し、
オペレータによる操作により、現在表示されている設定表示画面から次に表示することが決定された設定表示画面に変更する
処理を前記コンピュータに実行させるためのコンピュータプログラム。
【請求項5】
複数の設定表示画面を切り換えて表示するための階層構造及びオペレータの前記階層構造に基づく設定表示画面の操作に基づいて、次に表示する設定表示画面を決定する第1方法と、オペレータの操作による設定表示画面の遷移履歴に基づいて、次に表示する設定表示画面を決定する第2方法との選択を受け付け、
第1方法を受け付けた場合、前記階層構造及びオペレータの操作に基づいて、次に表示する設定表示画面を決定し、
第2方法を受け付けた場合、オペレータの操作による設定表示画面の遷移履歴に基づいて、次に表示する設定表示画面を決定する
処理を前記コンピュータに実行させるための請求項1~請求項4のいずれか1項に記載のコンピュータプログラム。
【請求項6】
金型を示す金型情報又は金型情報と紐付けされて記憶される成形条件情報と、オペレータの識別子、オペレータの属性、成形品を示す成形品情報、射出成形機の状態を示す成形機状態情報の少なくとも一つと、射出成形機を操作するためのオペレータの操作による設定表示画面の遷移履歴とを取得する取得部と、
取得した、金型を示す金型情報又は金型情報と紐付けされて記憶される成形条件情報と、オペレータの識別子、オペレータの属性、成形品を示す成形品情報、射出成形機の状態を示す成形機状態情報の少なくとも一つと、複数の設定表示画面の遷移履歴とに基づいて、次に表示する設定表示画面を学習する学習部と
を備える機械学習機。
【請求項7】
射出成形機を操作するための複数の設定表示画面から選択された設定表示画面を表示装置に表示する情報処理方法であって、
金型を示す金型情報又は金型情報と紐付けされて記憶される成形条件情報と、オペレータの識別子、オペレータの属性、成形品を示す成形品情報、射出成形機の状態を示す成形機状態情報の少なくとも一つと、オペレータの操作による設定表示画面の遷移履歴とに基づいて次に表示する設定表示画面を学習し、
金型を示す金型情報又は金型情報と紐付けされて記憶される成形条件情報と、オペレータの識別子、オペレータの属性、成形品を示す成形品情報、射出成形機の状態を示す成形機状態情報の少なくとも一つと、オペレータの操作による設定表示画面の遷移履歴とを取得し、
取得した各情報及びオペレータの操作による設定表示画面の遷移履歴とに基づいて次に表示する設定表示画面を決定し、
オペレータによる操作により、現在表示されている設定表示画面から次に表示することが決定された設定表示画面に変更する
情報処理方法。
【請求項8】
複数の設定表示画面から選択された設定表示画面を表示装置に表示する射出成形機であって、
金型を示す金型情報又は金型情報と紐付けされて記憶される成形条件情報と、オペレータの識別子、オペレータの属性、成形品を示す成形品情報、射出成形機の状態を示す成形機状態情報の少なくとも一つと、射出成形機を操作するためのオペレータの操作による設定表示画面の遷移履歴を取得する取得部と、
取得した、金型を示す金型情報又は金型情報と紐付けされて記憶される成形条件情報と、オペレータの識別子、オペレータの属性、成形品を示す成形品情報、射出成形機の状態を示す成形機状態情報の少なくとも一つと、複数の設定表示画面の遷移履歴に基づいて、次に表示する設定表示画面を学習する学習部と
制御部と
を備え
前記制御部は、
複数の設定表示画面を切り換えて表示するための階層構造及びオペレータの前記階層構造に基づく設定表示画面の操作に基づいて、次に表示する設定表示画面を決定する第1方法と、金型を示す金型情報又は金型情報と紐付けされて記憶される成形条件情報と、オペレータの識別子、オペレータの属性、成形品を示す成形品情報、射出成形機の状態を示す成形機状態情報の少なくとも一つと、射出成形機を操作するためのオペレータの操作による設定表示画面の遷移履歴とに基づいて、次に表示する設定表示画面又はその候補を決定する第2方法との選択を受け付け、
第1方法を受け付けた場合、前記階層構造及びオペレータの操作に基づいて、次に表示する設定表示画面を決定して前記表示装置に表示し、
第2方法を受け付けた場合、オペレータの操作による設定表示画面の遷移履歴に基づいて、次に表示する設定表示画面又はその候補を決定して前記表示装置に表示する
射出成形機。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータプログラム、機械学習機、情報処理方法及び成形機に関する。
【背景技術】
【0002】
射出成形機の表示画面には、操作設定値表示画面、機械動作監視情報表示画面、生産監視情報表示画面、警告表示画面等の多数の画面が存在する。通常、これらの画面はメニュー画面をトップ画面にして階層化されている。オペレータは、所望の画面にたどりつくために、少なくとも階層数だけ画面を切り替える必要があり、操作性が悪いという問題がある。
【0003】
特許文献1には、AI技術を用いて、オペレータが操作したアイコン等の使用頻度に応じて、操作画面遷移用アイコンの配置順序を変更する技術が開示されている。
【0004】
特許文献2には、オペレータによって成形条件の設定項目が複数回変更された場合、当該設定項目を強調表示する技術が開示されている。
【0005】
特許文献3には、射出成形機の状態に応じて必要な画面を即座に読み出して表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2017-138881号公報
【文献】特開2010-52289号公報
【文献】特開平11-254497号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本開示の目的は、オペレータの操作による成形機の設定表示画面の遷移履歴を学習することによって、オペレータによる使い勝手の良い順序で画面が遷移するよう、次に表示すべき設定表示画面を決定することができるコンピュータプログラム、機械学習機、表示方法及び成形機を提供する。
【課題を解決するための手段】
【0008】
本開示に係るコンピュータプログラムは、コンピュータに、成形機を操作するための複数の設定表示画面から選択された設定表示画面を表示装置に表示させるためのコンピュータプログラムであって、オペレータの操作による設定表示画面の遷移履歴に基づいて、次に表示する設定表示画面を決定する処理を前記コンピュータに実行させる。
【0009】
本開示に係る機械学習機は、成形機を操作するためのオペレータの操作による設定表示画面の遷移履歴を取得する取得部と、取得した複数の設定表示画面の遷移履歴に基づいて、次に表示する設定表示画面を学習する学習部とを備える。
【0010】
本開示に係る情報処理方法は、成形機を操作するための複数の設定表示画面から選択された設定表示画面を表示装置に表示する情報処理方法であって、オペレータの操作による設定表示画面の遷移履歴に基づいて、次に表示する設定表示画面を決定し、決定した設定表示画面を前記表示装置に表示する。
【0011】
本開示に係る成形機は、複数の設定表示画面から選択された設定表示画面を表示装置に表示する成形機であって、成形機を操作するためのオペレータの操作による設定表示画面の遷移履歴を取得する取得部と、取得した複数の設定表示画面の遷移履歴に基づいて、次に表示する設定表示画面を学習する学習部とを備える。
【発明の効果】
【0012】
上記によれば、オペレータの操作による成形機の設定表示画面の遷移履歴を学習することによって、オペレータによる使い勝手の良い順序で画面が遷移するよう、次に表示すべき設定表示画面を決定することができる。
【図面の簡単な説明】
【0013】
図1】実施形態1に係る射出成形機の構成例を説明する模式図である。
図2】実施形態1に係る制御装置のハードウェア構成を示すブロック図である。
図3】実施形態1に係る機械学習機の構成例を示すブロック図である。
図4】実施形態1に係る学習モデルの構成例を示すブロック図である。
図5】実施形態1に係る強化学習の処理手順を示すフローチャートである。
図6】実施形態1に係る画面表示の処理手順を示すフローチャートである。
図7】実施形態1に係る画面表示方法を示す模式図である。
図8】AI画面遷移処理を示すフローチャートである。
図9】設定表示画面の遷移履歴の一例を示す模式図である。
図10】設定表示画面の遷移履歴の一例を示す模式図である。
図11】AI画面遷移用操作部の第1例を示す模式図である。
図12】AI画面遷移用操作部の第2例を示す模式図である。
図13】AI画面遷移用操作部の第3例を示す模式図である。
図14】射出成形システムの構成例を示す模式図である。
【発明を実施するための形態】
【0014】
本開示の実施形態に係るコンピュータプログラム、機械学習機、表示方法及び成形機を以下に図面を参照しつつ説明する。なお、本開示はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
【0015】
(実施形態1)
図1は実施形態1に係る射出成形機100の構成例を示す部分断面正面図である。本実施形態1に係る射出成形機100は、射出装置1と、当該射出装置1の前方に配された型締装置2と、制御装置3と、表示装置4と、オペレータ情報読取装置5とを備える。
【0016】
射出装置1は、加熱シリンダと、当該加熱シリンダ内で回転方向と軸方向とに駆動可能に設けられているスクリュと、当該スクリュを回転方向に駆動する回転モータと、スクリュを軸方向に駆動するモータ等から構成されている。
【0017】
型締装置2は、金型を開閉させ、射出装置1から射出された溶融樹脂が金型に充填される際、金型が開かないように金型を締め付けるトグル機構と、当該トグル機構を駆動するモータとを備える。なお射出成形機100の構成は上記に限定されない。また本実施形態は、成形機の一種である射出成形機100を例に記載するが、本発明の成形機は射出成形機に限定されるものではなく、プレス成形機や積層成形機などの他の成形機を除外するものではない。
【0018】
図2は、実施形態1に係る制御装置3のハードウェア構成を示すブロック図である。
制御装置3は、コンピュータであり、制御部3a、主記憶部3b、入出力I/F3c、及び補助記憶部3dを備える。
【0019】
制御部3aは、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)、GPGPU(General-purpose computing on graphics processing units)、TPU(Tensor Processing Unit)
等の演算処理装置を用いて構成されている。
【0020】
主記憶部3bは、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の一時記憶領域であり、制御部3aが演算処理を実行するために必要なデータを一時的に記憶する。
【0021】
図1及び図3に示されるように、入出力I/F3cは、射出装置1、表示装置4、オペレータ情報読取装置5等が接続されるインタフェースである。制御部3aは、入出力I/F3cを介して、射出装置1から当該射出装置1の状態を示す状態情報を取得する。状態情報は、例えば射出装置1の異常の有無等を示す情報である。本発明において入出力I/F3cは、設定表示画面の遷移履歴を取得する取得部に相当する。
【0022】
また、制御部3aは、入出力I/F3cを介して、画面情報を表示装置4へ出力することによって、表示装置4に、当該画面情報に係る画面を表示させる。表示装置4は、図1に示すように、タッチパネル41と、ハードウェアキー42とを備える。タッチパネル41には、例えば、設定表示画面41aと、メニュー画面41bとが表示される。設定表示画面41aは、例えば設定表示画面41aを変更するためのタブ41cを有する。オペレータは、タブ41cをタッチ操作することによっても、設定表示画面41aを切り替えることができる。メニュー画面41bは、階層画面遷移用操作部41dと、AI画面遷移用操作部41eとを含む。オペレータは、階層画面遷移用操作部41dを操作することによって、階層構造をなす設定表示画面41aを切り換えることができる。つまりオペレータは、階層画面遷移用操作部41dを操作することによって、上位階層の設定表示画面41aを下位階層の設定表示画面41aに切り替えたり、下位階層の設定表示画面41aから上位階層の設定表示画面41aに切り換えたり、トップ階層の設定表示画面41aに切り替えたりすることができる。なおタッチパネル41の大きさによっては設定表示画面41aを上下に2画面配置することができる。またメニュー画面41bは常時表示されないようにしてもよい。
【0023】
更に、制御部3aは、入出力I/F3cを介して、オペレータ情報読取装置5が読み取った情報を取得する。オペレータ情報読取装置5は、例えば、オペレータIDが記録されたICカードを読み取るカードリーダ、オペレータIDを入力するキーボード、タッチパネル41等であり、制御部3aは、オペレータ情報読取装置5によって、オペレータIDを取得する。なお、オペレータ情報読取装置5は、カードリーダ、キーボード等に限定されるものではなく、顔認証、指紋認証、静脈認証等、オペレータを識別可能な情報を取得できる装置であればよい。またオペレータ情報読取装置5は、本発明には必須のものではなく、単にオペレータが表示装置4の前の操作位置にいることを検知するだけのものでもよい。
【0024】
補助記憶部3dは、ハードディスク、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリ等の記憶装置である。補助記憶部3dは、制御部3aが実行するコンピュータプログラムP、制御部3aの処理に必要な各種のデータを記憶する。また、補助記憶部3dは、学習モデル6、標準階層構造7、オペレータDB8を記憶する。
【0025】
学習モデル6は、オペレータID、オペレータの属性、成形品を示す成形品情報、金型を示す金型情報、又は成形機の状態を示す成形機状態情報と、オペレータの操作による設定表示画面41aの遷移履歴に応じて、次に表示すべき設定表示画面41aを学習したモデルである。詳細は後述する。
【0026】
標準階層構造7は、射出成形機100を操作等するために必要な複数の設定表示画面41aを階層的に関連付ける情報である。設定表示画面41aは、例えば、射出成形機100に設定値を入力するための画面、射出成形機100の動作を監視するための画面、生産管理を行うための画面、異常通知に関する画面等があり、機能又は用途毎に階層化されている(図7参照)。
【0027】
オペレータDB8は、オペレータID、オペレータの属性、オペレータ名等を関連付けて記憶するデータベースである。オペレータの属性は、各オペレータに割り当てられた権限レベル、担当工程、保有資格、熟練度等を示す情報と、顔認証、指紋認証、静脈認証等、オペレータを識別可能な情報が含まれる。
【0028】
なお、補助記憶部3dは制御装置3に接続された外部記憶装置であってもよい。コンピュータプログラムPは、制御装置3の製造段階において補助記憶部3dに書き込まれてもよいし、遠隔のサーバ装置が配信するものを制御装置3が通信にて取得して補助記憶部3dに記憶させてもよい。コンピュータプログラムPは、磁気ディスク、光ディスク、半導体メモリ等の記録媒体30に読み出し可能に記録された態様であってもよい。
また、本実施形態1においては、制御装置3が学習モデル6の学習処理を行う例を説明するが、実施形態2で説明するように、学習処理は、制御装置3以外の装置が行ってもよい。この場合、学習された学習モデル6に係るデータは、コンピュータプログラムPと同様に、ネットワークを介した配信の態様で提供されてもよいし、記録媒体30に記録された態様で提供されてもよい。
【0029】
このように構成された本実施形態1に係る制御装置3は、補助記憶部3dに記憶されたコンピュータプログラムPを制御部3aが読み出して実行することにより、入出力部31、成形機制御処理部32、機械学習機33、画像表示処理部34等がソフトウェア的な機能部として実現される。
【0030】
入出力部31は、射出成形機100と通信を行い、成形機の状態を示す成形機状態情報を取得する。また、入出力部31は、オペレータ情報読取装置5と通信を行い、オペレータIDを取得する。なお、オペレータIDをキーにしてオペレータDB8を参照することによって、オペレータの属性が得られる。更に、入出力部31は、表示装置4と通信を行い、成形品を示す成形品情報、金型を示す金型情報、オペレータの操作による設定表示画面41aの切り替え操作情報を取得する。経時的にオペレータによる設定表示画面41aの切り替え操作情報を取得することによって、設定表示画面41aの遷移履歴が得られる。
【0031】
成形機制御処理部32は、射出成形機100の動作を制御する。
【0032】
機械学習機33は、オペレータの属性、これまでの設定表示画面41aの遷移履歴より、次に表示すべき設定表示画面41aを学習する機能部である。機械学習機33は、取得した複数の設定表示画面の遷移履歴に基づいて、次に表示する設定表示画面を学習する学習部の機能を有する。
【0033】
画像表示処理部34は、表示装置4に設定表示画面41a及びメニュー画面41bを表示し、オペレータの操作に従って設定表示画面41aを切り替える処理を実行する。
【0034】
図3は、実施形態1に係る機械学習機33の構成例を示すブロック図である。図4は、実施形態1に係る学習モデル6の構成例を示すブロック図である。機械学習機33は、例えば、強化学習により、設定表示画面41aの表示順序を学習するものであり、観測部33aと、学習モデル6と、設定表示画面選択部33bと、報酬算出部33cと、更新処理部33dとを備える。
【0035】
観測部33aは、現在の状態を示す状態量を観測する。状態量は、例えば、オペレータID、オペレータの属性、成形品を示す成形品情報、金型を示す金型情報或いは金型情報と紐付けされて記憶される成形条件情報、又は成形機の状態を示す成形機状態情報と、オペレータの操作による設定表示画面41aの遷移履歴とを含む。遷移履歴は、例えば、オペレータの操作によって、ある時点から現時点までに表示した設定表示画面41aを示すベクトル量である。例えば、射出成形機100の操作を開始して、画面A、画面B、画面Cを順に操作した場合、遷移履歴は(P1,P2,P3,0,0,…)のように表すことができる。なお「0」はまだ操作されていないことを示す。P1,P2,P3…は、設定表示画面41aを示す識別子である。ベクトルの次元数は特に限定されるものではない。
【0036】
学習モデル6は、例えばDQN(Deep Q Network)である。学習モデル6は、現時点の状態を示す状態量が入力された場合、次に表示装置4に表示すべき設定表示画面41aを評価するための行動価値を出力するモデルである。
学習モデル6は、図4に示すように、状態量が入力される入力層61と、状態量を認識する中間層62と、次に特定の設定表示画面41aを表示すること(行動)の価値を示す行動価値を出力する出力層63とを有する。
入力層61は、オペレータID、オペレータの属性、成形品を示す成形品情報、金型を示す金型情報、成形機の状態を示す成形機状態情報の少なくとも一つと、オペレータの操作による設定表示画面41aの遷移履歴の入力を受け付ける複数のニューロンを有し、入力された情報を中間層62に受け渡す。中間層62は、入力層61に入力された各情報を圧縮して現時点の状態の特徴を抽出する。出力層63は、複数の設定表示画面41aに対応する複数のニューロンを有し、各ニューロンは、各設定表示画面41aに遷移することの行動価値を出力する。なお前記ニューロンを備えたニューラルネットワークについては上記に限定されない。例えば中間層62を2層以上備えてディープラーニングを行うニューラルネットワークを備えたものでもよい。
【0037】
設定表示画面選択部33bは、学習モデル6から出力される行動価値に基づいて、次に表示すべき一又は複数の設定表示画面41aを選択する機能部である。通常、設定表示画面41aは、行動価値が高い順に表示候補の設定表示画面41aを選択する。
【0038】
報酬算出部33cは、オペレータの操作によって切り替えられた設定表示画面41aの遷移履歴等に基づいて報酬を算出し、算出した報酬を更新処理部33dへ出力する。
【0039】
更新処理部33dは、報酬算出部33cから出力された報酬に基づいて、行動前に算出した行動価値と、行動後の評価によって得られるTD誤差により、学習モデル6を機械学習させる。行動価値の更新式は下記式(1)で表される。
【0040】
Q(st,at)←Q(st,at)+α(R+γmaxQ(st+1,at+1)-Q(st,at)…(1)
但し、
st:時間tにおける状態量
at:時間tにおける行動(特定の設定表示画面41aを表示する)
Q(st,at):行動価値
α:学習係数
R:即時報酬
γ:時間割引率
maxQ(st+1,at+1):次ステップの価値最大の行動選択時の行動価値
【0041】
更新処理部33dは、TD誤差、つまり上記式(1)の右辺第2項がゼロに近づくように、誤差逆伝播法、誤差勾配降下法等によって、学習モデル6の重み係数を最適化することにより、学習モデル6を機械学習させる。
【0042】
なお、機械学習の方法としてQ学習を説明したが、sarsa等の他の価値反復法を用いてもよい。また、機械学習の方法として方策勾配法等を用いてもよい。更に、学習モデル6としてDQNを説明したが、状態量と、行動価値とを対応付けたテーブルを用いてもよい。
【0043】
図5は、実施形態1に係る強化学習の処理手順を示すフローチャートである。図5は、バッチ処理によって学習モデル6を機械学習させる方法を示している。バッチ処理によって、ある程度、標準的な順序で設定表示画面41aが表示されるように学習モデル6を事前学習させることができる。
【0044】
まず、制御部3aは、複数エピソードの状態量を収集する(ステップS11)。ここでは、階層画面遷移用操作部41dを用いて行われた設定表示画面41aの遷移履歴を収集すればよい。
【0045】
制御部3aは、収集した設定表示画面41aの遷移履歴の報酬を算出する(ステップS12)。報酬の算出方法を説明する。
制御部3aは、ある状態またはある一の設定表示画面41aから別の設定表示画面41aへ遷移した場合、その回数に応じて正の報酬を与える。または設定表示画面41aから別の設定表示画面41aへ遷移した場合の報酬は、2画面間だけで紐付けして行われるのではなく、3画面以上の設定表示画面41aの表示順序をグループ化し、オペレータにより表示される回数の多いグループに対して正の報酬を与えてもよい。
制御部3aは、ある状態において一の設定表示画面41aへ遷移した場合、当該設定表示画面41aの表示時間が所定時間未満であるとき、この設定表示画面41aは表示不要な可能性のある画面または表示不要な画面であるとして、かかる画面遷移に負の報酬を与える。所定時間は、例えば3秒以内である。逆に設定表示画面41aの表示時間が所定時間以上であった場合、かかる画面遷移に正の報酬を当ててもよい。または表示されたものの設定入力されなかった設定表示画面についても表示不要な可能性のある画面または表示不要な画面であるとして負の報酬を与えるようにしてもよい。ただし前記の設定入力されなかった設定表示画面には、表示のみを行う画面は含まれない。
また、制御部3aは、ある状態において一の設定表示画面41aへ遷移した場合、階層画面遷移用操作部41dを用いた操作に切り替えられた場合、この設定表示画面41aは表示不要な可能性のある画面であったものとして、かかる画面遷移に負の報酬を与える。
更に、射出成形機100の一連の操作、例えば段取り操作が終了するまでの画面操作時間、遷移画面数に応じて、報酬を算出してもよい。例えば、遷移画面数が少ない程、余分な画面遷移が無かったものとして正の報酬を与えるとよい。また例えば段取り操作などの設定入力が完了するまでの時間が短かった場合の画面遷移に正の報酬を与えるようにしてもよい。
【0046】
また、制御部3aは、タッチパネル41又はハードウェアキー42にてマニュアルで報酬を受け付ける(ステップS13)。例えば、制御部3aは、射出装置1が所定状態である状態量にある場合、所定の設定表示画面41aへの画面遷移に大きな報酬を付与する。所定状態は、例えば、射出成形機100の立ち上げ時の状態、連続成形終了時の状態、異常発生時の状態等である。このように報酬を付与することによって、射出装置1が、ある所定状態になった場合、上記所定の設定表示画面41aが表示されるようになる。
【0047】
また、例えば、制御部3aは、オペレータの操作によって表示された一連の複数の設定操作画面の縮小画像を並べて表示装置4に表示し、その設定操作画面の並べ替え、削除等をタッチパネル41で受け付け、当該受付結果を報酬として受け付けてもよい。
例えば、特定の設定表示画面41aが削除された場合、その一つ前の設定表示画面41aが表示されていた状態で、当該特定の設定表示画面41aへの画面遷移に負の報酬を与える。
例えば、特定の設定表示画面41aの次に表示された第1の設定表示画面41aと、その次に表示された第2の設定表示画面41aとの順序の入れ換えを受け付けた場合、当該特定の設定表示画面41aから第1の設定表示画面41aへの画面遷移に負の報酬を設定し、当該特定の設定表示画面41aから第2の設定表示画面41aへの画面遷移に正の報酬を設定する。
【0048】
次いで、制御部3aは、算出又は受け付けた報酬に基づいて、学習モデル6を機械学習させ(ステップS14)、処理を終える。機械学習は、上記の通り、TD誤差がゼロに近づくように学習モデル6の重み係数を最適化することによって行う。
【0049】
図6は、実施形態1に係る画面表示の処理手順を示すフローチャート、図7は、実施形態1に係る画面表示方法を示す模式図である。制御部3aは、階層画面遷移用操作部41dが操作されたか否かを判定する(ステップS31)。階層画面遷移用操作部41dが操作されたと判定した場合(ステップS31:YES)、制御部3aは、補助記憶部3dが記憶する標準階層構造7に基づいて、設定表示画面41aを選択し、選択された設定表示画面41aを表示装置4に表示する(ステップS32)。
【0050】
例えば、図7の上部の階層構造(標準)に示すように、画面A、画面C、画面D、画面B、画面Eを順次表示する場合を説明する。階層構造及びオペレータの操作に基づいて、次に表示する設定表示画面を決定する方法は第1方法であって、まず、オペレータは、設定入力画面遷移アイコンを操作し、設定入力選択画面に遷移する。次にオペレータの操作によって、下位階層の画面Aへ遷移し、更に下位階層の画面Cへ遷移する。次に画面Dを表示するために、一度上位階層の画面Aに戻り、また下位階層の画面Dへ遷移する。次に画面B及び画面Eを表示するために、一度上位階層の設定入力画面に戻り、下位階層の画面Bへ遷移し、更に下位階層の画面Eへ遷移する。
【0051】
階層画面遷移用操作部41dが操作されていないと判定した場合やオペレータが設定表示画面41a内の遷移用操作釦を操作して他の画面に遷移した場合(ステップS31:NO)、又はステップS32の処理を終えた場合、制御部3aは、AI画面遷移用操作部41eが操作されたか否かを判定する(ステップS33)。AI画面遷移用操作部41eが操作されたと判定した場合(ステップS33:YES)、学習モデル6を用いて次に表示すべき設定表示画面41aを選択して表示するAI画面遷移処理を実行する(ステップS34)。オペレータの操作による設定表示画面の遷移履歴に基づいて、次に表示する設定表示画面を決定する方法は第2方法であって、前記第1方法と前記第2方法は、オペレータの選択によりいずれかが受け付け可能となっている。また前記第1方法による設定の途中から第2方法による設定入力に切換えたり、第2方法による設定の途中から第1方法による設定入力に切換えしてもよい。
【0052】
例えば、図7の下部の連続画面(AI)に示すように、学習モデル6の学習が完了していれば、階層構造を上ったり、下ったりする操作は不要であり、制御部3aは、画面A、画面C、画面D、画面B、画面Eに順次遷移させ、表示装置4に表示させることができる。ただしオペレータは、学習モデル6の学習結果により設定表示画面41aが表示されている際も入力作業により別の設定表示画面41a(例えば画面Dの後に画面F)を割り込み表示させることが可能である。そして画面Dの後に画面Fが割り込みされた場合は、学習モデル6に反映がなされる。即ち画面Dの後に画面Fが割り込みされる回数に応じて強化学習がなされ、所定の回数を超えると画面Dの後に画面Fが表示されるようになる。またオペレータが学習モデル6による設定表示画面41aの表示中に異常が発生し、異常を確認する画面Gを開いたとしても、画面Gを開く回数が極めて少ない場合は、当初の学習モデル6による画面表示順序に影響を与えない。
【0053】
AI画面遷移用操作部41eが操作されていないと判定した場合(ステップS33:NO)、又はステップS34の処理を終えた場合、制御部3aは、処理を終了するか否かを判定する(ステップS35)。処理を終了しないと判定した場合(ステップS35:NO)、処理をステップS31へ戻す。処理を終了すると判定した場合(ステップS35:YES)、処理を終える。
【0054】
図8は、AI画面遷移処理を示すフローチャート、図9及び図10は、設定表示画面41aの遷移履歴の一例を示す模式図、図11は、AI画面遷移用操作部41eの第1例を示す模式図である。学習モデル6を用いて、次に表示すべき設定表示画面41aを推定して表示する処理を実行しながら、オペレータが所望する設定表示画面41aの遷移を学習する処理を説明する。
【0055】
制御部3aは、現時点の状態量を取得する(ステップS51)。そして、取得した状態量を学習モデル6に入力することによって、複数の設定表示画面41aの行動価値を算出する(ステップS52)。そして、制御部3aは算出された行動価値に基づいて、設定表示画面41aの候補を決定する(ステップS53)。ここでは、行動価値が最も高い設定表示画面41aに決定する。そして、制御部3aは、図11に示すように、次に表示すべき設定表示画面41a候補を示すアイコン41fと、前回表示した設定表画面候補を示すアイコン41gと、次画面への遷移を指示する進むアイコン41hと、前画面への遷移を指示するための戻るアイコン41iとを表示装置4に表示する(ステップS54)。
【0056】
そして、制御部3aは、オペレータの操作による選択操作を受け付け(ステップS55)、選択された設定表示画面41aへ遷移して表示装置4に表示する(ステップS56)。例えば、図11に示す例では、オペレータによって進むアイコン41hが操作された場合、型開閉設定画面が表示装置4に表示される。
【0057】
次いで、制御部3aは、オペレータの操作結果に基づいて、報酬を算出する(ステップS57)。例えば、進むアイコン41hの操作によって操作された設定表示画面41aの表示時間が所定時間未満である場合、オペレータはその設定表示画面41aを見る必要が無かったと推定されるので負の報酬を設定する。報酬の付与方法は、バッチ処理と同様である。
【0058】
次いで、制御部3aは、ステップS57で算出された報酬によって、学習モデル6を機械学習させ(ステップS58)、処理を終える。
【0059】
上記の処理を繰り返すことによって、オペレータが所望する順序で設定表示画面41aが表示されるようになる。例えば型段取りから成形までの作業時を学習した学習モデル6によれば、図9及び図10に示すように、条件読出画面、温度設定画面、段取画面、材料パージ画面、型開閉設定画面、計量設定画面、射出設定画面、生産個数設定画面等をこの順に遷移させて表示することができる。オペレータは、進むアイコン41hを操作するだけで、上記の順序で設定表示画面41aを遷移させることができる。
【0060】
なお機械学習された学習モデル6により準備され次に表示される候補の画面は、図11に示されるように候補(例えば、アイコン41f、41g)が示されない態様でもよい。具体的には単に「次画面へ」等のアイコンやキーをオペレータがタッチすることにより、次画面への遷移が行われるものでもよい。また現在表示されている設定表示画面41aをオペレータがスワイプまたはフリック等をすることにより、次画面への遷移が行われるものでもよい。
【0061】
これら機械学習の学習モデル6は、オペレータ情報読取装置5によりオペレータを把握して一人ひとりのオペレータごとにカスタマイズされたものを構築してもよい。または複数のオペレータが出力した画面表示順序を全て合算して標準的な学習モデル6を構築してもよい。
【0062】
図12は、AI画面遷移用操作部41eの第2例を示す模式図である。第2例に係るAI画面遷移用操作部41eは、次に表示する設定表示画面41aの候補として、複数の設定表示画面41aを選択可能に構成されている。具体的には、制御部3aは、行動価値が高い順に複数の設定表示画面41aを選択し、選択された複数の設定表示画面41aを示す文字又は画像を含むAI画面遷移用操作部41eを表示する。より具体的には、図12に示すように、AI画面遷移用操作部41eは、選択された複数の設定表示画面41aの名称及びアイコンを含む。
【0063】
オペレータは、所望の設定表示画面41aを示すアイコンを選択することによって、当該設定表示画面41aを表示装置4に表示することができる。なお、制御部3aは、当該設定表示画面41aへ遷移する行動に対して正の報酬を付与して、学習モデル6を強化学習させる。
【0064】
図13は、AI画面遷移用操作部41eの第3例を示す模式図である。第3例に係るAI画面遷移用操作部41eは、第2例と同様、次に表示する設定表示画面41aの候補として、複数の設定表示画面41aの縮小画像を表示し、オペレータが所望する当該設定表示画面41aを選択できるように構成されている。具体的には、制御部3aは、行動価値が高い順に複数の設定表示画面41aを選択し、選択された複数の設定表示画面41aの縮小画像を含むAI画面遷移用操作部41eを表示する。
【0065】
オペレータは、所望の設定表示画面41aを示す縮小画像を選択することによって、当該設定表示画面41aを表示装置4に表示することができる。また、オペレータは、不要な設定表示画面41aの縮小画像に対する所定方向、例えば横方向へのスワイプ又はフリック操作によって、当該設定表示画面41aを表示候補から排除することができる。
制御部3aは、不要な設定表示画面41aを除き、行動価値が高い複数の設定表示画面41aを含むAI画面遷移用操作部41eを再表示する。例えば、図13に示す例では「計量」画面が不要な設定表示画面41aとして除去され、新たに「生産監視」画面が表示される。
なお、制御部3aは、排除された設定表示画面41aへ遷移する行動に対して負の報酬を付与して、学習モデル6を学習させる。また、第2例と同様、選択された設定表示画面41aへ遷移する行動に対して正の報酬を付与して、学習モデル6を学習させる。
【0066】
以上のように構成されたコンピュータプログラムP、機械学習機33、情報処理方法及び射出成形機100によれば、オペレータの操作による成形機の設定表示画面41aの遷移履歴を強化学習することによって、オペレータによる使い勝手の良い順序で次に表示すべき設定表示画面41aを決定することができる。
【0067】
なお、本実施形態1では、強化学習を説明したが、教師あり学習によって学習モデル6を学習させてもよい。例えば、状態情報に、熟練者の操作に基づく設定表示画面41aの遷移方法を示す教師データを付与した訓練データを用意し、当該訓練データに基づいて学習モデル6を学習させる。この場合、学習モデル6に状態情報を入力すると、学習モデル6は複数の設定表示画面41aへ遷移すべき確率を示した情報を出力する。制御部3aは、学習モデル6から出力される情報に基づいて、設定表示画面41aを遷移させる。また、教師有り学習のモデルとして、RNN(Recurrent Neural Network)を用いてもよい。
【0068】
また、本実施形態1では、強化学習を説明したが、教師なし学習によって学習モデル6を学習させてもよい。
更に、モデルフリーの強化学習を説明したが、モデルベースの強化学習によって、画面遷移を学習してもよい。
【0069】
更にまた、実施形態では機械学習によって次に表示すべき設定表示画面41aを学習及び表示する例を説明したが、ルールベースで表示すべき設定表示画面41aを決定してもよい。
例えば、制御部3aは、例えば複数の画面遷移履歴を収集して、画面遷移履歴の度数分布を作成し、最も度数が高い画像遷移履歴を用いて、設定表示画面41aを遷移及び表示させるとよい。
【0070】
更にまた、設定表示画面41aに入力されるべき設定値を学習モデル6に学習させるように構成してもよい。この場合、遷移する設定表示画面41aと、設定値との組みを行動とし、状態量が学習モデル6に入力された場合に当該行動の行動価値が出力されるように構成するとよい。
【0071】
更にまた、成形条件等を所定の順序に沿って入力するケースでは、設定表示画面41a毎に、設定値を入力されるべきか否かを記憶しておき、未入力のまま画面遷移操作が行われた場合、警告を出力するように射出成形機100を構成してもよい。
【0072】
更にまた、設定項目毎に設定値の正常範囲を記憶しておき、正常範囲外の設定値が設定された場合、警告を出力するように射出成形機100を構成してもよい。
【0073】
更にまた、本実施形態1では、成形条件設定等、特定の作業における設定表示画面41aの画面遷移を強化学習する例を説明したが、段取作業、成形条件設定作業、集計作業、温度確認作業、射出側作動確認作業、型締側作動確認作業等、作業の種類毎に画面遷移を強化学習するように構成するとよい。この場合、作業の種類毎に異なる学習モデル6を補助記憶部3dに記憶させるとよい。もちろん、作業の種類を示す変数を、状態量に含め、一つの学習モデル6を用いてもよい。更には2つ以上の作業にまたがる画面遷移を強化学習するものでもよい。
制御部3aは、複数種類の作業を示すアイコンを含むAI画面遷移用操作部41eを表示する。オペレータによって一のアイコンが操作された場合、制御部3aは、選択されたアイコンに対応する学習モデル6を選択し、選択された学習モデル66aを用いて、次に表示すべき設定表示画面41aを決定し、表示するとよい。状態量が作業の種類を示す情報を含む場合、制御部3aは、上記実施形態1と同様の処理で、作業の種類に応じて順序で、設定表示画面41aを表示することができる。
【0074】
ある射出成形機100で学習された学習モデル6は、他の射出成形機100にも転用が可能である。例えば射出成形機メーカーから新規の射出成形機100を出荷する場合は、制御装置3にコンピュータプログラムPと別の射出成形機100で学習済みの学習モデル6を搭載しておくことができる。そして更にオペレータの画面操作により新規の射出成形機100に搭載した学習モデル6を進化させることができる。
【0075】
(実施形態2)
図14は、射出成形システムの構成例を示す模式図である。実施形態2に係る射出成形システムは、設定表示画面41aの遷移処理をサーバである情報処理装置9が実行する点が異なるため、以下では主に上記相違点を説明する。その他の構成及び作用効果は実施形態1と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。
【0076】
実施形態2に係る射出成形システムは、情報処理装置9と、一又は複数の射出成形機100と備える。情報処理装置9及び射出成形機100は、LAN(Local Area Network)、インターネット等のネットワークNを介して通信接続されている。
【0077】
情報処理装置9はコンピュータであり、制御部9a、主記憶部9b、通信部9c、及び補助記憶部9dを備える。通信部9cは、ネットワークNを介して射出成形機100との間でデータを送受信するための通信回路である。制御部9a、主記憶部9b、及び補助記憶部9dのハードウェア構成は、実施形態1で説明した射出成形機100と同様である。補助記憶部9dが記憶するコンピュータプログラムP,学習モデル6、標準階層構造7、オペレータDB8、記録媒体90も、実施形態1の各種プログラム及びモデル等と同様である。
なお、情報処理装置9は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。情報処理装置9は射出成形機100と同じ施設又は工場に設置されたローカルサーバであってもよく、インターネット等を介して射出成形機100に通信接続されたクラウドサーバであってもよい。
【0078】
このように構成された情報処理装置9は、ネットワークNを介して射出成形機100から状態量を取得し、取得した状態量に基づいて、次に表示すべき一又は複数の設定表示画面41aを決定し、決定した一又は複数の設定表示画面41aを示す情報を画像装置へ送信する。射出成形機100は、情報処理装置9から送信された情報を取得し、図1同様にしてAI画面遷移用操作部41eを表示し、オペレータの操作に従って、設定表示画面41aを表示する。
また、情報処理装置9は、一又は複数の射出成形機100から状態量を収集し、収集した状態量に基づいて、学習モデル6を学習する。
【0079】
なお、情報処理装置9は、学習済みの学習モデル6を規定する情報を射出成形機100へ配信するように構成してもよい。射出成形機100は、配信された情報に基づく学習モデル6を記憶し、当該学習モデル6を用いて、設定表示画面41aの遷移処理を実行するとよい。
【0080】
実施形態2に係る情報処理装置9、コンピュータプログラムP及び情報処理方法においても実施形態1同様、オペレータの操作による成形機の設定表示画面41aの遷移履歴を学習することによって、オペレータによる使い勝手の良い順序で次に表示すべき設定表示画面41aを決定することができる。
【0081】
(付記1)
コンピュータに、成形機を操作するための複数の設定表示画面から次に表示すべき設定表示画面を選択するためのニューラルネットワークを生成させるコンピュータプログラムであって、
オペレータの識別子、オペレータの属性、成形品を示す成形品情報、金型を示す金型情報、又は成形機の状態を示す成形機状態情報の少なくとも一つを取得し、
オペレータの操作による設定表示画面の遷移履歴を取得し、
取得した遷移履歴に基づいて報酬を算出し、
取得したオペレータの識別子、オペレータの属性、成形品を示す成形品情報、金型を示す金型情報、又は成形機の状態を示す成形機状態情報の少なくとも一つと、オペレータの操作による設定表示画面の遷移履歴とを含む状態量が前記ニューラルネットワークに入力された場合、該ニューラルネットワークから出力される次に表示する設定表示画面の価値と前記報酬に基づく価値との差分が小さくなるように前記ニューラルネットワークを強化学習させる
処理を前記コンピュータに実行させるためのコンピュータプログラム。
【符号の説明】
【0082】
100 射出成形機
1 射出装置
2 型締装置
3 制御装置
3a 制御部
3b 主記憶部
3c 入出力I/F
3d 補助記憶部
4 表示装置
5 オペレータ情報読取装置
6 学習モデル
7 標準階層構造
8 オペレータDB
31 入出力部
32 成形機制御処理部
33 機械学習機
33a 観測部
33b 設定表示画面選択部
33c 報酬算出部
33d 更新処理部
34 画像表示処理部
41 タッチパネル
41a 設定表示画面
41b メニュー画面
41c タブ
41d 階層画面遷移用操作部
41e AI画面遷移用操作部
42 ハードウェアキー
61 入力層
62 中間層
63 出力層
100 射出成形機
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14