知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-28
(45)【発行日】2022-04-05
(54)【発明の名称】データ識別装置およびデータ識別方法
(51)【国際特許分類】
G06N 3/08 20060101AFI20220329BHJP
G06N 20/00 20190101ALI20220329BHJP
G01N 21/88 20060101ALI20220329BHJP
G01N 21/89 20060101ALI20220329BHJP
【ＦＩ】
G06N3/08 140
G06N20/00 130
G06N20/00 160
G01N21/88 J
G01N21/89 Z
【請求項の数】
4
(21)【出願番号】P 2017244811
(22)【出願日】2017-12-21
(65)【公開番号】P2019113914
(43)【公開日】2019-07-11
【審査請求日】2020-11-06
(73)【特許権者】
【識別番号】000003159
【氏名又は名称】東レ株式会社
(72)【発明者】
【氏名】水田 慎吾
(72)【発明者】
【氏名】岡谷 真治
【審査官】中村 信也
(56)【参考文献】
【文献】特開２０１７－０９７７１８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０１６９３５７（ＵＳ，Ａ１）
【文献】特開平１０－１７１９９３（ＪＰ，Ａ）
【文献】中国特許出願公開第１０７４３７０９４（ＣＮ，Ａ）
【文献】中野 雄介 Yuusuke Nakano，オートエンコーダによるネットワーク異常検知，電子情報通信学会２０１７年総合大会講演論文集 通信２ PROCEEDINGS OF THE 2017 IEICE GENERAL CONFERENCE，一般社団法人電子情報通信学会，2017年03月23日，P.126，ISSN:1349-1369
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－３／１２
Ｇ０６Ｎ ７／０８－９９／００
Ｇ０６Ｎ ５／００－７／０６
Ｇ０１Ｎ ２１／８４－２１／９５８
(57)【特許請求の範囲】
【請求項1】
生産工程において取得されて入力されるデータがデータ群中の特異データであるか否かを識別する、生産工程用データ識別装置であって、生産工程において取得されて入力されたデータから、第１のニューラルネットワークを用いて特徴量を抽出する特徴量抽出手段と、
前記特徴量から、第２のニューラルネットワークを用いて前記入力されたデータと同じサイズの再構成データを生成するデータ再構成手段と、
前記再構成データと前記入力されたデータとの誤差から、誤差逆伝播法により、前記第１のニューラルネットワークのパラメータ、および、前記第２のニューラルネットワークのパラメータを決定するパラメータ決定手段と、
前記再構成データと前記入力されたデータとの誤差の大きさを評価するデータ評価手段と、
前記評価手段により算出した評価値とあらかじめ設定した閾値とを比較して、前記入力されたデータが特異データであるか否かを識別する識別手段と、
前記特徴量抽出手段、前記データ再構成手段および前記パラメータ決定手段を動作させる学習モード、ならびに、前記特徴量抽出手段、前記データ再構成手段、前記データ評価手段および前記識別手段を動作させるデータ識別モード、の２つのモードを独立に、あるいは、同時に動作させる制御手段と、を備え、
前記制御手段が、
前記データ識別モードを連続して動作させつつ、前記学習モードをあらかじめ定めた周期で繰り返し動作させ、
前記学習モードで用いるデータを、その学習モードとその学習モードの直前に動作させた学習モードとの間で連続して動作させたデータ識別モードの過程で得られた、一定期間取得して蓄積されたデータとし、
前記データ識別モードで前記第１のニューラルネットワークおよび前記第２のニューラルネットワークに設定するパラメータを、それぞれそのデータ識別モードの直近に動作させた学習モードにより決定したパラメータとする、ように制御を行う、
生産工程用データ識別装置。
【請求項2】
入力されるデータがデータ群中の特異データであるか否かを識別するデータ識別装置であって、
入力されたデータから、第１のニューラルネットワークを用いて特徴量を抽出する特徴量抽出手段と、
前記特徴量から、第２のニューラルネットワークを用いて前記入力されたデータと同じサイズの再構成データを生成するデータ再構成手段と、
前記再構成データと前記入力されたデータとの誤差から、誤差逆伝播法により、前記第１のニューラルネットワークのパラメータ、および、前記第２のニューラルネットワークのパラメータを決定するパラメータ決定手段と、
前記再構成データと前記入力されたデータとの誤差の大きさを評価するデータ評価手段と、
前記評価手段により算出した評価値とあらかじめ設定した閾値とを比較して、前記入力されたデータが特異データであるか否かを識別する識別手段と、
前記特徴量抽出手段、前記データ再構成手段および前記パラメータ決定手段を動作させる学習モード、ならびに、前記特徴量抽出手段、前記データ再構成手段、前記データ評価手段および前記識別手段を動作させるデータ識別モード、の２つのモードを独立に、あるいは、同時に動作させる制御手段と、を備え、
前記制御手段が、
前記学習モードをあらかじめ定めた周期で繰り返し動作させ、前記データ識別モードを前記学習モードを動作させていない間に連続して動作させ、
前記学習モードで用いるデータを、その学習モードとその学習モードの直前に動作させた学習モードとの間で連続して動作させたデータ識別モードの過程で得られた、一定期間取得して蓄積されたデータとし、
前記データ識別モードで前記第１のニューラルネットワークおよび前記第２のニューラルネットワークに設定するパラメータを、それぞれそのデータ識別モードの直近に動作させた学習モードにより決定したパラメータとする、ように制御を行う、
データ識別装置。
【請求項3】
第１のニューラルネットワークと第２のニューラルネットワークに、生産工程において一定期間取得し蓄積されたデータを学習させることで、現在取得中のデータがデータ群中の特異データであるか否かを識別するデータ識別方法であって、
生産工程において一定期間取得して蓄積されたデータから第１のニューラルネットワークを用いて特徴量１を抽出し、当該特徴量１から第２のニューラルネットワークを用いて前記蓄積されたデータと同じサイズの再構成データを生成し、当該再構成データと前記蓄積されたデータとの誤差から、誤差逆伝播法により、前記第１のニューラルネットワークのパラメータ、および、前記第２のニューラルネットワークのパラメータを決定する工程１と、
前記工程１により決定されたパラメータが設定された前記第１のニューラルネットワークを用いて、生産工程において取得中のデータから特徴量２を抽出し、前記工程１により決定されたパラメータが設定された前記第２のニューラルネットワークを用いて、前記特徴量２から前記取得中のデータと同じサイズの再構成データを生成し、当該再構成データと前記取得中のデータとの誤差の大きさから、前記取得中のデータが特異データであるか否かを識別する工程２と、を有し、
前記工程２を連続して行いつつ、前記工程１をあらかじめ定めた周期で繰り返し行い、
前記工程１で用いられる前記一定期間取得して蓄積されたデータが、その工程１とその工程１の直前に行われた工程１との間で連続して行われた工程２の過程で得られたデータであり、
前記工程２で前記第１のニューラルネットワークおよび前記第２のニューラルネットワークに設定されるパラメータが、それぞれその工程２の直近に行われた工程１により決定されたパラメータである、データ識別方法。
【請求項4】
第１のニューラルネットワークと第２のニューラルネットワークに、一定期間取得し蓄積されたデータを学習させることで、現在取得中のデータがデータ群中の特異データであるか否かを識別するデータ識別方法であって、 一定期間取得して蓄積されたデータから第１のニューラルネットワークを用いて特徴量１を抽出し、当該特徴量１から第２のニューラルネットワークを用いて前記蓄積されたデータと同じサイズの再構成データを生成し、当該再構成データと前記蓄積されたデータとの誤差から、誤差逆伝播法により、前記第１のニューラルネットワークのパラメータ、および、前記第２のニューラルネットワークのパラメータを決定する工程１と、
前記工程１により決定されたパラメータが設定された前記第１のニューラルネットワークを用いて、取得中のデータから特徴量２を抽出し、前記工程１により決定されたパラメータが設定された前記第２のニューラルネットワークを用いて、前記特徴量２から前記取得中のデータと同じサイズの再構成データを生成し、当該再構成データと前記取得中のデータとの誤差の大きさから、前記取得中のデータが特異データであるか否かを識別する工程２と、を有し、
前記工程１をあらかじめ定めた周期で繰り返し行い、前記工程２を前記工程１が行われていない間に連続して行い、
前記工程１で用いられる前記一定期間取得して蓄積されたデータが、その工程１とその工程１の直前に行われた工程１との間で連続して行われた工程２の過程で得られたデータであり、
前記工程２で前記第１のニューラルネットワークおよび前記第２のニューラルネットワークに設定されるパラメータが、それぞれその工程２の直近に行われた工程１により決定されたパラメータである、データ識別方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生産工程から定常的に取得されるデータ、または過去に取得されたデータに対して、そのデータが正常データか異常データを識別する異常検出装置、異常検知方法、および異常検知プログラムに関する。
【背景技術】
【0002】
あるデータ群に含まれるデータについて、正常なデータか否かを識別する機械学習の手法が知られており、大きく教師あり異常検知手法と教師なし異常検知手法の２つに分けられる。教師あり異常検知手法としては特許文献１に記載のような手法が知られている。しかし教師あり異常検知において、十分な識別精度を得るためにはあらかじめ正常なデータと異常なデータを同程度用意する必要がある。
【0003】
しかし、製品の生産設備から得られる製品のほとんどが良品であり不良品の発生率が低い場合、生産設備から得られるデータの大半が、良品から得られる正常データであり、不良品から得られる異常データ少ない場合がある。このような場合、教師あり異常検知手法を用いた場合、異常データが十分に得られないことから、異常データの特徴を十分に捉えることができず、異常データに対する識別精度が低くなってしまうという課題がある。
【0004】
教師なし異常検知技術は学習データとして、正常データを用いる異常検知手法であるため異常データを学習に用いず、正常データと異なる状態として異常データを識別できるという利点がある。教師なし異常検知技術を用いた異常検知手法としては特許文献２に提案されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１４－２６４５５号公報
【文献】特開２０１７－９７７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、上記教師なし異常検知の技術を製品の生産工程等で利用する場合、環境条件の経時変化等で取得されるデータが変化することや、生産装置、周辺機器の更新などで取得されるデータに影響を与えることなどがあり、上記教師なし異常検知技術のみではこの変化に対応することができず、正確な判断を行なえない場合がある。
【0007】
本発明は上記の点を鑑みてなされたもので、環境条件の経時変化するような条件であっても教師なし異常検知手法を用いて正確に異常検知を行うことを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明は、入力されるデータがデータ群中の特異データであるか否かを識別するデータ識別装置であって、
入力されたデータから、第１のニューラルネットワークを用いて特徴量を抽出する特徴量抽出手段と、
前記特徴量から、第２のニューラルネットワークを用いて前記入力されたデータと同じサイズの再構成データを生成するデータ再構成手段と、
前記再構成データと前記入力されたデータとの誤差から、誤差逆伝播法により、前記第１のニューラルネットワークのパラメータ、および、前記第２のニューラルネットワークのパラメータを決定するパラメータ決定手段と、
前記再構成データと前記入力されたデータとの誤差の大きさを評価するデータ評価手段と、
前記評価手段により算出した評価値とあらかじめ設定した閾値とを比較して、前記入力されたデータが特異データであるか否かを識別する識別手段と、
前記特徴量抽出手段、前記データ再構成手段および前記パラメータ決定手段を動作させる学習モード、ならびに、前記特徴量抽出手段、前記データ再構成手段、前記データ評価手段および前記識別手段を動作させるデータ識別モード、の２つのモードを独立に、あるいは、同時に動作させる制御手段と、を備えている。
入力されたデータから、第１のニューラルネットワークを用いて特徴量を抽出する特徴量抽出手段と、
前記特徴量から、第２のニューラルネットワークを用いて前記入力されたデータと同じサイズの再構成データを生成するデータ再構成手段と、
前記再構成データと前記入力されたデータとの誤差から、誤差逆伝播法により、前記第１のニューラルネットワークのパラメータ、および、前記第２のニューラルネットワークのパラメータを決定するパラメータ決定手段と、
前記再構成データと前記入力されたデータとの誤差の大きさを評価するデータ評価手段と、
前記評価手段により算出した評価値とあらかじめ設定した閾値とを比較して、前記入力されたデータが特異データであるか否かを識別する識別手段と、
前記特徴量抽出手段、前記データ再構成手段および前記パラメータ決定手段を動作させる学習モード、ならびに、前記特徴量抽出手段、前記データ再構成手段、前記データ評価手段および前記識別手段を動作させるデータ識別モード、の２つのモードを独立に、あるいは、同時に動作させる制御手段と、を備えている。
【0009】
上記本発明のデータ識別装置は、前記データ群が、連続的に搬送される識別対象に由来するものであり、
前記データ識別装置が、前記識別対象に関するデータを取得するデータ取得手段と、前記データ取得手段が取得したデータを蓄積するデータ蓄積手段と、をさらに備え、
前記制御手段が、前記識別対象が搬送状態の時は、前記データ取得手段により取得されるデータを前記特徴量抽出手段に入力して、前記データ識別モードを動作させ、前記識別対象が搬送状態でない時は、前記識別対象が搬送状態の時に前記データ蓄積手段により蓄積されたデータを前記特徴量抽出手段に入力して、前記学習モードを動作させる、ことが好ましい。
前記データ識別装置が、前記識別対象に関するデータを取得するデータ取得手段と、前記データ取得手段が取得したデータを蓄積するデータ蓄積手段と、をさらに備え、
前記制御手段が、前記識別対象が搬送状態の時は、前記データ取得手段により取得されるデータを前記特徴量抽出手段に入力して、前記データ識別モードを動作させ、前記識別対象が搬送状態でない時は、前記識別対象が搬送状態の時に前記データ蓄積手段により蓄積されたデータを前記特徴量抽出手段に入力して、前記学習モードを動作させる、ことが好ましい。
【0010】
上記本発明のデータ識別装置は、前記識別対象が、搬送ベルトで搬送される搬送品、樹脂または糸条であることが好ましい。
【0011】
また、上記課題を解決するために、本発明は、第１のニューラルネットワークと第２のニューラルネットワークに、一定期間取得し蓄積されたデータを学習させることで、現在取得中のデータがデータ群中の特異データであるか否かを識別するデータ識別方法であって、下記の工程１および工程２を行う。
（工程１）
一定期間取得して蓄積されたデータから第１のニューラルネットワークを用いて特徴量１を抽出し、
前記特徴量１から第２のニューラルネットワークを用いて前記蓄積されたデータと同じサイズの再構成データを生成し、
前記再構成データと前記蓄積されたデータとの誤差から、誤差逆伝播法により、前記第１のニューラルネットワークのパラメータ、および、前記第２のニューラルネットワークのパラメータを決定する。
（工程２）
前記工程１により決定されたパラメータが設定された前記第１のニューラルネットワークを用いて、取得中のデータから特徴量２を抽出し、
前記工程１により決定されたパラメータが設定された前記第２のニューラルネットワークを用いて、前記特徴量２から前記取得中のデータと同じサイズの再構成データを生成し、
前記再構成データと前記取得中のデータとの誤差の大きさから、前記取得中のデータが特異データであるか否かを識別する。
（工程１）
一定期間取得して蓄積されたデータから第１のニューラルネットワークを用いて特徴量１を抽出し、
前記特徴量１から第２のニューラルネットワークを用いて前記蓄積されたデータと同じサイズの再構成データを生成し、
前記再構成データと前記蓄積されたデータとの誤差から、誤差逆伝播法により、前記第１のニューラルネットワークのパラメータ、および、前記第２のニューラルネットワークのパラメータを決定する。
（工程２）
前記工程１により決定されたパラメータが設定された前記第１のニューラルネットワークを用いて、取得中のデータから特徴量２を抽出し、
前記工程１により決定されたパラメータが設定された前記第２のニューラルネットワークを用いて、前記特徴量２から前記取得中のデータと同じサイズの再構成データを生成し、
前記再構成データと前記取得中のデータとの誤差の大きさから、前記取得中のデータが特異データであるか否かを識別する。
【0012】
本発明のデータ識別方法は、以下のいずれかの方法を行うと好ましい。
・前記工程１を最初に一度だけ行い、その後前記工程２を連続して行う方法。
・前記工程２を連続して行いつつ、前記工程１をあらかじめ定めた周期で繰り返し行う方法で、前記工程１で用いられる前記一定期間取得して蓄積されたデータが、その工程１とその工程１の直前に行われた工程１との間で連続して行われた工程２の過程で得られたデータであり、前記工程２で前記第１のニューラルネットワークおよび前記第２のニューラルネットワークに設定されるパラメータが、それぞれその工程２の直近に行われた工程１により決定されたパラメータである。
・前記工程１をあらかじめ定めた周期で繰り返し行い、前記工程２を前記工程１が行われていない間に連続して行う方法で、前記工程１で用いられる前記一定期間取得して蓄積されたデータが、その工程１とその工程１の直前に行われた工程１との間で連続して行われた工程２の過程で得られたデータであり、前記工程２で前記第１のニューラルネットワークおよび前記第２のニューラルネットワークに設定されるパラメータが、それぞれその工程２の直近に行われた工程１により決定されたパラメータである。
・前記工程１を最初に一度だけ行い、その後前記工程２を連続して行う方法。
・前記工程２を連続して行いつつ、前記工程１をあらかじめ定めた周期で繰り返し行う方法で、前記工程１で用いられる前記一定期間取得して蓄積されたデータが、その工程１とその工程１の直前に行われた工程１との間で連続して行われた工程２の過程で得られたデータであり、前記工程２で前記第１のニューラルネットワークおよび前記第２のニューラルネットワークに設定されるパラメータが、それぞれその工程２の直近に行われた工程１により決定されたパラメータである。
・前記工程１をあらかじめ定めた周期で繰り返し行い、前記工程２を前記工程１が行われていない間に連続して行う方法で、前記工程１で用いられる前記一定期間取得して蓄積されたデータが、その工程１とその工程１の直前に行われた工程１との間で連続して行われた工程２の過程で得られたデータであり、前記工程２で前記第１のニューラルネットワークおよび前記第２のニューラルネットワークに設定されるパラメータが、それぞれその工程２の直近に行われた工程１により決定されたパラメータである。
【発明の効果】
【0013】
本発明によれば、教師なし異常検知手法を使用して、対象から取得されるデータが正常か異常かを判定し、環境条件の経時変化等で取得されるデータが変化することや、生産装置、周辺機器の更新などで取得されるデータに影響を与える系においても適切な周期で再学習する機能を備えることにより、変化に対応した判定を実施することが可能となる。
【図面の簡単な説明】
【0014】
【発明を実施するための形態】
【0015】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【0016】
＜装置構成＞
図１に、本発明の実施にかかるデータ識別装置の実施形態の一例を示す。本データ識別装置は、演算装置１とデータ取得装置２と表示装置３を有している。演算装置１は、ＣＰＵ（Ｃｅｎｔrａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により構成されたメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置から構成されたＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等であり、記録装置からプログラムやデータをメモリに呼び出し、ＣＰＵにて演算を実施する。記録装置としては、図示している構成に限られるものではなく、演算装置１の外部にＨＤＤを接続することやＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、などを利用することもできる。データ取得装置２はカメラやマイク等に代表されるセンサであり、演算装置１と電気的に接続されている。表示装置３はディスプレイ等であり演算装置１と電気的に接続されており、識別対象の判定結果を表示する構成等とすることができる。
図１に、本発明の実施にかかるデータ識別装置の実施形態の一例を示す。本データ識別装置は、演算装置１とデータ取得装置２と表示装置３を有している。演算装置１は、ＣＰＵ（Ｃｅｎｔrａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により構成されたメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置から構成されたＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等であり、記録装置からプログラムやデータをメモリに呼び出し、ＣＰＵにて演算を実施する。記録装置としては、図示している構成に限られるものではなく、演算装置１の外部にＨＤＤを接続することやＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、などを利用することもできる。データ取得装置２はカメラやマイク等に代表されるセンサであり、演算装置１と電気的に接続されている。表示装置３はディスプレイ等であり演算装置１と電気的に接続されており、識別対象の判定結果を表示する構成等とすることができる。
【0017】
図２は、図１のデータ識別装置の内部構成の概略を具体的に示したものである。演算装置１には、データ取得部１０、特徴量抽出部１１、データ再構成部１２、データ評価部１３、パラメータ決定部１４、判定部１５、結果出力部１６、制御部１７が含まれている。データ取得部１０、特徴量抽出部１１、データ再構成部１２データ評価部１３、パラメータ決定部１４、判定部１５、結果出力部１６、制御部１７は、演算装置１に保存された１つまたは複数からなるプログラムまたは演算回路である。
【0018】
＜機能構成＞
データ取得部１０は、データ取得装置２を介して識別対象データを取得し、メモリ等に一次的に記録する機能を持つものとする。また、データ取得部１０は、演算装置内部または外部の記録装置に識別対象データを保存する機能をもたせることが望ましい。
データ取得部１０は、データ取得装置２を介して識別対象データを取得し、メモリ等に一次的に記録する機能を持つものとする。また、データ取得部１０は、演算装置内部または外部の記録装置に識別対象データを保存する機能をもたせることが望ましい。
【0019】
特徴量抽出部１１は、第１のニューラルネットワークを利用して識別対象データを示す低次元の特徴量を抽出する。識別対象データとなるセンサにより取得されるデータは、多次元のベクトルとして扱うことができ、第１のニューラルネットワークにおけるニューロンの値を１つのベクトルと解釈する。具体的には、図３に示すようなニューラルネットワークが考えられる。特徴量抽出部１１に用いる第１のニューラルネットワークへの制約として、入力層におけるニューロンの数は識別対象データの次元ｎと一致させる必要がある。さらに抽出する特徴量の数ｍはｎより必ず小さくする必要がある。第１のニューラルネットワークの層数や中間層に用いるニューロンの数に制約はないが、識別対象データの次元数に合せてその数を増やすことが望ましい。また、識別対象データが画像や動画などの場合には、取得されるデータの隣接するニューロン間の相互関係が重要であるので、ニューロン間の結合に制約をもたせた畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）を用いることで、より重要な特徴を抽出することが可能になる。
【0020】
データ再構成部１２は、第２のニューラルネットワークを利用して特徴量抽出部１１より抽出した特徴量から識別対象データと同じｎ次元のデータを再構成する。具体的には、図４に示すような構成のニューラルネットワークとする。データ再構成部１２に用いる第２のニューラルネットワークに対しての制約は、出力層のニューロンの数が識別対象データと同じであることである。第２のニューラルネットワークの層数や中間層に用いるニューロンの数に制約はないが、識別対象データが画像や動画などの場合には、取得されるデータの隣接するニューロン間の相互関係が重要で、ニューロン間の結合に制約をもたせた逆畳み込み層（Ｄｅｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）を用いることで、より高精度にデータを再構成することが可能になる。特徴量抽出部１１とデータ再構成部１２は、図５に示すように１つのニューラルネットワークとして使用することも可能である。
【0021】
データ評価部１３は、識別対象データと、データ再構成部１２で得られた再構成データの差異を評価する。２つのデータの差異の評価方法としては、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）もしくはＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）などがある。いずれの指標も、識別対象データと再構成データが一致する時に０となる指標であり、数値が大きいほどデータ間の差異が大きいことを示す。
【0022】
パラメータ決定部１４は、データ評価部１３の結果に基づいて、特徴量抽出部１１、データ再構成部１２に用いるニューラルネットワークのパラメータを決定する。ここでニューラルネットワークのパラメータとは重みとバイアスのことである。重みとはニューラルネットワークの各ニューロン間の結合強度を示す数値であり、バイアスとはニューロン間の情報の伝達時に加算されるニューロンの値とは無関係な定数である。
【0023】
データ評価部１３より計算した識別対象データと再構成データの誤差から誤差逆伝播法によりパラメータの修正を行なう。この場合は識別対象データを取得し、蓄積しておいた複数のデータを用いて、同様の処理を繰り返す。ニューラルネットワークで学習を行なう場合には、ミニバッチ確率的勾配降下法を用いることが効果的であることが知られており、識別対象データを複数個組み合わせて、ミニバッチを作成し同時に誤差を算出し、それらの合計値を用いてパラメータ修正を行なうことが効果的である。誤差逆伝播法による学習を行なう場合には、徐々にパラメータ修正を繰り返しながら最終的なパラメータを決定することが好ましい。
【0024】
判定部１５は、誤差のデータ評価部１３により算出した誤差の値とあらかじめ設定した閾値とを比較し、識別対象データが正常か異常かを判定する。誤差の大きいデータは、元の識別対象データと、再構成データの差異が大きいデータであるため、過去に十分に学習していないデータ、すなわち異常データであると判断される。誤差の小さいデータは、十分に学習したデータと判断される。閾値は、正常データの平均値や中央値にその標準偏差の定数倍を加えた値とする。識別対象データ、または蓄積データの中に異常データがあることが分かっている場合には、異常データから特徴量抽出部１１、データ再構成部１２を使用しデータ評価部１３により算出した誤差の最低値を設定することなどができる。
【0025】
結果出力部１６は、判定部１５の結果を通知あるいは表示する。判定部１５が異常と判定した場合、結果出力部１６は、画面上に識別対象データを表示する、演算装置からの異常信号を出力するなどで外部に知らせる。
【0026】
制御部１７は、上述の各部を状態に応じた制御を行って、本発明のデータ識別装置を動作させる。学習モード（工程１）と識別モード（工程２）の２つの制御モードで制御する。それぞれの制御モードに応じてデータ取得部１０、特徴量抽出部１１、データ再構成部１２、データ評価部１３、パラメータ決定部１４、判定部１５、結果出力部１６の処理手順または動作順序を制御する。
【0027】
【0028】
本発明のデータ識別装置を利用してデータ識別するにはまず、学習モードで動作させた後に、識別モードで動作させる。
【0029】
図６を用いて学習モード（工程１）で動作させる場合の動作フローを説明する。学習モードにおける処理ステップに入る前に、まず、ステップＳ１０において蓄積データをあらかじめ定めた値の単位（２～６４）に分割する。分割した単位をミニバッチと呼称する。ミニバッチの数をＮ-ｂとして、ミニバッチ数の規定値とする。また第１のニューラルネットワークのパラメータ修正は繰り返し実施する必要があるため、あらかじめ繰り返し回数の規定値Ｎｅを設定しておく。まず、現在処理中のミニバッチ数を示すミニバッチ数カウンタｎｂおよび現在の繰り返し回数を示す繰り返し回数カウンタｎｅの値を初期化し、以下のステップＳ１１を開始する前に、これらの値に1を加算する。次に、ステップＳ１１において、データ取得部１０から識別対象データ群を取得し、ステップＳ１２では、特徴量抽出部１１を用いて識別対象データ群を表現する特徴量１群を抽出する。ステップＳ１３では、得られた特徴量１群からデータ再構成部１２の第２のニューラルネットワークにより再構成データ群を生成する。次にステップＳ１４では、データ評価部１３から識別対象データと再構成データの誤差を算出する。ステップＳ１５では、ミニバッチに含まれる識別対象データ全ての誤差を算出し終えた段階で、誤差の平均値を算出した誤差から誤差逆伝播法により特徴量抽出部１１の第１のニューラルネットワークおよびデータ再構成部１２の第２のニューラルネットワークのパラメータ修正を行い、パラメータを決定する。
これらの一連の処理を処理中のミニバッチ数カウンタｎｂがミニバッチ数規定値Ｎｂになるまで繰り返し、全てのミニバッチに対して上記ステップＳ１１～ステップＳ１５の処理繰り返す。ミニバッチ数が規定値以上になったら、繰り返し回数カウンタｎｅの値が繰り返し回数規定値以上かどうかの判断を行ない、Ｎeが繰り返し回数以下の場合は、ｎｅの値に１を加算し、Ｎｂの値を初期化した後、再度ステップＳ１１～ステップＳ１５の処理を繰り返す。この処理を繰り返しｎｅの値がＮe以上となったところで処理を終了する。以下ではこの一連の流れを学習と呼称する。
これらの一連の処理を処理中のミニバッチ数カウンタｎｂがミニバッチ数規定値Ｎｂになるまで繰り返し、全てのミニバッチに対して上記ステップＳ１１～ステップＳ１５の処理繰り返す。ミニバッチ数が規定値以上になったら、繰り返し回数カウンタｎｅの値が繰り返し回数規定値以上かどうかの判断を行ない、Ｎeが繰り返し回数以下の場合は、ｎｅの値に１を加算し、Ｎｂの値を初期化した後、再度ステップＳ１１～ステップＳ１５の処理を繰り返す。この処理を繰り返しｎｅの値がＮe以上となったところで処理を終了する。以下ではこの一連の流れを学習と呼称する。
【0030】
制御部は、入力層に識別対象データ、目標出力に識別対象データとし、ニューラルネットワークを学習させることで、識別対象データから、識別対象データを表現する重要なパラメータを抽出し、識別対象データに近い再構成データを得られるようになる。識別対象データに近い再構成データを得られるようになると、学習したデータに対して算出される誤差の値が小さくなる。
【0031】
次に、識別モード（工程２）で動作させることによってデータ識別を行なう。図７を用いて識別モードで動作させる場合の動作フローについて説明する。まず、ステップＳ２０では、データ取得部１０により識別対象データとなるデータを取得する。次に、ステップＳ２１では、ステップＳ２０で取得した識別対象データから特徴量抽出部１１の第１のニューラルネットワークにより特徴量２を抽出し、ステップＳ２２では、データ再構成部１２の第２のニューラルネットワークにより再構成データを作成する。ステップＳ２３では、データ評価部１３により作成した再構成データと識別対象データの差異を評価する。ステップＳ２４では、判定部１５によりステップＳ２３で算出された誤差と閾値を比較し、判定を実施する。ステップＳ２５では、結果出力部１６によりステップＳ２４で得られた判定結果を出力する。この一連の流れを識別と呼称する。ステップＳ２０が取得するデータは、カメラやマイク等によりリアルタイムのデータを取得してもよいし、あらかじめ取得しておいたデータを読み込んでもよいし、それらに対する識別処理を行なうことができる。
【0032】
＜データ識別方法＞
本発明のデータ識別装置が行うデータ識別方法は、以下に記載の３通りの方法で行われる。
本発明のデータ識別装置が行うデータ識別方法は、以下に記載の３通りの方法で行われる。
【0033】
・データ識別方法Ａ
１つ目のデータ識別方法は、あらかじめ取得しておいた学習データを使用して学習モードで動作させ、パラメータ決定部１４により、特徴量抽出部１１およびデータ再構成部１２のパラメータを決定しておく（工程１）。その後、決定したパラメータを用いて識別モードで動作させることである（工程２）。この時、識別モードが識別する識別対象データは、データ取得部１０により逐次取得されるデータに対してデータ識別を行なってもよいし、あらかじめ取得しておき演算装置１の内部、もしくは外部に保存されている識別対象データ群を取得してデータ識別を行ってもよい。
１つ目のデータ識別方法は、あらかじめ取得しておいた学習データを使用して学習モードで動作させ、パラメータ決定部１４により、特徴量抽出部１１およびデータ再構成部１２のパラメータを決定しておく（工程１）。その後、決定したパラメータを用いて識別モードで動作させることである（工程２）。この時、識別モードが識別する識別対象データは、データ取得部１０により逐次取得されるデータに対してデータ識別を行なってもよいし、あらかじめ取得しておき演算装置１の内部、もしくは外部に保存されている識別対象データ群を取得してデータ識別を行ってもよい。
【0034】
このデータ識別方法は、識別対象データが常に同一の条件で取得されるデータや過去に取得したデータに対して好適である。
【0035】
・データ識別方法Ｂ
２つ目のデータ識別方法は、学習モードと識別モードを並行して動作させる。この時、データ評価部１３により算出される評価結果はパラメータ決定部１４と判定部１５に伝達され、判定とパラメータ修正とが同時に行うことが可能である。修正したパラメータは次のデータ取得からの一連の流れを実施する前に更新することも可能であるが、一定量の識別対象データを学習させた後に特徴量抽出部１１、データ再構成部１２で用いるパラメータを更新する。このデータ識別方法は、生産工程が常時稼動しているような系に対して有効である。このデータ識別方法においては、学習モード、識別モードを並行して動作させるため、データ識別方法Ａに比べて好適に状態変化に対応させられる。学習モードと識別モードを並行して動作する場合、演算装置における計算負荷が高くなり、識別モードの動作に影響を及ぼす場合は演算装置を２つ用意し、それぞれにおいて学習モードと識別モードを並行して動作させることも可能である。この場合、学習モードの動作が、識別モードに影響を与えなくなるため、識別モードの動作安定性を確保することができる。
２つ目のデータ識別方法は、学習モードと識別モードを並行して動作させる。この時、データ評価部１３により算出される評価結果はパラメータ決定部１４と判定部１５に伝達され、判定とパラメータ修正とが同時に行うことが可能である。修正したパラメータは次のデータ取得からの一連の流れを実施する前に更新することも可能であるが、一定量の識別対象データを学習させた後に特徴量抽出部１１、データ再構成部１２で用いるパラメータを更新する。このデータ識別方法は、生産工程が常時稼動しているような系に対して有効である。このデータ識別方法においては、学習モード、識別モードを並行して動作させるため、データ識別方法Ａに比べて好適に状態変化に対応させられる。学習モードと識別モードを並行して動作する場合、演算装置における計算負荷が高くなり、識別モードの動作に影響を及ぼす場合は演算装置を２つ用意し、それぞれにおいて学習モードと識別モードを並行して動作させることも可能である。この場合、学習モードの動作が、識別モードに影響を与えなくなるため、識別モードの動作安定性を確保することができる。
【0036】
・データ識別方法Ｃ
３つ目のデータ識別方法は、特に識別対象データが生産工程から取得される場合において、生産工程が稼動、停止を繰り返す場合であれば、制御部１７は、生産工程の稼動時には識別モードを動作させて、演算装置１の内部または外部の記録装置に識別対象データを記録し、生産工程が停止した際には学習モードを動作させる方法である。学習モードにより得られたパラメータを識別モードに利用する場合には、テストデータを用意し得られる評価値を事前に確認、判断した後に識別モードで用いるニューラルネットワークのパラメータを更新することが望ましい。このデータ識別方法は、生産工程が停止と運転を繰り返す場合に、演算装置１を効率的に活用できるため好適である。このデータ識別方法において、識別モードで動作させた際に取得した識別対象データを保存し、蓄積データを作成し、学習モードで動作させる際にこの蓄積データを利用し、学習を実施することで、次回の運転時には直近の生産状態を反映させることが可能である。これにより、生産工程で経時的、あるいは突発的な変化が発生していても、次回以降の生産時にはその変化状態を反映させることができる。
３つ目のデータ識別方法は、特に識別対象データが生産工程から取得される場合において、生産工程が稼動、停止を繰り返す場合であれば、制御部１７は、生産工程の稼動時には識別モードを動作させて、演算装置１の内部または外部の記録装置に識別対象データを記録し、生産工程が停止した際には学習モードを動作させる方法である。学習モードにより得られたパラメータを識別モードに利用する場合には、テストデータを用意し得られる評価値を事前に確認、判断した後に識別モードで用いるニューラルネットワークのパラメータを更新することが望ましい。このデータ識別方法は、生産工程が停止と運転を繰り返す場合に、演算装置１を効率的に活用できるため好適である。このデータ識別方法において、識別モードで動作させた際に取得した識別対象データを保存し、蓄積データを作成し、学習モードで動作させる際にこの蓄積データを利用し、学習を実施することで、次回の運転時には直近の生産状態を反映させることが可能である。これにより、生産工程で経時的、あるいは突発的な変化が発生していても、次回以降の生産時にはその変化状態を反映させることができる。
【実施例】
【0037】
以下に本発明を実施例によって具体的に説明する。ただし、本発明はこれに限定されるものではない。
【0038】
＜実施例１＞
本実施例ではデータ識別方法Ａを用いるものとする。本実施例では図８に示される構成により、データ取得装置２にあたるカメラで、搬送される製品の画像を取得し、演算装置１としてＰＣに保存されたデータ識別プログラムを用いて製品の外観検査を実施し、結果を表示装置３であるディスプレイに表示するものである。ここでは時刻Ｔ１までの蓄積データを用いて学習した識別装置を用いて時刻Ｔ１から時刻Ｔ６まで連続して生産され、搬送される製品から取得される識別対象データに対して、識別モードで動作をさせ、搬送される製品が正常か異常かを識別させるものとした。
本実施例ではデータ識別方法Ａを用いるものとする。本実施例では図８に示される構成により、データ取得装置２にあたるカメラで、搬送される製品の画像を取得し、演算装置１としてＰＣに保存されたデータ識別プログラムを用いて製品の外観検査を実施し、結果を表示装置３であるディスプレイに表示するものである。ここでは時刻Ｔ１までの蓄積データを用いて学習した識別装置を用いて時刻Ｔ１から時刻Ｔ６まで連続して生産され、搬送される製品から取得される識別対象データに対して、識別モードで動作をさせ、搬送される製品が正常か異常かを識別させるものとした。
【0039】
この時、照明の劣化により微小な光量の低下が発生した。光量の低下によって発生する撮像条件の変化により撮像画像がＴ１からＴ６までの時刻において図９のように変化し、評価値の時間変化は図１０のようになった。また時刻Ｔ１以前においては照明の劣化は発生しなかった。本識別装置には時刻Ｔ１以前の画像を学習させていたため、製品は正常であっても撮像画像に生じている撮像条件の変化より評価部１３の算出する評価値の値は図１１の時刻Ｔ１から時刻Ｔ３ように徐々に上昇していくことになった。図のように識別対象データの取得される条件変化が続くと、学習に用いた蓄積データと取得される識別対象データの差異が大きくなり評価値は上昇を続けた。このため、時刻Ｔ５以降において評価値が閾値以上となってしまったが、時効Ｔ５までは正常に判定ができていたので、撮像条件の変化が緩やかな場合や、連続して生産する時間が短い場合ななどでは、データ識別方法Ａでも十分に製品が正常か異常かを識別できる。
【0040】
＜実施例２＞
本実施例ではデータ識別方法Ｂを用いるものとする。ここでは図８の構成を用いて時刻Ｔ１～Ｔ６において製品は連続的に生産され、搬送される製品の画像を取得し、製品の外観検査を実施する。本実施例には演算装置１としてＰＣ１とＰＣ２を利用する。ＰＣ１は実施例１と同様にカメラから取得された識別対象データに対して識別モードで動作させるものとし、ＰＣ２では逐次ＰＣ１に保存された識別対象データ群を蓄積データとして使用し、あらかじめ定めた時刻において学習モードで動作させるものとする。
本実施例ではデータ識別方法Ｂを用いるものとする。ここでは図８の構成を用いて時刻Ｔ１～Ｔ６において製品は連続的に生産され、搬送される製品の画像を取得し、製品の外観検査を実施する。本実施例には演算装置１としてＰＣ１とＰＣ２を利用する。ＰＣ１は実施例１と同様にカメラから取得された識別対象データに対して識別モードで動作させるものとし、ＰＣ２では逐次ＰＣ１に保存された識別対象データ群を蓄積データとして使用し、あらかじめ定めた時刻において学習モードで動作させるものとする。
【0041】
ここでは、データ識別方法Ｂを用いることから、あらかじめ定められた時刻Ｔ２、Ｔ４で学習を実施するものとした。また実施例１と同様に時刻Ｔ１以降において照明の劣化により微小な光量の低下が発生したため、得られる識別対象データは図９のようになり、評価値の時間変化は図１１のようになった。
【0042】
時刻Ｔ１より製品の外観検査を開始したところ、図１１のように時刻Ｔ１から時刻Ｔ３までの間において、評価値は実施例１と同様に上昇を続けた。ここで時刻Ｔ２において、時刻Ｔ１からＴ２までの蓄積データを用いて学習を実施する。本識別装置において直近の時刻の蓄積データで学習することで、学習に用いた蓄積データと取得される識別対象データにおける照明条件の差異が小さくすることができた。この時学習によって得られたパラメータで、時刻Ｔ３において特徴量抽出部１１、データ再構成部１２のパラメータを更新することで、時刻Ｔ３以降において、時刻Ｔ３以前よりも評価値の値を低下させることができた。このため時刻Ｔ３以降は評価値の上昇を抑えることが可能となった。同様に時刻Ｔ４においても再び学習し、時刻Ｔ５において特徴量抽出部１２、データ再構成部１３のパラメータを更新することで、評価値の上昇を抑えることが可能となった。結果として、時刻Ｔ１～Ｔ６において、評価値が閾値以上とはならず正確に判定を実施することができた。
【0043】
＜実施例３＞
本実施例ではデータ識別方法Ｃを用いるものとする。ここでも実施例１、実施例２と同様に図８の構成により搬送される製品の画像を取得し、製品の外観検査を実施する。特に本実施例において、製品は断続的に生産された。具体的には時刻Ｔ１から時刻Ｔ２、時刻Ｔ３から時刻Ｔ４、時刻Ｔ５から時刻Ｔ６において生産が実施され、製品が搬送されており、時刻Ｔ２から時刻Ｔ３、時刻Ｔ４から時刻Ｔ５において生産は実施されておらず、製品の搬送は停止された。本実施例においては、製品の搬送停止時間において、学習モードを動作させるものとした。
本実施例ではデータ識別方法Ｃを用いるものとする。ここでも実施例１、実施例２と同様に図８の構成により搬送される製品の画像を取得し、製品の外観検査を実施する。特に本実施例において、製品は断続的に生産された。具体的には時刻Ｔ１から時刻Ｔ２、時刻Ｔ３から時刻Ｔ４、時刻Ｔ５から時刻Ｔ６において生産が実施され、製品が搬送されており、時刻Ｔ２から時刻Ｔ３、時刻Ｔ４から時刻Ｔ５において生産は実施されておらず、製品の搬送は停止された。本実施例においては、製品の搬送停止時間において、学習モードを動作させるものとした。
【0044】
ここで、時刻Ｔ１以降において照明の劣化により微小な光量の低下が発生したため得られる識別対象データは図９のようになり、評価の時間変化は図１２のようになった。時刻Ｔ１より製品の外観検査を開始したところ、時刻Ｔ１から時刻Ｔ２までの間において、評価値は上昇を続けた。しかし時刻Ｔ２～時刻Ｔ３の間に時刻Ｔ１から時刻Ｔ２の間に取得された蓄積データに対して本データ識別装置の学習モードを使用することで、学習に用いた蓄積データと取得される識別対象データにおける照明条件の差異が小さくなったことから評価値の値を低下させることができた。このため時刻Ｔ３以降は評価値の上昇を抑えることが可能となった。同様に時刻Ｔ４から時刻Ｔ５においても学習を実施することで時刻Ｔ５以降おいても正確に判定を実施することができた。
【0045】
以上のことからデータ識別方法Ａは蓄積データなどで変化しない場合は有効であるが、実施例１のように取得されるデータが経時変化し、学習を行わずに連続して検査を続ける時間に対してデータの経時変化の程度が大きい場合は、識別精度に問題が生じる場合がある。このため、取得されるデータが経時変化する場合や生産装置、周辺機器の更新などで取得されるデータが影響を受ける場合はデータ識別方法Ｂ、データ識別方法Ｃを用いることが好ましい。特に生産設備が連続生産を実施する場合、常時識別モードで動作させる必要があるため、識別モードと並行して学習モードでも動作させる必要がある。このため実施例２で用いたデータ識別方法Ｂを用いることが好ましいと考える。生産設備がバッチ生産の場合は装置停止時に学習を実施することで演算装置を有効活用できるため、実施例３のようにデータ識別方法Ｃを用いることが望ましいといえる。
【産業上の利用可能性】
【0046】
本発明は、生産工程において、搬送ベルトで搬送される搬送品、樹脂または糸条の異常検出に有用である。
【符号の説明】
【0047】
１ 演算装置
２ データ取得装置
３ 表示装置
１０ データ取得部
１１ 特徴量抽出部
１２ データ再構成部
１３ データ評価部
１４ パラメータ決定部
１５ 判定部
１６ 結果出力部
１７ 制御部
２ データ取得装置
３ 表示装置
１０ データ取得部
１１ 特徴量抽出部
１２ データ再構成部
１３ データ評価部
１４ パラメータ決定部
１５ 判定部
１６ 結果出力部
１７ 制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】