特開 2024-105362 異常検出装置及び異常検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024105362

(43)【公開日】2024-08-06

(54)【発明の名称】異常検出装置及び異常検出方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240730BHJP

   G05B 23/02 20060101ALI20240730BHJP

   G06V 10/774 20220101ALI20240730BHJP

【ＦＩ】

G06T7/00 610

G05B23/02 302Y

G06T7/00 350B

G06V10/774

【審査請求】有

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2024072273

(22)【出願日】2024-04-26

(62)【分割の表示】P 2020054721の分割

【原出願日】2020-03-25

(71)【出願人】

【識別番号】000219967

【氏名又は名称】東京エレクトロン株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】岡田 基

(57)【要約】

【課題】異常を精度良く検出すること。
【解決手段】第１生成部は、液体供給部を備えた設備であって、液体供給部から液体を正常に供給する設備を撮影した正常画像データの画像のランダムな位置に略円形の画像を合成した疑似異常画像データを生成する。第２生成部は、正常画像データ及び疑似異常画像データの学習を行い、設備の正常、異常を判定する判定モデルを生成する。取得部は、設備を撮影した画像データを取得する。検出部は、判定モデルを用いて取得部により取得された画像データから設備の異常を検出する。
【選択図】図３

【特許請求の範囲】

【請求項1】

液体供給部を備えた設備であって、前記液体供給部から液体を正常に供給する前記設備を撮影した正常画像データの画像の指定された範囲内のランダムな位置に略円形の画像を合成した疑似異常画像データを生成する第１生成部と、
前記正常画像データ及び前記疑似異常画像データの学習を行い、前記設備の正常、異常を判定する判定モデルを生成する第２生成部と、
前記設備を撮影した画像データを取得する取得部と、
前記判定モデルを用いて前記取得部により取得された前記画像データから前記設備の異常を検出する検出部と、
を有する異常検出装置。

【請求項2】

前記第２生成部は、前記正常画像データ及び前記疑似異常画像データに加え、異常が発生した前記設備を撮影した実異常画像データの学習を行い、前記判定モデルを生成する
請求項１に記載の異常検出装置。

【請求項3】

前記液体供給部は、液体を吐出するノズル又は配管を設けたアームからなる
請求項１又は２に記載の異常検出装置。

【請求項4】

画像を合成する範囲及び合成する画像のサイズの指定を受け付ける受付部をさらに有し、
前記第１生成部は、前記受付部で指定されたサイズ以下で、指定された範囲内のランダムな位置に略円形の画像を合成した疑似異常画像データを生成する
請求項１～３の何れか１つに記載の異常検出装置。

【請求項5】

前記第１生成部は、正常画像データの画像の画素の輝度値を高い順に並べた場合に上位から所定の割合の輝度値を輝度とした略円形の画像を合成した疑似異常画像データを生成する
請求項１～４の何れか１つに記載の異常検出装置。

【請求項6】

前記第１生成部は、正常に動作する前記設備の一連の動作を撮影した複数の正常画像データそれぞれについて画像のランダムな位置に略円形の画像を合成した複数の疑似異常画像データを生成し、
前記第２生成部は、複数の前記正常画像データ及び複数の前記疑似異常画像データの学習を行い、前記設備の正常、異常を判定する判定モデルを生成し、
前記取得部は、前記設備の一連の動作を撮影した複数の画像データを取得し、
前記検出部は、前記判定モデルを用いて前記取得部により取得された複数の前記画像データの正常、異常を判定し、何れかの前記画像データで異常と判定された場合、前記設備に異常が発生したと検出する
請求項１～５の何れか１つに記載の異常検出装置。

【請求項7】

前記検出部は、連続して撮影された所定数の前記画像データで異常と判定された場合、前記設備に異常が発生したと検出する
請求項６に記載の異常検出装置。

【請求項8】

液体供給部を備えた設備であって、前記液体供給部から液体を正常に供給する前記設備を撮影した正常画像データ、及び前記正常画像データの画像の指定された範囲内のランダムな位置に略円形の画像を合成した疑似異常画像データの学習を行って生成された判定モデルであって、前記設備の正常、異常を判定する前記判定モデルを記憶する記憶部と、
前記設備を撮影した画像データを取得する取得部と、
前記判定モデルを用いて前記取得部により取得された前記画像データから前記設備の異常を検出する検出部と、
を有する異常検出装置。

【請求項9】

前記液体供給部は、液体を吐出するノズル又は配管を設けたアームからなる
請求項８に記載の異常検出装置。

【請求項10】

液体供給部を備えた設備であって、前記液体供給部から液体を正常に供給する前記設備を撮影した正常画像データの画像の指定された範囲内のランダムな位置に略円形の画像を合成した疑似異常画像データを生成する工程と、
前記正常画像データ及び前記疑似異常画像データの学習を行い、前記設備の正常、異常を判定する判定モデルを生成する工程と、
前記設備を撮影した画像データを取得する工程と、
前記判定モデルを用いて、取得された前記画像データから前記設備の異常を検出する工程と、
を有する異常検出方法。

【請求項11】

前記液体供給部は、液体を吐出するノズル又は配管を設けたアームからなる
請求項１０に記載の異常検出方法。

【請求項12】

画像を合成する範囲及び合成する画像のサイズの指定を受け付け、
前記疑似異常画像データを生成する工程は、指定されたサイズ以下で、指定された範囲内のランダムな位置に略円形の画像を合成した疑似異常画像データを生成する
請求項１０又は１１に記載の異常検出方法。

【請求項13】

前記疑似異常画像データを生成する工程は、正常画像データの画像の画素の輝度値を高い順に並べた場合に上位から所定の割合の輝度値を輝度とした略円形の画像を合成した疑似異常画像データを生成する
請求項１０～１２の何れか１つに記載の異常検出方法。

【請求項14】

液体供給部を備えた設備を撮影した画像データを取得する工程と、
前記液体供給部から液体を正常に供給する前記設備を撮影した正常画像データ、及び前記正常画像データの画像の指定された範囲内のランダムな位置に略円形の画像を合成した疑似異常画像データの学習を行って生成された判定モデルであって、前記設備の正常、異常を判定する前記判定モデルを用いて、取得された前記画像データから前記設備の異常を検出する工程と、
を有する異常検出方法。

【請求項15】

前記液体供給部は、液体を吐出するノズル又は配管を設けたアームからなる
請求項１４に記載の異常検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、異常検出装置及び異常検出方法に関する。

【背景技術】

【0002】

特許文献１は、検査領域を有する教示用画像の検査領域の画像から特徴量を変化させた変化検査領域画像を生成し、教示用画像に変化検査領域画像を配置した新規欠陥追加教示用画像を生成する方法を開示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－３３７１５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、異常を精度良く検出する技術を提供する。

【課題を解決するための手段】

【0005】

本開示の一態様による異常検出装置は、第１生成部と、第２生成部と、取得部と、検出部とを有する。第１生成部は、液体供給部を備えた設備であって、液体供給部から液体を正常に供給する設備を撮影した正常画像データの画像のランダムな位置に略円形の画像を合成した疑似異常画像データを生成する。第２生成部は、正常画像データ及び疑似異常画像データの学習を行い、設備の正常、異常を判定する判定モデルを生成する。取得部は、設備を撮影した画像データを取得する。検出部は、判定モデルを用いて取得部により取得された画像データから設備の異常を検出する。

【発明の効果】

【0006】

本開示によれば、異常を精度良く検出できる。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係る監視対象の一例を示す概略図である。

【図2】図２は、実施形態に係る監視対象を撮影した画像の一例を示す図である。

【図3】図３は、実施形態に係る異常検出装置の概略的な構成を示したブロック図である。

【図4】図４は、実施形態に係る疑似異常画像データの一例を示す図である。

【図5】図５は、実施形態に係る異常検出の一例を模式的に示した図である。

【図6】図６は、実施形態に係る生成処理の流れの一例を示すフローチャートである。

【図7】図７は、実施形態に係る異常検出処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下、図面を参照して本願の開示する異常検出装置、及び異常検出方法の実施形態について詳細に説明する。なお、本実施形態により、開示する異常検出装置、及び異常検出方法が限定されるものではない。

【0009】

ところで、ＡＩ（Artificial Intelligence）などの学習モデルを利用した異常の検出が検討されている。この学習モデルを利用した異常の検出では、監視対象が正常に動作している場合の正常画像データのみを学習モデルに学習させた場合、狭い範囲の異常を精度良く検出できない場合がある。そこで、監視対象に異常が発生した場合の異常画像データも学習モデルに学習させることが考えられる。しかし、現実には、監視対象に異常が発生する箇所が様々にある。また、監視対象に異常が発生することが稀な場合がある。このため、監視対象に実際に異常が発生した異常画像データから学習に必要となる十分な異常画像データを取得することが難しい場合がある。この結果、学習モデルを利用した異常の検出では、異常を精度良く検出できない場合がある。

【0010】

そこで、異常を精度良く検出できる技術が期待されている。

【0011】

［実施形態］
［監視対象］
実施形態について説明する。以下では、異常検出装置により監視対象の異常の発生を検出する場合を例に説明する。また、以下では、監視対象を、液体を吐出する塗布ユニットとした場合を例に説明する。図１は、実施形態に係る監視対象の一例を示す概略図である。図１には、監視対象として、液体を吐出する塗布ユニット１０が示されている。塗布ユニット１０は、液体供給部を備えた設備の一例である。塗布ユニット１０は、例えばレジスト、純水、溶剤などの液体を使用する塗布装置や現像装置などの液処理装置に設けられる。

【0012】

図１には、液体を吐出する対象面Ｓが示されている。対象面Ｓは、例えば、半導体ウエハ等の基板上面の液体を塗布する面である。塗布ユニット１０は、対象面Ｓの周囲に配置されている。塗布ユニット１０は、アーム１１と、支持部１２とを有する。アーム１１は、支持部１２に支持されている。アーム１１は、先端１１ａが対象面Ｓの上に位置するように配置されている。アーム１１の先端１１ａには、液体の吐出口であるノズル１３が設けられている。ノズル１３は、アーム１１及び支持部１２の内部に設けられた不図示の配管を介して、液体の供給源、バルブ及び定量ポンプを含む不図示の供給系に接続されている。塗布ユニット１０は、供給系から供給された液体をノズル１３から吐出する。なお、塗布ユニット１０は、移動機構を備え、アーム１１を水平方向及び垂直方向に移動可能としてもよい。また、塗布ユニット１０は、支持部１２を回転させることでアーム１１の先端１１ａが対象面Ｓ上となる塗布位置と、対象面Ｓ上から外れた待機位置とに移動可能としてもよい。

【0013】

塗布ユニット１０の周囲には、カメラ２０が配置されている。カメラ２０は、画角内にアーム１１、ノズル１３及び対象面Ｓが入るように配置され、アーム１１やノズル１３を側面視した画像を撮影可能とされている。カメラ２０は、塗布ユニット１０が対象面Ｓに液体を吐出する塗布処理中のノズル１３を備えたアーム１１及び対象面Ｓの状況を、所定のフレームレート（例えば、３０ｆｐｓ）で撮影する。

【0014】

図２は、実施形態に係る監視対象を撮影した画像の一例を示す図である。図２には、カメラ２０により撮影された画像の一例が示されている。図２に示す画像には、アーム１１、ノズル１３、対象面Ｓが写っている。図２では、ノズル１３から液体が吐出されて対象面Ｓに液体の塗布が行われている。

【0015】

カメラ２０により撮影された画像の画像データは、異常検出装置に出力され、異常の検出が行われる。

【0016】

［異常検出装置の構成］
次に、異常検出装置について詳細に説明する。図３は、実施形態に係る異常検出装置５０の概略的な構成を示したブロック図である。異常検出装置５０は、例えば、パーソナルコンピュータやサーバコンピュータなどのコンピュータである。異常検出装置５０は、外部Ｉ／Ｆ（interface）部５１と、表示部５２と、入力部５３と、記憶部５４と、制御部５５とを有する。なお、異常検出装置５０は、図３に示した機能部以外にも既知のコンピュータが有する各種の機能部を有してもよい。

【0017】

外部Ｉ／Ｆ部５１は、他の装置と情報を入出力するインタフェースである。例えば、外部Ｉ／Ｆ部５１は、例えば、ＵＳＢ（Universal Serial Bus）ポートや、ＬＡＮポートなどの通信インタフェースである。外部Ｉ／Ｆ部５１は、カメラ２０から撮影された画像の画像データが入力する。

【0018】

表示部５２は、各種情報を表示する表示デバイスである。表示部５２としては、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）などの表示デバイスが挙げられる。表示部５２は、各種情報を表示する。

【0019】

入力部５３は、各種の情報を入力する入力デバイスである。例えば、入力部５３としては、マウスやキーボードなどの入力デバイスが挙げられる。入力部５３は、管理者などからの操作入力を受付け、受付けた操作内容を示す操作情報を制御部５５に入力する。

【0020】

記憶部５４は、各種のデータを記憶する記憶デバイスである。例えば、記憶部５４は、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスクなどの記憶装置である。なお、記憶部５４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）などのデータを書き換え可能な半導体メモリであってもよい。

【0021】

記憶部５４は、制御部５５で実行されるＯＳ（Operating System）や各種プログラムを記憶する。例えば、記憶部５４は、後述する生成処理や異常検出処理を実行するプログラムを含む各種のプログラムを記憶する。さらに、記憶部５４は、制御部５５で実行されるプログラムで用いられる各種データを記憶する。例えば、記憶部５４は、モデル生成用データ６０と、モデルデータ６１とを記憶する。なお、記憶部５４は、上記に例示したデータ以外にも、他のデータを併せて記憶することもできる。

【0022】

モデル生成用データ６０は、後述する判定モデルの生成に用いるデータである。モデル生成用データ６０には、判定モデルの生成に用いる各種のデータが含まれる。例えば、モデル生成用データ６０は、複数の正常画像データ６０ａと、複数の実異常画像データ６０ｂと、複数の疑似異常画像データ６０ｃとを含む。

【0023】

正常画像データ６０ａは、正常に動作する監視対象を撮影した画像の画像データである。例えば、正常画像データ６０ａは、塗布ユニット１０が液だれ、ボタ落ちなどの異常を発生させずに液体を吐出した画像の画像データである。ここで、「液だれ」とは、ノズル１３やアーム１１に液体の液滴がぶら下がった状態を言う。また、「ボタ落ち」とは、ノズル１３やアーム１１から液体が垂れた状態を言う。例えば、塗布ユニット１０が異常を発生させずに液体を吐出した一連の動作をカメラ２０で撮影した複数の画像データをそれぞれ正常画像データ６０ａとして格納する。

【0024】

実異常画像データ６０ｂは、異常が発生した監視対象を撮影した画像の画像データである。例えば、実異常画像データ６０ｂは、塗布ユニット１０が液だれ、ボタ落ちなどの異常を発生した際の画像の画像データである。例えば、塗布ユニット１０で異常が発生した際にカメラ２０で撮影した画像データをそれぞれ実異常画像データ６０ｂとして格納する。

【0025】

疑似異常画像データ６０ｃは、異常が発生した際の画像を疑似的に生成した画像データである。疑似異常画像データ６０ｃの詳細は後述する。

【0026】

モデルデータ６１は、ＡＩなどの学習モデルを利用して生成した判定モデルを記憶したデータである。

【0027】

制御部５５は、異常検出装置５０を制御するデバイスである。制御部５５としては、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路を採用できる。制御部５５は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部５５は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部５５は、第１生成部７０と、受付部７１と、第２生成部７２と、取得部７３と、検出部７４と、出力部７５とを有する。

【0028】

ところで、学習モデルを利用した異常の検出では、正常画像データ６０ａのみを学習モデルに学習させた場合、狭い範囲の異常を精度良く検出できない場合がある。そこで、監視対象に異常が発生した場合の実異常画像データ６０ｂも学習モデルに学習させることが考えられる。しかし、現実には、監視対象に異常が発生する箇所が様々あり、また、監視対象に異常が発生することが稀な場合がある。例えば、塗布ユニット１０は、ノズル１３から液だれ、ボタ落ちなどの異常を発生する場合がある。また、塗布ユニット１０は、アーム１１の内部の配管から液漏れが発生してアーム１１からから液だれ、ボタ落ちなどの異常を発生する場合がある。塗布ユニット１０は、液だれ、ボタ落ちなどの異常を発生しないように設計される。このため、塗布ユニット１０は、異常が発生することが稀である。例えば、アーム１１で異常を発生するケースは、稀である。このため、監視対象に実際に異常が発生した異常画像データを取得することが難しい場合がある。例えば、アーム１１の様々な箇所で実際に液だれ、ボタ落ちなどの異常が発生している画像データを取得するのは困難である。この結果、学習モデルを利用した異常の検出では、異常を精度良く検出できない場合がある。

【0029】

そこで、第１生成部７０は、正常画像データ６０ａの画像の一部を変更した疑似異常画像データ６０ｃを生成する。例えば、第１生成部７０は、正常画像データ６０ａの画像のランダムな位置に略円形の画像を合成した疑似異常画像データ６０ｃを生成する。略円形は、円形や楕円形を含む。一例として、第１生成部７０は、正常画像データ６０ａの画像に対して、ランダムイレーシング（Random erasing）を行い、ランダムな位置に略円形の画像を合成した疑似異常画像データ６０ｃを生成する。ここで、ランダムイレーシングは、通常、判定のロバスト性を向上させる目的で、教師データとなる画像のランダムな一部矩形領域をマスクした画像を生成して正常とする教師データを増やす技術である。一方、本実施形態では、ランダムイレーシングを用いて、正常画像データ６０ａの画像に、液だれ、ボタ落ちなどの異常と類似した形状の略円形の画像を合成して疑似的に異常な疑似異常画像データ６０ｃを生成する。

【0030】

第１生成部７０は、正常に動作する監視対象の一連の動作を撮影した複数の正常画像データそれぞれについて画像の一部を変更した複数の疑似異常画像データを生成する。例えば、第１生成部７０は、塗布ユニット１０が異常を発生させずに液体を吐出した一連の動作を撮影した複数の正常画像データ６０ａそれぞれについて画像の一部を変更した複数の疑似異常画像データ６０ｃを生成する。例えば、本実施形態では、塗布ユニット１０が異常を発生させずに液体を吐出した一連の動作を１０回分、カメラ２０で撮影した複数の画像データをそれぞれ正常画像データ６０ａとして記憶する。第１生成部７０は、１０回分のうち１回分の一連の動作の正常画像データ６０ａに対して、１つの正常画像データ６０ａの画像に１つランダムな位置に略円形の画像を合成した疑似異常画像データ６０ｃを生成する。

【0031】

ここで、監視対象は、異常が発生する箇所が特定の範囲に偏る場合がある。また、画像内での異常個所のサイズが特定のサイズ以下に偏る場合がある。例えば、塗布ユニット１０は、ノズル１３やアーム１１で液だれ、ボタ落ちなどの異常を発生する。また、液だれ、ボタ落ちは、サイズが小さく狭い範囲で発生する。

【0032】

そこで、受付部７１は、画像を合成する範囲及び合成する画像のサイズの指定を受け付ける。例えば、受付部７１は、画像を合成する範囲及び合成する画像のサイズの指定する画面を表示部５２に表示させ、入力部５３から画像を合成する範囲及び合成する画像のサイズの指定を受け付ける。

【0033】

第１生成部７０は、受付部７１で指定されたサイズ以下で、指定された範囲内のランダムな位置に略円形の画像を合成した疑似異常画像データ６０ｃを生成する。例えば、ノズル１３やアーム１１からの液だれ、ボタ落ちを異常として検出する場合、管理者は、ノズル１３やアーム１１を含む範囲と、液だれ、ボタ落ちの液滴の最大のサイズを指定する。第１生成部７０は、指定されたノズル１３やアーム１１を含む範囲内のランダムな位置に、指定されたサイズ以下で略円形の画像を合成した疑似異常画像データ６０ｃを生成する。

【0034】

図４は、実施形態に係る疑似異常画像データ６０ｃの一例を示す図である。図４には、図２に示した画像に、白色（白抜き）で略円形の画像８０を合成した疑似異常画像が示されている。図４では、アーム１１の下面付近に白色で略円形の画像８０が合成されている。

【0035】

なお、合成する画像８０の色は、白色に限定されるものではない。合成する画像８０の色は、予め定めてもよい。また、合成する画像８０の色は、正常画像データ６０ａから定めてもよい。例えば、第１生成部７０は、正常画像データ６０ａの画像の画素の輝度値を高い順に並べた場合に上位から所定の割合（例えば、２０％）の輝度値を輝度とした略円形の画像８０を合成した疑似異常画像データ６０ｃを生成してもよい。このように、正常画像データ６０ａから合成する画像８０の色を定めることにより、実際の画像と類似した色で画像８０を合成できる。このように、実際の画像と類似した色で画像８０を合成することで、実際に発生する異常を精度良く検出できる。

【0036】

第２生成部７２は、複数の正常画像データ６０ａ、複数の実異常画像データ６０ｂ及び複数の疑似異常画像データ６０ｃの学習を行い、監視対象の正常、異常を判定する判定モデルを生成する。例えば、第２生成部７２は、複数の正常画像データ６０ａに正常との付加情報を付し、複数の実異常画像データ６０ｂ及び複数の疑似異常画像データ６０ｃに異常との付加情報を付する。例えば、判定モデルは、画像データが入力されると、画像データを出力するモデルとする。第２生成部７２は、例えば、Opposite Learningにより、正常な画像データの再現性を高くし、異常な画像データの再現性が低くなるように学習を行い、正常な画像データについては再現性が高い画像データを出力する判定モデルを生成する。判定モデルは、疑似異常画像データ６０ｃの学習を行うことで、現実には発生することが稀な異常を疑似異常画像データ６０ｃから学習できる。このため、判定モデルの判定精度が向上する。なお、第２生成部７２は、複数の実異常画像データ６０ｂを用いず、複数の正常画像データ６０ａ及び複数の疑似異常画像データ６０ｃの学習を行って判定モデルを生成してもよい。しかし、正常画像データ６０ａ及び疑似異常画像データ６０ｃに加え、実異常画像データ６０ｂの学習した判定モデルを生成することで、判定モデルは、正常データと異常データで再現性の差異を大きくでき、判定精度が向上する。

【0037】

第２生成部７２は、生成した判定モデルのデータをモデルデータ６１として記憶部５４に格納する。

【0038】

取得部７３は、監視対象を撮影した画像データを取得する。例えば、取得部７３は、カメラ２０から出力された画像データを外部Ｉ／Ｆ部５１を介して取得する。

【0039】

検出部７４は、モデルデータ６１の判定モデルを用いて取得部７３により取得された画像データから監視対象の異常を検出する。図５は、実施形態に係る異常検出の一例を模式的に示した図である。例えば、検出部７４は、取得された画像データを判定モデルに入力する。判定モデルは、画像データを出力する。出力された画像データは、正常な画像データである場合、入力された画像データの再現性が高く、異常な画像データである場合、再現性が低い。検出部７４は、出力された画像データと入力した画像データを比較して差分を求める。例えば、検出部７４は、差分として各画素の画素値の変化を求める。検出部７４は、求めた差分が所定のしきい値以内の場合、正常と判定し、差分がしきい値を超えた場合、異常と判定することで、異常を検出する。

【0040】

なお、判定モデルは次のようなモデルであってもよい。例えば、第２生成部７２は、複数の正常画像データ６０ａに正常との付加情報を付し、複数の実異常画像データ６０ｂ及び複数の疑似異常画像データ６０ｃに異常との付加情報を付する。そして、第２生成部７２は、複数の正常画像データ６０ａ、複数の実異常画像データ６０ｂ及び複数の疑似異常画像データ６０ｃを用いてディープラニングなどの機械学習を行い、入力された画像データの正常、異常を判定して出力する判定モデルを生成する。検出部７４は、取得された画像データを判定モデルに入力する。判定モデルは、入力された画像データが正常か異常かを出力する。検出部７４は、判定モデルの正常、異常の出力結果を用いて異常を検出する。この場合も、第２生成部７２は、複数の実異常画像データ６０ｂを用いず、複数の正常画像データ６０ａ及び複数の疑似異常画像データ６０ｃの学習を行って判定モデルを生成してもよい。しかし、正常画像データ６０ａ及び疑似異常画像データ６０ｃに加え、実異常画像データ６０ｂの学習した判定モデルを生成することで、生成した判定モデルは、正常、異常を判定精度が向上する。

【0041】

ところで、カメラ２０で撮影した画像データに一時的にノイズ等が発生して、塗布ユニット１０が正常であるにも関わらず、塗布ユニット１０に異常が発生したと検出される場合がある。塗布ユニット１０が液体を塗布する一連の動作をカメラ２０で撮影した場合、液だれ、ボタ落ちなどの異常は、複数の画像データで検出される。そこで、検出部７４は、連続して撮影された所定数の画像データで異常と判定された場合、監視対象に異常が発生したと検出してもよい。例えば、検出部７４は、連続して撮影された３枚の画像データで異常と判定された場合、塗布ユニット１０に異常が発生したと検出する。これにより、異常を判定精度が向上する。

【0042】

出力部７５は、検出部７４の検出結果を出力する。例えば、出力部７５は、検出部７４により異常が検出された場合、異常が発生した旨を表示部５２に出力する。なお、出力部７５は、検出部７４の判定結果のデータを他の装置に出力してもよい。例えば、出力部７５は、検出部７４により異常と判定された場合、塗布ユニット１０が搭載された装置を管理する管理装置に、異常の発生した旨のデータを出力してもよい。

【0043】

［処理の流れ］
次に、実施形態に係る異常検出装置５０が実施する各種の処理の流れを説明する。最初に、実施形態に係る異常検出装置５０が判定モデルを生成する生成処理の流れを説明する。図６は、実施形態に係る生成処理の流れの一例を示すフローチャートである。

【0044】

第１生成部７０は、正常画像データ６０ａの画像の一部を変更した疑似異常画像データ６０ｃを生成する（ステップＳ１０）。例えば、第１生成部７０は、正常画像データ６０ａの画像のランダムな位置に略円形の画像を合成した疑似異常画像データ６０ｃを生成する。

【0045】

第２生成部７２は、正常画像データ６０ａ、実異常画像データ６０ｂ及び疑似異常画像データ６０ｃの学習を行い、監視対象の正常、異常を判定する判定モデルを生成する（ステップＳ１１）。第２生成部７２は、生成した判定モデルのデータをモデルデータ６１として記憶部５４に格納し（ステップＳ１２）、処理を終了する。

【0046】

次に、実施形態に係る異常検出装置５０が判定モデルを用いて異常を検出する異常検出処理の流れを説明する。図７は、実施形態に係る異常検出処理の流れの一例を示すフローチャートである。

【0047】

取得部７３は、監視対象を撮影した画像データを取得する（ステップＳ２０）。例えば、取得部７３は、カメラ２０から出力された画像データを外部Ｉ／Ｆ部５１を介して取得する。

【0048】

検出部７４は、モデルデータ６１の判定モデルを用いて取得部７３により取得された画像データから監視対象の異常を検出する（ステップＳ２１）。

【0049】

出力部７５は、検出部７４の検出結果を出力し（ステップＳ２２）。処理を終了する。

【0050】

以上のように、実施形態に係る異常検出装置５０は、第１生成部７０と、第２生成部７２と、取得部７３と、検出部７４とを有する。第１生成部７０は、液体供給部（ノズル１３）から液体を正常に供給する設備（塗布ユニット１０）を撮影した正常画像データ６０ａの画像のランダムな位置に略円形の画像を合成した疑似異常画像データ６０ｃを生成する。第２生成部７２は、正常画像データ６０ａ及び疑似異常画像データ６０ｃの学習を行い、設備の正常、異常を判定する判定モデルを生成する。取得部７３は、設備を撮影した画像データを取得する。検出部７４は、判定モデルを用いて取得部７３により取得された画像データから設備の異常を検出する。これにより、異常検出装置５０は、判定モデルが現実には発生することが稀な異常を疑似異常画像データ６０ｃから学習できるため、異常を精度良く検出できる。

【0051】

また、第２生成部７２は、正常画像データ６０ａ及び疑似異常画像データ６０ｃに加え、異常が発生した設備（塗布ユニット１０）を撮影した実異常画像データ６０ｂの学習を行い、判定モデルを生成する。これにより、異常検出装置５０は、判定モデルが実際に発生する異常を実異常画像データ６０ｂから学習できるため、異常をより精度良く検出できる。

【0052】

また、設備（塗布ユニット１０）は、液体を吐出するノズル１３又は配管を設けたアーム１１とする。第１生成部７０は、正常画像データ６０ａの画像のランダムな位置に略円形の画像８０を合成した疑似異常画像データ６０ｃを生成する。これにより、異常検出装置５０は、液だれ、ボタ落ちなどの異常をより精度良く検出できる。

【0053】

また、異常検出装置５０は、受付部７１をさらに有する。受付部７１は、画像を合成する範囲及び／又は合成する画像のサイズの指定を受け付ける。第１生成部７０は、受付部７１で指定されたサイズ以下で、指定された範囲内のランダムな位置に略円形の画像を合成した疑似異常画像データ６０ｃを生成する。これにより、異常検出装置５０は、検出する異常に対応して画像を合成する範囲及び合成する画像のサイズが適切に指定されることで、異常を精度良く検出できる。

【0054】

また、第１生成部７０は、正常画像データ６０ａの画像の画素の輝度値を高い順に並べた場合に上位から所定の割合の輝度値を輝度とした略円形の画像を合成した疑似異常画像データ６０ｃを生成する。これにより、異常検出装置５０は、実際に発生する異常を精度良く検出できる。

【0055】

また、第１生成部７０は、正常に動作する設備（塗布ユニット１０）の一連の動作を撮影した複数の正常画像データ６０ａそれぞれについて画像のランダムな位置に略円形の画像を合成した複数の疑似異常画像データ６０ｃを生成する。第２生成部７２は、複数の正常画像データ６０ａ及び複数の疑似異常画像データ６０ｃの学習を行い、設備の正常、異常を判定する判定モデルを生成する。取得部７３は、設備の一連の動作を撮影した複数の画像データを取得する。検出部７４は、判定モデルを用いて取得部７３により取得された複数の画像データの正常、異常を判定し、何れかの画像データで異常と判定された場合、設備に異常が発生したと検出する。これにより、異常検出装置５０は、設備の一連の動作を判定モデルに学習させることができるため、設備の一連の動作する間に発生した異常を精度良く検出できる。

【0056】

また、検出部７４は、連続して撮影された所定数の画像データで異常と判定された場合、設備に異常が発生したと検出する。これにより、異常検出装置５０は、異常を判定精度が向上する。

【0057】

以上、実施形態について説明してきたが、今回開示された実施形態は、全ての点で例示であって制限的なものではないと考えられるべきである。実に、上述した実施形態は、多様な形態で具現され得る。また、上述した実施形態は、請求の範囲及びその趣旨を逸脱することなく、様々な形態で省略、置換、変更されてもよい。

【0058】

例えば、上述した実施形態では、監視対象とする設備を塗布ユニット１０とした場合を例に説明した。しかし、これに限定されるものではない。設備は、液体を吐出（供給）する液体供給部を備えれば、何れであってもよい。

【0059】

また、上述した実施形態では、液だれ、ボタ落ちなどの異常を検出する場合を例に説明したが、これに限定されるものではない。検出する異常は、何れであってもよい。

【0060】

また、上述した実施形態では、異常検出装置５０において判定モデルを生成する場合を例に説明したが、これに限定されるものではない。判定モデルは、別の装置で生成されて異常検出装置５０の記憶部５４に格納されてもよい。異常検出装置５０は、別の装置で生成されて記憶部５４に格納され判定モデルを用いて、取得された画像データから設備の異常を検出してもよい。

【0061】

なお、今回開示された実施形態は全ての点で例示であって制限的なものではないと考えられるべきである。実に、上記した実施形態は多様な形態で具現され得る。また、上記の実施形態は、添付の特許請求の範囲及びその趣旨を逸脱することなく、様々な形態で省略、置換、変更されてもよい。

【符号の説明】

【0062】

１０ 塗布ユニット
１１ アーム
１２ 支持部
１３ ノズル
２０ カメラ
５０ 異常検出装置
５１ 外部Ｉ／Ｆ
５２ 表示部
５３ 入力部
５４ 記憶部
５５ 制御部
６０ モデル生成用データ
６０ａ 正常画像データ
６０ｂ 実異常画像データ
６０ｃ 疑似異常画像データ
６１ モデルデータ
７０ 第１生成部
７１ 受付部
７２ 第２生成部
７３ 取得部
７４ 検出部
７５ 出力部
Ｓ 対象面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2024-06-18

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

液体供給部を備えた設備であって、液だれ及びボタ落ちが発生していない前記設備を撮影した正常画像データの画像の指定された範囲内のランダムな位置に液だれ又はボタ落ちの画像を合成した疑似異常画像データを生成する第１生成部と、
前記正常画像データ及び前記疑似異常画像データの学習を行い、前記設備の正常、異常を判定する判定モデルを生成する第２生成部と、
前記設備を撮影した画像データを取得する取得部と、
前記判定モデルを用いて前記取得部により取得された前記画像データから前記設備の異常を検出する検出部と、
を有する異常検出装置。

【請求項2】

前記第２生成部は、前記正常画像データ及び前記疑似異常画像データに加え、異常が発生した前記設備を撮影した実異常画像データの学習を行い、前記判定モデルを生成する
請求項１に記載の異常検出装置。

【請求項3】

前記液体供給部は、液体を吐出するノズル又は配管を設けたアームからなる
請求項１又は２に記載の異常検出装置。

【請求項4】

画像を合成する範囲及び合成する画像のサイズの指定を受け付ける受付部をさらに有し、
前記第１生成部は、前記受付部で指定されたサイズ以下で、指定された範囲内のランダムな位置に液だれ又はボタ落ちの画像を合成した疑似異常画像データを生成する
請求項１～３の何れか１つに記載の異常検出装置。

【請求項5】

前記第１生成部は、正常画像データの画像の画素の輝度値を高い順に並べた場合に上位から所定の割合の輝度値を輝度とした略円形の画像を合成した疑似異常画像データを生成する
請求項１～４の何れか１つに記載の異常検出装置。

【請求項6】

前記第１生成部は、正常に動作する前記設備の一連の動作を撮影した複数の正常画像データそれぞれについて画像のランダムな位置に液だれ又はボタ落ちの画像を合成した複数の疑似異常画像データを生成し、
前記第２生成部は、複数の前記正常画像データ及び複数の前記疑似異常画像データの学習を行い、前記設備の正常、異常を判定する判定モデルを生成し、
前記取得部は、前記設備の一連の動作を撮影した複数の画像データを取得し、
前記検出部は、前記判定モデルを用いて前記取得部により取得された複数の前記画像データの正常、異常を判定し、何れかの前記画像データで異常と判定された場合、前記設備に異常が発生したと検出する
請求項１～５の何れか１つに記載の異常検出装置。

【請求項7】

前記検出部は、連続して撮影された所定数の前記画像データで異常と判定された場合、前記設備に異常が発生したと検出する
請求項６に記載の異常検出装置。

【請求項8】

液体供給部を備えた設備であって、液だれ及びボタ落ちが発生していない前記設備を撮影した正常画像データ、及び前記正常画像データの画像の指定された範囲内のランダムな位置に液だれ又はボタ落ちの画像を合成した疑似異常画像データの学習を行って生成された判定モデルであって、前記設備の正常、異常を判定する前記判定モデルを記憶する記憶部と、
前記設備を撮影した画像データを取得する取得部と、
前記判定モデルを用いて前記取得部により取得された前記画像データから前記設備の異常を検出する検出部と、
を有する異常検出装置。

【請求項9】

前記液体供給部は、液体を吐出するノズル又は配管を設けたアームからなる
請求項８に記載の異常検出装置。

【請求項10】

液体供給部を備えた設備であって、液だれ及びボタ落ちが発生していない前記設備を撮影した正常画像データのランダムな位置に液だれ又はボタ落ちの画像を合成した疑似異常画像データを生成する第１生成部と、
前記正常画像データ及び前記疑似異常画像データの学習を行い、前記設備の正常、異常を判定する判定モデルを生成する第２生成部と、
前記設備を撮影した画像データを取得する取得部と、
前記判定モデルを用いて前記取得部により取得された前記画像データから前記設備の異常を検出する検出部と、を有し、
前記第１生成部は、正常に動作する前記設備の一連の動作を撮影した複数の正常画像データそれぞれについて画像のランダムな位置に液だれ又はボタ落ちの画像を合成した複数の疑似異常画像データを生成し、
前記第２生成部は、複数の前記正常画像データ及び複数の前記疑似異常画像データの学習を行い、前記設備の正常、異常を判定する判定モデルを生成し、
前記取得部は、前記設備の一連の動作を撮影した複数の画像データを取得し、
前記検出部は、前記判定モデルを用いて前記取得部により取得された複数の前記画像データの正常、異常を判定し、何れかの前記画像データで異常と判定された場合、前記設備に異常が発生したと検出する
異常検出装置。

【請求項11】

前記検出部は、連続して撮影された所定数の前記画像データで異常と判定された場合、前記設備に異常が発生したと検出する
請求項１０に記載の異常検出装置。

【請求項12】

液体供給部を備えた設備であって、液だれ及びボタ落ちが発生していない前記設備を撮影した正常画像データの画像の指定された範囲内のランダムな位置に液だれ又はボタ落ちの画像を合成した疑似異常画像データを生成する工程と、
前記正常画像データ及び前記疑似異常画像データの学習を行い、前記設備の正常、異常を判定する判定モデルを生成する工程と、
前記設備を撮影した画像データを取得する工程と、
前記判定モデルを用いて、取得された前記画像データから前記設備の異常を検出する工程と、
を有する異常検出方法。

【請求項13】

前記液体供給部は、液体を吐出するノズル又は配管を設けたアームからなる
請求項１２に記載の異常検出方法。

【請求項14】

画像を合成する範囲及び合成する画像のサイズの指定を受け付け、
前記疑似異常画像データを生成する工程は、指定されたサイズ以下で、指定された範囲内のランダムな位置に液だれ又はボタ落ちの画像を合成した疑似異常画像データを生成する
請求項１２又は１３に記載の異常検出方法。

【請求項15】

前記疑似異常画像データを生成する工程は、正常画像データの画像の画素の輝度値を高い順に並べた場合に上位から所定の割合の輝度値を輝度とした略円形の画像を合成した疑似異常画像データを生成する
請求項１２～１４の何れか１つに記載の異常検出方法。

【請求項16】

液体供給部を備えた設備を撮影した画像データを取得する工程と、
液だれ及びボタ落ちが発生していない前記設備を撮影した正常画像データ、及び前記正常画像データの画像の指定された範囲内のランダムな位置に液だれ又はボタ落ちの画像を合成した疑似異常画像データの学習を行って生成された判定モデルであって、前記設備の正常、異常を判定する前記判定モデルを用いて、取得された前記画像データから前記設備の異常を検出する工程と、
を有する異常検出方法。

【請求項17】

前記液体供給部は、液体を吐出するノズル又は配管を設けたアームからなる
請求項１６に記載の異常検出方法。

【請求項18】

液体供給部を備えた設備であって、液だれ及びボタ落ちが発生しせずに正常に動作する前記設備の一連の動作を撮影した正常画像データを取得する工程と、
正常に動作する前記設備の一連の動作を撮影した複数の正常画像データそれぞれについて画像のランダムな位置に液だれ又はボタ落ちの画像を合成した複数の疑似異常画像データを生成する工程と、
複数の前記正常画像データ及び複数の前記疑似異常画像データの学習を行い、前記設備の正常、異常を判定する判定モデルを生成する工程と、
前記設備の一連の動作を撮影した複数の画像データを取得する工程と、
前記判定モデルを用いて、取得された複数の前記画像データの正常、異常を判定し、何れかの前記画像データで異常と判定された場合、前記設備に異常が発生したと検出する工程と、
を有する異常検出方法。

【請求項19】

検出する工程は、連続して撮影された所定数の前記画像データで異常と判定された場合、前記設備に異常が発生したと検出する
請求項１８に記載の異常検出方法。