特許 7436752 検知装置および検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-13

(45)【発行日】2024-02-22

(54)【発明の名称】検知装置および検知方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240214BHJP

   G06T 7/00 20170101ALI20240214BHJP

   G06N 3/0455 20230101ALI20240214BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 610Z

G06N3/0455

【請求項の数】 7

(21)【出願番号】P 2023508334

(86)(22)【出願日】2021-03-25

(86)【国際出願番号】 JP2021012632

(87)【国際公開番号】W WO2022201451

(87)【国際公開日】2022-09-29

【審査請求日】2023-03-24

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】110000062

【氏名又は名称】弁理士法人第一国際特許事務所

(72)【発明者】

【氏名】笹尾 海斗

【審査官】比嘉 翔一

(56)【参考文献】

【文献】特開２０２０－１４０５８０（ＪＰ，Ａ）

【文献】特開２０２０－１８７７３５（ＪＰ，Ａ）

【文献】特開２０２０－０６７８６５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０２５０８１２（ＵＳ，Ａ１）

【文献】国際公開第２０２０／０３１９８４（ＷＯ，Ａ１）

【文献】国際公開第２０２０／１８４０６９（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１８８０４０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ２１／８４－Ｇ０１Ｎ２１／９５８

Ｇ０６Ｔ ７／００

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍ３）

(57)【特許請求の範囲】

【請求項1】

画像に含まれる検知対象の正常／異常を検知する検知装置であって、
検知対象を含む第１画像を取得する画像取得部と、
前記第１画像に対してノイズを加える加工処理を行った第２画像を出力する画像加工部と、
学習済みのオートエンコーダにより、前記第１画像と前記第２画像の内少なくとも前記第２画像を処理した第３画像を出力するＡＥ処理部と、
前記第１画像と前記第３画像との差分を算出し、第４画像を出力する算出処理部と、
前記第４画像に基づき正常／異常の判定を行う判定部と、
を備える検知装置。

【請求項2】

前記画像加工部は、前記第１画像に対して部分的にノイズを加える加工処理を行った前記第２画像を出力することを特徴とする請求項１に記載の検知装置。

【請求項3】

前記画像加工部は、前記第１画像に対して異なる複数のノイズを加える加工処理を行うことにより複数の第２画像を出力し、
前記ＡＥ処理部は、前記複数の第２画像を処理し、前記複数の第２画像のそれぞれに対応する複数の第３画像を出力し、
前記算出処理部は、前記第１画像と前記複数の第３画像との差分を算出し、一の前記第４画像を出力する、
ことを特徴とする請求項１または２に記載の検知装置。

【請求項4】

前記算出処理部は、算出された複数の差分の論理積を算出することにより前記一の第４画像を出力することを特徴とする請求項３に記載の検知装置。

【請求項5】

前記画像加工部は、明度変換処理、ぼかし処理、エッジ強調処理、および、アルファブレンディング処理の組から任意の２以上の異なるノイズを加える加工処理を行うことを特徴とする請求項３または４に記載の検知装置。

【請求項6】

検知対象を撮像する撮像装置をさらに備え、
前記画像取得部は、前記撮像装置から前記第１画像を取得することを特徴とする請求項１乃至５のいずれかに記載の検知装置。

【請求項7】

画像に含まれる検知対象の正常／異常を検知する検知方法であって、
検知対象を含む第１画像を取得するステップと、
前記第１画像に対してノイズを加える加工処理を行った第２画像を出力するステップと、
学習済みのオートエンコーダにより、前記第１画像と前記第２画像の内少なくとも前記第２画像を処理した第３画像を出力するステップと、
前記第１画像と前記第３画像との差分を算出し、第４画像を出力するステップと、
前記第４画像に基づき正常／異常の判定を行うステップと、
を備える検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オートエンコーダ（ＡＥ：Ａｕｔｏｅｎｃｏｄｅｒ）を用いた検知装置および検知方法に関する。

【背景技術】

【0002】

従来から、産業カメラ等の撮像装置を用いて、製造品などの良・不良を自動判定する異常検知に関する技術が知られている。近年では、人工知能（ＡＩ）、特に深層学習を用いたモデルを用いた異常検知技術が主流となっている。特に、異常データを大量に収集することが難しい分野では、良品データのみで学習するオートエンコーダという手法が用いられる。また、この手法をベースに、ＤＡＥ（Ｄｅｎｏｉｓｉｎｇ Ａｕｔｏ Ｅｎｃｏｄｅｒ）やＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ Ｅｎｃｏｄｅｒ）など様々な手法による異常検知技術が提案されている。これらの手法は、正常なデータのみを用いて出力が入力と等しくなるように学習を行い、運用時には判定対象の画像データを入力し、正常に復元されれば良と判定し、正常に復元されなければ不良（異常部分がある）と判定する。

【0003】

たとえば、特許文献１は、オートエンコーダを使ってログの異常検知を行う場合の学習データの前処理や選定、モデルの選択を適切に行うことにより検知精度を向上させた検知装置を開示する。この検知装置は、前処理部と、生成部と、検知部とを備える。前処理部は、学習用のデータ及び検知対象のデータを加工する。生成部は、前処理部によって加工された学習用のデータを基に、深層学習により正常状態のモデルを生成する。検知部は、前処理部によって加工された検知対象のデータをモデルに入力して得られた出力データを基に異常度を計算し、異常度を基に検知対象のデータの異常を検知する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－１４０５８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、製造品に紛れる不良の原因は、それが写った画像の中で極めて小さい傷や欠損、加工ずれであることが多い。このような小さな領域に示される原因に対して、上述した技術を用いても検知することは難しく、見逃してしまうことが多いという課題があった。

【0006】

そこで、本発明は、かかる事情に鑑みて考案されたものであり、画像の中で検知すべき対象が極めて小さい領域に示される場合であっても、そのような検知対象を見逃して正常／異常を判定することを防止する検知装置および検知方法を提供するものである。

【課題を解決するための手段】

【0007】

上記課題を解決するために、画像に含まれる検知対象の正常／異常を検知する検知装置であって、検知対象を含む第１画像を取得する画像取得部と、第１画像を加工した第２画像を出力する画像加工部と、学習済みのオートエンコーダにより、第１画像と第２画像の内少なくとも第２画像を処理した第３画像を出力するＡＥ処理部と、第１画像と第３画像との差分を算出し、第４画像を出力する算出処理部と、第４画像に基づき正常／異常の判定を行う判定部と、を備える検知装置が提供される。
これによれば、判定対象である第１画像と、その画像を加工した第２画像をオートエンコーダが処理した第３画像との差分を示す第４画像に基づき判定することで、画像の中で検知すべき対象が極めて小さい領域に示される場合であっても、そのような検知対象を見逃して正常／異常を判定することを防止する検知装置を提供することができる。

【0008】

さらに、画像加工部は、第１画像を部分的に加工した第２画像を出力することを特徴としてもよい。
これによれば、第２画像は判定対象である第１画像を部分的に加工したものであることで、判定対象に存在した検知対象が第３画像に現れるため第４画像では当該検知対象部分が強調されて表示され、かかる検知対象を見逃すことを防止できる。

【0009】

さらに、画像加工部は、第１画像に対して異なる複数の加工処理を行うことにより複数の第２画像を出力し、ＡＥ処理部は、複数の第２画像を処理し、複数の第２画像のそれぞれに対応する複数の第３画像を出力し、算出処理部は、第１画像と複数の第３画像との差分を算出し、一の第４画像を出力することを特徴としてもよい。
これによれば、複数の異なる加工処理された第２画像をオートエンコーダが処理した複数の異なる第３画像を合成して１つの第４画像を生成し、かかる第４画像に基づき判定することで、極めて小さい検知対象であっても当該部分が重畳することで強調されて表示され、かかる検知対象を見逃すことを防止できる。

【0010】

さらに、算出処理部は、算出された複数の差分の論理積を算出することにより一の第４画像を出力することを特徴としてもよい。
これによれば、複数の差分の論理積を算出した１つの第４画像を生成し、かかる第４画像に基づき判定することで、極めて小さい検知対象であっても当該部分が重畳することで強調されて表示され、かかる検知対象を見逃すことを防止できる。

【0011】

さらに、画像加工部は、明度変換処理、ぼかし処理、エッジ強調処理、および、アルファブレンディング処理の組から任意の２以上の異なる加工処理を行うことを特徴としてもよい。
これによれば、判定対象である第１画像を複数の異なる加工処理を行うことで、判定対象に存在した検知対象がすべての第３画像に共通して現れるため第４画像では当該部分が重畳することで強調されて表示され、かかる検知対象を見逃すことを防止できる。

【0012】

さらに、検知対象を撮像する撮像装置をさらに備え、画像取得部は、撮像装置から第１画像を取得することを特徴としてもよい。
これによれば、撮像装置と一体化した検知装置を提供することができる。

【0013】

上記課題を解決するために、画像に含まれる検知対象の正常／異常を検知する検知方法であって、検知対象を含む第１画像を取得するステップと、第１画像を加工した第２画像を出力するステップと、学習済みのオートエンコーダにより、第１画像と第２画像の内少なくとも第２画像を処理した第３画像を出力するステップと、第１画像と第３画像との差分を算出し、第４画像を出力するステップと、第４画像に基づき正常／異常の判定を行うステップと、を備える検知方法が提供される。
これによれば、判定対象である第１画像と、その画像を加工した第２画像をオートエンコーダが処理した第３画像との差分を示す第４画像に基づき判定することで、画像の中で検知すべき対象が極めて小さい領域に示される場合であっても、そのような検知対象を見逃して正常／異常を判定することを防止する検知方法を提供することができる。

【発明の効果】

【0014】

以上説明したように、本発明によれば、画像の中で検知すべき対象が極めて小さい領域に示される場合であっても、そのような検知対象を見逃して正常／異常を判定することを防止する検知装置および検知方法を提供することができる。

【図面の簡単な説明】

【0015】

【図1】本発明に係る第一実施形態の異常検知システムの使用状況を示す図。

【図2】本発明に係る第一実施形態の異常検知システムの機能ブロック図。

【図3】本発明に係る第一実施形態の検知装置の画像処理部の機能ブロック図。

【図4】本発明に係る第一実施形態の検知装置における、入力画像、加工処理済み画像、およびＡＥ処理結果画像の関係を示す図。

【図5】本発明に係る第一実施形態の検知装置における、入力画像、ＡＥ処理結果画像、差分結果画像、および合成結果画像の関係を示す図。

【図6】本発明に係る第一実施形態の検知装置の算出処理部における処理のフローチャート。

【図7】本発明に係る第一実施形態の異常検知システムのハードウェア構成図。

【図8】一般的なオートエンコーダの機能を示す図。

【発明を実施するための形態】

【0016】

以下では、図面を参照しながら、本発明に係る実施形態について説明する。
＜第一実施形態＞
図１～図７を参照し、本実施形態における異常検知システム１０１および異常検知システム１０１に組み込まれた検知装置１００を説明する。異常検知システム１０１は、図１に示すように、たとえばねじ１０２の製造ライン１０３において、製造されたねじ１０２の異常を検知して良・不良品の振り分けに用いられる。異常検知システム１０１は、良品と不良品が混在する製造ライン１０３のねじ１０２を撮像し、撮像した画像に基づき異常を検知する。異常検知システム１０１は、異常を検知しなかったねじ１０２を良品の製造ライン１０３へ振り分け、異常を検知したねじ１０２を不良品の製造ライン１０３へ振り分ける制御を行う。なお、本図では、不良品のねじ１０２は、頭部の工具溝（十字形部分）が潰れている異常を有することを示している。もちろん、異常検知システム１０１は、本図の例に限られず、たとえばある構造物そのものやその構造物を構成する基板などの部品、食品を含む生産物など、様々な検知対象に使用され得る。

【0017】

異常検知システム１０１は、図２に示すように、本発明に係る検知装置１００と、検知装置１００が処理した画像や映像の記録を制御する記録制御部２０４と、記録制御部２０４が記録を指示した画像を格納する記録装置２０５と、記録制御部２０４が表示を指示した画像等を表示する制御を行う表示制御部２０６と、表示制御部２０６が表示を指示した画像等または記録装置２０５からの画像等を表示出力する表示出力装置２０７と、検知装置１００が行った振り分け制御に応じて製造ライン１０３などの機器を制御する（流す方向の切り替えなどを行う）機器制御装置２０８と、を備える。

【0018】

記録制御部２０４は、検知装置１００が判定した結果を用いて画像や映像の記録制御や、記録映像の圧縮率や記録間隔を制御する。記録装置２０５は、検知装置１００より得られた画像等を記録制御部２０４の命令により記録保持する。表示制御部２０６は、検知装置１００が取得した画像等および検知装置１００が判定した結果や、記録装置２０５に保存された情報の表示を制御する。表示出力装置２０７は、これらの画像等や結果・情報等を実際に表示する。

【0019】

検知装置１００は、画像に含まれる検知対象の正常／異常を検知する装置である。検知装置１００は、本図に示すように、検知対象を撮像する撮像装置２０１と、撮像装置２０１が撮像した検知対象を含む画像や映像（第１画像）を取得する画像取得部２０２と、画像取得部２０２が取得した画像等に基づき画像を処理して良不良の判定を行う画像処理部２０３とを備える。撮像装置２０１は、たとえば１台以上の産業カメラである。これにより、撮像装置２０１と一体化した検知装置１００を提供することができ、撮像装置２０１で得た画像等から迅速に正常／異常を検知することができる。なお、撮像装置２０１と画像取得部２０２および画像処理部２０３は必ずしも一体である必要はなく、たとえば、撮像装置２０１は製造ライン１０３の近傍に配置され、画像取得部２０２と画像処理部２０３はそこから離れた場所（たとえば制御室など）に配置され、互いに通信により接続されていてもよい。

【0020】

画像取得部２０２は、撮像装置２０１から得られる信号を画像等として取得する。画像取得部２０２は、撮像装置２０１であるカメラからのリアルタイムの画像データや、画像データが記録されている映像記録装置などから入力された映像信号から１次元配列もしくは２次元、３次元配列の画像データとして取得する。この画像データにおいては、フリッカなどの影響を低減するために前処理として適宜平滑化フィルタなどの処理を施してもよい。また、用途に応じてＲＧＢカラーやＹＵＶ、モノクロなどのデータ形式を選択してもよい。さらには、処理コスト低減のために、所定の大きさで画像データに縮小処理を施してもよい。なお、画像処理部２０３については、後述する。

【0021】

ここで、図７を参照し、異常検知システム１０１のハードウェア構成の一例を説明する。異常検知システム１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの処理装置から構成される処理部Ｐｒｃ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリデバイスおよび、ハードディスクＨＤやＤＶＤ等のストレージデバイスといった記憶部Ｍｅｍ、撮像装置２０１や機器制御装置２０８と通信し信号の入出力を行うためのネットワークインターフェースの通信部Ｃｏｍを含み、これらが、内部バス、外部バス、拡張バス等を含むシステムバスＢｕｓといった伝送路を介して互いに接続されたものである。

【0022】

処理部Ｐｒｃは、複数のプログラムを並列に実行することができる、１以上のプロセッサ（またはコア）及びその周辺回路を有する。処理部Ｐｒｃは、異常検知システム１０１の全体的な動作を統括制御する全体制御部２０９を備え、上述した他の構成要素との間で制御信号及び情報信号（データ）の送受信を行うとともに、異常検知システム１０１の処理、実行、制御に必要な各種の演算処理を行う。そのため、処理部Ｐｒｃは、高速アクセス可能な記憶領域に対して、数値演算ユニット等を用いた加減乗除等の算術演算、論理積等の論理演算、学習済みモデルに従ったベクトル演算等を行うことが可能なように構成されている。

【0023】

記憶部Ｍｅｍは、用途に応じた様々な種類のメモリデバイスやストレージデバイスを備え、一部に記録装置２０５を構成する。たとえば、ＲＯＭには、一般に、電源投入後、最初に実行されるＩＰＬ（Ｉｎｉｔｉａｌ Ｐｒｏｇｒａｍ Ｌｏａｄｅｒ）が記録されている。これが処理部Ｐｒｃに読み込まれ実行されることにより、ハードディスクＨＤ等のストレージデバイスに記憶されたプログラムやデータ、学習済みモデルなどが、全体制御部２０９によって一旦これらを一時的に記憶するためのＲＡＭに書き出され、それらのプログラムが全体制御部２０９によって実行される。記憶部Ｍｅｍに記憶されているプログラムは、オペレーティングシステムプログラムや異常検知システム１０１に必要なプログラムやモジュール、学習済みモデルである。なお、オペレーティングシステムプログラムは、ＭＩＣＲＯＳＯＦＴ（登録商標）ＷＩＮＤＯＷＳ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）などであり、異常検知システム１０１が実行され得る限り特に限定されない。

【0024】

処理部Ｐｒｃは、記憶部Ｍｅｍから異常検知システム１０１に必要なプログラム等を読み込み、画像取得部２０２、画像処理部２０３、記録制御部２０４、表示出力装置２０７の制御を行う表示制御部２０６などの異常検知システム１０１の機能を実現する。このように、上述したハードウェアと異常検知システム１０１に必要なソフトウェアが協働することにより、異常検知システム１０１の特有の処理や動作が構築されている。なお、異常検知システム１０１は、上述したハードウェアに限定されず、たとえば、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（ＤＳＰ）、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＧＰＵ）などの電子計算機システム以外で代替してもよい。

【0025】

図３を参照し、画像処理部２０３について説明する。画像処理部２０３は、画像取得部２０２から画像等（第１画像）を入力され、機器制御装置２０８へ判定結果を出力するとともに、その判定結果を用いて画像等を記録制御部２０４へ出力する。画像処理部２０３は、画像取得部２０２から入力された画像（第１画像）を加工した画像（第２画像）を出力する画像加工部３０１と、学習済みのオートエンコーダにより処理した画像（第３画像）を出力するＡＥ処理部３０３と、入力された画像（第１画像）とＡＥ処理部３０３が処理した画像（第３画像）との差分を算出した画像（第４画像）を出力する算出処理部３０４と、差分を算出した画像（第４画像）に基づき正常／異常の判定を行う判定部３０５と、を備える。

【0026】

画像加工部３０１は、入力された画像を様々に加工する機能を有する。たとえば、画像加工部３０１は、画像全体を加工してもよいし、部分的に加工してもよい。また、画像加工部３０１は、明度変換処理、ぼかし処理、エッジ強調処理、および、アルファブレンディング処理などの様々な加工処理方法により画像を加工してもよい。明度変換処理とは、画像における色空間を構成する３要素の一つである明度を変更する処理である。また、明度変換処理は、色相ごとに彩度を変更するようなより詳細な処理であってもよい。ぼかし処理とは、各種フィルタを用いて画像のピクセルの画素値（ＲＧＢ値）を周囲のピクセルと合わせて計算する処理である。各種フィルタとは、たとえば、ガウシアンフィルタ、平均化フィルタ、メディアンフィルタなどである。周囲の方向や大きさは適宜定められる。

【0027】

エッジ強調処理とは、画像がより鮮明になるように各種フィルタを用いて画素を変換する処理であり、画像の画素値（輝度）の変化（勾配）が大きい部分をより大きくする処理である。各種フィルタとは、たとえば、プレヴィットフィルタ、ソーベルフィルタ、ラプラシアンフィルタ、シャープフィルタなどである。エッジを検出する方向や勾配の大きさは適宜定められる。アルファブレンディング処理とは、画像にアルファ値（透過情報）を掛け合わせて半透明な画像を重ねる処理である。ブレンドする画像は任意のテクスチャであってもよい。

【0028】

画像加工部３０１は、上述した加工処理方法を、画像全体に施してもよいし、画像の一部に施してもよい。画像の一部を加工する場合、規則的な縦縞状、横縞状、格子状などの模様であってもよいし、ランダムな点状、島状などの斑点であってもよいし、円状・渦巻き状などであってもよく、特に限定されない。画像を部分的に加工した場合、後述するように、判定対象に存在した検知対象（傷や欠損など）が第３画像に現れるため第４画像では当該検知対象部分が強調されて表示されるため、かかる検知対象を見逃すことを防止できる。

【0029】

画像加工部３０１は、入力された画像に対して異なる複数の加工処理方法を用いて加工処理を行うことにより複数の画像（第２画像）を出力してもよい。この場合、次工程のＡＥ処理部３０３は、加工処理された複数の画像を処理し、その複数の画像のそれぞれに対応する複数の画像（第３画像）を出力する。なお、画像加工部３０１は、加工処理した画像に加えて、入力された画像を加工処理せずにそのままＡＥ処理部３０３に出力してもよい。この場合、ＡＥ処理部３０３は、加工処理していない画像（第１画像）と加工処理した画像（第２画像）の内少なくとも加工処理した画像（第２画像）を処理する。

【0030】

画像加工部３０１は、入力された画像に対して複数の加工処理方法を用いて加工処理を行う場合、明度変換処理、ぼかし処理、エッジ強調処理、および、アルファブレンディング処理の組から任意の２以上の異なる加工処理を行うことが好ましい。このように、判定対象である入力画像（第１画像）を複数の異なる加工処理を行うことで、異なる加工処理をされた複数の画像をＡＥ処理部３０３に入力することができる。

【0031】

また、画像加工部３０１は、２以上の異なる加工処理を行う場合、画像の異なる部分にそれらの加工処理が施されることが好ましい。このように、入力画像（第１画像）に対して異なる部分に異なる加工処理を行うことで、異なる部分に異なる加工処理をされた複数の画像をＡＥ処理部３０３に入力することができる。たとえば、図４に示すように、画像加工部３０１は、入力画像４０１に対して、加工処理１により渦巻き状のマスクを有するアルファブレンディング処理を行い、加工処理Ｎ－１により横縞状にぼかし処理を行い、これらを出力すると共に、加工処理しない入力画像も出力する。このように、画像加工部３０１は、入力画像に対して意図的にノイズを加えるような加工処理を行い、加工処理済み画像４０２として出力する。

【0032】

ＡＥ処理部３０３は、学習済みのオートエンコーダにより、画像加工部３０１が出力する加工処理済み画像４０２を処理する。オートエンコーダとは、ニューラルネットワークから構成されるエンコーダとデコーダから構成される。エンコーダでは、入力データから次元圧縮した特徴を出力し、デコーダはその特徴から入力データを復元するように機能する。機械学習の段階では、オートエンコーダへの入力とオートエンコーダからの出力を比較し誤差を算出し、たとえば誤差逆伝搬によりその誤差を最小化するように、すなわちオートエンコーダの出力と入力が一致するようにニューラルネットワークの重みを調整する。

【0033】

オートエンコーダを異常の検知などに用いる場合、図８に示すように、異常を有さない正常品の画像データだけを用いてオートエンコーダを学習させる。このようにして学習された学習済みオートエンコーダは、正常品のねじが写った画像を入力されると、正常品のネジを復元して出力する一方、一部に傷などの異常を含んだねじが写った画像を入力されても、同様にその異常部分を除去した画像、すなわち正常なねじの画像を出力しようとする。そこで、異常を含んだ画像と出力した正常そうな画像を比較して差分を抽出することで、異常個所を特定した異常検知を行うことができる。しかし、その画像の中で検知すべき異常部分が極めて小さい領域に示される場合、通常のオートエンコーダでは検知することが難しい。本発明は、かかる課題を解決するものである。

【0034】

なお、学習済みオートエンコーダの学習モデル３０２における中間層の構造は、層の深さやフィルタの大きさ・数などに制限はないものとする。また、オートエンコーダは、類似したＤＡＥやＶＡＥなどのオートエンコーダを基本とした別手法を用いてもよい。また、学習済みオートエンコーダの学習モデル３０２は、記録装置２０５などに記憶され、検知装置１００の運用時においては、画像処理部２０３の一部として処理部Ｐｒｃにロードされる。

【0035】

図４に示すように、ＡＥ処理部３０３は、上述した学習済みオートエンコーダにより、加工処理１が施された加工処理済み画像４０２を入力されると、ＡＥ処理結果２のＡＥ処理結果画像４０３を出力する。ＡＥ処理結果２のＡＥ処理結果画像４０３は、加工処理１が施された加工処理済み画像４０２に比べて正常品に近いものの渦巻き状のマスクにより完全には復元できず一部に違和感のある復元画像である。また、同様に、ＡＥ処理部３０３は、加工処理Ｎ－１が施された加工処理済み画像４０２を入力されると、ＡＥ処理結果ＮのＡＥ処理結果画像４０３を出力する。ＡＥ処理結果ＮのＡＥ処理結果画像４０３は、加工処理Ｎ－１が施された加工処理済み画像４０２に比べて正常品に近いものの横縞状のマスクにより完全には復元できず一部に違和感のある復元画像である。

【0036】

また、これらの復元画像であるＡＥ処理結果画像４０３には、渦巻き状のマスク・横縞状のマスクと同様、正常品のねじには含まれない異常部分（本図では、ねじ頭部の工具溝（十字形部分）が潰れた部分）により完全には復元できず一部に違和感のある形で復元されている。もちろん、ＡＥ処理部３０３は、加工処理しない画像に対しても、当該異常部分が極めて小さい部分であってもその一部が完全には復元できず一部に違和感のある形で復元されていると考えられる。逆に言えば、ＡＥ処理部３０３は、当該異常部分の一部を正常に違和感のない形に復元していると言える。

【0037】

なお、ＡＥ処理部３０３は、画像加工部３０１が加工処理しない入力画像も出力する場合、加工処理しない入力画像と加工処理した画像の内少なくとも加工処理した画像（第３画像）を処理するものとする。また、ＡＥ処理部３０３は、図３のように、計算処理を並列化し高速化するために複数設けられることが好ましい。

【0038】

算出処理部３０４は、図５に示すように、画像取得部２０２が取得した入力画像４０１（第１画像）と、ＡＥ処理部３０３が復元し出力したＡＥ処理結果画像４０３（第３画像）との差分を算出し、差分結果画像４０４（第４画像）として算出する。差分結果画像４０４は、たとえば、両方の対応する画素毎に色空間距離を測り、その距離がゼロでない画素や所定の閾値を超えた画素を強調表示することにより得られる。所定の閾値は差分を際立たせるように適宜定められる。

【0039】

本図では、算出処理部３０４は、入力画像４０１とＡＥ処理結果２のＡＥ処理結果画像４０３の差分を算出した差分結果２の差分結果画像４０４を算出する。差分結果２の差分結果画像４０４は、入力画像４０１と、渦巻き状のマスクにより完全には復元できず一部に違和感のある復元画像との差分を示す画像である。同様に、差分結果Ｎの差分結果画像４０４は、入力画像４０１と、横縞状のマスクにより完全には復元できず一部に違和感のある復元画像との差分を示す画像である。

【0040】

また、ＡＥ処理部３０３が加工処理しない画像に対しても処理した場合を示す差分結果１の差分結果画像４０４は、入力画像４０１と、当該異常部分が極めて小さい部分であってもその一部が完全には復元できず一部に違和感のある形で復元されている部分、および、当該異常部分の異なる一部を正常に違和感のない形に復元している部分との差分を示す画像である。また、差分結果１の差分結果画像４０４に含まれる差分は、入力画像４０１が異常部分を含む場合、差分結果２の差分結果画像４０４および差分結果Ｎの差分結果画像４０４などの他の差分結果画像４０４にも含まれ得るものである。なお、本図では、画像加工部３０１が複数の加工処理済み画像４０２を出力し、ＡＥ処理部３０３がその複数の画像に対して処理して複数の差分結果である差分結果画像４０４を出力しているが、１つの画像に対して処理を行う場合には、算出処理部３０４は１つの差分結果画像４０４（第４画像）を出力する。

【0041】

ＡＥ処理部３０３が複数の画像に対して処理する場合、算出処理部３０４は、入力画像４０１と、ＡＥ処理部３０３が復元した複数のＡＥ処理結果画像４０３との差分を算出した複数の差分結果画像４０４を生成し、この複数の差分結果画像４０４を合成することにより１つの合成結果画像４０５（第４画像）を出力する。画像の合成は、様々な方法が考えられるが、複数の差分結果画像４０４に共通する差分を強調することを目的とすれば、算出処理部３０４は、算出された複数の差分結果画像４０４の論理積を算出することにより合成し、１つの合成結果画像４０５（第４画像）を出力することが好ましい。これにより、合成結果画像４０５は、極めて小さい検知対象であっても当該部分が重畳することで強調されて表示される画像となる。

【0042】

たとえば、本図に示すように、差分結果１の差分結果画像４０４に含まれる差分すなわち異常部分による差分は、差分結果２の差分結果画像４０４、差分結果３の差分結果画像４０４、・・・、および差分結果Ｎの差分結果画像４０４にも含まれ得るものだから、これらすべての差分結果画像４０４の論理積を算出することにより合成した１つの合成結果画像４０５は、それぞれの差分結果画像４０４では極めて小さい差分であっても大きな差分として算出される。

【0043】

ＡＥ処理部３０３が複数の画像に対して処理した場合、算出処理部３０４は、図６のフローチャートの例のように実行される。算出処理部３０４は、Ｓ１００において、ＡＥ処理部３０３が出力した複数の差分結果１～Ｎである差分結果画像４０４を取得する。算出処理部３０４は、Ｓ１０２において、それぞれの差分結果画像４０４に対して、所定の閾値Ａに基づき、閾値Ａ以上の画素値は１（白色）に、閾値Ａを超えなかった画素値は０（黒色）に変換する。このように、閾値Ａ以上の部分は強調される。算出処理部３０４は、Ｓ１０４において、変換したそれぞれの差分結果画像４０４において対応する各画素に対して論理積（ＡＮＤ処理）を行う。より差分を強調するために、算出処理部３０４は、異なる閾値Ｂを用いて、各画素で閾値Ｂ以上の場合は論理積の結果を１（白色）に、閾値Ｂを超えなかった場合は論理積の結果を０（黒色）にしてもよい。

【0044】

判定部３０５は、ＡＥ処理部３０３が１つの画像に対して処理する場合は、１つの差分結果画像４０４（第４画像）に基づき正常／異常の判定を行う。なお、この場合、差分結果１以外の１つの差分結果画像４０４が出力される。また、判定部３０５は、ＡＥ処理部３０３が複数の画像に対して処理する場合は、１つの合成結果画像４０５（第４画像）に基づき正常／異常の判定を行う。このように、判定対象である入力画像４０１（第１画像）と、その画像を加工した加工処理済み画像４０２（第２画像）をオートエンコーダが処理したＡＥ処理結果画像４０３（第３画像）との差分を示す差分結果画像（第４画像）に基づき判定することで、画像の中で検知すべき対象が極めて小さい領域に示される場合であっても、そのような検知対象を見逃して正常／異常を判定することを防止する検知装置１００を提供することができる。

【0045】

特に、複数の異なる加工処理された加工処理済み画像４０２（第２画像）をオートエンコーダが処理した複数の異なるＡＥ処理結果画像４０３（第３画像）を合成して１つの合成結果画像（第４画像）を生成し、かかる合成結果画像４０５（第４画像）に基づき判定することで、極めて小さい検知対象であっても当該部分が重畳することで強調されて算出、表示され、かかる検知対象を見逃すことを防止できる。また、上述したように、判定対象である入力画像４０１（第１画像）を複数の異なる加工処理を行うことで、判定対象に存在した傷などの検知対象がすべてのＡＥ処理結果画像４０３（第３画像）に共通して現れるため、検知対象が小さなものであっても合成結果画像４０５（第４画像）では当該部分が重畳することで強調されて算出、表示され、かかる検知対象を見逃すことを防止できる。

【0046】

上述したことは、画像に含まれる検知対象の正常／異常を検知する検知方法でもある。この検知方法は、ねじなどの検知対象が写った入力画像４０１（第１画像）を取得するステップと、入力画像を加工した加工処理済み画像４０２（第２画像）を出力するステップと、学習済みのオートエンコーダにより、入力画像４０１と加工処理済み画像４０２の内少なくとも加工処理済み画像４０２を処理したＡＥ処理結果画像４０３（第３画像）を出力するステップと、入力画像４０１像とＡＥ処理結果画像４０３との差分を算出し、差分結果画像４０４（第４画像）を出力するステップと、差分結果画像４０４に基づき正常／異常の判定を行うステップと、を備える検知方法である。このように、判定対象である入力画像４０１と、その画像を加工した加工処理済み画像４０２をオートエンコーダが処理したＡＥ処理結果画像４０３との差分を示す差分結果画像４０４に基づき判定することで、画像の中で検知すべき対象が極めて小さい領域に示される場合であっても、そのような検知対象を見逃して正常／異常を判定することを防止する検知方法を提供することができる。

【0047】

本発明によれば、産業カメラなどを用いた製造品の異常検知システム１０１において、製造品に紛れる極めて小さい傷や欠損、加工ずれなどが存在する不良を見逃さないことが可能となる。

【0048】

なお、本発明は、例示した実施例に限定するものではなく、特許請求の範囲の各項に記載された内容から逸脱しない範囲の構成による実施が可能である。すなわち、本発明は、主に特定の実施形態に関して特に図示され、かつ説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施形態に対し、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。

【符号の説明】

【0049】

１００：検知装置、１０１：異常検知システム、１０２：ネジ（検知対象）、１０３：製造ライン、２０１：撮像装置、２０２：画像取得部、２０３：画像処理部、２０４：記録制御部、２０５：記録装置、２０６：表示制御部、２０７：表示出力装置、２０８：機器制御装置、２０９：全体制御部、３０１：画像加工部、３０２：学習モデル、３０３：ＡＥ処理部、３０４：算出処理部、３０５：判定部、４０１：入力画像（第１画像、判定対象）、４０２：加工処理済み画像（第２画像）、４０３：ＡＥ処理結果画像（第３画像）、４０４：差分結果画像（第４画像）、４０５：合成結果画像（第４画像）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】