特開 2024-173190 異常検知方法及び異常検知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024173190

(43)【公開日】2024-12-12

(54)【発明の名称】異常検知方法及び異常検知システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241205BHJP

   G06V 10/82 20220101ALI20241205BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023091427

(22)【出願日】2023-06-02

(71)【出願人】

【識別番号】000116655

【氏名又は名称】愛知製鋼株式会社

(74)【代理人】

【識別番号】100129654

【弁理士】

【氏名又は名称】大池 達也

(72)【発明者】

【氏名】村瀬 博典

(72)【発明者】

【氏名】北垣 修

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096CA02

5L096DA03

5L096EA05

5L096FA17

5L096GA08

5L096HA11

5L096JA03

5L096KA04

(57)【要約】

【課題】学習負担の低減が容易な異常検知方法および異常検知システムを提供すること。
【解決手段】拡散モデルを利用して画像中の異常を検知する異常検知システム１は、入力画像に対してノイズを付加することでノイズ画像を生成する拡散回路１１と、ノイズ画像からノイズを除去することにより復元画像を生成する逆拡散回路１３と、入力画像と復元画像との類似度に基づき、入力画像中の異常の有無を判定する判定回路１５と、を含み、逆拡散回路１３は、正常画像を示すものとして得られた学習情報である変数によって条件付けされたニューラルネットワークを利用して復元画像を生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

拡散モデルを利用して画像中の異常を検知する方法であって、
入力画像に対してノイズを付加することでノイズ画像を生成する拡散過程と、
当該ノイズ画像からノイズを除去することにより復元画像を生成する逆拡散過程と、
前記入力画像と前記復元画像との類似度に基づき、前記入力画像中の異常の有無を判定する判定過程と、を含み、
前記逆拡散過程は、正常画像を示すものとして得られた学習情報である変数によって条件付けされたニューラルネットワークを利用して前記復元画像を生成する過程である、異常検知方法。

【請求項2】

請求項１において、前記入力画像は、撮像カメラによる撮像画像、あるいは該撮像画像に所定の変換処理を施した変換画像であり、
前記復元画像は、前記ノイズ画像からノイズを除去したノイズ除去画像、あるいは前記所定の変換処理に対する逆変換に相当する処理を当該ノイズ除去画像に施した逆変換画像である、異常検知方法。

【請求項3】

請求項１において、前記入力画像は、製品または部品の画像であり、当該製品または部品の異常を検知する産業用途の異常検知方法。

【請求項4】

請求項１において、前記入力画像は、環境を撮像して得られた画像であり、当該環境の中で生じた異常を検知する異常検知方法。

【請求項5】

請求項１において、前記判定過程は、前記類似度に関する閾値処理により異常の有無を判定する、異常検知方法。

【請求項6】

請求項１において、前記判定過程は、前記入力画像と前記復元画像との差分画像に処理を施して前記類似度を求める、異常検知方法。

【請求項7】

拡散モデルを利用して画像中の異常を検知するシステムであって、
入力画像に対してノイズを付加することでノイズ画像を生成する拡散回路と、
当該ノイズ画像からノイズを除去することにより復元画像を生成する逆拡散回路と、
前記入力画像と前記復元画像との類似度に基づき、前記入力画像中の異常の有無を判定する判定回路と、を含み、
前記逆拡散回路は、正常画像を示すものとして得られた学習情報である変数によって条件付けされたニューラルネットワークを利用して前記復元画像を生成するように構成されている、異常検知システム。

【請求項8】

請求項７において、前記判定回路は、前記類似度に関する閾値処理により異常の有無を判定するように構成されている、異常検知システム。

【請求項9】

請求項７において、前記判定回路は、前記入力画像と前記復元画像との差分画像に処理を施して前記類似度を求めるように構成されている、異常検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習分野における拡散モデルを利用して画像中の異常を検知する方法及びシステムに関する。

【背景技術】

【0002】

従来、入力画像と復元画像との類似度を表す再構成誤差を利用して入力画像中の異常を検知する技術が知られている（例えば下記の特許文献１参照）。このような技術を採用すれば、例えば人手によって異常を検知する場合と比べて、入力画像中の異常を確実性高く検出できる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２３－１６０３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、前記従来の技術では、復元画像の品質が、異常の検知性能を大きく左右するという課題がある。

【0005】

本発明は、前記従来の問題点に鑑みてなされたものであり、高品質の画像を復元することにより異常の検知性能を高めた異常検知システムを提供しようとするものである。

【課題を解決するための手段】

【0006】

本発明の一態様は、拡散モデルを利用して画像中の異常を検知する方法であって、
入力画像に対してノイズを付加することでノイズ画像を生成する拡散過程と、
当該ノイズ画像からノイズを除去することにより復元画像を生成する逆拡散過程と、
前記入力画像と前記復元画像との類似度に基づき、前記入力画像中の異常の有無を判定する判定過程と、を含み、
前記逆拡散過程は、正常画像を示すものとして得られた学習情報である変数によって条件付けされたニューラルネットワークを利用して前記復元画像を生成する過程である、異常検知方法にある。

【0007】

また、本発明の一態様は、拡散モデルを利用して画像中の異常を検知するシステムであって、
入力画像に対してノイズを付加することでノイズ画像を生成する拡散回路と、
当該ノイズ画像からノイズを除去することにより復元画像を生成する逆拡散回路と、
前記入力画像と前記復元画像との類似度に基づき、前記入力画像中の異常の有無を判定する判定回路と、を含み、
前記逆拡散回路は、正常画像を示すものとして得られた学習情報である変数によって条件付けされたニューラルネットワークを利用して前記復元画像を生成するように構成されている、異常検知システムにある。

【発明の効果】

【0008】

本発明に係る異常検知方法及び異常検知システムは、拡散モデルを利用して異常を検知する方法あるいはシステムである。本発明では、入力画像に基づくノイズ画像からノイズを除去することにより復元画像が生成される。そして本発明では、入力画像と復元画像との類似度に基づいて異常の有無が判定される。

【0009】

本発明の技術的特徴のひとつは、正常画像を示すものとして得られた学習情報である変数によって条件付けされたニューラルネットワークを利用して上記の復元画像を生成する点にある。このように生成された復元画像は、正常画像を精度高く再現した高品質のものとなる。本発明の異常検知方法及び異常検知システムによれば、正常画像を示す変数によって条件付けされたニューラルネットワークを利用して生成された復元画像を、入力画像と比較することにより、精度高く入力画像の異常の有無を判定できる。

【図面の簡単な説明】

【0010】

【図1】異常検知システムの構成を示すブロック図。

【図2】木ねじの撮像画像（入力画像）を例示する図。

【図3】異常検知処理の流れを示すフロー図。

【図4】入力画像Ａと復元画像Ｂとの差分画像Ｃの説明図。

【発明を実施するための形態】

【0011】

本発明の実施の形態につき、以下の実施例を用いて具体的に説明する。
（実施例１）
本例は、機械学習分野における拡散モデル（Diffusion Model）を利用して画像中の異常を検知する方法及びシステムに関する。この内容について、図１～図４を用いて説明する。

【0012】

拡散モデルとは、例えば、ノイズ画像から少しずつノイズを取り除くことできれいな画像を生成するために利用されるモデルである。拡散モデルは、大まかには、拡散過程（順過程）と逆拡散過程（逆過程）とにより構成されている。拡散過程は、入力画像にノイズを少しずつ加えて、最終的にノイズ画像を生成する過程である。逆拡散過程は、拡散過程の逆の過程であり、ノイズ画像から少しずつノイズを取り除くことで、復元画像を生成する過程である。

【0013】

本例の異常検知システム１（図１）は、例えば木ねじ２（図２参照。）の異常の有無を判定するためのシステムである。木ねじ２は、工業的に製造される製品あるいは部品の一例である。異常検知システム１は、木ねじ２の製造ラインの最終工程である検査工程に適用される。異常検知システム１は、例えば、演算処理機能を有するコンピュータ装置を利用して構成される。

【0014】

異常検知システム１は、撮像カメラ１０、拡散回路１１、逆拡散回路１３、及び判定回路１５、により構成されている。判定回路１５による判定結果は、例えば、表示パネルやスピーカ等により報知しても良い。例えば、異常有の木ねじ２が見つかったとき、異常である旨を表示パネルに表示したり、異常である旨を示すブザー音をスピーカから出力したり、すると良い。

【0015】

撮像カメラ１０は、製造ラインにより加工された木ねじ２の撮像画像を取得するためのカメラである。撮像カメラ１０による木ねじ２の撮像画像が、拡散回路１１の入力画像となる。

【0016】

拡散回路１１は、上記の拡散過程の実行回路である。拡散回路１１は、入力画像に対してノイズを付加してノイズ画像を生成する。本例では、ノイズとして、ガウシアンノイズを採用している。

【0017】

逆拡散回路１３は、上記の逆拡散過程の実行回路である。逆拡散回路１３は、ノイズ画像からノイズを除去して復元画像を生成する。本例の逆拡散回路１３は、ニューラルネットワークを利用して構成されている。詳しくは後述するが本例は、このニューラルネットワークの構成に特徴を有している。

【0018】

判定回路１５は、入力画像中の木ねじ２について、異常の有無を判定する回路である。判定回路１５は、入力画像と復元画像との類似度に基づいて、木ねじ２に異常が有るか無いかを判定する。詳しくは後述するが、本例の判定回路１５は、入力画像と復元画像との差分画像に画像処理を施すことにより、異常の有無を判定する。

【0019】

次に、異常検知システム１の動作の内容について説明する。異常検知システム１が対象とする木ねじ２は、図示しない加工装置によって加工され、ベルトコンベアによって検査工程に供給される。木ねじ２は、間隔を空けて１本ずつ搬送されている。搬送中の木ねじ２の向きは統一されている。木ねじ２は、ねじ先端を搬送順方向に向けて、搬送方向に沿う姿勢で搬送される。

【0020】

撮像カメラ１０は、木ねじ２を搬送するベルトコンベアの搬送面が撮像エリアとなるように設置されている。撮像カメラ１０による撮像エリアの上下方向は、搬送方向に沿っている。撮像エリアの上方は、搬送方向の上流側に当たる。このように設置された撮像カメラ１０によれば、図２に例示する正立状態の木ねじ２の撮像画像を取得できる。

【0021】

異常検知システム１では、木ねじ２の異常の有無を判定するために、図３の処理が実行される。木ねじ２の異常の有無を判定するために、まず、撮像カメラ１０により木ねじ２の撮像画像（図２参照。）が取得される（Ｓ１０１）。撮像カメラ１０による撮像画像は、拡散回路１１に対して出力される。

【0022】

拡散回路１１は、図２に例示される撮像画像を入力画像として取得し、ノイズを付加する拡散過程Ｐ１１を実行する。拡散過程Ｐ１１では、入力画像に対して１ステップずつノイズが加えられてノイズ画像が生成される。上記のごとく、本例のノイズは、ガウシアンノイズである。拡散過程では、入力画像を起点として、微少なガウシアンノイズが例えば１０００ステップに亘って繰り返し加算されてノイズ画像が生成される。

【0023】

逆拡散回路１３は、拡散回路１１により生成されたノイズ画像を元にして、少しずつノイズを取り除く逆拡散過程Ｐ１２を実行する。逆拡散過程Ｐ１２では、ノイズ除去処理が繰り返されて復元画像が生成される。特に、本例の逆拡散過程Ｐ１２におけるノイズ除去処理は、変数によって条件付けされたニューラルネットワークを利用する過程である。以下、この変数を条件変数という。逆拡散過程Ｐ１２のニューラルネットワークは、事前学習済みの状態で公開されているモデルであっても良いし、予め用意したデータで学習させたモデルであっても良い。

【0024】

条件変数は、異常の無い木ねじ２の画像（正常画像）を示すものとして得られた学習情報であるベクトルあるいはテンソル（多次元配列）である。木ねじ２の正常画像を示す条件変数であるベクトル等により条件付けされたニューラルネットワークによれば、ノイズ画像を元にして、正常な木ねじ２Ｂの画像を復元（再現）できる（図４参照。）。

【0025】

学習に用いる木ねじ２の正常画像は、判定したい異常によって異なる。例えば木ねじ２の搬送姿勢および外観的な異常の有無を判定する本例の場合では、図２の撮像画像中の木ねじ２と同様の姿勢で木ねじ２が映り込む画像を、正常画像として採用している。なお、搬送姿勢の違いを異常と判定することなく、外観的な異常の有無を判定する場合であれば、様々な姿勢の木ねじ２の画像を正常画像として採用すると良い。

【0026】

本例では、畳み込みニューラルネットワーク等の画像エンコーダに正常画像を入力したときの画像エンコーダからの出力を、条件変数として採用している。画像エンコーダは、事前学習済みの状態で公開されているモデルをエンコーダとして用いても良いし、予め用意したデータで学習させたエンコーダであっても良い。条件付けのエンコーダや逆拡散ニューラルネットは、いずれも何かしらの学習が必要である。事前学習済みの状態で公開されているモデルを利用する場合は、手持ち画像での学習が必要ないが、事前学習済みの状態で公開されているモデルを利用しない場合は、条件付けエンコーダ、逆拡散ニューラルネットの学習が必要になる。

【0027】

なお、画像エンコーダは、畳み込みニューラルネットワークに限らず、トランスフォーマーネットワーク等による画像エンコーダであっても良い。逆拡散過程のニューラルネットワークとしては、事前学習済みの状態で公開されているモデルを用いても良い。画像エンコーダに代えて、トランスフォーマーネットワーク等のテキストエンコーダを利用することも良い。例えば、正常画像を示すようなテキストや、例えばTextual Inversionなどで生成された仮想単語、等を入力したときのテキストエンコーダの出力を条件変数とすると良い。

【0028】

判定回路１５は、撮像カメラ１０により取得された入力画像Ａ、及び逆拡散過程により生成された復元画像Ｂに基づき、画像間で画素毎の差分値を求めることで差分画像Ｃを生成する（Ｓ１０２、図４）。判定回路１５は、差分画像Ｃの各画素の画素値について閾値処理を施し、閾値処理の結果に応じて異常の有無を判定する（Ｓ１０３）。

【0029】

判定回路１５は、画素値が閾値を超える画素、すなわち画像間の差分が大きい画素、の個数を類似度を表す指標として求める。そして、画像間の差分が大きい画素数が、所定の閾値を超えているとき、類似度が低いことから異常有と判定する。異常有の木ねじ２が検知された場合、異常発生の旨が報知される（Ｓ１０４：ＹＥＳ→Ｓ１０５）。異常発生の旨は、例えば、図示しない表示パネルにより報知しても良く、図示しないスピーカによるブザー音や音声案内によって報知しても良い。

【0030】

以上のような構成の本例の異常検知システム１は、木ねじ２の正常画像を示す条件変数であるベクトル等により条件付けされたニューラルネットワークを用いて正常な木ねじ２の画像を復元する点に、技術的特徴のひとつを有している。そして、この異常検知システム１によれば、精度の高い木ねじ２Ｂの復元画像を入力画像と比較することにより、入力画像中の木ねじ２に異常が有るか無いか、精度高く検知できる。

【0031】

本実施形態の構成に代えて、あるいは加えて以下のような構成を採用することも良い。また、以下の各構成を適宜組み合わせて採用することも良い。
本例の構成では、木ねじ２の撮像画像（入力画像）及び復元画像の２つの画像間の差分値が閾値を超える画素数を、類似度を表す指標として採用している。類似度の指標として、ＰＳＮＲ（ Peak Signal to Noise Ratio、ＭＳＥ（ Mean Squared Error ））、ＳＳＩＭ（ Structural SIMilarity ）、ＥＭＤ（ Earth Mover's Distance ）、ＬＰＩＰＳ（ Learned Perceptual Image Patch Similarity ）等を採用することも良い。

【0032】

なお、拡散回路１１の入力画像は、撮像画像に基づくエンコード画像であっても良く、この場合、逆拡散回路１３による復元画像をデコードすることも良い。拡散回路１１の入力画像であるエンコード画像と、復元画像と、の類似度に基づいて異常の有無を判定しても良く、撮像画像と、復元画像に基づくデコード画像と、の類似度に基づいて異常の有無を判定しても良い。この場合、拡散回路１１の前にエンコーダを配置し、逆拡散回路１３の後にデコーダを配置すると良い。

【0033】

本例は、製造された木ねじ２の欠陥を異常として検知するシステムの例である。本例の異常検知システム１によれば、木ねじ等の対象物の撮像画像に基づき、対象物の異常を確実性高く検知できる。対象物は、本例の木ねじ２等のほか、工業的に製造された各種の製品や部品であっても良い。回路基板のプリントパターンの検査や、電子部品が実装された基板等の検査、等に異常検知システム１を適用することも良い。さらに、道路や交差点などの環境の撮像画像や、河川や港湾などの環境の撮像画像、等に基づき、画像中の異常を検知するために、異常検知システム１を適用することも良い。壁紙等のテクスチャーの異常を検知するために、異常検知システム１を適用することも良い。

【0034】

以上、実施例のごとく本発明の具体例を詳細に説明したが、これらの具体例は、特許請求の範囲に包含される技術の一例を開示しているにすぎない。言うまでもなく、具体例の構成や数値等によって、特許請求の範囲が限定的に解釈されるべきではない。特許請求の範囲は、公知技術や当業者の知識等を利用して前記具体例を多様に変形、変更あるいは適宜組み合わせた技術を包含している。

【符号の説明】

【0035】

１ 異常検知システム
１０ 撮像カメラ
１１ 拡散回路
１３ 逆拡散回路
１５ 判定回路
２ 木ねじ（製品、部品）
２Ｂ 木ねじ（復元）

【図1】

【図2】

【図3】

【図4】