特開 2023-174362 画像異常検知プログラム、情報処理装置、画像異常検知方法及び製造方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023174362

(43)【公開日】2023-12-07

(54)【発明の名称】画像異常検知プログラム、情報処理装置、画像異常検知方法及び製造方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231130BHJP

【ＦＩ】

G06T7/00 610C

G06T7/00 350B

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022087179

(22)【出願日】2022-05-27

(71)【出願人】

【識別番号】504145320

【氏名又は名称】国立大学法人福井大学

(74)【代理人】

【識別番号】100180758

【弁理士】

【氏名又は名称】荒木 利之

(72)【発明者】

【氏名】張 潮

(72)【発明者】

【氏名】堀田 克哉

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA03

5L096CA04

5L096DA01

5L096EA39

5L096GA08

5L096GA51

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

【課題】異常データを用いずに正常データから異常検知を行い、画像内の異常度を可視化する画像異常検知プログラム、情報処理装置、画像異常検知方法及び製造方法を提供する。
【解決手段】情報処理装置１は、入力画像から特徴量マップを生成する特徴量マップ生成手段１０２と、正常状態の画像から生成された特徴量マップの集合を用いて生成された特徴量マップと、入力画像の特徴量マップとの差分に基づいて差分特徴量マップを生成する差分特徴量マップ生成手段１０４と、複数の特徴量レベルにおいて生成された複数の差分特徴量マップを用いて異常マップを出力する異常マップ出力手段１０５とを有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータを、
入力画像から特徴量マップを生成する特徴量マップ生成手段と、
正常状態の画像から生成された特徴量マップの集合を用いて生成された特徴量マップと、前記入力画像の特徴量マップとの差分に基づいて差分特徴量マップを生成する差分特徴量マップ生成手段と、
複数の特徴量レベルにおいて生成された複数の前記差分特徴量マップを用いて異常マップを出力する異常マップ出力手段として機能させる画像異常検知プログラム。

【請求項2】

前記入力画像から特徴量ベクトルを生成するベクトル生成手段と、
前記正常状態の画像から生成された特徴量ベクトルの集合と前記入力画像の特徴量ベクトルとを比較して前記特徴量ベクトルから類似するベクトルを選択し、前記選択されたベクトルに対応する正常状態の画像の特徴量マップから特徴量マップ辞書を生成する特徴量マップ辞書生成手段としてさらに機能させ、
前記差分特徴量マップ生成手段は、前記特徴量マップ辞書を用いて生成された特徴量マップと、前記入力画像の特徴量マップとの差分に基づいて前記差分特徴量マップを生成する請求項１に記載の画像異常検知プログラム。

【請求項3】

前記差分特徴量マップ生成手段は、前記差分が最小となるように前記特徴量マップのそれぞれに重み付けして前記特徴量マップの集合から前記特徴量マップを生成する請求項１又は２に記載の画像異常検知プログラム。

【請求項4】

前記異常マップ生成手段は、前記複数の差分特徴量マップのそれぞれの特徴値の大きさに基づいて定まる階層強度に基づいて、前記複数の差分特徴量マップに重み付けして前記異常マップを生成する請求項１又は２に記載の画像異常検知プログラム。

【請求項5】

入力画像から特徴量マップを生成する特徴量マップ生成手段と、
正常状態の画像から生成された特徴量マップの集合を用いて生成された特徴量マップと、前記入力画像の特徴量マップとの差分に基づいて差分特徴量マップを生成する差分特徴量マップ生成手段と、
複数の特徴量レベルにおいて生成された複数の前記差分特徴量マップを用いて異常マップを出力する異常マップ出力手段とを有する情報処理装置。

【請求項6】

入力画像から特徴量マップを生成する特徴量マップ生成ステップと、
正常状態の画像から生成された特徴量マップの集合を用いて生成された特徴量マップと、前記入力画像の特徴量マップとの差分に基づいて差分特徴量マップを生成する差分特徴量マップ生成ステップと、
複数の特徴量レベルにおいて生成された複数の前記差分特徴量マップを用いて異常マップを出力する異常マップ出力ステップとを有する画像異常検知方法。

【請求項7】

検出対象を撮影して得られる画像を前記入力画像とし、
請求項６の画像異常検知方法による異常検出ステップを有する前記検出対象の製造方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像異常検知プログラム、情報処理装置、画像異常検知方法及び製造方法に関する。

【背景技術】

【0002】

従来の技術として、大量の正常データと少数の異常データを用いて機械学習を行い、異常品の判定を行う情報処理装置が提案されている（例えば、特許文献１参照）。

【0003】

特許文献１に開示された情報処理装置は、複数の判定対象物のデータをエンコーダ、デコーダ構造ネットワークに入力して判定対象物の特徴を抽出し、ディスクリミネータが判定対象物の特徴の分布は正規分布に従っているのか否かを判定し、エンコーダ、デコーダ構造ネットワークの更新と、ディスクリミネータの更新と、エンコーダの更新と、をそれぞれ繰り返して、特徴の抽出の誤差を最小化する。エンコーダが、更新により得た特徴を用いて、判定対象物の異常度を算出し、異常度のしきい値処理を行って、判定対象物が正常品であるか異常品であるかを判定する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開２０１９／０７３９２３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、上記した特許文献１の情報処理装置は、大量の正常データと少数の異常データを用いて機械学習を行い、異常品の判定を行うものの、正常データのみで機械学習を行うものではない。また、画像単位で正常異常判定を行うものであって、画像中の異常領域の判定を行うものではない。

【0006】

一方、これまでの生産ラインでは単一の商品を大量に生産すること主流であったが、近年では顧客ニーズの多様化に伴い、多品種少量生産に取り組む工場が増えた。つまり、大量の正常データを準備することが困難であり、少数の正常データで異常検知を行うこと、さらに好ましくは異常データなしでの異常検知が求められているものの、特許文献１の情報処理装置は、大量の正常データと少数の異常データを必要とするため、当該課題に対応することができない。

【0007】

本発明の目的は、異常データを用いずに正常データから異常検知を行い、画像内の異常度を可視化する画像異常検知プログラム、情報処理装置、画像異常検知方法及び製造方法を提供することにある。

【課題を解決するための手段】

【0008】

本発明の一態様は、上記目的を達成するため、以下の画像異常検知プログラム、情報処理装置、画像異常検知方法及び製造方法を提供する。

【0009】

［１］コンピュータを、
入力画像から特徴量マップを生成する特徴量マップ生成手段と、
正常状態の画像から生成された特徴量マップの集合を用いて生成された特徴量マップと、前記入力画像の特徴量マップとの差分に基づいて差分特徴量マップを生成する差分特徴量マップ生成手段と、
複数の特徴量レベルにおいて生成された複数の前記差分特徴量マップを用いて異常マップを出力する異常マップ出力手段として機能させる画像異常検知プログラム。
［２］前記入力画像から特徴量ベクトルを生成するベクトル生成手段と、
前記正常状態の画像から生成された特徴量ベクトルの集合と前記入力画像の特徴量ベクトルとを比較して前記特徴量ベクトルから類似するベクトルを選択し、前記選択されたベクトルに対応する正常状態の画像の特徴量マップから特徴量マップ辞書を生成する特徴量マップ辞書生成手段としてさらに機能させ、
前記差分特徴量マップ生成手段は、前記特徴量マップ辞書を用いて生成された特徴量マップと、前記入力画像の特徴量マップとの差分に基づいて前記差分特徴量マップを生成する前記［１］に記載の画像異常検知プログラム。
［３］前記差分特徴量マップ生成手段は、前記差分が最小となるように前記特徴量マップのそれぞれに重み付けして前記特徴量マップの集合から前記特徴量マップを生成する前記［１］又は［２］に記載の画像異常検知プログラム。
［４］前記異常マップ生成手段は、前記複数の差分特徴量マップのそれぞれの特徴値の大きさに基づいて定まる階層強度に基づいて、前記複数の差分特徴量マップに重み付けして前記異常マップを生成する前記［１］又は［２］に記載の画像異常検知プログラム。
［５］入力画像から特徴量マップを生成する特徴量マップ生成手段と、
正常状態の画像から生成された特徴量マップの集合を用いて生成された特徴量マップと、前記入力画像の特徴量マップとの差分に基づいて差分特徴量マップを生成する差分特徴量マップ生成手段と、
複数の特徴量レベルにおいて生成された複数の前記差分特徴量マップを用いて異常マップを出力する異常マップ出力手段とを有する情報処理装置。
［６］入力画像から特徴量マップを生成する特徴量マップ生成ステップと、
正常状態の画像から生成された特徴量マップの集合を用いて生成された特徴量マップと、前記入力画像の特徴量マップとの差分に基づいて差分特徴量マップを生成する差分特徴量マップ生成ステップと、
複数の特徴量レベルにおいて生成された複数の前記差分特徴量マップを用いて異常マップを出力する異常マップ出力ステップとを有する画像異常検知方法。
［７］検出対象を撮影して得られる画像を前記入力画像とし、
前記［６］の画像異常検知方法による異常検出ステップを有する前記検出対象の製造方法。

【発明の効果】

【0010】

請求項１、５、６、７に係る発明によれば、異常データを用いずに正常データから異常検知を行い、画像内の異常度を可視化することができる。
請求項２に係る発明によれば、正常状態の画像から生成された特徴量ベクトルの集合と入力画像の特徴量ベクトルとを比較して特徴量ベクトルから類似するベクトルを選択し、選択されたベクトルに対応する正常状態の画像の特徴量マップから特徴量マップ辞書を生成することができ、特徴量マップ辞書と、入力画像の特徴量マップとの差分に基づいて当該特徴量マップの集合から差分特徴量マップを生成することができる。
請求項３に係る発明によれば、差分が最小となるように特徴量マップのそれぞれに重み付けして特徴量マップの集合から差分特徴量マップを生成することができる。
請求項４に係る発明によれば、複数の差分特徴量マップの特徴値の大きさに基づいて定まる階層強度に基づいて、複数の差分特徴量マップに重み付けして異常マップを生成することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施の形態に係る異常検知システムの構成の一例を示す概略図である。

【図2】図２は、実施の形態に係る情報処理装置の構成例を示すブロック図である。

【図3】図３は、情報処理装置の動作例を説明するための概略図である。

【図4】図４は、情報処理装置の動作例を説明するためのフローチャートである。

【図5】図５は、差分マップの結合動作を説明するための概略図である。

【図6】図６は、入力画像と各層の異常検出内容の一例を示す概略図である。

【図7】図７は、入力画像と各層の異常検出内容の他の例を示す概略図である。

【発明を実施するための形態】

【0012】

［実施の形態］
（異常検知システムの構成）
図１は、実施の形態に係る異常検知システムの構成の一例を示す概略図である。

【0013】

この異常検知システムは、情報処理装置１と、カメラ２とを互いに通信可能に接続することで構成される。カメラ２は、ベルトコンベア４上で運ばれる異常検知の検出対象となる物品３ａ～３ｅを撮影し、撮影された結果生成される画像情報は、情報処理装置１によって処理されて異常が検知される。情報処理装置１は、後述する画像異常検知プログラム１１０に基づいて自動で動作するものであるが、必要に応じて図示しない利用者によって操作される。ここで「異常」とは、物品３ａ～３ｅについて予め正常とされたものと画像情報の特徴量の観点で一定以上の差があるものである。異常検出の方法については後述する。

【0014】

情報処理装置１は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）又はサーバ型等の情報処理装置であり、外部の要求に応じて動作するものであって、本体内に情報を処理するための機能を有するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やフラッシュメモリ等の電子部品を備える。

【0015】

カメラ２は、物品３ａ～３ｅ毎に静止画を撮影するが、動画を撮影するものであってもよいし、動画から静止画を抽出するものであってもよい。

【0016】

異常検知システムは、さらに情報処理装置１によって異常が検知された画像が存在する場合、当該画像に対応する物品を生産ラインから取り除く装置を設けてもよいし、異常が検知された場合にベルトコンベア４を止める、速度を緩める等の動作を制御する手段を有するものであってもよいし、異常が検知された物品を特定する情報を図示しない表示装置に表示するものであってもよい。該異常検知システムを用いることにより、後述する画像異常検知方法により異常検出ステップを有する検出対象の製造方法となる。

【0017】

なお、異常検知システムは、検出対象が機械加工品、成形品、押出品、表面処理品、組立品などの工業製品の製造ラインに設置されるものに限らず、異常を検知するものであればよく、果物等の農産物や魚介等の海産物を検出対象としたそれらの振分ライン、被塗装物を検出対象とした塗装工程の検査ライン、検出対象の異常としての異物混入の検査ライン、検出対象としての物体表面の歪み・傷・汚れ・変色を検出する異常とした検査ラインであってもよい。検出対象としては、個別に分かれた状態の物品だけでなく、連続した物品でもよい。また、検出対象は物品に限らない。例えば、ラインのように物品が移動するのではなく、カメラ自体が移動して検出対象としてのトンネル壁面、建造物及び橋等の内部構造の異常箇所チェック、その他、固定視点による監視カメラを用いた撮影範囲に生じる異常の検出、医療画像における腫瘍箇所の検出を行うものであってもよい。また、検出する異常は、加工品を検出対象とした時の入力画像から加工品の異常を検出するだけではなく、加工品を製造する工程の製造条件や製造用装置や製造用治具の異常を検出することであってもよい。

【0018】

（情報処理装置の構成）
図２は、実施の形態に係る情報処理装置１の構成例を示すブロック図である。

【0019】

情報処理装置１は、ＣＰＵ等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部１０と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、ネットワークを介して外部と通信する通信部１２とを備える。

【0020】

制御部１０は、後述する画像異常検知プログラム１１０を実行することで、入力画像受付手段１００、特徴量ベクトル生成手段１０１、特徴量マップ生成手段１０２、特徴量マップ辞書生成手段１０３、差分特徴量マップ生成手段１０４及び異常マップ出力手段１０５等として機能する。

【0021】

入力画像受付手段１００は、通信部１２を介してカメラ２が撮影した画像情報を受け付けて記憶部１１に入力画像情報１１１として格納する。なお、画像情報のことを単に「画像」という場合がある。

【0022】

特徴量ベクトル生成手段１０１は、画像分類に用いられるＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）等の任意の事前学習済みネットワークを特徴量抽出器として用い入力画像情報１１１から特徴量ベクトルである入力画像ベクトル情報１１３を生成する。なお、入力画像ベクトル情報を単に「入力画像ベクトル」という場合がある。

【0023】

特徴量マップ生成手段１０２は、画像分類に用いられるＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）等の任意の事前学習済みネットワークを特徴量抽出器として用い入力画像情報１１１から特徴量マップである入力画像マップ情報１１５を生成する。なお、入力画像マップ情報のことを単に「入力画像マップ」という場合がある。

【0024】

特徴量マップ辞書生成手段１０３は、予め用意された正常な物品の画像情報（正常状態の画像）である正常画像情報１１２から特徴量ベクトル生成手段１０１によって生成された正常画像ベクトル情報１１４と、入力画像ベクトル情報１１３とを比較し、正常画像情報１１２から特徴量ベクトルの観点で類似する正常画像情報を特定し（後述するベクトル辞書を生成し）、正常画像マップ情報１１６から当該特定された正常画像情報に対応する（ベクトル辞書に含まれるベクトルに対応する）正常画像マップ情報を抽出して特徴量マップ辞書を生成する。なお、正常画像情報１１２のことを「正常画像集合」と、特徴量マップ辞書のことを単に「マップ辞書」という場合がある。

【0025】

差分特徴量マップ生成手段１０４は、後述する階層毎に、入力画像マップ情報１１５と特徴量マップ辞書を用いて生成された画像マップ情報との差分である差分マップ情報１１７を生成する。なお、差分マップ情報のことを単に「差分マップ」という場合がある。

【0026】

異常マップ出力手段１０５は、階層毎の差分マップ情報１１７から入力画像情報１１１の領域のうち異常がある蓋然性が高い画素が強調表示された異常マップ情報１１８を生成する。なお、異常マップ情報のことを単に「異常マップ」という場合がある。また、異常マップ情報１１８の強調表示は、例えば、差分に応じて色分け、明暗差等の手法を用いて示されるが程度が把握できる手法であれば任意の方法を用いることができる。

【0027】

記憶部１１は、制御部１０を上述した各手段１００－１０５として動作させる画像異常検知プログラム１１０、入力画像情報１１１、正常画像情報１１２、入力画像ベクトル情報１１３、正常画像ベクトル情報１１４、入力画像マップ情報１１５、正常画像マップ情報１１６、差分マップ情報１１７及び異常マップ情報１１８等を記憶する。

【0028】

（情報処理装置の動作）
次に、本実施の形態の作用を、（１）基本動作、（２）異常検出動作に分けて説明する。

【0029】

（１）基本動作
まず、図示しない製造装置により物品３ａ～３ｅが製造されると、ベルトコンベア４で運ばれる。ベルトコンベア４で物品３ａ～３ｅが運ばれる際に、カメラ２により物品３ａ～３ｅがそれぞれ撮影され、撮影された結果生成される画像情報が情報処理装置１の後述する「（２）異常検出動作」によって処理されて物品３ａ～３ｅの異常が検知される。異常が検知された物品３ａ～３ｅは、図示しない装置により又は人手により生産ラインから除外され、正常な物品と分別される。

【0030】

以降、情報処理装置１の「（２）異常検出動作」について詳細に説明する。

【0031】

（２）異常検出動作
図３は、情報処理装置１の動作例を説明するための概略図である。また、図４は、情報処理装置１の動作例を説明するためのフローチャートである。

【0032】

まず、情報処理装置１の入力画像受付手段１００は、通信部１２を介して物品３ａ～３ｅ毎にカメラ２が撮影した入力画像１１１ｉを受け付ける（Ｓ１）。

【0033】

次に、情報処理装置１の特徴量ベクトル生成手段１０１は、画像分類に用いられるＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）等の任意の事前学習済みネットワークを特徴量抽出器として用い入力画像情報１１１から特徴量ベクトルである入力画像ベクトル１１３ｉを生成する（Ｓ２）。

【0034】

次に、情報処理装置１の特徴量マップ辞書生成手段１０３は、予め用意された正常な物品の画像情報である正常画像集合１１２から特徴量ベクトル生成手段１０１によって（予め又は初回のみリアルタイムで）生成された正常画像ベクトル集合１１４ａと、入力画像ベクトル１１３ｉとを比較し、正常画像集合１１２から特徴量ベクトルの観点で類似する正常画像を特定してベクトル辞書１１４ｂを生成する（Ｓ３）。これは、ベクトル空間に分布する正常画像ベクトル集合１１４ａから入力画像ベクトル１１３ｉが属する部分空間を特定することと同義であり、入力画像１１１ｉに類似する（例えば、ネジの形状、色、向きや配置が似ている）正常画像情報１１２を選択することと同義である。

【0035】

次に、各層毎に以降のステップＳ５～Ｓ７を行う（Ｓ４、Ｓ８、Ｓ９）。ここでは、例えば、第１階層、第２階層、第３階層が用意され、各層はそれぞれ特徴量マップの特徴量レベルが異なる。ここでは、具体的に階層毎に画像のスケールが異なる。例えば、第１階層の特徴量マップサイズは６４×６４×２５６ピクセルであり、第２階層の特徴量マップサイズは３２×３２×５１２ピクセルであり、第３階層の特徴量マップサイズは１６×１６×１０２４ピクセルである。なお、特徴量マップは，縦サイズ×横サイズ×チャンネル数の次元数を持つ。ただし、３チャンネル（ＲＧＢ）を持つカラー画像より大きなチャンネル数を持つ画像を可視化することは難しいため、図３に示す例では、画素毎の平均を取ることで特徴量マップを可視化している。

【0036】

まず、ｊ＝１として（Ｓ４）、情報処理装置１の特徴量マップ生成手段１０２は、ニューラルネットワーク等の任意の事前学習済みネットワークを特徴量抽出器として用い入力画像情報１１１から特徴量マップである入力画像マップ１１５Ａｉを生成する（Ｓ５）。ここで、抽出される特徴量は、ニューラルネットワークのネットワーク構造に依存するため、入力画像情報１１１の特徴量マップサイズが大きければ局所的な特徴量が抽出され、特徴量マップサイズが小さければ大域的な特徴量が抽出されることとなる。

【0037】

情報処理装置１の特徴量マップ辞書生成手段１０３は、正常画像マップ１１６Ａから当該ベクトル辞書１１４ｂに対応する（元の正常画像が共通の）正常画像マップ情報１１６０Ａｉを抽出して特徴量マップ辞書１１６１Ａｉを生成する（Ｓ６）。

【0038】

次に、情報処理装置１の差分特徴量マップ生成手段１０４は、特徴量マップ辞書１１６１Ａｉの各正常画像マップに重み付けをした線形結合から特徴量マップ１１６２Ａｉを得る。ここで、重み付けは、一例として、特徴量マップ１１６２Ａｉと入力画像マップ１１５Ａｉとの差分の特徴量の値が最小となるように決定される。次に、差分特徴量マップ生成手段１０４は、入力画像マップ１１５Ａｉと特徴量マップ１１６２Ａｉとの差分である差分マップ１１７Ａｉを生成する（Ｓ７）。

【0039】

次に、情報処理装置１の異常マップ出力手段１０５は、各階層の差分マップ１１７Ａｉ、１１７Ｂｉ、１１７Ｃｉに重み付けして結合し、差分マップ１１７Ｓｉを生成する（Ｓ１０）。重み付けの方法については図５を用いて後述する。

【0040】

次に、情報処理装置１の異常マップ出力手段１０５は、差分マップ１１７Ｓｉを正規化し、入力画像１１１ｉに重畳して、入力画像情報１１１の領域のうち異常がある蓋然性が高い画素が強調表示された異常マップ情報１１８ｉを生成し（Ｓ１１）、図示しない外部装置、表示装置又は外部端末等に出力する（Ｓ１２）。なお、正規化の方法は、テスト用として複数の入力画像１１１ｉを与えたときに、それらの出力結果として得られる差分マップ１１７Ｓｉの値が０～１となるように正規化する。

【0041】

図５は、差分マップの結合動作を説明するための概略図である。

【0042】

第１階層の差分マップ１１７ａ_１と、第２階層の差分マップ１１７ａ_２と、第３階層の差分マップ１１７ａ_３の特徴値の大きさに基づいて各差分マップ１１７ａ_１～１１７ａ_３を正規化することで階層強度α^ｌを推定して、階層強度α^ｌで各差分マップに重み付けして異常マップｅを生成する。

【0043】

階層の数が３の場合、異常マップｅは下記の数式で与えられる。

【数1】

【0044】

また、階層強度α^ｌは、下記の数式で与えられる。

【数2】

【0045】

図５の例では、各階層の差分マップ１１７ａ_１～１１７ａ_３のみから生成した異常マップをそれぞれ差分マップ１１８Ａ_１～１１８Ａ_３として示した。差分マップ１１８Ａ_１～１１８Ａ_３において異常として検出された領域（予め定めた値以上の差分を有する領域）は白抜きで示している。差分マップ１１８Ａ_１では異常が検出されておらず、差分マップ１１８Ａ_２、１１８Ａ_３では異常が検出されており、異常マップ１１８Ａでは、第３階層＞第２階層＞第１階層の順で重み付けして差分マップ１１８Ａ_１～１１８Ａ_３が結合されていることがわかる。

【0046】

図６は、入力画像と各層の異常検出内容の一例を示す概略図である。図７は、入力画像と各層の異常検出内容の他の例を示す概略図である。

【0047】

図６に示す入力画像１１１ａの例は比較的スケールの大きな異常を持つサンプルである。つまり、局所的な特徴を抽出する第１階層では差分マップ１１７ａ_１の階層強度α^１は小さく、大域的な特徴を抽出する第３階層では差分マップ１１７ａ_３の階層強度α_３は大きくなる例である。この場合、階層強度α^３＞α^２＞α^１となり、これらに重み付けされて得られる異常マップｅは正解画像１１１Ａに近づくものとなる。

【0048】

一方、図７に示す入力画像１１１ｂの例は比較的スケールの小さな異常を持つサンプルである。つまり、局所的な特徴を抽出する第１階層では差分マップ１１７ａ_１の階層強度α^１は大きく、大域的な特徴を抽出する第３階層では差分マップ１１７ａ_３の階層強度α^３は小さくなる例である。この場合、階層強度α^１＞α^２＞α^３となり、これらに重み付けされて得られる異常マップｅは正解画像１１１Ｂに近づくものとなる。

【0049】

また、図示しない例として、スケールが中間の異常を持つサンプルの場合は階層強度α^２＞（α^１及びα^３）となる。

【0050】

（実施の形態の効果）
上記した実施の形態によれば、正常画像を組み合わせて入力画像に近い画像を生成し、当該画像と入力画像との差分から異常を検出するようにしたため（以下に説明する自己表現モデルを採用したため）、異常データを用いずに正常データから異常検知を行うことができ、さらにスケールの異なる複数の階層において当該処理を行うようにしたため、入力画像の特徴に適した異常検出を行うことができ、画素単位で異常度を可視化することができる。

【0051】

上記自己表現モデルは、下記の式により表される。

【数3】

【0052】

ここで、ｙは入力画像マップであり、Ｘはマップ辞書、ｃはマップ辞書に対する重み付け、ｅは差分マップである。なお、ｅは、各階層において求められ、階層強度によって重み付けされる。

【0053】

さらに、特徴ベクトル空間において正常画像の特徴ベクトル分布のうち入力画像が属する部分空間を推定し、自己表現モデルに用いる正常画像の特徴量マップを当該部分空間に基づいて選択して特徴量マップ辞書を生成するようにしたため、正常画像を組み合わせて入力画像に近い画像を生成する際の計算コストが削減される（これは、上記自己表現モデルにおいてＸの内容を最適化したということである。）。これにより、処理に要する時間を減ずることができ、異常検知のための時間が限られた生産ラインでの使用に耐えるシステムを提供することができる。

【0054】

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。

【0055】

例えば、上記実施の形態では特徴量マップのスケールによって各階層を定義したが、数値で評価可能な特徴量であればスケール以外の特徴量の種類、特徴量の抽象度等を採用してもよい。また、上記実施の形態では、画像情報を対象としたが画像に限定されるものではなく、音声、センサーデータ等の情報を対象とすることができ、対象とする情報に基づいて適切な特徴量を選択することができる。

【0056】

上記実施の形態では制御部１０の各手段１００～１０５の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ－ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。

【符号の説明】

【0057】

１ ：情報処理装置
２ ：カメラ
３ａ～３ｅ ：物品
４ ：ベルトコンベア
１０ ：制御部
１１ ：記憶部
１２ ：通信部
１００ ：入力画像受付手段
１０１ ：特徴量ベクトル生成手段
１０２ ：特徴量マップ生成手段
１０３ ：特徴量マップ辞書生成手段
１０４ ：差分特徴量マップ生成手段
１０５ ：異常マップ出力手段
１１０ ：画像異常検知プログラム
１１１ ：入力画像情報
１１２ ：正常画像情報
１１３ ：入力画像ベクトル情報
１１４ ：正常画像ベクトル情報
１１５ ：入力画像マップ情報
１１６ ：正常画像マップ情報
１１７ ：差分マップ情報
１１８ ：異常マップ情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】