ホーム > 特許ランキング > 株式会社豊田自動織機
知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社豊田自動織機の特許一覧 ▶ 国立大学法人名古屋大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024076676
(43)【公開日】2024-06-06
(54)【発明の名称】異常品判定装置、及び異常品判定方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240530BHJP
G06N 20/00 20190101ALI20240530BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 610Z
G06N20/00 130
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2022188355
(22)【出願日】2022-11-25
(71)【出願人】
【識別番号】000003218
【氏名又は名称】株式会社豊田自動織機
(71)【出願人】
【識別番号】504139662
【氏名又は名称】国立大学法人東海国立大学機構
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】林 良和
(72)【発明者】
【氏名】相澤 宏旭
(72)【発明者】
【氏名】中塚 俊介
(72)【発明者】
【氏名】加藤 邦人
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA03
5L096CA02
5L096DA02
5L096FA23
5L096FA32
5L096FA33
5L096HA11
5L096KA04
(57)【要約】
【課題】製品に大域的な異常が生じている場合であっても異常品と判定すること。
【解決手段】異常品判定装置は、特徴量抽出部と、異常品判定部と、を備える。特徴量抽出部は、畳み込み処理によって画像データから局所的特徴量を抽出する。特徴量抽出は、フーリエ変換後に逆フーリエ変換を行うことによって画像データから大域的特徴量を抽出する。異常品判定部は、局所的特徴量及び大域的特徴量から得られた第１特徴量、及び、正常品が写る学習用画像データから得られた第２特徴量から画像データに写る製品の異常度を算出する。異常品判定部は、異常度が閾値以上の場合、画像データに写る製品が異常品であると判定する。
【選択図】図３
【解決手段】異常品判定装置は、特徴量抽出部と、異常品判定部と、を備える。特徴量抽出部は、畳み込み処理によって画像データから局所的特徴量を抽出する。特徴量抽出は、フーリエ変換後に逆フーリエ変換を行うことによって画像データから大域的特徴量を抽出する。異常品判定部は、局所的特徴量及び大域的特徴量から得られた第１特徴量、及び、正常品が写る学習用画像データから得られた第２特徴量から画像データに写る製品の異常度を算出する。異常品判定部は、異常度が閾値以上の場合、画像データに写る製品が異常品であると判定する。
【選択図】図３
【特許請求の範囲】
【請求項1】
製品を撮像した画像データから前記画像データに写る前記製品が異常品か正常品かをコンピュータによって判定する異常品判定装置であって、
前記コンピュータは、
前記画像データから第１特徴量を抽出する特徴量抽出部と、
前記製品が前記異常品か前記正常品かを判定する異常品判定部と、を備え、
前記特徴量抽出部は、
畳み込み処理によって前記画像データから局所的特徴量を抽出し、
フーリエ変換後に逆フーリエ変換を行うことによって前記画像データから大域的特徴量を抽出し、
前記異常品判定部は、
前記局所的特徴量及び前記大域的特徴量から得られた前記第１特徴量、及び、前記正常品が写る学習用画像データから得られた第２特徴量から前記画像データに写る前記製品の異常度を算出し、
前記異常度が閾値以上の場合、前記画像データに写る前記製品が前記異常品であると判定する、異常品判定装置。
前記コンピュータは、
前記画像データから第１特徴量を抽出する特徴量抽出部と、
前記製品が前記異常品か前記正常品かを判定する異常品判定部と、を備え、
前記特徴量抽出部は、
畳み込み処理によって前記画像データから局所的特徴量を抽出し、
フーリエ変換後に逆フーリエ変換を行うことによって前記画像データから大域的特徴量を抽出し、
前記異常品判定部は、
前記局所的特徴量及び前記大域的特徴量から得られた前記第１特徴量、及び、前記正常品が写る学習用画像データから得られた第２特徴量から前記画像データに写る前記製品の異常度を算出し、
前記異常度が閾値以上の場合、前記画像データに写る前記製品が前記異常品であると判定する、異常品判定装置。
【請求項2】
前記異常品判定部は、前記局所的特徴量及び前記大域的特徴量から得られた前記第１特徴量、前記正常品が写る前記学習用画像データから得られた前記第２特徴量の平均、及び前記学習用画像データから得られた前記第２特徴量の共分散から、前記異常度としてマハラノビス距離を算出する、請求項１に記載の異常品判定装置。
【請求項3】
製品を撮像した画像データから前記画像データに写る前記製品が異常品か正常品かをコンピュータによって判定する異常品判定方法であって、
前記コンピュータが、
前記画像データから第１特徴量を抽出するステップと、
前記製品が前記異常品か前記正常品かを判定するステップと、を含み、
前記第１特徴量を抽出するステップは、
前記コンピュータが畳み込み処理によって前記画像データから局所的特徴量を抽出するステップと、
前記コンピュータがフーリエ変換後に逆フーリエ変換を行うことによって前記画像データから大域的特徴量を抽出するステップと、を含み、
前記製品が前記異常品か前記正常品かを判定するステップは、
前記コンピュータが前記局所的特徴量及び前記大域的特徴量から得られた前記第１特徴量、及び、前記正常品が写る学習用画像データから得られた第２特徴量から前記画像データに写る前記製品の異常度を算出するステップと、
前記異常度が閾値以上の場合、前記画像データに写る前記製品が前記異常品であると前記コンピュータが判定するステップと、を含む、異常品判定方法。
前記コンピュータが、
前記画像データから第１特徴量を抽出するステップと、
前記製品が前記異常品か前記正常品かを判定するステップと、を含み、
前記第１特徴量を抽出するステップは、
前記コンピュータが畳み込み処理によって前記画像データから局所的特徴量を抽出するステップと、
前記コンピュータがフーリエ変換後に逆フーリエ変換を行うことによって前記画像データから大域的特徴量を抽出するステップと、を含み、
前記製品が前記異常品か前記正常品かを判定するステップは、
前記コンピュータが前記局所的特徴量及び前記大域的特徴量から得られた前記第１特徴量、及び、前記正常品が写る学習用画像データから得られた第２特徴量から前記画像データに写る前記製品の異常度を算出するステップと、
前記異常度が閾値以上の場合、前記画像データに写る前記製品が前記異常品であると前記コンピュータが判定するステップと、を含む、異常品判定方法。
【請求項4】
前記異常度を算出するステップは、前記局所的特徴量及び前記大域的特徴量から得られた前記第１特徴量、前記正常品が写る前記学習用画像データから得られた前記第２特徴量の平均、及び前記学習用画像データから得られた前記第２特徴量の共分散から、前記異常度としてマハラノビス距離を算出する、請求項３に記載の異常品判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、異常品判定装置、及び異常品判定方法に関する。
【背景技術】
【0002】
異常品判定装置は、外観検査を行うことによって製品が異常品か正常品かを判定する。異常品判定装置には、画像データが入力される。異常品判定装置は、画像データに写る製品の外観の特徴から、当該製品が異常品か正常品かを判定する。外観検査は、例えば、非特許文献１に記載のPaDiMを用いて行われる。PaDiMは、事前学習済みのCNN（畳み込みニューラルネットワーク）に正常品が写る画像データを入力することによって特徴マップを得る。そして、PaDiMは、特徴マップの各位置における平均と共分散を用いて製品が異常品か正常品かを判定する。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】“PaDiM:a Patch Distribution Modeling Framework for Anomaly Detection and Localization”https://arxiv.org/abs/2011.08785
【発明の概要】
【発明が解決しようとする課題】
【0004】
製品の異常は、局所的な異常と大域的な異常とに分類することができる。局所的な異常は、例えば、製品の一部が損傷していることである。大域的な異常は、例えば、製品の全体の形状が正常品とは異なっていることである。PaDiMは、CNNを用いて特徴量を抽出している。CNNでは、カーネルによって局所的な特徴量を抽出している。このため、PaDiMは、製品に大域的な異常が生じている場合に、製品を異常品と判定できない場合がある。
【課題を解決するための手段】
【0005】
上記課題を解決する異常品判定装置は、製品を撮像した画像データから前記画像データに写る前記製品が異常品か正常品かをコンピュータによって判定する異常品判定装置であって、前記コンピュータは、前記画像データから第１特徴量を抽出する特徴量抽出部と、前記製品が前記異常品か前記正常品かを判定する異常品判定部と、を備え、前記特徴量抽出部は、畳み込み処理によって前記画像データから局所的特徴量を抽出し、フーリエ変換後に逆フーリエ変換を行うことによって前記画像データから大域的特徴量を抽出し、前記異常品判定部は、前記局所的特徴量及び前記大域的特徴量から得られた前記第１特徴量、及び、前記正常品が写る学習用画像データから得られた第２特徴量から前記画像データに写る前記製品の異常度を算出し、前記異常度が閾値以上の場合、前記画像データに写る前記製品が前記異常品であると判定する。
【0006】
特徴量抽出部は、フーリエ変換後に逆フーリエ変換を行うことによって大域的特徴量を抽出している。フーリエ変換を行うことによって周波数領域での特徴量を得ることができるため、大域的特徴量は、局所的特徴量よりも広い範囲の特徴量になる。大域的特徴量を用いて異常度を算出することで、異常品判定部は、製品に大域的な異常が生じている場合であっても異常品と判定することができる。
【0007】
上記異常品判定装置について、前記異常品判定部は、前記局所的特徴量及び前記大域的特徴量から得られた前記第１特徴量、前記正常品が写る前記学習用画像データから得られた前記第２特徴量の平均、及び前記学習用画像データから得られた前記第２特徴量の共分散から、前記異常度としてマハラノビス距離を算出してもよい。
【0008】
上記課題を解決する異常品判定方法は、製品を撮像した画像データから前記画像データに写る前記製品が異常品か正常品かをコンピュータによって判定する異常品判定方法であって、前記コンピュータが、前記画像データから第１特徴量を抽出するステップと、前記製品が前記異常品か前記正常品かを判定するステップと、を含み、前記第１特徴量を抽出するステップは、前記コンピュータが畳み込み処理によって前記画像データから局所的特徴量を抽出するステップと、前記コンピュータがフーリエ変換後に逆フーリエ変換を行うことによって前記画像データから大域的特徴量を抽出するステップと、を含み、前記製品が前記異常品か前記正常品かを判定するステップは、前記コンピュータが前記局所的特徴量及び前記大域的特徴量から得られた前記第１特徴量、及び、前記正常品が写る学習用画像データから得られた第２特徴量から前記画像データに写る前記製品の異常度を算出するステップと、前記異常度が閾値以上の場合、前記画像データに写る前記製品が前記異常品であると前記コンピュータが判定するステップと、を含む。
【0009】
大域的特徴量を用いて異常度を算出することで、コンピュータが製品に大域的な異常が生じている場合であっても異常品と判定することができる。
上記異常判定方法について、前記異常度を算出するステップは、前記局所的特徴量及び前記大域的特徴量から得られた前記第１特徴量、前記正常品が写る前記学習用画像データから得られた前記第２特徴量の平均、及び前記学習用画像データから得られた前記第２特徴量の共分散から、前記異常度としてマハラノビス距離を算出してもよい。
上記異常判定方法について、前記異常度を算出するステップは、前記局所的特徴量及び前記大域的特徴量から得られた前記第１特徴量、前記正常品が写る前記学習用画像データから得られた前記第２特徴量の平均、及び前記学習用画像データから得られた前記第２特徴量の共分散から、前記異常度としてマハラノビス距離を算出してもよい。
【発明の効果】
【0010】
本発明によれば、製品に大域的な異常が生じている場合であっても異常品と判定することができる。
【図面の簡単な説明】
【0011】
【図1】異常品判定システムの概略構成図である。
【図2】学習装置の概略構成図である。
【図3】FFCのアーキテクチャを示す図である。
【図4】製品の種類とAUROCの評価値との対応関係を示す図である。
【図5】画像データに摂動を加えた場合のエラーの生じやすさを可視化した図である。
【図6】画像データから除去した周波数帯とAUROCの評価値の低下量との対応関係を示す図である。
【発明を実施するための形態】
【0012】
異常品判定装置、及び異常品判定方法の一実施形態について説明する。
図１に示すように、異常品判定システム１０は、撮像装置１１と、異常品判定装置２０と、を備える。異常品判定システム１０は、例えば、工場で製造された製品が異常品か正常品かを判定する。
図１に示すように、異常品判定システム１０は、撮像装置１１と、異常品判定装置２０と、を備える。異常品判定システム１０は、例えば、工場で製造された製品が異常品か正常品かを判定する。
【0013】
撮像装置１１は、製品を撮像可能な位置に配置されている。撮像装置１１は、例えば、デジタルカメラである。撮像装置１１は、撮像素子を備える。撮像素子としては、例えば、ＣＣＤイメージセンサ(Charge Coupled Device image sensor)、及びＣＭＯＳイメージセンサ(Complementary Metal Oxide Semiconductor image sensor)を挙げることができる。撮像装置１１は、所定のフレームレートで撮像を行って画像データを生成する。この画像データは、撮像装置１１で撮像した製品が写る画像のデジタルデータである。
【0014】
＜異常品判定装置＞
異常品判定装置２０は、機械学習によって学習を行った学習済みモデルである。機械学習による学習を行うことで異常品判定装置２０を生成する学習装置について説明する。学習装置は、コンピュータがソフトウェアを実行することで構成される。コンピュータは、例えば、ハードウェアとして、プロセッサと、記憶装置と、を備える。プロセッサは、例えば、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又はDSP（Digital Signal Processor）である。記憶装置は、RAM（Random Access Memory）及びROM（Read Only Memory）を含む。
異常品判定装置２０は、機械学習によって学習を行った学習済みモデルである。機械学習による学習を行うことで異常品判定装置２０を生成する学習装置について説明する。学習装置は、コンピュータがソフトウェアを実行することで構成される。コンピュータは、例えば、ハードウェアとして、プロセッサと、記憶装置と、を備える。プロセッサは、例えば、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又はDSP（Digital Signal Processor）である。記憶装置は、RAM（Random Access Memory）及びROM（Read Only Memory）を含む。
【0015】
＜学習過程＞
図２に示すように、学習装置３１は、特徴量抽出部３２を備える。学習装置３１には、複数の学習用画像データが入力される。学習用画像データは、正常品が写る画像のデータである。学習装置３１は、学習用画像データを複数に分割したパッチ毎に特徴量を抽出する。パッチの位置（ｉ，ｊ）における特徴量ｘｉｊの集合Ｘｉｊは、以下の（１）式によって表すことができる。
図２に示すように、学習装置３１は、特徴量抽出部３２を備える。学習装置３１には、複数の学習用画像データが入力される。学習用画像データは、正常品が写る画像のデータである。学習装置３１は、学習用画像データを複数に分割したパッチ毎に特徴量を抽出する。パッチの位置（ｉ，ｊ）における特徴量ｘｉｊの集合Ｘｉｊは、以下の（１）式によって表すことができる。
【0016】
【数1】
【0017】
特徴量抽出部３２としては、Fast Fourier Convolution（FFC）を用いている。学習装置３１は、特徴量抽出部３２によって抽出された特徴量を用いて特徴量の平均μｉｊ及び特徴量の共分散Σｉｊを推測する。
【0018】
図３に示すように、特徴量抽出部３２は、ローカルパス３３と、グローバルパス３６と、を備える。ローカルパス３３とグローバルパス３６とは相互に接続されている。
特徴量抽出部３２に入力される学習用画像データを入力Ｘとすると、特徴量抽出部３２は入力Ｘをローカル部分Ｘｌとグローバル部分Ｘｇとに分割する。
特徴量抽出部３２に入力される学習用画像データを入力Ｘとすると、特徴量抽出部３２は入力Ｘをローカル部分Ｘｌとグローバル部分Ｘｇとに分割する。
【0019】
ローカルパス３３は、２つの畳み込み層３４，３５を備える。畳み込み層３４，３５には、ローカル部分Ｘｌが入力される。畳み込み層３４，３５は、例えば、３×３のカーネルを用いた畳み込み処理を行う。
【0020】
グローバルパス３６は、１つの畳み込み層３７と、１つの周波数変換器３８と、を備える。畳み込み層３７には、グローバル部分Ｘｇが入力される。畳み込み層３７は、例えば、３×３のカーネルを用いた畳み込み処理を行う。周波数変換器３８には、グローバル部分Ｘｇが入力される。周波数変換器３８は、フーリエ変換を行った後に１×１のカーネルを用いた畳み込み処理を行う。周波数変換器３８は、畳み込み処理を行った後に、逆フーリエ変換を行う。
【0021】
出力Ｙをローカル部分Ｙｌとグローバル部分Ｙｇとする。ローカル部分Ｙｌは、以下の（２）式によって表される。グローバル部分Ｙｇは、以下の（３）式によって表される。出力Ｙは、特徴量である。
【0022】
【数2】
【0023】
ローカル部分Ｙｌ及びグローバル部分Ｙｇのそれぞれに対して活性化関数を用いた処理が行われた後に、両者が統合されることで出力Ｙが得られる。出力Ｙは、局所的特徴量及び大域的特徴量から得られる特徴量である。
【0024】
＜推論過程＞
異常品判定装置２０は、入力された画像データから、当該画像データに写る製品が異常品か正常品かの推論を行う。異常品判定装置２０は、コンピュータがソフトウェアを実行することで構成される。コンピュータは、例えば、ハードウェアとして、プロセッサと、記憶装置と、を備える。プロセッサは、例えば、CPU、GPU、又はDSPである。記憶装置は、RAM及びROMを含む。異常品判定装置２０として用いられるコンピュータは、学習装置３１として用いられるコンピュータと同一であってもよいし、異なっていてもよい。推論過程でコンピュータが実行する処理は、製品を撮像した画像データから当該画像データに写る製品が異常品か正常品かをコンピュータによって判定する異常品判定方法である。
異常品判定装置２０は、入力された画像データから、当該画像データに写る製品が異常品か正常品かの推論を行う。異常品判定装置２０は、コンピュータがソフトウェアを実行することで構成される。コンピュータは、例えば、ハードウェアとして、プロセッサと、記憶装置と、を備える。プロセッサは、例えば、CPU、GPU、又はDSPである。記憶装置は、RAM及びROMを含む。異常品判定装置２０として用いられるコンピュータは、学習装置３１として用いられるコンピュータと同一であってもよいし、異なっていてもよい。推論過程でコンピュータが実行する処理は、製品を撮像した画像データから当該画像データに写る製品が異常品か正常品かをコンピュータによって判定する異常品判定方法である。
【0025】
図１に示すように、異常品判定装置２０は、特徴量抽出部２１と、異常品判定部２２と、を備える。
特徴量抽出部２１には、画像データが入力される。特徴量抽出部２１は、画像データから特徴量を抽出する。特徴量抽出部２１での特徴量の抽出は、学習過程で特徴量抽出部３２が行う処理と同様の処理によって行われる。即ち、特徴量抽出部２１は、ローカルパス３３と、グローバルパス３６と、を備える。そして、特徴量抽出部２１は、ローカルパス３３で畳み込み処理によって画像データから局所的特徴量を抽出する。特徴量抽出部２１は、グローバルパス３６でフーリエ変換後に逆フーリエ変換を行うことによって画像データから大域的特徴量を抽出する。特徴量抽出部２１で行われる処理は、画像データから特徴量を抽出するステップである。画像データから特徴量を抽出するステップは、コンピュータが畳み込み処理によって画像データから局所的特徴量を抽出するステップと、コンピュータがフーリエ変換後に逆フーリエ変換を行うことによって画像データから大域的特徴量を抽出するステップと、を含む。
特徴量抽出部２１には、画像データが入力される。特徴量抽出部２１は、画像データから特徴量を抽出する。特徴量抽出部２１での特徴量の抽出は、学習過程で特徴量抽出部３２が行う処理と同様の処理によって行われる。即ち、特徴量抽出部２１は、ローカルパス３３と、グローバルパス３６と、を備える。そして、特徴量抽出部２１は、ローカルパス３３で畳み込み処理によって画像データから局所的特徴量を抽出する。特徴量抽出部２１は、グローバルパス３６でフーリエ変換後に逆フーリエ変換を行うことによって画像データから大域的特徴量を抽出する。特徴量抽出部２１で行われる処理は、画像データから特徴量を抽出するステップである。画像データから特徴量を抽出するステップは、コンピュータが畳み込み処理によって画像データから局所的特徴量を抽出するステップと、コンピュータがフーリエ変換後に逆フーリエ変換を行うことによって画像データから大域的特徴量を抽出するステップと、を含む。
【0026】
異常品判定部２２は、各パッチについて、学習用画像データにおける特徴量に対する、画像データにおける特徴量の異常度を算出する。特徴量抽出部２１により画像データから得られた特徴量、及び特徴量抽出部３２により学習用画像データから得られた特徴量から異常度を算出する。例えば、異常度は、学習用画像データにおける特徴量と画像データにおける特徴量とのマハラノビス距離Ｍ（ｘｉｊ）として算出される。詳細にいえば、異常品判定部２２は、特徴量抽出部２１で抽出された特徴量、学習過程で得られた平均μｉｊ、及び学習過程で得られた共分散Σｉｊを用いることで、パッチ毎にマハラノビス距離Ｍ（ｘｉｊ）を算出する。マハラノビス距離Ｍ（ｘｉｊ）は、以下の（４）式によって表される。特徴量抽出部２１により画像データから得られた特徴量は、第１特徴量である。特徴量抽出部３２により学習用画像データから得られた特徴量は、第２特徴量である。
【0027】
【数3】
【0028】
［本実施形態の作用］
製品が異常品か正常品かを判定する異常判定を行う際には、撮像装置１１によって製品の撮像が行われる。撮像によって得られた画像データは、異常品判定装置２０に入力される。異常品判定装置２０の特徴量抽出部２１は、フーリエ変換後に逆フーリエ変換を行うことによって大域的特徴量を抽出している。フーリエ変換を行うことによって周波数領域での特徴量を得ることができるため、大域的特徴量は、局所的特徴量よりも広い範囲の特徴量になる。局所的特徴量と大域的特徴量とを用いて異常度を算出することで、異常品判定部２２は、製品に局所的な異常が生じている場合であっても大域的な異常が生じている場合であっても異常品と判定することができる。
製品が異常品か正常品かを判定する異常判定を行う際には、撮像装置１１によって製品の撮像が行われる。撮像によって得られた画像データは、異常品判定装置２０に入力される。異常品判定装置２０の特徴量抽出部２１は、フーリエ変換後に逆フーリエ変換を行うことによって大域的特徴量を抽出している。フーリエ変換を行うことによって周波数領域での特徴量を得ることができるため、大域的特徴量は、局所的特徴量よりも広い範囲の特徴量になる。局所的特徴量と大域的特徴量とを用いて異常度を算出することで、異常品判定部２２は、製品に局所的な異常が生じている場合であっても大域的な異常が生じている場合であっても異常品と判定することができる。
【0029】
本実施形態の異常品判定装置２０を比較例と比較した結果について説明する。比較例は、PaDiMである。即ち、比較例は、局所的特徴量のみを用いて異常判定を行っている。
図４に示すように、本実施形態の異常品判定装置２０と比較例とで製品を異常品と判定できるか否かの性能評価を行った。性能評価は、MVTecADを用いて行った。MVTecADは、異常判定のベンチマーク用データセットである。データセットには、オブジェクト製品が写る画像データ、及びテクスチャ製品が写る画像データが含まれる。オブジェクト製品は、立体的な形状を有する製品である。テクスチャ製品は、平面的な形状を有する製品である。図４の数値は、AUROC（Area Under the Receiver Operating Characteristic）の評価値を示す。AUROCは、異常判定の性能を評価するための１つの指標である。AUROCの評価値が高いほど、異常品の判定精度が高い。
図４に示すように、本実施形態の異常品判定装置２０と比較例とで製品を異常品と判定できるか否かの性能評価を行った。性能評価は、MVTecADを用いて行った。MVTecADは、異常判定のベンチマーク用データセットである。データセットには、オブジェクト製品が写る画像データ、及びテクスチャ製品が写る画像データが含まれる。オブジェクト製品は、立体的な形状を有する製品である。テクスチャ製品は、平面的な形状を有する製品である。図４の数値は、AUROC（Area Under the Receiver Operating Characteristic）の評価値を示す。AUROCは、異常判定の性能を評価するための１つの指標である。AUROCの評価値が高いほど、異常品の判定精度が高い。
【0030】
図４から把握できるように、複数のオブジェクト製品に対する評価値の平均値を比較すると、異常品判定装置２０のほうが比較例よりも高い。同様に、複数のテクスチャ製品に対する評価値の平均値を比較すると、異常品判定装置２０のほうが比較例よりも高い。特に、Gridでは、評価値が著しく上昇している。Gridは、格子状の製品であって同一のパターンが連続した製品である。このため、Gridの異常判定を行うには、大域的特徴を把握する必要があると考えられる。本実施形態の異常品判定装置２０で、Gridでの評価値が著しく上昇した要因は、大域的特徴量を用いて異常判定を行っていることと考えられる。
【0031】
図５には、異常品判定装置２０と比較例とでロバスト性を比較した結果を示す。図５では、画像データに摂動を加えた場合のAUROCのエラーをFourier Heat Mapを利用して可視化している。図５に示すFourier Heat Mapは、中心部分ほど低周波数の摂動に対するエラーの生じやすさ、中心部分から外側に向けて離れるほど高周波数の摂動に対するエラーの生じやすさを示す。これにより、周波数帯の摂動に対するロバスト性を可視化している。図５では、エラーの生じやすさを濃淡によって表現している。濃淡が濃いほど、エラーが生じやすい。エラーとは、製品が異常品か否かを誤って判定することである。
【0032】
図５から把握できるように、異常品判定装置２０は、比較例に比べて摂動を加えた場合であってもエラーが発生しにくい。特に、Gridでは、ロバスト性が著しく向上している。比較例では、低周波帯においてAUROCの評価値が著しく低下する場合があったが、異常品判定装置２０では、低周波帯においてもAUROCの評価値が著しく低下することが抑制されている。
【0033】
図６には、正常品が写る画像データから特定の周波数帯を除去した画像データを用いて異常判定を行った場合の結果を示す。図６の横軸は除去した周波数帯を示す。図６の縦軸はAUROCの評価値の低下量を示す。図６から把握できるように、低周波帯を除去した画像データを用いて異常判定を行った場合、比較例では異常品判定装置２０に比べてAUROCの評価値が低下している。このことから、比較例は、異常品判定装置２０に比べて低周波帯への依存性が高いことがわかる。即ち、比較例では、異常品判定装置２０に比べて特定の周波数帯の摂動が加わった場合のロバスト性が低いことがわかる。
【0034】
［本実施形態の効果］
（１）異常品判定装置２０は、局所的特徴量及び大域的特徴量を用いて製品が異常品か正常品かを判定している。局所的特徴量を用いることで、異常品判定装置２０は、製品に局所的な異常が生じていた場合であっても、製品が異常品か正常品かを判定することができる。大域的特徴量を用いることで、異常品判定装置２０は、製品に大域的な異常が生じていた場合であっても、製品が異常品か正常品かを判定することができる。
（１）異常品判定装置２０は、局所的特徴量及び大域的特徴量を用いて製品が異常品か正常品かを判定している。局所的特徴量を用いることで、異常品判定装置２０は、製品に局所的な異常が生じていた場合であっても、製品が異常品か正常品かを判定することができる。大域的特徴量を用いることで、異常品判定装置２０は、製品に大域的な異常が生じていた場合であっても、製品が異常品か正常品かを判定することができる。
【0035】
また、CNNを用いて特徴量を抽出する場合に比べて、低周波帯への依存性を低下させることができる。これにより、異常品判定装置２０のロバスト性を向上させることができる。
【0036】
［変更例］
実施形態は、以下のように変更して実施することができる。実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
実施形態は、以下のように変更して実施することができる。実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
【0037】
○異常品判定部２２は、マハラノビス距離Ｍ（ｘｉｊ）に代えて、異常度としてユークリッド距離を算出してもよい。
○特徴量抽出部２１としては、局所的特徴量と大域的特徴量とを抽出できれば、どのようなものを用いてもよい。
○特徴量抽出部２１としては、局所的特徴量と大域的特徴量とを抽出できれば、どのようなものを用いてもよい。
【符号の説明】
【0038】
２０…異常品判定装置、２１…特徴量抽出部、２２…異常品判定部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】