特開 2022-191790 異常検出装置、異常検出方法、および異常検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022191790

(43)【公開日】2022-12-28

(54)【発明の名称】異常検出装置、異常検出方法、および異常検出プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221221BHJP

【ＦＩ】

G06T7/00 350C

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021100236

(22)【出願日】2021-06-16

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】向 雲

(72)【発明者】

【氏名】伊藤 聡

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096DA01

5L096DA04

5L096FA69

5L096FA76

5L096GA06

5L096GA30

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

【課題】異常検出精度の向上を図る。
【解決手段】異常検出装置１０は、取得部２２と、第１導出部２４と、第２導出部２６と、異常度導出部２８と、を備える。取得部２２は、入力データを取得する。第１導出部２４は、自然データを用いて学習された学習済深層モデルを用いて入力データから導出した第１特徴量と、対象データを用いて学習された予測モデルを用いて入力データから導出した第２特徴量と、の差分に応じた第１異常度を導出する。第２導出部２６は、第２特徴量に基づいて、入力データにおける第１領域と少なくとも一部が第１領域に非重複の第２領域との相対位置関係の推定結果に基づく第２異常度を導出する。異常度導出部は、第１異常度および第２異常度から、入力データの総合異常度を導出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

入力データを取得する取得部と、
自然データを用いて学習された学習済深層モデルを用いて前記入力データから導出した第１特徴量と、対象データを用いて学習された予測モデルを用いて前記入力データから導出した第２特徴量と、の差分に応じた第１異常度を導出する第１導出部と、
前記第２特徴量に基づいて、前記入力データにおける第１領域と少なくとも一部が前記第１領域に非重複の第２領域との相対位置関係の推定結果に基づく第２異常度を導出する第２導出部と、
前記第１異常度および前記第２異常度から、前記入力データの総合異常度を導出する異常度導出部と、
を備える異常検出装置。

【請求項2】

前記第２導出部は、
前記第１領域の前記第２特徴量と前記第２領域の前記第２特徴量との差分に基づいて、前記第１領域と前記第２領域との可能な相対位置関係の各々が正解相対位置関係である確からしさを前記相対位置関係の前記推定結果として導出する、
請求項１に記載の異常検出装置。

【請求項3】

前記第２導出部は、
前記確からしさに基づいて、前記相対位置関係が正解相対位置関係である推定確率と確率１００％との差分、前記推定確率の負の対数尤度、または前記確からしさのエントロピーを、前記第１領域の前記第２異常度として導出する、
請求項２に記載の異常検出装置。

【請求項4】

第１異常度は、前記第１特徴量と前記第２特徴量との距離が大きいほど単調非減少する値である、
請求項１～請求項３の何れか１項に記載の異常検出装置。

【請求項5】

前記入力データ、前記第１異常度、前記第２異常度、および前記総合異常度の少なくとも１つを表示部に表示する表示制御部、
を備える請求項１～請求項４の何れか１項に記載の異常検出装置。

【請求項6】

前記表示制御部は、
前記入力データ上に、前記第１異常度、前記第２異常度、および前記総合異常度の少なくとも１つを重畳して前記表示部に表示する、
請求項５に記載の異常検出装置。

【請求項7】

前記表示制御部は、
前記入力データ上に、前記第１異常度、前記第２異常度、および前記総合異常度の少なくとも１つを個別に前記表示部に表示する、
請求項５に記載の異常検出装置。

【請求項8】

前記表示制御部は、
前記入力データにおける各要素に対応する位置に、各要素の前記第１異常度、前記第２異常度、および前記総合異常度の少なくとも１つを重畳して前記表示部に表示する、
請求項５または請求項６に記載の異常検出装置。

【請求項9】

前記表示制御部は、
前記入力データにおける各要素に対応する位置に、各要素の前記第１異常度、前記第２異常度、および前記総合異常度の少なくとも１つを個別に前記表示部に表示する、
請求項５または請求項７に記載の異常検出装置。

【請求項10】

前記予測モデルは、正常データである前記対象データを用いて予め学習されてなる、
請求項１～請求項９の何れか１項に記載の異常検出装置。

【請求項11】

前記第２導出部は、
前記第１領域の前記第２特徴量と前記第２領域の前記第２特徴量との差分から位置推定モデルを用いて前記推定結果を導出し、
前記位置推定モデルは、正常データを用いて予め学習されてなる、
請求項１～請求項１０の何れか１項に記載の異常検出装置。

【請求項12】

前記入力データは画像データである、
請求項１～請求項１１の何れか１項に記載の異常検出装置。

【請求項13】

入力データを取得するステップと、
自然データを用いて学習された学習済深層モデルを用いて前記入力データから導出した第１特徴量と、対象データを用いて学習された予測モデルを用いて前記入力データから導出した第２特徴量と、の差分に応じた第１異常度を導出するステップと、
前記第２特徴量に基づいて、前記入力データにおける第１領域と少なくとも一部が前記第１領域に非重複の第２領域との相対位置関係の推定結果に基づく第２異常度を導出するステップと、
前記第１異常度および前記第２異常度から、前記入力データの総合異常度を導出するステップと、
を含む異常検出方法。

【請求項14】

入力データを取得するステップと、
自然データを用いて学習された学習済深層モデルを用いて前記入力データから導出した第１特徴量と、対象データを用いて学習された予測モデルを用いて前記入力データから導出した第２特徴量と、の差分に応じた第１異常度を導出するステップと、
前記第２特徴量に基づいて、前記入力データにおける第１領域と少なくとも一部が前記第１領域に非重複の第２領域との相対位置関係の推定結果に基づく第２異常度を導出するステップと、
前記第１異常度および前記第２異常度から、前記入力データの総合異常度を導出するステップと、
をコンピュータに実行させるための異常検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、異常検出装置、異常検出方法、および異常検出プログラムに関する。

【背景技術】

【0002】

画像などの入力データに含まれる異常を検出するシステムが知られている。例えば、入力データと、入力データの特徴から復元した出力データと、の誤差分を用いて正常性を判定する技術が開示されている。また、例えば、学習済み深層モデルを用いて導出した特徴量と予測モデルを用いて導出した特徴量との予測誤差分を用いて異常検出を行う方法が開示されている。

【0003】

しかしながら従来技術では、入力データに含まれる局所的には正常領域であるが他の領域との位置関係では異常である領域を異常として検出することは困難であった。このため、従来技術では、異常検出精度が低下する場合があった。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１８１５３２号公報

【非特許文献】

【0005】

【非特許文献1】Ｕｎｉｎｆｏｒｍｅｄ Ｓｔｕｄｅｎｔｓ：Ｓｔｕｄｅｎｔ－Ｔｅａｃｈｅｒ Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ Ｌａｔｅｎｔ Ｅｍｂｅｄｄｉｎｇｓ，ＣＶＰＲ，２０２０．

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、上記に鑑みてなされたものであって、異常検出精度の向上を図ることができる、異常検出装置、異常検出方法、および異常検出プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

実施形態の異常検出装置は、取得部と、第１導出部と、第２導出部と、異常度導出部と、を備える。取得部は、入力データを取得する。第１導出部は、自然データを用いて学習された学習済深層モデルを用いて前記入力データから導出した第１特徴量と、対象データを用いて学習された予測モデルを用いて前記入力データから導出した第２特徴量と、の差分に応じた第１異常度を導出する。第２導出部は、前記第２特徴量に基づいて、前記入力データにおける第１領域と少なくとも一部が前記第１領域に非重複の第２領域との相対位置関係の推定結果に基づく第２異常度を導出する。異常度導出部は、前記第１異常度および前記第２異常度から、前記入力データの総合異常度を導出する。

【図面の簡単な説明】

【0008】

【図1】異常検出装置の機能ブロック図。

【図2A】正常データの模式図。

【図2B】入力データの模式図。

【図2C】入力データの模式図。

【図3】第１導出部の機能ブロック図。

【図4A】第１異常度の導出の説明図。

【図4B】第１異常度の導出の説明図。

【図4C】第１異常度の導出の説明図。

【図5】第２導出部の機能ブロック図。

【図6】相対位置の説明図。

【図7A】第２導出部の処理の説明図。

【図7B】第２導出部の処理の説明図。

【図7C】第２導出部の処理の説明図。

【図8A】第２導出部の処理の説明図。

【図8B】第２導出部の処理の説明図。

【図8C】第２導出部の処理の説明図。

【図9A】表示画面の模式図。

【図9B】表示画面の模式図。

【図10】異常検出処理の流れの一例を示すフローチャート。

【図11】ハードウェア構成図。

【発明を実施するための形態】

【0009】

以下に添付図面を参照して、異常検出装置、異常検出方法、および異常検出プログラムを詳細に説明する。

【0010】

図１は、本実施形態の異常検出装置１０の構成の一例を示す機能ブロック図である。

【0011】

異常検出装置１０は、入力データに含まれる異常を検出する装置である。入力データの詳細は後述する。

【0012】

異常検出装置１０は、記憶部１２と、ＵＩ（ユーザ・インターフェース）部１４と、通信部１６と、制御部２０と、を備える。記憶部１２、ＵＩ部１４、通信部１６、および制御部２０は、バス１８などを介して通信可能に接続されている。

【0013】

記憶部１２は、各種の情報を記憶する。記憶部１２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。記憶部１２は、異常検出装置１０の外部に設けられた記憶装置であってもよい。例えば、記憶部１２は、ネットワークなどを介して異常検出装置１０に接続された外部の情報処理装置に搭載されていてもよい。

【0014】

ＵＩ部１４は、各種の情報を表示する表示機能、およびユーザによる操作指示を受付ける入力機能、を備える。本実施形態では、ＵＩ部１４は、表示部１４Ａと入力部１４Ｂと有する。表示部１４Ａは、各種の情報を表示するディスプレイである。入力部１４Ｂは、ユーザによる操作入力を受付けるデバイスである。入力部１４Ｂは、例えば、マウスなどのポインティングデバイス、キーボードなどである。なお、ＵＩ部１４は、表示部１４Ａおよび入力部１４Ｂを一体的に構成したタッチパネルであってもよい。

【0015】

通信部１６は、ネットワークなどを介して外部の情報処理装置と通信する通信機能部である。

【0016】

制御部２０は、情報処理を実行する。制御部２０は、取得部２２と、第１導出部２４と、第２導出部２６と、異常度導出部２８と、表示制御部３０と、を備える。

【0017】

取得部２２、第１導出部２４、第２導出部２６、異常度導出部２８、および表示制御部３０は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣなどのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。また、上記各部の少なくとも１つを、ネットワークを介して異常検出装置１０に接続された外部の情報処理装置に設けた構成としてもよい。

【0018】

取得部２２は、入力データを取得する。

【0019】

入力データは、異常検出装置１０で異常を検出する対象となるデータである。入力データは、静止画像データ、動画像データなどの視覚情報である。入力データは、時間情報を含まないテンソルデータであることが好ましい。

【0020】

なお、取得部２２は、時間情報を含むテンソルデータを取得してもよい。この場合、取得部２２は、取得したテンソルデータを、時間情報を含まない形式に変換することで、入力データを取得すればよい。

【0021】

本実施形態では、入力データが、３次元のテンソルデータとして表現されたカラーの静止画像データである形態を一例として説明する。なお、以下では、カラーの静止画像データを、単に、画像と称して説明する場合がある。

【0022】

図２Ａ～図２Ｃは、正常データ３２および入力データ３５の一例を示す模式図である。図２Ａ～図２Ｃには、正常データ３２および入力データ３５が、複数のケーブルを束ねた結束ケーブルの断面の画像である形態を一例として示す。

【0023】

図２Ａは、正常データ３２の一例を示す模式図である。正常データ３２は、学習に用いる正常データの画像の一例である。図２Ａに示すように、例えば、正常データ３２が、３本のケーブルの各々の断面領域である領域３２Ａ、領域３２Ｂ、領域３２Ｃ、を含む場合を想定する。

【0024】

図２Ｂは、異常入力データ３４の一例を示す模式図である。異常入力データ３４は、位置異常領域３４Ａおよび形状異常領域３４Ｃを含む入力データ３５の一例である。

【0025】

詳細には、異常入力データ３４に含まれる、位置異常領域３４Ａ、正常領域３４Ｂ、および形状異常領域３４Ｃの各々の相対位置関係は、正常データ３２の領域３２Ａ、領域３２Ｂ、および領域３２Ｃの各々の相対位置関係に一致する。

【0026】

位置異常領域３４Ａは、位置異常を示す領域である。位置異常を示す領域とは、正常データ３２に含まれる正常な領域３２Ｂと同じパターンであるが、他の領域に対する相対位置関係が異常な領域である。

【0027】

相対位置関係とは、入力データ３５に含まれるある領域と、該領域に少なくとも一部が非重複の他の領域と、の相対的な位置関係を意味する。パターンとは、領域内の１または複数の要素によって表される色および形を意味する。言い換えると、パターンは、領域内に含まれる１または複数の物体の色および形を意味する。このため、相対位置関係が異常であるとは、入力データ３５において該相対位置関係にある２つの領域におけるパターンの組み合わせが、正常データ３２には存在しないことを意味する。

【0028】

本実施形態では、位置異常領域３４Ａを、相対位置関係が異常な領域の一例として示す。位置異常領域３４Ａは、局所的には、正常データ３２に含まれる領域３２Ｂと同じパターンであり、パターンとしては正常な領域である。さて、位置異常領域３４Ａと正常領域３４Ｂとの相対位置関係を考える。この相対位置関係における２つの領域３４Ａおよび３４Ｂのパターンの組み合わせは正常データ３２には存在しない。したがって、位置異常領域３４Ａと正常領域３４Ｂとの相対位置関係は異常である。同様に、位置異常領域３４Ａと形状異常領域３４Ｃの相対位置関係も異常と判断できる。

【0029】

正常領域３４Ｂは、形状異常を含まない領域である。正常領域３４Ｂは、正常データ３２に含まれる領域３２Ｂとパターンが一致する。

【0030】

形状異常領域３４Ｃは、形状異常を含む領域である。形状異常領域３４Ｃのパターンは、正常データ３２には存在しない。図２Ｂには、一例として、形状異常領域３４Ｃとして、ケーブルの一部に割れの生じた画像領域を示す。

【0031】

図２Ｃは、正常入力データ３６の一例を示す模式図である。正常入力データ３６は、形状異常および位置異常を含まない、正常データ３２と略同一の入力データ３５の一例である。

【0032】

詳細には、正常入力データ３６に含まれる、正常領域３６Ａ、正常領域３６Ｂ、および正常領域３６Ｃは、正常データ３２の領域３２Ａ、領域３２Ｂ、および領域３２Ｃと各々のパターンが一致する。正常領域３６Ａ、正常領域３６Ｂ、および正常領域３６Ｃの各々の相対位置関係は、領域３２Ａ、領域３２Ｂ、および領域３２Ｃの各々の相対位置関係に一致する。言い換えると、正常領域３６Ａ、正常領域３６Ｂ、および正常領域３６Ｃは、形状異常および相対位置関係の異常を含まない正常領域である。

【0033】

取得部２２は、異常入力データ３４および正常入力データ３６などの入力データ３５を取得する。取得部２２は、記憶部１２から入力データ３５を読み取ることで、入力データ３５を取得する。取得部２２は、通信部１６を介して外部の情報処理装置から入力データ３５を取得してもよい。

【0034】

図１に戻り説明を続ける。

【0035】

第１導出部２４は、学習済深層モデルを用いて入力データ３５から導出した第１特徴量と、予測モデルを用いて入力データ３５から導出した第２特徴量と、の差分に応じた第１異常度を導出する。

【0036】

図３は、第１導出部２４の一例の機能ブロック図である。

【0037】

第１導出部２４は、第１特徴量算出部２４Ａと、第２特徴量算出部２４Ｂと、差分算出部２４Ｃと、第１異常度導出部２４Ｄと、を備える。

【0038】

第１特徴量算出部２４Ａは、学習済深層モデル２３を用いて、入力データ３５から第１特徴量を算出する。

【0039】

学習済深層モデル２３は、入力データ３５を入力とし第１特徴量を出力とする学習済深層モデルであり、自然データを用いて予め学習されている。

【0040】

自然データとは、入力データ３５に限定されない様々な種類のデータである。言い換えると、自然データとは、異常検出装置１０で異常を検出する対象の対象データに限定されない様々な種類のデータである。例えば、異常検出装置１０で異常を検出する対象の対象データが、図２Ａ～図２Ｃに示す結束ケーブルの断面の画像である形態を想定する。この場合、自然データは、結束ケーブルの断面の画像、他の工業製品などの画像、動物の画像、風景の画像、などの様々な種類のデータである。

【0041】

学習済深層モデル２３は、例えば、公知の畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ）、などのアルゴリズムを用いて学習されたモデルである。

【0042】

第１特徴量算出部２４Ａは、入力データ３５を学習済深層モデル２３へ入力することで、学習済深層モデル２３からの出力として、入力データ３５の要素ごとの第１特徴量を得る。

【0043】

要素とは、入力データ３５や正常データ３２を複数の領域に分割した各領域を意味する。具体的には、例えば、要素は、１または複数の画素から構成される。本実施形態では、１つの要素が、複数の画素からなる領域である形態を一例として説明する。

【0044】

第１特徴量とは、学習済深層モデル２３によって出力される、入力データ３５の要素ごとの特徴量である。第１特徴量は、例えば、ユークリッド空間における特徴量である。第１特徴量は、埋め込み特徴量と称される場合がある。

【0045】

第２特徴量算出部２４Ｂは、予測モデル２５を用いて、入力データ３５から第２特徴量を算出する。

【0046】

予測モデル２５は、入力データ３５を入力とし第２特徴量を出力とする学習モデルである。予測モデル２５は、対象データを用いて予め学習されている。

【0047】

対象データとは、異常検出装置１０で異常を検出する対象の種類のデータである。すなわち、本実施形態では、対象データは、図２Ａ～図２Ｃに示す結束ケーブルの断面の画像である。本実施形態では、予測モデル２５は、対象データの内、図２Ａを用いて説明した複数の正常データ３２を用いて予め学習されてなることが好ましい。

【0048】

予測モデル２５は、例えば、ＣＮＮ、ＲＮＮ、ＬＳＴＭ、などのアルゴリズムを用いて学習されたモデルである。

【0049】

第２特徴量算出部２４Ｂは、入力データ３５を予測モデル２５へ入力することで、予測モデル２５からの出力として、入力データ３５の要素ごとの第２特徴量を得る。

【0050】

第２特徴量とは、予測モデル２５によって出力される、入力データ３５の要素ごとの特徴量である。第２特徴量は、例えば、ユークリッド空間における特徴量である。第２特徴量は、埋め込み特徴量と称される場合がある。

【0051】

差分算出部２４Ｃは、第１特徴量と第２特徴量との差分を算出する。差分算出部２４Ｃは、第１特徴量算出部２４Ａから受付けた第１特徴量と、第２特徴量算出部２４Ｂから受付けた第２特徴量と、の差分を要素ごとに算出する。

【0052】

本実施形態では、第１特徴量および第２特徴量の各々が、ユークリッド空間における特徴量である形態を一例として説明する。このため、第１特徴量と第２特徴量との差分は、ユークリッド空間における距離、すなわち、ユークリッド距離に相当する。

【0053】

第１異常度導出部２４Ｄは、第１特徴量と第２特徴量との差分に応じた第１異常度を算出する。第１異常度は、第１特徴量と第２特徴量との距離が大きいほど単調非減少する値であればよい。

【0054】

第１異常度導出部２４Ｄは、例えば、第１特徴量と第２特徴量との差分の二乗、または、第１特徴量と第２特徴量との差分を、第１異常度として導出する。

【0055】

具体的には、例えば、第１異常度導出部２４Ｄは、下記式（１）により第１異常度を算出する。

【0056】

【数1】

【0057】

式（１）中、σ^rは、第１異常度を表す。ｄは、第１特徴量と第２特徴量との差分を表す。ｉは、入力データ３５における要素の位置を示す。Ｘは、第１特徴量を意味する。Ｙは、第２特徴量を意味する。式（１）中の式（Ａ）は、ＸのＬ２ノルムを表す。Ｌ２ノルムは、Ｘのベクトル成分の差分の２乗和の平方根である。

【0058】

本実施形態では、第１異常度導出部２４Ｄは、入力データ３５の要素ごとに第１異常度を導出する。すなわち、第１異常度導出部２４Ｄは、要素ごとの第１特徴量と第２特徴量との差分に応じて、要素ごとに第１異常度を導出する。

【0059】

図４Ａ～図４Ｃは、第１異常度の導出の一例の説明図である。図４Ａ～図４Ｃには、１つの要素に相当する領域が位置異常領域３４Ａ～形状異常領域３４Ｃの各々の領域である形態を一例として示す。

【0060】

図４Ａは、入力データ３５の一例である異常入力データ３４の模式図である。図４Ａに示す異常入力データ３４は、図２Ｂに示す異常入力データ３４と同様である。

【0061】

図４Ｂは、入力データ３５として異常入力データ３４を用いた場合の、正常領域３４Ｂおよび形状異常領域３４Ｃの各々の特徴量の差分の一例の説明図である。図４Ｂには、特徴量空間Ｓに第１特徴量および第２特徴量を配置した例を示す。特徴量空間Ｓは、ユークリッド空間である。すなわち、特徴量空間Ｓは、埋め込み特徴量を規定する複数の要因方向によって規定される多次元空間である。

【0062】

例えば、差分算出部２４Ｃは、異常入力データ３４の正常領域３４Ｂの第１特徴量Ｘ_１と第２特徴量Ｙ_１との差分ｄ_１を算出する。同様に、差分算出部２４Ｃは、異常入力データ３４の形状異常領域３４Ｃの第１特徴量Ｘ_２と第２特徴量Ｙ_２との差分ｄ_２を算出する。

【0063】

図４Ｃは、入力データ３５として異常入力データ３４を用いた場合の、位置異常領域３４Ａおよび正常領域３４Ｂの各々の特徴量の差分の一例の説明図である。図４Ｃには、特徴量空間Ｓに第１特徴量および第２特徴量を配置した例を示す。

【0064】

例えば、差分算出部２４Ｃは、異常入力データ３４の正常領域３４Ｂの第１特徴量Ｘ_１と第２特徴量Ｙ_１との差分ｄ_１を算出する。同様に、差分算出部２４Ｃは、異常入力データ３４の位置異常領域３４Ａの第１特徴量Ｘ_３と第２特徴量Ｙ_３との差分ｄ_３を算出する。

【0065】

図４Ｂに示すように、正常領域３４Ｂの第１特徴量Ｘ_１と第２特徴量Ｙ_１との差分ｄ_１と、形状異常である形状異常領域３４Ｃの第１特徴量Ｘ_２と第２特徴量Ｙ_２との差分ｄ_２とは、大きく異なるものとなる。一方、図４Ｃに示すように、正常領域３４Ｂの第１特徴量Ｘ_１と第２特徴量Ｙ_１との差分ｄ_１と、相対位置関係が異常である位置異常領域３４Ａの第１特徴量Ｘ_３と第２特徴量Ｙ_３との差分ｄ_３は、略同じ値となる。

【0066】

このため、これらの特徴量の差分ｄ_１～差分ｄ_３の各々から導出した要素ごとの第１異常度を、異常入力データ３４の総合異常度として用いると、位置異常領域３４Ａのような相対位置関係が異常の領域を、異常として検出することは困難である。

【0067】

そこで、本実施形態の異常検出装置１０は、第２導出部２６を備える。

【0068】

図１に戻り説明を続ける。第２導出部２６は、第２特徴量に基づいて、入力データ３５における第１領域と第２領域との相対位置関係の推定結果に基づく第２異常度を導出する。

【0069】

図５は、第２導出部２６の一例の機能ブロック図である。第２導出部２６は、相対位置特定部２６Ａと、差分算出部２６Ｂと、推定結果算出部２６Ｃと、第２異常度算出部２６Ｄと、を備える。

【0070】

相対位置特定部２６Ａは、入力データ３５の相対位置を特定する。相対位置とは、入力データ３５における第１領域と、入力データ３５における第２領域と、の相対的な位置を表す。

【0071】

第１領域とは、入力データ３５を複数の領域に分割した領域の各々を表す。第１領域には、１または複数の要素が含まれる。第２領域とは、入力データ３５における、第１領域に対して少なくとも一部が非重複の領域である。第２領域は、第１領域と同じ大きさおよび外形の領域であり、第１領域と少なくとも一部が非重複の領域であればよい。第１領域および第２領域のサイズは、たとえば、カーネルサイズの大きさの領域とする。

【0072】

図６は、相対位置の一例の説明図である。相対位置特定部２６Ａは、入力データ３５を複数の領域に分割した各領域の各々を第１領域Ｑとして特定する。そして、相対位置特定部２６Ａは、特定した第１領域Ｑの各々に対して、互いに異なる複数の方向の領域を第２領域Ｐとして特定する。本実施形態では、１つの第１領域Ｑに対して、互いに異なる８方向に隣接する１～８の８個の相対位置の第２領域Ｐを特定する形態を一例として説明する。

【0073】

第１領域Ｑおよび第２領域Ｐは、それぞれ、１または複数の要素からなる領域である。本実施形態では、第１領域Ｑおよび第２領域Ｐは、それぞれ、１つの要素の領域である形態を一例として説明する。上述したように、本実施形態では、１つの要素は、複数の画素からなる領域である。また、本実施形態では、第１領域Ｑおよび第２領域Ｐは、それぞれ、正常データ３２の領域３２Ａ～領域３２Ｂの各々と同じ大きさおよび外形の領域である形態を一例として説明する。

【0074】

図５に戻り説明を続ける。差分算出部２６Ｂは、入力データ３５に含まれる複数の第１領域Ｑの各々について、第１領域Ｑの第２特徴量と、第１領域Ｑに対する複数の相対位置の各々の第２領域Ｐの第２特徴量の各々と、の差分を算出する。本実施形態では、差分算出部２６Ｂは、１つの第１領域Ｑの第２特徴量と、この第１領域Ｑに対して、互いに異なる８方向に隣接する相対位置の各々の領域である８個の第２領域Ｐの各々の第２特徴量と、の差分を算出する。

【0075】

推定結果算出部２６Ｃは、差分算出部２６Ｂで算出された差分に基づいて、第１領域Ｑと第２領域Ｐとの可能な相対位置関係の各々が正解相対位置関係である確からしさを、相対位置関係の推定結果として算出する。確からしさは、例えば、確率で表される。

【0076】

図２Ａおよび図２Ｂを用いて説明する。図２Ｂに示す異常入力データ３４における位置異常領域３４Ａを第１領域Ｑとして特定した場面を想定する。この場合、第１領域Ｑである位置異常領域３４Ａに対する、６の方向の相対位置（図６参照）の第２領域Ｐである正常領域３４Ｂとの相対的な位置関係が、該第１領域Ｑと６の方向の第２領域Ｐとの正解相対位置関係となる。

【0077】

可能な相対位置関係とは、相対位置特定部２６Ａにより特定した、第１領域Ｑと、第１領域Ｑに対して、互いに異なる複数の方向の第２領域Ｐとの、すべての相対位置関係（図６参照）を意味する。詳細には、可能な相対位置関係とは、第１領域Ｑである位置異常領域３４Ａに対する、６の方向の第２領域Ｐである正常領域３４Ｂ、８の方向の第２領域Ｐである形状異常領域３４Ｃを含めて、互いに異なる８方向に隣接する１～８の８個の相対位置関係となる。

【0078】

推定結果算出部２６Ｃは、第１領域Ｑと第２領域Ｐとの第２特徴量の差分に基づいて、第１領域Ｑと第２領域Ｐとの可能な相対位置関係の各々が正解相対位置関係である確からしさを、該第１領域Ｑと第２領域Ｐとの相対位置関係の推定結果として算出する。

【0079】

図５に戻り説明を続ける。推定結果算出部２６Ｃは、入力データ３５における第１領域Ｑと第２領域Ｐとの第２特徴量の差分を位置推定モデル２７へ入力する。そして、推定結果算出部２６Ｃは、位置推定モデル２７からの出力として、第１領域Ｑと第２領域Ｐとの可能な相対位置関係の各々が正解相対位置関係である確からしさを得る。そして、推定結果算出部２６Ｃは、位置推定モデル２７から得られた確からしさを、相対位置関係の推定結果として用いる。

【0080】

位置推定モデル２７は、第１領域Ｑと第２領域Ｐとの第２特徴量の差分を入力とし、第１領域Ｑと第２領域Ｐの可能な相対位置関係の各々が正解相対位置関係である確からしさを表す値を出力とする学習モデルである。位置推定モデル２７は、予め学習されたモデルであればよい。位置推定モデル２７は、例えば、正常データ３２を学習データとして用いて予め学習すればよい。

【0081】

推定結果算出部２６Ｃは、入力データ３５に含まれる複数の第１領域Ｑの各々ごとに、第１領域Ｑに対する複数の相対位置の第２領域Ｐの各々との第２特徴量の差分から、位置推定モデル２７を用いて上記確からしさである推定結果を算出する。このため、本実施形態では、推定結果算出部２６Ｃは、第１領域Ｑごとに、第１領域Ｑと８個の第２領域Ｐの各々との相対位置関係のそれぞれについて、確からしさを表す値（推定結果）を算出する。本実施形態では、確からしさを表す値を推定確率分布として表す形態を一例として説明する。

【0082】

第２異常度算出部２６Ｄは、推定結果算出部２６Ｃで算出された推定結果に基づいて、第２異常度を導出する。

【0083】

図７Ａ～図７Ｃは、第２導出部２６による処理の一例の説明図である。

【0084】

図７Ａは、異常入力データ３４の一例を示す模式図である。図７Ａに示す異常入力データ３４は、図２Ｂに示す異常入力データ３４と同様である。例えば、取得部２２が入力データ３５として異常入力データ３４を取得した場合を想定する。

【0085】

第２導出部２６の相対位置特定部２６Ａは、異常入力データ３４の相対位置を特定する。すなわち、第２導出部２６は、異常入力データ３４に含まれる複数の第１領域Ｑの各々について、第１領域Ｑに対して少なくとも一部が非重複で且つ互いに第１領域Ｑに対する方向の異なる複数の相対位置の第２領域Ｐを特定する。

【0086】

例えば、相対位置特定部２６Ａは、位置異常領域３４Ａを第１領域Ｑとした場合、６の方向の相対位置の第２領域Ｐとして正常領域３４Ｂを特定し、８の方向の相対位置の第２領域Ｐとして形状異常領域３４Ｃを特定する。同様にして、相対位置特定部２６Ａは、第１領域Ｑである位置異常領域３４Ａに対して、１～５、７の方向の相対位置の各々の第２領域Ｐを特定する（図６も参照）。

【0087】

図７Ｂは、第１領域Ｑである位置異常領域３４Ａと、位置異常領域３４Ａに対する６の方向の相対位置の第２領域Ｐである正常領域３４Ｂと、の第２特徴量の差分の一例の説明図である。図７Ｂには、第２特徴量を特徴量空間Ｓに配置して示す。

【0088】

この場合、差分算出部２６Ｂは、位置異常領域３４Ａの第２特徴量Ｙｂと、正常領域３４Ｂの第２特徴量Ｙａと、の差分ｄｙを、位置異常領域３４Ａである第１領域Ｑと該第１領域Ｑに対して６の方向に位置する第２領域Ｐとの第２特徴量の差分として算出する。同様にして、差分算出部２６Ｂは、第１領域Ｑである位置異常領域３４Ａに対して、１～５、７～８の方向の各々の相対位置の第２領域Ｐとの第２特徴量の差分を算出する（図６も参照）。

【0089】

図７Ｃは、推定結果の一例の説明図である。図７Ｃ中、横軸は、第１領域Ｑに対する第２領域Ｐの可能な相対位置を意味する。縦軸は、推定確率を意味する。推定確率１００％は、可能な相対位置関係の各々が正解相対位置関係に一致する時の確率を意味する。

【0090】

詳細には、図７Ｃは、第１領域Ｑを位置異常領域３４Ａとし、第２領域Ｐを該第１領域Ｑに対して６の方向の相対位置の正常領域３４Ｂとしたときに、位置推定モデル２７によって出力される１～８の各々の方向の可能な相対位置に対する推定確率分布の一例を示す模式図である。

【0091】

第１領域Ｑである位置異常領域３４Ａと、該位置異常領域３４Ａに対する６の方向の相対位置の第２領域Ｐである正常領域３４Ｂと、の相対位置関係が正常な相対位置関係である場合には、正解の相対位置である６の相対位置の推定確率１００％となり、６以外の可能な相対位置の推定確率は０％となる。しかし、上述したように、位置異常領域３４Ａは他の領域（第２領域Ｐ）との相対位置関係が異常な領域である。このため、図７Ｃに示すように、位置異常領域３４Ａと正常領域３４Ｂにおいて、相対位置関係の推定確率の分布は、正常な相対位置関係である場合の、相対位置関係の推定確率の分布とは異なるものとなる。

【0092】

そこで、第２異常度算出部２６Ｄは、推定結果算出部２６Ｃによって入力データ３５に含まれる複数の第１領域Ｑの各々毎に導出された、複数の第２領域Ｐの各々との相対位置関係ごとの推定結果に基づいて、該推定結果に関する第２異常度を導出する。

【0093】

詳細には、第２異常度算出部２６Ｄは、上記確からしさに基づいて、相対位置関係が正解相対位置関係である推定確率と正解確率である確率１００％との差分、推定確率の負の対数尤度、または確からしさのエントロピーを、第１領域Ｑの各々の相対位置関係ごとの第２異常度として算出する。

【0094】

例えば、第２異常度算出部２６Ｄは、下記式（２）により第２異常度を算出する。

【0095】

【数2】

【0096】

式（２）は、推定確率と正解確率である確率１００％との差分を第２異常度として算出する式である。式（２）中、σ^ｐは、第２異常度を表す。Ｐ（ｙ）は、正解の相対位置ｙの推定確率を表す。ｉは、入力データ３５における第１領域Ｑの位置を示す。ｋは、ｉに対する相対位置を意味する。本実施形態では、ｋは、上述した８個の方向の各々の相対位置を示し、１～８の整数で表される。

【0097】

例えば、第２異常度算出部２６Ｄは、図７Ｃに示すように、推定確率と正解確率である確率１００％との差分を、第２異常度として算出する。すなわち、推定結果算出部２６Ｃが、第１領域Ｑである位置異常領域３４Ａと該第１領域Ｑに対して６の方向の相対位置の第２領域Ｐである正常領域３４Ｂとの相対位置関係について、１～８の可能な相対位置の各々が正解相対位置関係である推定確率を算出した場合を想定する。すなわち、図７Ｃに示すように、１つの第１領域Ｑと１つの第２領域Ｐにおいて、８個の可能な相対位置各々について正解相対位置関係である確からしさを表す値が得られる。これは典型的には確率分布として表される。

【0098】

この場合、第２異常度算出部２６Ｄは、これらの１～８の可能な相対位置の各々の推定確率の内、位置異常領域３４Ａに対する正常領域３４Ｂの正解の相対位置である６の方向の推定確率Ｐ_ｉｋ（ｙ）＝Ｐ_３６（６）を特定する。そして、第２異常度算出部２６Ｄは、上記式（２）を用いて、１００％から推定確率Ｐ_３６（６）を減算した値を、第１領域Ｑである位置異常領域３４Ａと６の方向の相対位置の正常領域３４Ｂとの相対位置関係の、第２異常度として算出する。

【0099】

なお、上述したように、第２異常度算出部２６Ｄは、推定確率と正解確率である確率１００％との差分、推定確率の負の対数尤度、または推定確率のエントロピーを、第１領域Ｑの各々の相対位置関係ごとの第２異常度として算出すればよい。

【0100】

例えば、第２異常度算出部２６Ｄは、下記式（３）または式（４）により第２異常度を算出してもよい。

【0101】

【数3】

【0102】

式（３）は、推定確率の負の対数尤度を第２異常度として算出する式である。式（３）中、σ^ｐ、Ｐ（ｙ）、ｉ、およびｋは、上記式（２）と同様である。

【0103】

【数4】

【0104】

式（４）は、推定確率のエントロピーを第２異常度として算出する式である。式（４）中、σ^ｐ、ｉ、およびｋは、上記式（２）と同様である。Ｐ_ｉｋ（ｊ）は、入力データ３５における第１領域Ｑの位置ｉに対する相対位置ｋの第２領域Ｐの相対位置関係における、１～８の可能な相対位置ｊの推定確率である。

【0105】

そして、第２異常度算出部２６Ｄは、１つの第１領域Ｑに対して、１～８の各々の方向の相対位置ごとに上記処理を行う。このため、本実施形態では、第２異常度算出部２６Ｄは、１つの第１領域Ｑに対して、第２領域Ｐの数である８個の第２異常度を算出する。第２異常度算出部２６Ｄは、たとえば、１つの第１領域Ｑに対して算出した８個の第２異常度の平均値を、第１領域Ｑである要素の第２異常度として用いる。

【0106】

図８Ａ～図８Ｃは、第２導出部２６による処理の一例の説明図である。

【0107】

図８Ａは、正常入力データ３６の一例を示す模式図である。図８Ａに示す正常入力データ３６は、図２Ｃに示す正常入力データ３６と同様である。例えば、取得部２２が入力データ３５として正常入力データ３６を取得した場合を想定する。

【0108】

第２導出部２６の相対位置特定部２６Ａは、正常入力データ３６の相対位置を特定する。すなわち、第２導出部２６は、正常入力データ３６に含まれる複数の第１領域Ｑの各々について、第１領域Ｑに対して少なくとも一部が非重複で且つ互いに第１領域Ｑに対する方向の異なる複数の相対位置の第２領域Ｐを特定する。

【0109】

例えば、相対位置特定部２６Ａは、正常領域３６Ａを第１領域Ｑとした場合、６の方向の相対位置の第２領域Ｐとして正常領域３６Ｂを特定し、８の方向の相対位置の第２領域Ｐとして正常領域３６Ｃを特定する。同様にして、相対位置特定部２６Ａは、第１領域Ｑである正常領域３６Ａに対して、１～５、７の方向の相対位置の各々の第２領域Ｐを特定する（図６も参照）。

【0110】

図８Ｂは、第１領域Ｑである正常領域３６Ａと、正常領域３６Ａに対する６の方向の相対位置の第２領域である正常領域３６Ｂと、の第２特徴量の差分の一例の説明図である。図８Ｂには、第２特徴量を特徴量空間Ｓに配置して示す。

【0111】

この場合、差分算出部２６Ｂは、正常領域３６Ａの第２特徴量Ｙｄと、正常領域３６Ｂの第２特徴量Ｙｃと、の差分ｄｚを、正常領域３６Ａである第１領域Ｑと該第１領域Ｑに対して６の方向に位置する第２領域Ｐである正常領域３６Ｂとの第２特徴量の差分として算出する。同様にして、差分算出部２６Ｂは、第１領域Ｑである正常領域３６Ａに対して、１～５、７～８の方向の各々の相対位置の第２領域Ｐとの第２特徴量の差分を算出する（図６も参照）。

【0112】

図８Ｃは、推定結果の一例の説明図である。図８Ｃ中、横軸は、第１領域Ｑに対する第２領域Ｐの可能な相対位置を意味する。縦軸は、推定確率を意味する。すなわち、推定確率１００％は、可能な相対位置関係の各々が正解相対位置関係に一致する時の確率を意味する。

【0113】

詳細には、図８Ｃは、第１領域Ｑを正常領域３６Ａとし、第２領域Ｐを該第１領域Ｑに対して６の方向の相対位置の正常領域３６Ｂとしたときに、位置推定モデル２７によって出力される１～８の各々の方向の可能な相対位置に対する推定確率分布の一例を示す模式図である。

【0114】

上述したように、第１領域Ｑである正常領域３６Ａと、該正常領域３６Ａに対する６の方向の相対位置の第２領域Ｐである正常領域３６Ｂと、の相対位置関係が、正常な相対位置関係である場合には、正解の相対位置である６の相対位置の推定確率１００％となり、６以外の相対位置の推定確率は０％となる。このため、相対位置関係が正常な相対位置関係に略一致する正常領域３６Ａと正常領域３６Ｂとの正解の相対位置である６の相対位置の推定確率Ｐ_ｉｋ（ｙ）＝Ｐ_３６（６）は、図７Ｃに示す位置異常領域３４Ａと正常領域３４Ｂとの正解の相対位置である６の相対位置の推定確率Ｐ_ｉｋ（ｙ）＝Ｐ_３６（６）より高くなる。

【0115】

第２異常度算出部２６Ｄは、上記式（２）～式（４）の何れかを用いて、正常入力データ３６の第１領域Ｑの各々ごとに第２異常度を算出する。

【0116】

このように、第２導出部２６は、第２特徴量に基づいて、第１領域Ｑの各々ごとに第２異常度を算出する。第２異常度は、入力データ３５における第１領域Ｑと、少なくとも一部が第１領域Ｑに非重複の第２領域Ｐと、の相対位置関係の推定結果に関する値である。このため、第２導出部２６は、局所的には正常データ３２に含まれる領域と同じパターンであり、形状としては正常な領域であっても、相対位置関係では異常な領域について、高い第２異常度を導出することができる。

【0117】

そして、第２導出部２６は、入力データ３５の第１領域Ｑごと、すなわち、要素ごとに導出した第２異常度を、異常度導出部２８へ出力する。

【0118】

図１に戻り説明を続ける。

【0119】

異常度導出部２８は、第１導出部２４から要素ごとの第１異常度を取得する。また、異常度導出部２８は、第２導出部２６から要素ごとの第２異常度を取得する。

【0120】

異常度導出部２８は、第１異常度および第２異常度から、入力データ３５の総合異常度を算出する。

【0121】

例えば、異常度導出部２８は、入力データ３５に含まれる要素ごとに、第１異常度および第２異常度を特定する。そして、異常度導出部２８は、各要素の第１異常度と第２異常度との和、または、各要素の第１異常度と第２異常度との乗算値、を、入力データ３５に含まれる要素ごとの総合異常度として導出する。

【0122】

更に、異常度導出部２８は、入力データ３５に含まれる要素ごとの総合異常度の最大値を、入力データ３５の全体の総合異常度として導出する。

【0123】

次に、表示制御部３０について説明する。

【0124】

表示制御部３０は、取得部２２で取得した入力データ３５、第１導出部２４で導出された第１異常度、第２導出部２６で導出された第２異常度、および異常度導出部２８で導出された総合異常度、の少なくとも１つを表示部１４Ａに表示する。

【0125】

例えば、表示制御部３０は、入力データ３５の画像上に、第１異常度、第２異常度、および総合異常度の少なくとも１つを重畳して表示部１４Ａに表示する。詳細には、表示制御部３０は、入力データ３５の画像上における各要素に対応する位置に、各要素の第１異常度、第２異常度、および総合異常度の少なくとも１つを重畳して表示部１４Ａに表示する。

【0126】

具体的には、例えば、表示制御部３０は、第１異常度、第２異常度、および総合異常度の各々について、入力データ３５の各要素を異常度の値に応じた色および濃度で表したヒートマップを、表示部１４Ａに表示する。各ヒートマップは入力データ３５の画像上に重畳して表示してもよいし、重畳せずに表示してもよい。

【0127】

図９Ａは、表示画面５０の一例の模式図である。例えば、表示制御部３０は、入力データ３５について、総合異常度のヒートマップと、第１異常度と第２異常度とを重畳したヒートマップと、第１異常度のヒートマップと、第２異常度のヒートマップと、を含む表示画面５０を表示部１４Ａへ表示する。また、表示制御部３０は、これらのヒートマップと共に、第１異常度、第２異常度、および総合異常度の各々の異常度の値を表す数値を更に表示してもよい。

【0128】

総合異常度のヒートマップを表示部１４Ａに表示することで、表示制御部３０は、入力データ３５の全体および入力データ３５に含まれる要素ごとの総合異常度をユーザに対して容易に視認可能に提供することができる。また、第１異常度と第２異常度とを重畳したヒートマップを表示部１４Ａに表示することで、表示制御部３０は、入力データ３５に含まれる要素の各々の第１異常度および第２異常度を、ユーザに対して容易に視認可能に提供することができる。

【0129】

また、表示制御部３０は、第１異常度、第２異常度、および総合異常度の少なくとも１つを個別に表示部１４Ａに表示してもよい。具体的には、第１異常度のヒートマップ、第２異常度のヒートマップ、および総合異常度のヒートマップの少なくとも１つを個別に表示部１４Ａに表示してもよい。例えば、図９Ａに示すように、表示制御部３０は、第１異常度のヒートマップおよび第２異常度のヒートマップを個別に表示部１４Ａに表示してもよい。この場合、表示制御部３０は、第１異常度のヒートマップおよび第２異常度のヒートマップの各々に、入力データ３５の全ての要素の異常度の合計値に対する各要素の異常度の割合を、要素ごとに更に表示してもよい。

【0130】

図９Ｂは、表示画面５２の一例の模式図である。表示画面５２は、相対位置関係の異常である第２異常度を主に表示する表示画面の一例である。例えば、表示制御部３０は、入力データ３５において特定した複数の第１領域Ｑの各々ごとに、第１領域Ｑの第１異常度のヒートマップと、該第１領域Ｑに対する８方向の各々の相対位置の第２領域Ｐの第２異常度のヒートマップと、を含む表示画面５０を表示部１４Ａへ表示する。図９Ｂには、ある位置の第１領域Ｑの第１異常度と、該第１領域Ｑに対する８方向の各々の相対位置の第２領域Ｐの第２異常度と、の各々のヒートマップを表示する例を示す。

【0131】

そして、ユーザによる入力部１４Ｂの操作指示などによって他の位置の第１領域Ｑが選択されると、表示制御部３０は、選択された第１領域Ｑに応じた表示画面５２を表示部１４Ａへ表示すればよい。なお、第１領域Ｑの第１異常度に替えて、第１領域Ｑに対する８個の方向の各々の相対位置の第２領域Ｐとの相対位置関係の第２異常度の平均値を、表示部１４Ａに表示してもよい。

【0132】

表示画面５２を表示部１４Ａへ表示することで、表示制御部３０は、相対値関係の異常度である第２異常度の導出根拠、および、第２異常度の導出に用いた第１領域Ｑに対する第２領域Ｐの相対位置を明白に表示することができる。

【0133】

このように、表示制御部３０が取得部２２で取得した入力データ３５、第１導出部２４で導出された第１異常度、第２導出部２６で導出された第２異常度、および異常度導出部２８で導出された総合異常度、の少なくとも１つを表示部１４Ａに表示する。このため、表示制御部３０は、入力データ３５の第１異常度、第２異常度、および総合異常度をユーザに対して分かりやすく視認可能に提供することができる。また、表示制御部３０は、入力データ３５における各要素について、第１異常度、第２異常度、および総合異常度を、ユーザに対して容易に把握可能に提供することが出来る。

【0134】

次に、異常検出装置１０が実行する異常検出処理の手順を説明する。

【0135】

図１０は、異常検出装置１０が実行する異常検出処理の流れの一例を示す、フローチャートである。

【0136】

取得部２２が、入力データ３５を取得する（ステップＳ１００）。

【0137】

第１特徴量算出部２４Ａは、学習済深層モデル２３を用いて、ステップＳ１００で取得した入力データ３５から要素ごとの第１特徴量を算出する（ステップＳ１０２）。

【0138】

第２特徴量算出部２４Ｂは、予測モデル２５を用いて、ステップＳ１００で取得した入力データ３５から要素ごとの第２特徴量を算出する（ステップＳ１０４）。

【0139】

差分算出部２４Ｃは、ステップＳ１０２で算出された第１特徴量と、ステップＳ１０４で算出された第２特徴量と、の差分を要素ごとに算出する（ステップＳ１０６）。

【0140】

第１異常度導出部２４Ｄは、ステップＳ１０６で算出された第１特徴量と第２特徴量との差分に応じて第１異常度を算出する（ステップＳ１０８）。例えば、第１異常度導出部２４Ｄは、第１特徴量と第２特徴量との差分の二乗を、第１異常度として算出する。

【0141】

相対位置特定部２６Ａは、ステップＳ１００で取得した入力データ３５の相対位置を特定する（ステップＳ１１０）。例えば、相対位置特定部２６Ａは、相対位置とは、入力データ３５を複数の領域に分割した第１領域Ｑの各々について、第１領域Ｑに対して互いに異なる８方向に隣接する８個の相対位置の第２領域Ｐを特定する。

【0142】

差分算出部２６Ｂは、入力データ３５に含まれる複数の第１領域Ｑの各々について、第１領域Ｑの第２特徴量と、第１領域Ｑに対する複数の相対位置の各々の第２領域Ｐの第２特徴量の各々と、の差分を算出する（ステップＳ１１２）。

【0143】

推定結果算出部２６Ｃは、ステップＳ１１２で算出された差分に基づいて、第１領域Ｑと第２領域Ｐの可能な相対位置関係の各々が正解相対位置関係である確からしさを、相対位置関係の推定結果として算出する（ステップＳ１１４）。

【0144】

第２異常度算出部２６Ｄは、ステップＳ１１４で算出された推定結果に基づいて、第２異常度を算出する（ステップＳ１１６）。

【0145】

異常度導出部２８は、総合異常度を導出する（ステップＳ１１８）。異常度導出部２８は、ステップＳ１００で取得した入力データ３５に含まれる要素ごとに、ステップＳ１０８で導出された第１異常度およびステップＳ１１６で導出された第２異常度を特定する。そして、異常度導出部２８は、各要素の第１異常度と第２異常度との和、または、各要素の第１異常度と第２異常度との乗算値、を、入力データ３５に含まれる要素ごとの総合異常度として導出する。更に、異常度導出部２８は、入力データ３５に含まれる要素ごとの総合異常度の最大値を、入力データ３５の全体の総合異常度として導出する。

【0146】

表示制御部３０は、取得部２２で取得した入力データ３５、ステップＳ１０８で導出された第１異常度、ステップＳ１１６で導出された第２異常度、およびステップＳ１１８で導出された総合異常度、の少なくとも１つを表示部１４Ａに表示する（ステップＳ１２０）。

【0147】

そして、本ルーチンを終了する。

【0148】

以上説明したように、本実施形態の異常検出装置１０は、取得部２２と、第１導出部２４と、第２導出部２６と、異常度導出部２８と、を備える。取得部２２は、入力データ３５を取得する。第１導出部２４は、自然データを用いて学習された学習済深層モデル２３を用いて入力データ３５から導出した第１特徴量と、対象データを用いて学習された予測モデル２５を用いて入力データ３５から導出した第２特徴量と、の差分に応じた第１異常度を導出する。第２導出部２６は、第２特徴量に基づいて、入力データ３５における第１領域Ｑと少なくとも一部が第１領域Ｑに非重複の第２領域Ｐとの相対位置関係の推定結果に基づく第２異常度を導出する。異常度導出部２８は、第１異常度および第２異常度から、入力データ３５の総合異常度を導出する。

【0149】

図４Ｂを用いて説明したように、異常入力データ３４の正常領域３４Ｂの第１特徴量Ｘ_１と第２特徴量Ｙ_１との差分ｄ_１と、形状異常領域３４Ｃの第１特徴量Ｘ_２と第２特徴量Ｙ_２との差分ｄ_２とは、大きく異なるものとなる。一方、図４Ｃに示すように、正常領域３４Ｂの第１特徴量Ｘ_１と第２特徴量Ｙ_１との差分ｄ_１と、相対位置関係が異常である位置異常領域３４Ａの第１特徴量Ｘ_３と第２特徴量Ｙ_３との差分ｄ_３は、略同じ値となる。

【0150】

このため、第１特徴量と第２特徴量との差分ｄ_１～差分ｄ_３の各々から導出した要素ごとの第１異常度を、異常入力データ３４の総合異常度として用いると、位置異常領域３４Ａのような相対位置関係が異常の領域を、異常として検出することは困難である。

【0151】

一方、図７Ｃおよび図８Ｃを用いて説明したように、第２異常度は、相対位置関係が異常であると、相対位置関係が正常である場合に比べて高い異常度を示すものとなる。詳細には、相対位置関係が異常である位置異常領域３４Ａと正常領域３４Ｂとの正解の相対位置の推定確率Ｐ_ｉｋ（ｙ）＝Ｐ_３６（６）から導出した第２異常度は、例えば、図７Ｃに示すものとなる。一方、相対位置関係が正常である正常領域３６Ａと正常領域３６Ｂとの正解の相対位置の推定確率Ｐ_ｉｋ（ｙ）＝Ｐ_３６（６）から導出した第２異常度は、例えば、図８Ｃに示すものとなる。このように、第２異常度は、相対位置関係が異常の領域を異常として検出可能な異常度である。

【0152】

このため、異常度導出部２８が、第１異常度および第２異常度から入力データ３５の総合異常度を算出することで、入力データ３５に含まれる相対位置関係が異常の領域についても、異常であることを表す異常度を算出することができる。

【0153】

従って、本実施形態の異常検出装置１０は、異常検出精度の向上を図ることができる。

【0154】

また、入力データ３５と入力データ３５の特徴から復元した出力データとの誤差分を用いて正常性を判定する従来技術では、入力データ３５の全要素の情報を深層特徴空間まで畳み込む必要があった。このため、このような従来技術では、局所的な情報で判断できる異常であっても過剰な情報を扱う必要があった。一方、本実施形態の異常検出装置１０によれば、入力データ３５の第１特徴量および第２特徴量を用いて導出した、第１異常度および第２異常度に基づいて総合異常度を導出する。

【0155】

このため、本実施形態の異常検出装置１０は、上記効果に加えて、異常検出装置１０の負荷軽減を図ることができる。

【0156】

本実施形態の異常検出装置１０は、入力データ３５に含まれる異常を検出する様々な用途に適用される。例えば、異常検出装置１０は、物品を製造する製造ラインの各工程で異常を検出する装置などに適用される。この場合、入力データ３５として物品の製造工程の各段階で得られる未完成物品および完成物品の各々の画像を用いることで、異常検出装置１０は、画像に含まれる要素ごとの総合異常度を高精度に導出することができる。

【0157】

次に、上記実施形態の異常検出装置１０のハードウェア構成の一例を説明する。

【0158】

図１１は、上記実施形態の異常検出装置１０のハードウェア構成図の一例である。

【0159】

上記実施形態の異常検出装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８６、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８８、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０、およびＩ／Ｆ８２等がバス９６により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。

【0160】

ＣＰＵ８１は、上記実施形態の異常検出装置１０を制御する演算装置である。ＲＯＭ８８は、ＣＰＵ８６による各種処理を実現するプログラム等を記憶する。ＲＡＭ９０は、ＣＰＵ８６による各種処理に必要なデータを記憶する。Ｉ／Ｆ８２は、データを送受信するためのインターフェースである。

【0161】

上記実施形態の異常検出装置１０では、ＣＰＵ８６が、ＲＯＭ８８からプログラムをＲＡＭ９０上に読み出して実行することにより、上記各機能がコンピュータ上で実現される。

【0162】

なお、上記実施形態の異常検出装置１０で実行される上記各処理を実行するためのプログラムは、ＨＤＤ（ハードディスクドライブ）９２に記憶されていてもよい。また、上記実施形態の異常検出装置１０で実行される上記各処理を実行するためのプログラムは、ＲＯＭ８８に予め組み込まれて提供されていてもよい。

【0163】

また、上記実施形態の異常検出装置１０で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、上記実施形態の異常検出装置１０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態の異常検出装置１０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するようにしてもよい。

【0164】

なお、上記には、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0165】

１０ 異常検出装置
２２ 取得部
２４ 第１導出部
２６ 第２導出部
２８ 異常度導出部
３０ 表示制御部

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図8A】

【図8B】

【図8C】

【図9A】

【図9B】

【図10】

【図11】